- Anaconda(可选)
- python 3.6+
- mysql 5.7
pip install -r requirement
- app
- model
- util
- main.py
- list.py
- detail.py
- 抓取区域信息
python main.py gz
- 抓取列表信息
python list.py gz
- 抓取详情数据
python detail.py gz
参数
gz
为广州的拼音首字母相加,其他城市以此类推。若不输入参数则默认使用广州。 部分城市因为简称会重复所以具体的前缀请上58选择城市后使用二级域名例如qingyuan.58.com
的qingyuan
作为参数输入
默认使用config.example.json
作为配置文件使用,需要编辑对应的数据库信息后才可使用
需要先创建数据库,执行时会自动创建数据表
也可以手动建表,具体可见58crawler.sql
文件