Skip to content

Latest commit

 

History

History
26 lines (17 loc) · 397 Bytes

README.md

File metadata and controls

26 lines (17 loc) · 397 Bytes

scrapy mzitu 数据爬虫


版本说明

  • V0.0.1
    • 增量爬虫, 目前因数据量不大,直接使用使用url在mongodb中判断, 后期可切换成redis bloomfilter 过滤
    • 全部采集

使用

- 全部采集

```
    scrapy crawl mzitu
```

- 增量采集

```
    scrapy crawl mzitu_inc
```

采集频率

- 每日1次