打造免费代理池,爬一切可爬节点
拥有灵活的插件系统,如果目标网站特殊,现有功能未能覆盖,可针对性地通过插件实现
欢迎 Star 及 PR。对于质量较高且普适的爬取目标,亦可在 Issues 中列出,将在评估后选择性添加
略,自行探索。我才不会告诉你入口是
collect.py
和process.py
。强烈建议使用后者,前者只是个小玩具,配置参考subscribe/config/config.default.json
- 本项目仅用作学习爬虫技术,请勿滥用,不要通过此工具做任何违法乱纪或有损国家利益之事
- 禁止使用该项目进行任何盈利活动,对一切非法使用所产生的后果,本人概不负责