前幾天看到有人用 node.js 寫一個爬蟲續抓取 decard 的功能。因此就直接套用 crawler4j 寫一個類似的功能。
由於幾乎沒什麼需要特別處理的，所以就不多做介紹了。
直接執行 ImageCrawlController 這裡頭的 main 方法即可。
ImageCrawlController 中的 crawlDomains 是用來存放要爬的網頁。
如果有一些爬取網頁的邏輯需要調整，主要是修改 MyCrawler。
-
Notifications
You must be signed in to change notification settings - Fork 0
teyushen/crawler
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published