はてなブックマークの人気エントリを250件くらいurlとタイトルとテキストデータを取ってくる
MongoDBの設定
MongoDB Compassがあると便利
https://garafu.blogspot.com/2019/02/install-mongod-on-macos.html
https://qiita.com/____easy/items/4dcda6cc4f5e7de13d36
scrapy, request, readability-lxml
をpipかcondaかで入れるのだ...
名前 | 意味 |
---|---|
url | URL |
title | ブログタイトル |
html | htmlそのまま |
content | 文章 |
ルートディレクトリ で
scrapy crawl broad
参考にしたページとかをそれぞれがまとめておくと、つまづかなくて済むかも??(自由に追記、編集して...)