1. init

安装

➜  pip3 install scrapy

创建一个新项目

➜  scrapy startproject tutorial
New Scrapy project 'tutorial', using template directory '/usr/local/lib/python3.7/site-packages/scrapy/templates/project', created in:
    /Users/tyrad/Desktop/scrapy/tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com

创建后的目录结构如图:

├── scrapy.cfg         # 部署配置文件
└── tutorial           # 项目的Python模块,你将在这里输入你的代码
    ├── __init__.py    
    ├── __pycache__   
    ├── items.py         # 项目的items定义文件
    ├── middlewares.py   # 项目中间件文件
    ├── pipelines.py     # 项目管道文件
    ├── settings.py      # 项目设置文件
    └── spiders          # 稍后放置spider的文件夹
        ├── __init__.py   
        └── __pycache__