Skip to content

dcomrad/scrapy-parser-pep

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Проект спринта: асинхронный парсер PEP

Построен на базе фреймворка Scrapy и предназначен для парсинга информации о PEP с официального сайта Python. Парсит следующую информацию о PEP:

  • номер
  • название
  • текущий статус

Результаты парсинга сохраняются в несколько мест:

  • детальная информация о PEP выгружается в базу SQlite и в results/pep_<дата/время>.csv
  • в results/status_summary_<дата/время>.csv выводится стаистика по статусам PEP

Подготовка к использованию

  • Установите и активируйте виртуальное окружение
  • Установите зависимости из файла requirements.txt pip install -r requirements.txt

Использование

scrapy crawl pep

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages