Простой парсер для выборки данных по авто: данные по автомобилю, ссылка на страницу, стоимость в рублях, год выпуска. Обработанные данные экспортируются в csv-файл.
Важно заполнить значения HEADERS, в частности указать сookie для сайта, который парсится. Иначе может сработать защита
от ботов. Cookie можно взять в headers страницы с данными по авто, открыв её в инструментах разработчика (chrome) или аналогичной опции в
другом браузере.
Upd. Auto.ru добавили смарт-капчу от Яндекса, поэтому пока что придется проходить её вручную, для этого добавлено использование Selenium
Установка и запуск:
- Установить менеджер пакетов uv:
curl -LsSf https://astral.sh/uv/install.sh | sh- Установить зависимости:
uv sync- На базе файла
.env_exampleсоздать файл.envи заполнить значения переменных - Запустить
main.py
uv run main.py- Ввести url с
auto.ruс отбором по нужной марке авто - Сsv-файл с данными создается в папке указанной в сеттингах проекта. Файл создается текущей датой и временем. Если значение переменной
OPEN_CSV_FILEравноTrue, то файл будет открыт автоматически после его формирования.
A simple parser to collect cars data: car, url, price (RUR), year. The processed data are exported to a csv file.
