Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Как спрарсить все страницы? #15

Closed
AiratHalitov opened this issue Feb 5, 2023 · 3 comments
Closed

Как спрарсить все страницы? #15

AiratHalitov opened this issue Feb 5, 2023 · 3 comments
Assignees
Labels
question Further information is requested

Comments

@AiratHalitov
Copy link

Есть ли режим парсинга "Все страницы"?
Для этого нужно указать end_page каким-нибудь большим числом или можно написать "all"?
Как это можно сделать?
И если я напишу большое число, типо 3000 или 10000, будет ли парсер пытаться пройтись по этим страницам, даже если их нет?
Мне нужно просто все предложения по данному запросу собрать.

Если такой возможности нет, было бы полезно ее добавить.
Заранее спасибо!

@lenarsaitov
Copy link
Owner

В Readme добавлено описание по данному моменту
Плюс очень советую прочитать раздел Ограничение

Оказывается до этого при окончании страниц с объявлениями, сайт переводил на первую страницу...
Обработал данный момент в новой версии, теперь при окончании должно быть завершение

@lenarsaitov lenarsaitov self-assigned this Feb 6, 2023
@lenarsaitov lenarsaitov added the question Further information is requested label Feb 6, 2023
@tmvnn
Copy link

tmvnn commented Feb 6, 2023

@lenarsaitov хм, да паршу крупный город, после ~1500 страниц данные дублируются:(
А есть ли возможность все-таки как-то спасить? Уже урезал по максимум имеющимися параметрами.
Попробую в базовую ссылку жестко вставить дополнительные фильтры по цене от и до:)

@lenarsaitov
Copy link
Owner

@tmvnn к сожалению никак не обойти это ограничение, сам сайт выдает лимитированное количество. Решение состоит только в увеличении конкретики

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

No branches or pull requests

3 participants