cherniyvlastelin.jpg52 Кб, 558x473
Парсер-долбоеб тред 3411066 В конец треда | Веб
Суп, /pr/
На днях решил таки пропарсить кинопоиск при помощи скрипта на питоне
Через requests кидает на капчу (даже с подменой юзер-агента), желания пользоваться selenium нет (оставляю как запасной вариант)
Собсна, вопрос: можно ли каким-либо образом наебать антибота КП при помощи кастомного хедера, и если нет, то есть ли бесплатные сервисы/библиотеки, решающие капчи с нажатием на галочку "Я не робот"?
Всем заранее чаю
Пикрандом
2 3411279
Хз, как сейчас с этим обстоит, но в начале 2022 я пользовался https://github.com/VeNoMouS/cloudscraper . Хотя я помню, что его надо было периодически обновлять, чтобы не отваливалось, а проект уже джва года заброшен, но попробуй, там интерфейс повторяет requests.

Если тебе разово сделать, например, выкачать все за день, а не пускать в длительную работу с требованиями надежности, то просто достань хэдеры из браузера. F12 - Copy as curl, тебя интересуют поля -H (useragent, cookies и referrer), но можешь прям все скопировать на всякий случай. В requests подсовываешь словарь с хэдерами при создании сессии, дальше работаешь как обычно.
3 3411334
>>279
Спасибо тебе, анонче
Сейчас попробую изучить данное счастье
На досуге еще потупил в код страницы и заметил прослушку на ивент клика
Так что в итоге тут либо селениум, либо угон сессии у себя же (как ты и предлагаешь), но поскольку это планируется в долгосрок, придется, похоже, пользоваться селениумом
В любом случае, за наводку спасибо, мб прокатит
Обновить тред
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее