Продолжает ли работать скрипт?
buildie opened this issue · comments
При попытке воспользоваться сначала выдает неправильный урл. Лечится добавлением домена перед взятым урлом из html. После этого упирается в 403. Livelib ввел дополнительную защиту или это что-то временное?
Добрый день!
Спасибо за замеченную проблему с URL, поправил ее в репозитории.
Касательно процесса работы скрипта - у сервиса изменился CDN и стандартные запросы из urllib стали отваливаться как "зловредные", добавил дополнительный хэдер, чтобы это не происходило.
Посмотрите, заработал ли скрипт в вашем случае после этих правок?
Не работает после подключения Cloudflare DDos protection.
У меня получилось выкачать, задействовав https://github.com/FlareSolverr/FlareSolverr
Хм, видимо зависит еще от каких-то внешних условий. Хорошо что вам удалось решить эту проблему, спасибо за информацию!
@KonH, а у вас сейчас работает, без каких-то доработок?
В момент внесения последних правок работало, да
@grv87 а не подскажите как вы задействовали FlareSolverr? Лайвлиб упорно считает, что я бот и скачиваются пустые страницы.
Похоже имеет смысл добавить интеграцию с ним напрямую в проект, раз видно что есть потребность (при указании отдельного флага скачивать бинарники и использовать для запросов)
@ffiona какую ОС используете? для Windows / Linux это сработает, но на macOS нужно будет собирать из исходников, там удобство под вопросом
@ffiona ок, тогда попробуем решить дополнительной документацией, есть шанс этим занятся на этой неделе
@ffiona
Попробуйте переключится на ветку features/proxy_usage, там текущая версия использования этого варианта:
- В документации указано как использовать FlareSolverr с помощью отдельного параметра
--proxy-host - Добавлено создание и завершение сессии, выполнение запросов через FlareSolverr API
Но либо у меня какие-то специфические условия либо этот подход не особо помогает - я периодически все равно ловлю страницу ожидания
Пока в отдельной ветке, если вам это решение поможет - замержу
Если нет - посмотрим что с этим еще можно сделать (возможно еще перенос кук авторизации имеет смысл)
Замержил в мастер