Парсер может работать на сервере?
sparsimsite opened this issue · comments
Здравствуйте. Спасибо за вашу работу. Можно ли загрузить парсер для работы на сервере?
Приветствую. Да, почему бы и нет, тесты же гоняются на headless серверах.
Тут есть 2 подхода:
- Запускать браузер в обычном режиме, но в с виртуальным "дисплеем" через Xvfb.
sudo apt-get install xvfb
Xvfb -ac :99 -screen 0 1280x1024x16 &
export DISPLAY=:99
pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000
- Запускать парсер с headless флагом.
pip install parser-2gis
parser-2gis -i "https://2gis.ru/moscow/search/Аптеки" -o results.csv -f csv --parser.max-records 1000 --chrome.headless yes
Тут стоит заметить, что второй подход менее надёжный, т.к. Chrome запущенный в headless режиме в теории можно отследить со стороны 2GIS.
Большое спасибо за совет по запуску парсера. По возможности постараюсь отблагодарить вас за труд)
Первый способ отлично работает
Также серверу желательно находиться в РФ, т.к. при работе из других мест может прилететь каптча после нескольких запросов.