interlark / parser-2gis

Приветствую, столкнулся с проблемой, мне надо запарсить организации из определенного здания и у меня не получается это сделать. Есть ли решение этой проблемы?

Привет. Так сделать нельзя, т.к. изначально парсер написан больше в помощь маркетинговым исследованиям в рамках города или ряда городов. К тому же не все здания имеют вкладку "В здании" со списком всех организаций в нём.

Такие случаи имеют ссылку следующего характера: https://2gis.ru/<city_id>/inside/<building_id>
Например, https://2gis.ru/perm/inside/2252435468874737

И парсятся заменой валидации URL'а организации

parser-2gis/parser_2gis/parser/parser.py

Line 51 in eaa09a2

def valid_link(node: DOMNode) -> bool:

На что-то вроде

        def valid_link(node: DOMNode) -> bool:
            if node.local_name == 'a' and 'href' in node.attributes:
                link_match = re.match(r'.*/firm/.*', node.attributes['href'])
                return bool(link_match)

Плюс прокрутка списка для экстракта ссылок организаций.
Возможно, в будущем добавлю. Идея хорошая.

Уточнил, вкладки "В здании" не имеют разве что частные дома и адреса где их просто нет.
В v0.1.9 появилась поддержка парсинга списка организаций в здании с помощью таких ссылок. См. wiki.

Спасибо большое за такой оперативный отзыв на мою проблему! Это большого стоит, так держать) пт, 19 авг. 2022 г., 00:56 Andy Trofimov ***@***.***>:

…

Уточнил, вкладки "В здании" не имеют разве что частные дома и адреса где их просто нет. В v0.1.9 <https://github.com/interlark/parser-2gis/releases/tag/v0.1.9> появилась поддержка парсинга списка организаций в здании с помощью таких ссылок. См. wiki <https://github.com/interlark/parser-2gis/wiki/URLs>. — Reply to this email directly, view it on GitHub <#13 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/A2KDXYOSYEDLQCZWPSORQ2DVZZ2NNANCNFSM563UD3FA> . You are receiving this because you authored the thread.Message ID: ***@***.***>

парочку зданий спарсил успешно, но на ссылке https://2gis.ru/spb/inside/5348660212758770 после Ситилинка заканчивает поиск, хотя организаций в здании ещё очень много

в чем может быть проблема? она решаема со стороны пользователя или разработчика?

screen_82.mp4

В здании 133 организации, повторить описанную проблему не получилось. Убедитесь, что используете российский IP адрес.

Парсинг организаций