Alba3k / av-parser

Парсинг автомобильных объявлений с сайта AV.BY

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Парсинг автомобильных объявлений с сайта AV.BY 🚘


 █████╗ ██╗   ██╗    ██╗███╗   ██╗███████╗ ██████╗ ██████╗ ███╗   ███╗███████╗██████╗ 
██╔══██╗██║   ██║    ██║████╗  ██║██╔════╝██╔═══██╗██╔══██╗████╗ ████║██╔════╝██╔══██╗
███████║██║   ██║    ██║██╔██╗ ██║█████╗  ██║   ██║██████╔╝██╔████╔██║█████╗  ██████╔╝
██╔══██║╚██╗ ██╔╝    ██║██║╚██╗██║██╔══╝  ██║   ██║██╔══██╗██║╚██╔╝██║██╔══╝  ██╔══██╗
██║  ██║ ╚████╔╝     ██║██║ ╚████║██║     ╚██████╔╝██║  ██║██║ ╚═╝ ██║███████╗██║  ██║
╚═╝  ╚═╝  ╚═══╝      ╚═╝╚═╝  ╚═══╝╚═╝      ╚═════╝ ╚═╝  ╚═╝╚═╝     ╚═╝╚══════╝╚═╝  ╚═╝
                                                                 

GitHub commit activity GitHub last commit GitHub GitHub repo size GitHub repo file count GitHub repo size GitHub followers

Парсер для объявлений о продаже автомобилей на сайте 'av.by'. Кодовое имя проекта >>> AV informer 📌

  • ✔️ Идея проекта.
  • ✔️ Кодовая база, структура кода, написание функций.
  • ✔️ В данной альфе-версии реализован поиск без вводных данных. На примере BMW пятой серии.
  • ✔️ Тип экспорта данных: документ формата '.csv' с упорядоченной информацией по каждому объявлению.
  • ✔️ Вопрос с paginations.
  • ✔️ Увеличенное меню.
  • ✔️ Большая скорость обработки информации.
  • ✔️ Пользовательское меню.
  • ✔️ Функции: парсинг по маркам авто.
  • ✔️ Функции: парсинг по моделям авто.
  • ❌ Сохранение данных в БД, SQLite3.
  • ❌ Реализация уведомлений, проработка каналов уведомлений, Telegram, Viber.
  • 🛠️ Создание standoline приложения для Windows (exe - приложение).
  • 🛠️ Экспорт меню, через которое можно переключать представление результатов с разными сортировками.
  • ❌ Вывод по запросу пользователя предложения с самой низкой ценой на сегодняшний день.
  • 🛠️ Сравнение цены с актуальной ценой на новый автомобиль той же марки.
  • ❌ Настройка уведомлений писем с новыми результатами.
  • ❌ Создание списка избранных результатов.
  • 🛠️ Работа над проектом идет активно, в режиме 24 х 7, пре-релиз и исходный код уже на GitHub

Краткая информация о работе парсера >>> 📚

  • Принцип работы парсера:

    • проверяет количество объявлений по нужной модели на сайте;
    • скачивает данные для обхода защит сайта;
    • и из них извлекает информацию о ссылке на объявление, цене (в рублях и долларах), модели и марке, годе выпуска, типе коробки передач, объеме двигателя.
    • Также извлекает информацию о пробеге и типе кузова.
    • Полученные данные записываются в табличном формате для дальнейшей статистической обработки или предоставления пользователю.
  • В теле парсера содержатся следующие функции:

    • загрузчик веб-страниц с исходными данными объявлений в формате html;
    • функция, считывающая общее количество объявлений по нужной модели авто;
    • функция, проверяющая наличие необходимых файлов для последующего разбора и экспорта;
    • функция, считывающая загруженные данные и формирующая словарь с информацией об авто;
    • функция, экспортирующая готовый результат в файл с расширением '.csv'.

Мини руководство по эксплуатации парсера

  • Запустить программу ✈️. Выбрать пункт меню 1.
  • Пункт меню 2, по желанию. Представлена краткая сводка 📊 по авторынку.
  • Пункт меню 3. Выбрать авто 🚙 для парсинга.
  • Пункт меню 4. Для экспорта полученных данных по пункту 3.
  • Наслаждаемся полученным результатом. ☕

Краткая информация о команде разработчиков >>> AE Team 🛠️

Александр Бабына. https://github.com/Alba3k
Екатерина Лесина. https://github.com/LesinaKatherine

Приветствуются все пожелания и предложения по работе программы >>> ✉️

About

Парсинг автомобильных объявлений с сайта AV.BY

License:Apache License 2.0


Languages

Language:HTML 99.8%Language:Python 0.2%