antonata-c / scrapy_parser_pep

Асинхронный парсер документации

Асинхронный Парсер Python документации

Описание проекта

Данный проект выполняет парсинг данных со страниц PEP, переходит по ссылкам и собирает данные о каждом PEP.

Используемые ехнологии

• Python 3.10
• Scrapy

---

Развертывание и запуск проекта

• Склонируйте репозиторий

git clone https://github.com/antonata-c/scrapy_parser_pep.git

cd scrapy_parser_pep

• Создайте и активируйте виртуальное окружение (для Linux/MacOS)

python3 -m venv venv
source venv/bin/activate

• Для Windows

python -m venv venv
source venv/Scripts/activate

• Установите зависимости

pip install --upgrade pip
pip install -r requirements.txt

---

Запустите парсер

scrapy crawl pep

Автор проекта

Антон Земцов