Парсер PEP на базе фреймворка Scrapy

Парсер, собирающий информацию с сайта https://peps.python.org/
Вся собранная информация сохраняется в файлы 💾 с расширением .csv в директории results:

• pep_<date.time>.csv - список всех PEP: номер, название, статус;
• status_summary_<date.time>.csv - сводка по статусам PEP: количество документов в каждом статусе на сайте, а также общее количество всех документов.

Автор проекта:

Валерий Шанкоренко👇
Github: Valera Shankorenko
Telegram: 📱 @valeron007
E-mail: 📧 valerashankorenko@yandex.by

Стек технологий

• Python
• Scrapy

Как запустить проект:

1. Клонировать репозиторий и перейти в его директорию в командной строке:

git clone git@github.com:valerashankorenko/scrapy_parser_pep.git

cd scrapy_parser_pep

2. Cоздать и активировать виртуальное окружение:

• для Linux/MacOS

python3 -m venv venv
source venv/bin/activate

• для Windows

python -m venv venv
source venv/Scripts/activate

3. Обновить пакетный менеджер pip

python3 -m pip install --upgrade pip

4. Установить зависимости из файла requirements.txt:

pip install -r requirements.txt

5. Запускаем парсер pep.

scrapy crawl pep