Marketplace Parser

Парсер товаров с маркетплейсов Ozon и Wildberries
Автоматизированный инструмент для сбора карточек товаров с Ozon и Wildberries. Собирает название, цену, полное описание и характеристики.
Проект ориентирован на стабильность и удобство использования в условиях активной защиты маркетплейсов от автоматизации.

Содержание

• Технологии
• Поддержка
• Возможности
• Начало работы
• Настройка config.toml
• Особенности
• Зачем нужен проект
• Структура проекта
• Использование

Технологии

• Python 3.11+ (рекомендуется 3.13+)
• Selenium
• undetected-chromedriver
• Google Chrome

Поддержка

• Браузер: Только Google Chrome (другие браузеры не поддерживаются из-за срабатывания Anti-Bot систем).
• Операционная система: совместим с Windows, Linux и macOS.

Возможности

• Сбор товаров по ссылке на поисковую выдачу
• Полное извлечение описания
• Парсинг всех характеристик товара
• Обход антибота
• Поддержка Ozon и Wildberries
• Сохранение результатов в удобный JSON-файл
• Автопереход к более дешёвому предложению при его обнаружении
• Ведение подробных логов

Начало работы

Требования

Для запуска готового .exe-файла необходимо:

• Google Chrome

Для запуска проекта из исходного кода необходимо:

• Python 3.11 или выше
• Google Chrome
• Git

Установка

Запуск из .exe

1. Скачайте Marketplace-Parser.zip из раздела Releases.
2. Убедитесь, что на компьютере установлен Google Chrome.
3. Распакуйте и при необходимости измените config.toml.
4. Запустите run.exe

Запуск из исходного кода:

1. Клонируйте репозиторий:

git clone https://github.com/MaxDev43/Marketplace-Parser.git
cd Marketplace-Parser

2. Создайте виртуальное окружение и установите зависимости:
   Windows:

python -m venv venv
venv\Scripts\activate
pip install -r requirements.txt

Linux / macOS:

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

3. При необходимости измените config.toml.

4. Запустите run.py

python run.py

Использование

1. Скопируйте ссылку с поисковой страницы Ozon или Wildberries (с уже выбранными фильтрами).
2. Запустите основной файл run.py или run.exe
3. Вставьте скопированную ссылку. Программа автоматически определит маркетплейс и начнёт работу.

Настройка config.toml

В этом файле можно изменить основные параметры работы программы. Например:

• DEFAULT_PRODUCT_COUNT - количество товаров, которые нужно спарсить (по умолчанию - 15).
• SWITCH_TO_CHEAPER_OFFER - переход на более дешёвое предложение, если оно найдено на Ozon в карточке товара (по умолчанию - true).
• WAIT_FOR_REGION_SELECTION - в Wildberries, в отличие от Ozon, по умолчанию устанавливается регион «Москва». Если цены отличаются от вашего региона, вы можете установить значение true и перед началом работы выбрать регион вручную (по умолчанию - false).

Особенности

• Не рекомендуется использовать VPN - маркетплейсы часто блокируют такие подключения.
• На Wildberries антибот срабатывает значительно реже, поэтому парсер работает быстрее.
• Для увеличения скорости можно уменьшить таймауты, но это повышает риск срабатывания защиты и понижает стабильность.
• Можно запускать парсеры напрямую: python parsers/ozon.py или python parsers/wildberries.py.

Зачем нужен проект

Мне была нужна программа, которая быстро собирает информацию по большому количеству товаров.
Собранные данные удобно отправлять нейросети для анализа и выбора лучшего товара. Это значительно ускоряет и упрощает процесс сравнения.

Структура проекта

Marketplace-Parser/
├── parsers/
│   ├── ozon.py              # парсер Ozon
│   └── wildberries.py       # парсер Wildberries
├── output/                  # результаты парсинга (.json)
├── logs/                    # логи работы
├── run.py                   # основной файл запуска
├── requirements.txt         # зависимости
├── config.toml              # конфигурация программы
├── README.md
└── LICENSE

---

Если проект оказался полезным, просьба поставить star ⭐