Skip to content

README.md

Latest commit

 

History

History
80 lines (65 loc) · 1.97 KB

README.md

File metadata and controls

80 lines (65 loc) · 1.97 KB

YMapsParser

Парсер для Яндекс.Карт, собирающий информацию об организациях в выбранной области поиска

Это доработанная версия https://github.com/chernyshov-dp/YMapsGrabber

Стек

  • Python 3.9
  • Selenium + safaridriver
  • beautifulsoup4 + lxml
  • json

Список собираемой информации с Яндекс.Карт

  • Название организации
  • Id организации
  • Город
  • Адрес
  • Сайт организации
  • Часы работы (по дням недели)
  • Ссылка на карточку организации
  • Меню/услуги
  • Рейтинг
  • Отзывы
  • Номера телефонов

Установка и запуск

git clone git@github.com:redrum0x/YMapsParser.git
cd YMapsParser/grab-grab
pip3 install -r requirements.txt
python3 main.py --cities="москва" --search=банк --count=100 --output="../out/file.json"

Некоторые поля являются опциональными и по умолчанию не парсятся, их можно добавить, указав

--columns=reviews,categories,goods,opening_hours,phones

Файл со списком городов

--cities_file="../dist/cities.txt"

Список городов

--cities="Москва,Ростов"

Поисковая фраза

--search="Кафе"

Файл со списком поисковых фраз

--search_file="../dist/cities.txt"

Браузер (safari, chrome)

--driver="safari"

Количество компаний

--count=2000

Файл с результатами

--output="../out/file.json"

Лицензия

GNU General Public License v3.0