ΠΠ°ΡΡΠ΅Ρ Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡ.ΠΠ°ΡΡ, ΡΠΎΠ±ΠΈΡΠ°ΡΡΠΈΠΉ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎΠ± ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΡΡ Π² Π²ΡΠ±ΡΠ°Π½Π½ΠΎΠΉ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΏΠΎΠΈΡΠΊΠ°
ΠΡΠΎ Π΄ΠΎΡΠ°Π±ΠΎΡΠ°Π½Π½Π°Ρ Π²Π΅ΡΡΠΈΡ https://github.com/chernyshov-dp/YMapsGrabber
- Python 3.9
- Selenium + safaridriver
- beautifulsoup4 + lxml
- json
- ΠΠ°Π·Π²Π°Π½ΠΈΠ΅ ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΠΈ
- Id ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΠΈ
- ΠΠΎΡΠΎΠ΄
- ΠΠ΄ΡΠ΅Ρ
- Π‘Π°ΠΉΡ ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΠΈ
- Π§Π°ΡΡ ΡΠ°Π±ΠΎΡΡ (ΠΏΠΎ Π΄Π½ΡΠΌ Π½Π΅Π΄Π΅Π»ΠΈ)
- Π‘ΡΡΠ»ΠΊΠ° Π½Π° ΠΊΠ°ΡΡΠΎΡΠΊΡ ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΠΈ
- ΠΠ΅Π½Ρ/ΡΡΠ»ΡΠ³ΠΈ
- Π Π΅ΠΉΡΠΈΠ½Π³
- ΠΡΠ·ΡΠ²Ρ
- ΠΠΎΠΌΠ΅ΡΠ° ΡΠ΅Π»Π΅ΡΠΎΠ½ΠΎΠ²
git clone git@github.com:redrum0x/YMapsParser.git
cd YMapsParser/grab-grab
pip3 install -r requirements.txt
python3 main.py --cities="ΠΌΠΎΡΠΊΠ²Π°" --search=Π±Π°Π½ΠΊ --count=100 --output="../out/file.json"ΠΠ΅ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠ»Ρ ΡΠ²Π»ΡΡΡΡΡ ΠΎΠΏΡΠΈΠΎΠ½Π°Π»ΡΠ½ΡΠΌΠΈ ΠΈ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ Π½Π΅ ΠΏΠ°ΡΡΡΡΡΡ, ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ, ΡΠΊΠ°Π·Π°Π²
--columns=reviews,categories,goods,opening_hours,phonesΠ€Π°ΠΉΠ» ΡΠΎ ΡΠΏΠΈΡΠΊΠΎΠΌ Π³ΠΎΡΠΎΠ΄ΠΎΠ²
--cities_file="../dist/cities.txt" Π‘ΠΏΠΈΡΠΎΠΊ Π³ΠΎΡΠΎΠ΄ΠΎΠ²
--cities="ΠΠΎΡΠΊΠ²Π°,Π ΠΎΡΡΠΎΠ²" ΠΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΡΠ°Π·Π°
--search="ΠΠ°ΡΠ΅" Π€Π°ΠΉΠ» ΡΠΎ ΡΠΏΠΈΡΠΊΠΎΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΡΠ°Π·
--search_file="../dist/cities.txt" ΠΡΠ°ΡΠ·Π΅Ρ (safari, chrome)
--driver="safari" ΠΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΉ
--count=2000 Π€Π°ΠΉΠ» Ρ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ°ΠΌΠΈ
--output="../out/file.json"