📄 [문서] Playwright을 사용한 스크래핑에 대한 인스타그램 Block 영향도 분석

[Cassiiopeia]

Instagram Playwright 스크래핑 차단 가능성 분석

📌 분석 개요

SociaVault 블로그 글("How to Scrape Instagram Without Getting Blocked")에서 주장하는 Instagram 스크래핑 차단 위험성에 대한 분석 및 MapSee-AI 프로젝트에 대한 적용 가능성 검토

분석 일자: 2026-01-11
관련 프로젝트: MapSee-AI (Instagram 게시글 메타데이터 추출)

---

🔍 SociaVault 블로그 글 분석

글의 성격

• 마케팅 콘텐츠: 자사 API 서비스(SociaVault) 판매 목적
• 타겟 독자: 대량 스크래핑이 필요한 사용자
• 편향점: DIY 스크래핑의 위험성을 과장하여 API 사용 유도

주장하는 차단 사유

차단 방식	설명
Rate limiting	과도한 요청 시 429 에러
Fingerprinting	브라우저/기기 감지
Behavior analysis	비인간적 패턴 감지
IP reputation	데이터센터 IP 차단
Session validation	로그인 상태 검증

글의 문제점

1. 맥락의 차이 무시

   • 글은 프로필 전체 크롤링, 대량 데이터 수집 가정
   • 단일 게시글 URL 처리와는 완전히 다른 상황

2. 비용 비교의 편향

   • DIY: 최대 비용 제시 ($200-500/월)
   • API: 최소 비용 제시 ($49-199/월)

3. 성공률 과장

   • DIY 신뢰성 20-70%로 낮게 제시
   • API 신뢰성 99%+로 높게 제시
   • 실제로는 사용 패턴에 따라 크게 다름

---

🎯 MapSee-AI 프로젝트 현황

현재 구현 상태

구현 방식	파일 위치	상태	용도
yt-dlp	src/services/preprocess/sns.py	활성	메인 파이프라인
Playwright	src/services/scraper/	미완성	테스트 API

Playwright 구현 (InstagramScraper) 동작 방식

URL 입력 → Playwright 브라우저 실행 → 페이지 로드 → og 메타 태그 추출 → 이미지 URL 추출

추출 데이터:

• og:title, og:description, og:image, og:url (메타 태그)
• 작성자, 캡션, 좋아요 수, 댓글 수, 해시태그 (정규식 파싱)
• CDN 이미지 URL (DOM 쿼리)

사용 패턴 특성

• ✅ Public 게시글만 접근 (로그인 불필요)
• ✅ 사용자가 URL 제공할 때만 처리 (대량 요청 아님)
• ✅ og 메타 태그는 Instagram이 의도적으로 노출하는 공개 정보
• ✅ 단일 게시글 단위 처리

---

📊 차단 가능성 평가

위험도 매트릭스

평가 항목	현재 구현	위험도
접근 방식	Public 게시글 단건	🟢 낮음
데이터 추출	og 메타 태그	🟢 매우 낮음
요청 빈도	사용자 요청 시에만	🟢 낮음
브라우저 감지	headless=True (기본)	🟡 중간
로그인 필요	불필요	🟢 낮음

종합 평가: 차단 가능성 낮음

이유:

1. og 메타 태그의 성격

   • Facebook/Twitter 공유용으로 Instagram이 의도적으로 제공
   • 링크 미리보기(Link Preview) 수준의 접근
   • 이를 읽는 것은 "스크래핑"이라기보다 "공개 정보 조회"

2. 요청 패턴

   • 분당 수십 개가 아닌 산발적 요청
   • 사용자 행동 기반 (자동화 대량 수집 아님)

3. 로그인 불필요

   • Private 콘텐츠 접근 시도 없음
   • 계정 기반 추적 불가

---

⚠️ 차단될 수 있는 시나리오

다음 상황에서는 차단 위험 증가:

시나리오	위험도	대응 방안
분당 50+ 요청	🔴 높음	Rate limiting 구현
동일 IP에서 지속적 요청	🟡 중간	요청 간 랜덤 delay
Headless 브라우저 감지	🟡 중간	Stealth mode 적용
데이터센터 IP 사용	🔴 높음	Residential proxy 사용

---

🔧 권장 사항

1. 현재 구현으로 먼저 테스트

# 테스트 방법
# 1. 서버 실행
uv run uvicorn src.main:app --host 0.0.0.0 --port 8001 --reload

# 2. 테스트 API 호출 (10-20개 게시글)
curl -X POST http://localhost:8001/api/test/scrape \
  -H "Content-Type: application/json" \
  -d '{"url": "https://www.instagram.com/p/XXXXX/"}'

테스트 포인트:

• 연속 요청 시 429 에러 발생 여부
• 응답 데이터 정상 추출 여부
• 페이지 로드 실패 빈도

2. 문제 발생 시 Anti-detection 추가

필요한 경우에만 다음 로직 추가:

# 1. 랜덤 delay 추가
import random
import asyncio

async def scrape_with_delay(url):
    await asyncio.sleep(random.uniform(2, 5))  # 2-5초 대기
    return await scrape(url)

# 2. Stealth mode 적용 (playwright-stealth)
from playwright_stealth import stealth_sync

browser = playwright.chromium.launch(headless=True)
page = browser.new_page()
stealth_sync(page)

# 3. 현실적인 User-Agent
context = browser.new_context(
    user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ..."
)

3. 대안 고려 (문제 지속 시)

대안	장점	단점
yt-dlp 유지	이미 구현됨, 안정적	메타데이터 제한적
Instagram Basic Display API	공식 API	사용자 인증 필요
oEmbed API	공식, 무료	제한된 데이터

---

📌 결론

SociaVault 글에 대한 평가

• 대량 스크래핑 상황에서는 유효한 정보
• 단일 게시글 처리에는 과장된 위험 제시
• 마케팅 목적의 편향된 콘텐츠

MapSee-AI에 대한 권장

1. 먼저 테스트 - 현재 구현으로 10-20개 게시글 테스트
2. 문제 발생 시 대응 - Anti-detection 로직 추가
3. 과도한 선제 대응 불필요 - 사용 패턴상 차단 가능성 낮음

핵심 요약

Instagram의 og 메타 태그를 읽는 것은 "스크래핑"이라기보다 "링크 미리보기" 수준이다.
단일 게시글 URL 처리 수준에서는 차단될 가능성이 낮으며,
실제로 문제가 발생하면 그때 대응하는 것이 효율적이다.

---

작성자: Claude (AI Assistant)
참고 자료: SociaVault Blog - "How to Scrape Instagram Without Getting Blocked (2025 Guide)"

[Cassiiopeia]

Guide by SUH-LAB

브랜치

20260111_#6_Playwright을_사용한_스크래핑에_대한_인스타그램_Block_영향도_분석

커밋 메시지

Playwright을 사용한 스크래핑에 대한 인스타그램 Block 영향도 분석 : feat : {변경 사항에 대한 설명} https://github.com/MapSee-Lab/MapSee-AI/issues/6