대규모로 Google 결과를 가져오려고 시도해 본 적이 있다면, 곧바로 벽에 부딪힙니다: 차단과 CAPTCHA. 그 이유는 요청이 어떤 IP에서 오는가에 있으며, 해결책은 레지덴셜 프록시입니다.
데이터센터 vs 레지덴셜 IP
- 데이터센터 IP는 클라우드/호스팅 제공업체에 속합니다. 저렴하고 빠르지만, 실제 사용자는 서버 팜에서 브라우징하지 않기 때문에 검색 엔진이 이를 빠르게 인식하고 차단합니다.
- 레지덴셜 IP는 ISP가 실제 가정과 휴대폰에 할당합니다. 이를 통한 트래픽은 평범한 소비자처럼 보이므로 신뢰받고 거의 차단되지 않습니다.
레지덴셜 프록시는 요청을 이러한 실제 소비자 IP 중 하나를 통해 라우팅합니다.
SERP API가 이에 의존하는 이유
실제 google.com 결과를 반환하려면, SERP API는 차단되지 않으면서 실시간 페이지를 가져와야 합니다. 레지덴셜 프록시가 이를 가능하게 합니다:
your request → SERP API → residential proxy (real ISP IP) → google.com → results
이것이 여러분이 비용을 지불하는 큰 이유입니다. 자체 레지덴셜 프록시 풀을 운영하는 것은 비싸고 복잡합니다 — Google을 직접 스크래핑하기 어려운 이유를 참고하세요.
이 모든 것을 직접 관리하지 않습니다
SERP API의 가치는 프록시 계층이 보이지 않는다는 데 있습니다. serp.cheap을 사용하면 쿼리를 보내고 JSON을 받습니다 — 레지덴셜 프록싱, 재시도, 파싱은 모두 그쪽에서, 요청당 약 $0.0006에 처리됩니다.