Если вы когда-нибудь пытались получать результаты Google в больших объёмах, вы быстро упирались в стену: блокировки и CAPTCHA. Причина в том, с какого IP приходит ваш запрос — а решение это резидентные прокси.
Датацентровые против резидентных IP
- Датацентровые IP принадлежат облачным/хостинговым провайдерам. Они дешёвые и быстрые — и поисковые системы распознают и блокируют их быстро, потому что реальные пользователи не выходят в сеть с серверных ферм.
- Резидентные IP выдаются провайдерами реальным домам и телефонам. Трафик через них выглядит как у обычного потребителя, поэтому он вызывает доверие и редко блокируется.
Резидентный прокси направляет ваш запрос через один из таких реальных пользовательских IP.
Почему SERP API зависят от них
Чтобы вернуть настоящие результаты google.com, SERP API должен получить живую страницу без блокировки. Резидентные прокси делают это возможным:
your request → SERP API → residential proxy (real ISP IP) → google.com → resultsЭто значительная часть того, за что вы платите. Содержание собственного пула резидентных прокси дорого и сложно — смотрите почему самостоятельный парсинг Google сложен.
Вы ничем этим не управляете
Ценность SERP API в том, что слой прокси невидим. С serp.cheap вы отправляете запрос и получаете JSON в ответ — резидентное проксирование, повторные попытки и парсинг происходят на их стороне, за ~$0.0006 за запрос.