定番の「PythonでGoogleをスクレイピングする」チュートリアルは、まず requests + BeautifulSoup に手を伸ばし、次にSelenium、そしてプロキシ料金の請求書へと進みます。それをすべて省きましょう。APIコール1回で、Googleの結果を構造化JSONとして取得でき、自前でやる場合に必要なプロキシよりも安上がりです。
Pythonでの自前スクレイピングが高くつく理由
- IPブロック — GoogleはデータセンターのIPをほぼ即座にブロックします。ローテーションするレジデンシャルプロキシが必要です。
- Seleniumの負担 — 動的コンテンツによってヘッドレスChromeに追いやられ、大規模になると遅くメモリを大量に消費します。
- CAPTCHA — 量によってトリガーされ、解決サービスには実費がかかります。
- セレクタの劣化 — GoogleのDOMが変化し、
soup.select(...)が静かに何も返さなくなります。
安い方法: リクエスト1回
import os, requests
res = requests.post(
"https://api.serp.cheap/v1/search",
headers={"X-API-Key": os.environ["SERP_CHEAP_API_KEY"]},
json={"q": "best crm software", "gl": "us"},
)
for r in res.json()["organic"]:
print(f'{r["position"]:2}. {r["title"]}\n {r["link"]}')プロキシも、ブラウザも、パーサーもありません。レジデンシャルIP、ライブレンダリング、パースはプロバイダーが処理します。
または公式SDKを使う
pip install serpcheapfrom serpcheap import SerpCheap
client = SerpCheap(os.environ["SERP_CHEAP_API_KEY"])
res = client.search(q="best crm software", gl="us")
print(res.organic[0].title)
# paginate to 100 results
for page in client.search_pages(q="best crm software", from_=1, to=5):
for r in page.organic:
print(r.position, r.title)フレームワーク上で構築していますか? Django(pip install serpcheap-django)とFastAPI(pip install serpcheap-fastapi)の連携があります。詳しい手順はPythonチュートリアルをご覧ください。
料金
| 1クエリあたりの料金 | |
|---|---|
| フレッシュ結果 | $0.0006 |
| キャッシュ結果 | $0.0003 |
| 登録時の無料枠 | 100件の検索 |
従量課金は$0.75/1kから、クレジットは12か月間有効 — レジデンシャルプロキシのリクエスト1回分よりも安いです。最も安いSERP APIの比較をご覧ください。
よく使うパラメータ
gl— 結果の対象国。国別ローカルSEOを参照。hl— インターフェース言語。page— 1始まり。100件までのページネーションを参照。tbs— 最新の結果を取得する期間フィルター。
次のステップ
serp.cheapを試す
スニペットを貼り付け、キーを追加すれば、PythonからGoogleをスクレイピングできます。登録時に100件の無料検索 — カード不要。以降は$0.75/1kからの従量課金で、クレジットは12か月間有効です。
- 無料APIキーを取得する →
- カード払いがお好みですか? serp.cheapはRapidAPI(約$0.90/1k)とApify(約$1.50/1k)でもご利用いただけます。