정적 RAG는 “이번 주에 무슨 일이 있었는가”에 답할 수 없습니다. Google Search API로 실시간 웹 검색 단계를 추가하면 LLM을 최신의 인용 가능한 출처에 기반시킬 수 있습니다. serp.cheap을 사용한 패턴은 다음과 같습니다.
아키텍처
user query
→ SERP API search (top N results) ← live, fresh
→ fetch the result pages
→ chunk + embed on the fly
→ retrieve most relevant chunks
→ LLM answers, citing the source URLs1단계 — 최신 출처 가져오기
import requests
def web_sources(query, n=5, gl="us"):
data = requests.post(
"https://api.serp.cheap/v1/search",
headers={"X-API-Key": "YOUR_KEY"},
json={"q": query, "gl": gl},
timeout=30,
).json()
return [
{"title": r["title"], "url": r["link"], "snippet": r.get("snippet", "")}
for r in data["organic"][:n]
]2단계 — 가져오기 및 청킹
각 url을 가져와 본문 텍스트를 추출하고 ~500토큰 청크로 분할합니다. (기존 로더/스플리터 — 예: trafilatura + 텍스트 스플리터 — 를 사용하세요.)
3단계 — 임베딩, 검색, 생성
청크를 임베딩하고, 쿼리에 대한 상위 k개를 검색한 뒤, 출처 URL을 인용하라는 지시와 함께 모델에 전달합니다. 출처가 실시간 SERP에서 왔기 때문에 답변은 권위 있는 페이지들이 현재 말하는 내용을 반영합니다.
여기서 저렴한 SERP API가 중요한 이유
RAG는 모든 쿼리마다 검색을 팬아웃합니다. 최신 검색당 $0.0006(캐시 시 절반)으로, serp.cheap은 답변당 검색 비용을 미미하게 유지합니다. 그리고 반복되는 동일 쿼리는 자동으로 캐시에 적중합니다.
스니펫 전용 빠른 경로
가벼운 기반화에는 페이지 가져오기를 건너뛰고 SERP 제목 + 스니펫을 모델에 직접 공급할 수 있습니다. API 호출 한 번, 크롤링 없음. 더 저렴하며 빠른 사실 답변에는 종종 충분합니다.