स्टैटिक RAG यह जवाब नहीं दे सकता कि “इस हफ्ते क्या हुआ।” Google Search API के साथ एक लाइव वेब-सर्च चरण जोड़ना आपके LLM को मौजूदा, उद्धृत करने योग्य स्रोतों पर आधारित करता है। यहाँ है वह पैटर्न, serp.cheap का उपयोग करते हुए।
आर्किटेक्चर
user query
→ SERP API search (top N results) ← live, fresh
→ fetch the result pages
→ chunk + embed on the fly
→ retrieve most relevant chunks
→ LLM answers, citing the source URLsचरण 1 — ताज़ा स्रोत प्राप्त करें
import requests
def web_sources(query, n=5, gl="us"):
data = requests.post(
"https://api.serp.cheap/v1/search",
headers={"X-API-Key": "YOUR_KEY"},
json={"q": query, "gl": gl},
timeout=30,
).json()
return [
{"title": r["title"], "url": r["link"], "snippet": r.get("snippet", "")}
for r in data["organic"][:n]
]चरण 2 — फेच और चंक करें
प्रत्येक url को फेच करें, मुख्य टेक्स्ट निकालें, ~500-टोकन के चंक में विभाजित करें। (अपने मौजूदा लोडर/स्प्लिटर का उपयोग करें — जैसे trafilatura + एक टेक्स्ट स्प्लिटर।)
चरण 3 — एम्बेड, रिट्रीव, जनरेट करें
चंक को एम्बेड करें, क्वेरी के लिए टॉप-k रिट्रीव करें, और उन्हें मॉडल को इस निर्देश के साथ पास करें कि स्रोत URLs उद्धृत करे। चूँकि स्रोत लाइव SERP से आए हैं, इसलिए जवाब यह दर्शाता है कि आधिकारिक पेज वर्तमान में क्या कहते हैं।
यहाँ सस्ता SERP API क्यों मायने रखता है
RAG हर क्वेरी पर एक सर्च फैलाता है। प्रति ताज़ा सर्च $0.0006 पर (कैश होने पर आधा), serp.cheap प्रति-जवाब रिट्रीवल लागत को नगण्य रखता है — और बार-बार आने वाली समान क्वेरीज़ अपने आप कैश हिट करती हैं।
केवल-स्निपेट तेज़ रास्ता
हल्के ग्राउंडिंग के लिए आप पेज फेच करना छोड़ सकते हैं और मॉडल को सीधे SERP टाइटल + स्निपेट दे सकते हैं — एक API कॉल, कोई क्रॉलिंग नहीं। यह सस्ता है और अक्सर त्वरित तथ्यात्मक जवाबों के लिए पर्याप्त है।