📖 धडा 10 — RAG: स्वयंचलित open-book परीक्षा

📍 तुम्ही इथे आहात: 12 पैकी धडा 10 · मागे: lesson-09-hallucinations · पुढे: lesson-11-agents

📦 या ब्रँचमध्ये काय आहे

धडे 01–09, आणि उद्योगात सर्वात जास्त deploy झालेला AI नमुना: Retrieval-Augmented Generation — धडा 04 चा बैठक-तक्ता आणि धडा 08 चे desk, एकत्र काम करताना.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

परीक्षेच्या दोन पद्धती:

बंद पुस्तक 🧠: आठवणीतून उत्तर द्या. आपले हुशार मूल प्रसिद्ध विषयांवर ठीक करते आणि पातळ विषयांवर पुस्तकांची शीर्षके रचते (धडा 09).
उघडे पुस्तक 📖: योग्य पाने desk वर असतात; मूल वाचून उत्तर देते. खूपच जास्त विश्वासार्ह — आणि ते ओळीवर बोट ठेवू शकते.

अडचण: तुमच्या कंपनीचे handbook 4,000 पानांचे आहे; desk (धडा 08!) वर चाळीस मावतात. संपूर्ण पुस्तक desk वर ठेवता येत नाही. आता येतो बैठक-तक्ता असलेला ग्रंथपाल — RAG:

परीक्षेच्या हंगामाआधी (एकदाच): प्रत्येक document चे chunks करा आणि प्रत्येकाला अर्थ-जागा द्या — एक embedding (धडा 04). त्या जागा एका vector database मध्ये साठवा.
प्रश्न आल्यावर: प्रश्नही embed करा → त्याच्या सर्वात जवळ बसलेले chunks शोधा (सारखा अर्थ = बहुधा संबंधित — शुद्ध धडा-04 ची भूमिती, keywords ची गरज नाही).
पुस्तक त्या पानांवर उघडा: वरचे chunks प्रश्नाशेजारी desk वर paste करा — "फक्त हे उतारे वापरून उत्तर द्या, आणि कोणता उतारा ते हवाला द्या."
मूल पानांवरून उत्तर देते, पावत्यांसह. 🧾

handbook मध्ये नवे पान? आज रात्री re-index करा — उद्या मुलाला ते "माहीत" असते. fine-tuning शी तुलना करा (धडा 07): शिष्टाचार वर्गाचे महिने FACTS विश्वासार्हपणे जोडू शकत नाहीत. बदलणारे किंवा बाहेरचे facts → RAG; स्थिर वागणूक किंवा style → fine-tuning. हा ढोबळ नियम आहे — कायदा नाही.

🗺️ आकृती

flowchart LR
    subgraph prep["1 before exam season - indexing, once"]
        docs["📚 4,000-page handbook"]
        chunks["✂️ chunks"]
        vdb["🗺️ vector DB<br/>every chunk gets a meaning-seat"]
        docs --> chunks --> vdb
    end
    q["❓ question"]
    near["📍 nearest seats =<br/>most relevant chunks"]
    desk["🪑 the desk:<br/>question + those chunks +<br/>'answer ONLY from these, cite'"]
    a["✅ grounded answer<br/>with receipts 🧾"]
    q -->|"2 embed the question"| vdb
    vdb -->|"3"| near --> desk -->|"4"| a

❓ काय

Pipeline: chunk (आकार/overlap महत्त्वाचे!) → embed → store → retrieve top-k → prompt मध्ये भरा → हवाल्यांसह generate करा.
Vector DB: मोठ्या प्रमाणावरचे जागांचे सभागृह (pgvector, Pinecone, Chroma…) — लाखो chunks वर जलद nearest-neighbor search. प्रत्यक्ष वापरातील टीप: hybrid search (अर्थ + जुन्या पद्धतीचे keywords) दोन्हींपैकी एकट्यापेक्षा सरस; एक reranker pass top-k अधिक धारदार करतो.
कचरा-आत नियम: RAG ची उत्तरे retrieval इतकीच चांगली असतात — जर योग्य chunk आणला गेला नाही, तर model पुन्हा बंद-पुस्तकावर येतो (आणि धडा 09 घडतो). retrieval स्वतंत्रपणे तपासा!
विरुद्ध fine-tuning: RAG = ताजे, तपासता येणारे, प्रत्येक-प्रश्नाचे ज्ञान; tuning = आत भाजलेली style/format. विरुद्ध long context: सगळे paste करणे एका मर्यादेपर्यंत चालते — खर्च, latency आणि lost-in-the-middle (धडा 08) तुम्हाला पुन्हा retrieval कडे आणतात.

🤔 का

"तुमच्या docs शी chat करा / आमच्या policies माहीत असलेला support bot / खरोखर समजणारा search" — हे RAG आहे, आणि बहुतेक कंपन्यांची पहिली खरी AI निर्मिती हीच असते. प्रत्येक टप्पा आता तुम्हाला मूलतत्त्वांपासून समजतो: जागा म्हणजे धडा 04, desk म्हणजे धडा 08, का म्हणजे धडा 09. stack मधील काहीही आता जादू नाही.

🧪 करून पाहा (हाताने RAG — retriever तुम्ही आहात)

1) Pick a long doc the model can't know (your team wiki, a recent PDF).
2) Ask about it WITHOUT pasting → watch closed-book guessing (L09).
3) Now find the 2 relevant paragraphs yourself, paste them + "answer
   ONLY from these excerpts, cite which one" → night and day.

तुम्ही आत्ताच pipeline हाताने चालवली — step 3 embeddings ने स्वयंचलित करणे म्हणजेच product. (खरे बांधा: pgvector किंवा Chroma सह ~30 ओळी.)

⏭️ पुढे

वाचणे म्हणजे करणे नव्हे. विद्यार्थ्याला to-do यादी, hall pass आणि खरी tools द्या — agents: कृती करणारा loop.

git checkout lesson-11-agents

📖 Lesson 10 — RAG: the open-book exam, automated

📍 You are here: Lesson 10 of 12 · Previous: lesson-09-hallucinations · Next: lesson-11-agents

📦 What's in this branch

Lessons 01–09, plus the most-deployed AI pattern in industry: Retrieval-Augmented Generation — lesson 04's seating chart and lesson 08's desk, working together.

🧒 Explain like I'm 5

Two exam styles:

Closed-book 🧠: answer from memory. Our brilliant kid does fine on famous topics and invents book titles on thin ones (lesson 09).
Open-book 📖: the right pages are ON the desk; the kid reads and answers. Dramatically more reliable — and he can point to the line.

Problem: your company's handbook is 4,000 pages; the desk (lesson 08!) holds forty. You can't put the whole book on the desk. Enter the librarian with the seating chart — RAG:

Before exam season (once): cut every document into chunks and give each a meaning-seat — an embedding (lesson 04). Store the seats in a vector database.
When a question arrives: embed the QUESTION too → find the chunks seated nearest to it (similar meaning = probably relevant — pure lesson-04 geometry, no keywords needed).
Open the book to those pages: paste the top chunks onto the desk next to the question — "Using ONLY these excerpts, answer, and cite which excerpt."
The kid answers from the pages, with receipts. 🧾

New handbook page? Re-index tonight — the kid "knows" it tomorrow. Compare fine-tuning (lesson 07): months of etiquette classes can't reliably add FACTS. Changing or external facts → RAG; stable behaviour or style → fine-tuning. The rule of thumb — not a law.

🗺️ Diagram

flowchart LR
    subgraph prep["1 before exam season - indexing, once"]
        docs["📚 4,000-page handbook"]
        chunks["✂️ chunks"]
        vdb["🗺️ vector DB<br/>every chunk gets a meaning-seat"]
        docs --> chunks --> vdb
    end
    q["❓ question"]
    near["📍 nearest seats =<br/>most relevant chunks"]
    desk["🪑 the desk:<br/>question + those chunks +<br/>'answer ONLY from these, cite'"]
    a["✅ grounded answer<br/>with receipts 🧾"]
    q -->|"2 embed the question"| vdb
    vdb -->|"3"| near --> desk -->|"4"| a

❓ What

Pipeline: chunk (size/overlap matter!) → embed → store → retrieve top-k → stuff into prompt → generate with citations.
Vector DB: the hall of seats at scale (pgvector, Pinecone, Chroma…) — fast nearest-neighbor search over millions of chunks. Production tip: hybrid search (meaning + old-school keywords) beats either alone; a reranker pass sharpens the top-k.
Garbage-in rule: RAG answers are only as good as retrieval — if the right chunk isn't fetched, the model is back to closed-book (and lesson 09 happens). Evaluate retrieval separately!
vs fine-tuning: RAG = fresh, auditable, per-question knowledge; tuning = baked-in style/format. vs long context: pasting everything works to a point — cost, latency and lost-in-the-middle (lesson 08) bring you back to retrieval.

🤔 Why

"Chat with your docs / support bot that knows OUR policies / search that actually understands" — that's RAG, and it's most companies' first real AI build. You now understand every stage from first principles: the seats are lesson 04, the desk is lesson 08, the why is lesson 09. Nothing in the stack is magic anymore.

🧪 Try it (manual RAG — you are the retriever)

1) Pick a long doc the model can't know (your team wiki, a recent PDF).
2) Ask about it WITHOUT pasting → watch closed-book guessing (L09).
3) Now find the 2 relevant paragraphs yourself, paste them + "answer
   ONLY from these excerpts, cite which one" → night and day.

You just ran the pipeline by hand — automating step 3 with embeddings IS the product. (Build it for real: ~30 lines with pgvector or Chroma.)

⏭️ Next

Reading is not doing. Give the student a to-do list, a hall pass and real tools — agents: the loop that acts.

git checkout lesson-11-agents

← Previoushallucinations Next →agents

This page is the lesson's README from the lesson-10-rag branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.