🙋 धडा 09 — Hallucinations: कधीच "मला माहीत नाही" न म्हणणारे मूल

📍 तुम्ही इथे आहात: 12 पैकी धडा 09 · मागे: lesson-08-prompting-context · पुढे: lesson-10-rag

📦 या ब्रँचमध्ये काय आहे

धडे 01–08, आणि कोणत्याही model च्या output वर विश्वास ठेवण्याआधी तुम्हाला समजलेच पाहिजे असे अपयश: hallucination — सफाईदार, आत्मविश्वासू, चुकीचे.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

प्रत्येक वर्गात एक मूल असते 🙋 जे प्रत्येक प्रश्नाचे उत्तर लगेच देते, परिपूर्ण वाक्यांत, आत्मविश्वासाने चमकत… आणि कधीकधी पूर्णपणे चुकीचे असते. त्याला Mongolian चाच्यांवरचे पुस्तक विचारा आणि ते एक सुचवेल — शीर्षक, लेखक, पानसंख्या — जे अस्तित्वातच नाही.

मुख्य गोष्ट ही: ते खोटे बोलत नाही. आत डोकावून पाहा (आता तुम्ही पाहू शकता!):

त्याचे संपूर्ण कौशल्य म्हणजे शक्य वाटणारे पुढचे वाक्य (धडा 05). training च्या लाल पेनने (धडा 02) plausible ला बक्षीस दिले, खरे कधीच तपासले नाही — सत्य कधीच loss मध्ये नव्हते.
जे त्याच्या desk वर नाही (धडा 08) आणि त्याच्या ग्रंथालयात अगदी थोडेच आहे (धडा 07) त्याबद्दल विचारले, तर "a book about Mongolian pirates is…" चे सर्वात शक्य पुढचे वाक्य म्हणजे खरे वाटणारे शीर्षक. सुंदर गद्य लिहिणारी तीच यंत्रणा सुंदर खोटे हवालेही लिहिते — hallucination हा यंत्रातला बिघाड नाही, ते यंत्र स्वतःच आहे, एका पोकळीकडे वळवलेले.
आणि RLHF च्या सोनेरी ताऱ्यांनी (धडा 07) हे आणखी अवघड केले: माणसांना आत्मविश्वासू उत्तरे आवडतात, म्हणून "hmm, मला खात्री नाही" हे training मध्ये खाली गेले. 😬

खरोखर काम करणारे बचाव:

उघडे पुस्तक बंद पुस्तकापेक्षा सरस — facts desk वर ठेवा (ते paste करा, किंवा ते स्वयंचलित करा: RAG, पुढचा धडा). समोर असलेल्या text बद्दल models खूप जास्त सत्य बोलतात.
पावत्या मागा: "ज्या नेमक्या वाक्यावर हे आधारलेले आहे ते quote करा" — बोट ठेवायला सांगितले की बनाव लाजतात.
माहीत नसण्याची परवानगी द्या: "खात्री नसेल तर तसे सांगा" खरोखर मदत करते.
जोखमीचा नियम: ज्यावर तुम्ही कृती कराल ते सगळे तपासा — नावे, आकडे, तारखा, हवाले, कायदे, औषधांचे डोस. सफाई हा पुरावा नाही.

🗺️ आकृती

flowchart LR
    q["❓ question about<br/>something thin/absent<br/>in library + desk"]
    m["🧠 the machine: produce the<br/>LIKELIEST continuation<br/>(truth was never in the loss)"]
    h["🙋 fluent, confident,<br/>WRONG - fake title,<br/>fake citation, fake API"]
    d1["📖 open-book: facts on the desk (RAG →)"]
    d2["🧾 ask for quotes/receipts"]
    d3["🤷 permission to say 'not sure'"]
    q --> m -->|"1 the gap gets filled<br/>with plausibility"| h
    d1 -.->|"2 defenses"| m
    d2 -.-> m
    d3 -.-> m

❓ काय

Hallucination = fact पासून तुटलेला आत्मविश्वासू output: हवाले, कायदेशीर खटले, APIs, माणसे, किमती. सर्वात जास्त धोका: ग्रंथालयाच्या पातळ शेल्फवरचे तपशील; सर्वात कमी: तुम्ही दिलेल्या text वरचे reasoning.
सफाई आणि सत्य यांची फारकत: likelihood ≈ text कसा वाटतो, ते खरे आहे की नाही हे नव्हे. model एकाच वेळी तुम्ही ओळखत असलेल्या कोणत्याही माणसापेक्षा जास्त स्पष्ट बोलणारा आणि कमी विश्वासार्ह असू शकतो.
प्रत्यक्ष वापरातील उपाय: retrieval/grounding (धडा 10), हवाल्यांचे UI, self-check passes, facts च्या कामांसाठी temperature ↓, आणि जिथे जोखीम खरी आहे तिथे human review gates.
सुधारणा ≠ सुटका: नवे models कमी hallucinate करतात, पण यंत्रणा रचनेतच आहे. त्यानुसार design करा.

🤔 का

"AI ने कोणाची तरी फजिती केली" अशी प्रत्येक गोष्ट — रचलेले court cases, खोट्या refund policies, काल्पनिक APIs — म्हणजे हा धडा दुर्लक्षित करणे. आता तुमच्याकडे योग्य मानसिक model आहे: "हुशार पण कधीकधी bug असलेले" नव्हे तर आत कोणताही सत्य-तपासक नसलेले plausibility engine — facts समोर असताना थक्क करणारे (म्हणून ते समोर ठेवा!), एकट्याने तपशील आठवायला सांगितले तर धोकादायक.

🧪 करून पाहा (कोणताही chatbot — hallucination ची शिकार)

1) "List 3 books about the history of Mongolian pirates, with authors."
   (a thin-shelf topic — watch for beautiful inventions; then verify one)
2) Paste any article → "Using ONLY this text, answer: …, and quote the
   sentence that supports it."   ← watch reliability jump: open book!
3) "What does the Python function os.path.smoothjoin() do? If it
   doesn't exist, say so."       ← the permission clause at work

⏭️ पुढे

बचाव #1 — योग्य facts desk वर ठेवणे — याला स्वतःचे यंत्र हवे. स्वयंचलित open-book परीक्षा: RAG.

git checkout lesson-10-rag

🙋 Lesson 09 — Hallucinations: the kid who never says "I don't know"

📍 You are here: Lesson 09 of 12 · Previous: lesson-08-prompting-context · Next: lesson-10-rag

📦 What's in this branch

Lessons 01–08, plus the failure mode you MUST understand before trusting any model output: hallucination — fluent, confident, wrong.

🧒 Explain like I'm 5

There's a kid in every class 🙋 who answers EVERY question instantly, in perfect sentences, beaming with confidence… and is sometimes completely wrong. Ask him for a book about Mongolian pirates and he'll recommend one — title, author, page count — that does not exist.

Here's the key: he isn't lying. Look inside (you now can!):

His whole skill is likely-sounding continuation (lesson 05). The training red pen (lesson 02) rewarded plausible, never checked true — truth was never in the loss.
Asked about something not on his desk (lesson 08) and only thinly in his library (lesson 07), the most likely continuation of "a book about Mongolian pirates is…" is a realistic-sounding title. The same machinery that writes lovely prose writes lovely fake citations — hallucination isn't a glitch in the machine, it is the machine, pointed at a gap.
And RLHF's gold stars (lesson 07) made things trickier: humans prefer confident answers, so "hmm, I'm not sure" got trained down. 😬

Defenses that actually work:

Open-book beats closed-book — put the facts ON the desk (paste them, or automate that: RAG, next lesson). Models are far more truthful about text in front of them.
Ask for receipts: "quote the exact sentence you're basing this on" — fabrications get shy when asked to point.
Give permission to not know: "if unsure, say so" genuinely helps.
The stakes rule: verify anything you'd act on — names, numbers, dates, citations, laws, dosages. Fluency is NOT evidence.

🗺️ Diagram

flowchart LR
    q["❓ question about<br/>something thin/absent<br/>in library + desk"]
    m["🧠 the machine: produce the<br/>LIKELIEST continuation<br/>(truth was never in the loss)"]
    h["🙋 fluent, confident,<br/>WRONG - fake title,<br/>fake citation, fake API"]
    d1["📖 open-book: facts on the desk (RAG →)"]
    d2["🧾 ask for quotes/receipts"]
    d3["🤷 permission to say 'not sure'"]
    q --> m -->|"1 the gap gets filled<br/>with plausibility"| h
    d1 -.->|"2 defenses"| m
    d2 -.-> m
    d3 -.-> m

❓ What

Hallucination = confident output unmoored from fact: citations, legal cases, APIs, people, prices. Highest risk: specifics from the library's thin shelves; lowest: reasoning over text you supplied.
Fluency–truth decoupling: likelihood ≈ how text sounds, not whether it's so. A model can be simultaneously more articulate and less reliable than any human you know.
Mitigations in production: retrieval/grounding (lesson 10), citations UI, self-check passes, temperature ↓ for factual tasks, and human review gates where stakes are real.
Getting better ≠ solved: newer models hallucinate less, but the mechanism is structural. Design for it.

🤔 Why

Every "AI embarrassed someone" story — invented court cases, fake refund policies, imaginary APIs — is this lesson ignored. You now hold the correct mental model: not "smart but occasionally buggy" but plausibility engine with no built-in truth-checker — astonishing with facts in view (so put them in view!), dangerous when asked to recall specifics alone.

🧪 Try it (any chatbot — hallucination hunting)

1) "List 3 books about the history of Mongolian pirates, with authors."
   (a thin-shelf topic — watch for beautiful inventions; then verify one)
2) Paste any article → "Using ONLY this text, answer: …, and quote the
   sentence that supports it."   ← watch reliability jump: open book!
3) "What does the Python function os.path.smoothjoin() do? If it
   doesn't exist, say so."       ← the permission clause at work

⏭️ Next

Defense #1 — putting the right facts on the desk — deserves its own machine. The open-book exam, automated: RAG.

git checkout lesson-10-rag

← Previousprompting context Next →rag

This page is the lesson's README from the lesson-09-hallucinations branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.