🎲 धडा 05 — Next-token prediction: वाक्य पूर्ण करण्याचा खेळ

📍 तुम्ही इथे आहात: 12 पैकी धडा 05 · मागे: lesson-04-embeddings · पुढे: lesson-06-attention

📦 या ब्रँचमध्ये काय आहे

धडे 01–04, आणि प्रत्येक LLM च्या केंद्रातील धक्कादायक सत्य: संपूर्ण काम म्हणजे पुढचा puzzle तुकडा ओळखणे — पुन्हा पुन्हा. खरी file: demo/bigram_model.py — आज temperature dial हा मुख्य नायक आहे.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

शिक्षिका एक खेळ खेळते: "The dog chased the ___". प्रत्येक मूल ओरडून अंदाज सांगते — cat! ball! mailman! LLM नेमका हाच खेळ खेळतो, आणि दुसरे काहीही नाही. एक फेरी अशी चालते:

आतापर्यंतचे सगळे तुकडे वाचा (prompt + लिहिलेले सगळे).
vocabulary मधील प्रत्येक तुकड्यासाठी गुण काढा — सगळे ~100,000 — "प्रत्येक पुढे येण्याची शक्यता किती?": cat 24%, ball 17%, car 9%, … stapler 0.0001%.
एक निवडा — आणि हा आहे स्वभावाचा dial 🎛️:
- Temperature ≈ 0: नेहमी सर्वात वरचा अंदाज घ्या. सुरक्षित, सातत्यपूर्ण, थोडा कंटाळवाणा. (code आणि facts साठी हेच हवे.)
- Temperature ≈ 1: शक्यतांनुसार sample करा — बहुतेक वेळा शक्य ते, मधूनच आश्चर्य. (नैसर्गिक गद्य.)
- Temperature ↑ 2: कमी शक्यतेचे तुकडे वारंवार जिंकतात. सर्जनशील → बेताल.
निवडलेला तुकडा जोडा, step 1 वर जा. प्रत्येक फेरीत एक तुकडा — म्हणूनच उत्तरे शब्दामागून शब्द stream होतात; तुम्ही अक्षरशः loop फिरताना पाहत असता.

"पण ते फक्त text चा अंदाज करते!" — हो, AND: physics च्या प्रश्नानंतर "...therefore the answer is" चा पुढचा तुकडा ओळखण्यासाठी, यंत्रणेत भरपूर physics साठवावी लागते. मोठ्या प्रमाणावरच्या अंदाजाने शांतपणे समजुतीसारख्या क्षमता विकत घेतल्या. हेच आधुनिक AI चे मोठे आश्चर्य. 🤯

🗺️ आकृती

flowchart LR
    ctx["📝 pieces so far<br/>'The dog chased the'"]
    m["🧠 model"]
    probs["📊 scores for ALL pieces<br/>cat 24% · ball 17% ·<br/>car 9% · … stapler ~0%"]
    dial["🎛️ temperature<br/>0: top pick, more deterministic<br/>1: sample the odds, balanced<br/>2: more random"]
    pick["🧩 picked: 'cat'"]
    ctx --> m -->|"1 one full scoreboard"| probs -->|"2 sample"| dial --> pick
    pick -->|"3 glue on, repeat -<br/>this is why answers STREAM"| ctx

❓ काय

output layer खरोखरच प्रत्येक step ला संपूर्ण vocabulary वरची probability असतो; training चा loss (धडा 02) = "खऱ्या next token मुळे तुम्हाला किती आश्चर्य वाटले?" — लाल पेन आणि हा खेळ एकच गोष्ट आहेत.
Sampling knobs: temperature (शक्यता धारदार/सपाट करणे), top-p / top-k (फक्त शक्य वाटणाऱ्या छोट्या यादीतून sample करणे). Determinism ≈ temperature 0 (तरीही प्रत्यक्षात पूर्ण खात्री नाही).
सगळे generation आहे: उत्तर देणे, भाषांतर, "reasoning", नकार देणे — सगळे फक्त वेगवेगळ्या context मधला संभाव्य-पुढचा-तुकडा. Chat models हे base models पेक्षा फक्त एवढ्याच बाबतीत वेगळे असतात की त्यांना कोणता text संभाव्य वाटावा असे घडवले आहे (धडा 07).
खर्च/वेग थेट यातूनच येतात: N output tokens = N पूर्ण scoreboard गणना — म्हणूनच लांब उत्तरे महाग पडतात आणि हळू stream होतात.

🤔 का

हाच सर्वात मोठा गूढ-उकलणारा धडा आहे. "ते कधीकधी वेगवेगळी उत्तरे का देते?" (sampling). "ते जोरात सुरू होऊन मग भरकटते का?" (प्रत्येक निवड पुढच्या निवडीवर परिणाम करते). "चुकीचे facts इतके सफाईदार का वाटतात?" (सफाई हीच likelihood आहे — सत्य loss मध्ये नसते; धडा 09 तो धागा ओढतो). प्रत्येक AI playground मधील प्रत्येक knob आता तुम्हाला पूर्ण समजलेल्या खेळावरचा knob आहे.

🧪 करून पाहा

python3 demo/bigram_model.py

हे तीन वेळा चालवा. Temperature 0.01 स्वतःला शब्दशः पुन्हा सांगते; 1.0 समजूतदारपणे बदलते; 2.0 विचित्र होते. तोच "मेंदू", वेगळा dial — आता तुमच्या आवडत्या chatbot मध्ये temperature setting का असते आणि ती आतून काय करते, हे तुम्हाला माहीत आहे.

⏭️ पुढे

एक पोकळी: "the dog that chased the cat which climbed the…" याला model वजन कसे देतो? या अंदाजासाठी आधीचे कोणते तुकडे महत्त्वाचे? Attention — इकडे-तिकडे पाहण्याची ती युक्ती जिने सगळे बदलले.

git checkout lesson-06-attention

🎲 Lesson 05 — Next-token prediction: the sentence-completion game

📍 You are here: Lesson 05 of 12 · Previous: lesson-04-embeddings · Next: lesson-06-attention

📦 What's in this branch

Lessons 01–04, plus the shocking truth at the center of every LLM: the entire job is guess the next puzzle piece — repeated. Real file: demo/bigram_model.py — the temperature dial is the star today.

🧒 Explain like I'm 5

The teacher plays a game: "The dog chased the ___". Every kid shouts a guess — cat! ball! mailman! An LLM plays exactly this game, and nothing else. One round works like this:

Read all the pieces so far (the prompt + everything written).
Produce a score for EVERY piece in the vocabulary — all ~100,000 — "how likely is each to come next?": cat 24%, ball 17%, car 9%, … stapler 0.0001%.
Pick one — and here's the personality dial 🎛️:
- Temperature ≈ 0: always take the top guess. Safe, consistent, a bit boring. (What you want for code and facts.)
- Temperature ≈ 1: sample by the odds — mostly-likely with surprises. (Natural prose.)
- Temperature ↑ 2: underdog pieces win often. Creative → unhinged.
Glue the picked piece on, go to step 1. One piece per round — that's why answers stream word by word; you're literally watching the loop spin.

"But it just predicts text!" — yes, AND: to predict the next piece of "...therefore the answer is" after a physics problem, the machinery must encode a lot of physics. Prediction at scale quietly bought understanding-shaped abilities. That's THE surprise of modern AI. 🤯

🗺️ Diagram

flowchart LR
    ctx["📝 pieces so far<br/>'The dog chased the'"]
    m["🧠 model"]
    probs["📊 scores for ALL pieces<br/>cat 24% · ball 17% ·<br/>car 9% · … stapler ~0%"]
    dial["🎛️ temperature<br/>0: top pick, more deterministic<br/>1: sample the odds, balanced<br/>2: more random"]
    pick["🧩 picked: 'cat'"]
    ctx --> m -->|"1 one full scoreboard"| probs -->|"2 sample"| dial --> pick
    pick -->|"3 glue on, repeat -<br/>this is why answers STREAM"| ctx

❓ What

The output layer really is a probability over the whole vocabulary, every step; training's loss (lesson 02) = "how surprised were you by the true next token?" — the red pen and the game are the same thing.
Sampling knobs: temperature (sharpen/flatten the odds), top-p / top-k (only sample from the plausible shortlist). Determinism ≈ temperature 0 (still not perfectly guaranteed in practice).
Everything is generation: answering, translating, "reasoning", refusing — all just likely-next-piece under different contexts. Chat models differ from base models only in what text they were shaped to find likely (lesson 07).
Cost/speed follow directly: N output tokens = N full scoreboard computations — why long answers cost more and stream slowly.

🤔 Why

This is THE demystifier. "Why does it sometimes give different answers?" (sampling). "Why does it start strong then ramble?" (each pick conditions the next). "Why do wrong facts sound so fluent?" (fluency IS likelihood — truth isn't in the loss; lesson 09 pulls that thread). Every knob in every AI playground is now a knob on a game you fully understand.

🧪 Try it

python3 demo/bigram_model.py

Run it three times. Temperature 0.01 repeats itself verbatim; 1.0 varies sensibly; 2.0 gets weird. Same "brain", different dial — now you know why your favorite chatbot has a temperature setting, and what it does, from the inside.

⏭️ Next

One gap: HOW does the model weigh "the dog that chased the cat which climbed the…"? Which earlier pieces matter for THIS guess? Attention — the glancing-around trick that changed everything.

git checkout lesson-06-attention

← Previousembeddings Next →attention

This page is the lesson's README from the lesson-05-next-token branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.