🗣️ धडा 08 — Prompting आणि context window: ग्रंथपाल आणि छोटे desk

📍 तुम्ही इथे आहात: 12 पैकी धडा 08 — भाग 2 सुरू! · मागे: lesson-07-rlhf-lora · पुढे: lesson-09-hallucinations

📦 या ब्रँचमध्ये काय आहे

धडे 01–07, आणि प्रत्येक AI संवाद घडवणाऱ्या किंवा बिघडवणाऱ्या दोन गोष्टी: तुम्ही कसे विचारता (prompting) आणि desk वर किती मावते (context window).

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

ग्रंथपाल 🗣️: जवळ जाऊन फक्त "पुस्तके?" म्हणा — तुम्हाला काहीतरी random मिळेल. म्हणा "मला ज्वालामुखींवरची तीन नवशिक्यांना सोपी पुस्तके हवी आहेत, 10 वर्षांच्या मुलासाठी, रोमांचक, आणि प्रत्येक का निवडले ते सांगा" — तुम्हाला नेमके तेच मिळते. तोच ग्रंथपाल, खूपच वेगळा परिणाम. model ने सगळे वाचले आहे आणि ते कोणाचीही नक्कल करू शकते; त्याच्या हजार रूपांपैकी कोणते समोर येईल ते तुमचा prompt ठरवतो. ही कला:

कोण व्हायचे ते सांगा: "You are a strict code reviewer" (role).
नेमके काय हवे ते सांगा: format, लांबी, वाचक, अटी.
फक्त सांगू नका, दाखवा: तुम्हाला हव्या असलेल्या output ची एक-दोन उदाहरणे (few-shot) वर्णनाच्या परिच्छेदांपेक्षा सरस ठरतात.
विचार करायला जागा द्या (अनेक steps चे प्रश्न): "आधी काम दाखवा, मग उत्तर" — आठवा धडा 05: प्रत्येक लिहिलेला token पुढच्यावर परिणाम करतो, म्हणून reasoning लिहिणे म्हणजे अक्षरशः चांगल्या उत्तरांकडे जाणारा उतार बांधणे.

छोटे desk 🪑: ग्रंथपाल हुशार आहे पण desk वर फक्त N पाने मावतात (context window — धडा 03 च्या tokens मध्ये मोजलेली!). सगळे — तुमच्या सूचना, आतापर्यंतचे संभाषण, paste केलेले documents, लिहिले जात असलेले उत्तर — त्या एकाच desk वर मावले पाहिजे. एक नवे पान सरकवा आणि एक जुने पान खाली सरकते (म्हणूनच लांब chats सुरुवात "विसरतात"). आणि खूप गर्दीचे desk विश्वासार्हपणे वापरणे अवघड असते — models ना बहुतेकदा सुरुवात आणि शेवट सर्वात चांगले आठवतात ("lost in the middle" हा मोजलेला परिणाम आहे, नियम नाही).

🗺️ आकृती

flowchart TB
    subgraph desk["🪑 the desk - context window, N tokens, that's ALL there is"]
        sys["📜 role + rules - 'be a strict reviewer'"]
        conv["💬 conversation so far - oldest slides off first"]
        doc["📎 pasted docs/examples"]
        ans["✍️ the answer being written - also on the desk!"]
    end
    tips["🗣️ the craft: role · exact ask ·<br/>show examples · constraints + output format"]
    lost["🕳️ NOT in the current context = unavailable:<br/>past chats too, unless re-added,<br/>a very long context is harder to use reliably"]
    tips -->|"1 shapes"| desk
    desk -.->|"2 the catch"| lost

❓ काय

संदेशाची रचना: system (कायमचे नियम — desk वरची सर्वात ताकदवान जागा), user, assistant turns — सगळे फक्त desk वरचे tokens.
Window चे आकार: ~128k tokens (≈ 300 पानांचे पुस्तक) सामान्य आहे; लांब ≠ अनंत, आणि मर्यादेआधीच गुणवत्ता घसरते ("lost in the middle").
मुळात संभाषणांदरम्यान कोणतीही memory नसते (products ती desk वर notes पुन्हा घालून जोडतात) — "त्याला मी आठवतो" = app दर वेळी शांतपणे desk वर notes पुन्हा paste करते.
Prompting म्हणजे पुनरावृत्ती, मंत्र नव्हे: एक गोष्ट बदला, outputs ची तुलना करा, जे चालले ते ठेवा. "Prompt engineering" = तो loop, प्रामाणिकपणे केलेला.

🤔 का

सर्वात स्वस्त, सर्वात जास्त फायद्याचे AI कौशल्य: तोच model, 10× चांगला output, शून्य खर्च. आणि desk एका पूर्ण गूढ-कुटुंबाचे स्पष्टीकरण देते — लांब chats मध्ये विसरलेल्या सूचना, मोठ्या pastes सोबत घसरलेली उत्तरे, "summarize then continue" मरणाऱ्या संभाषणाला पुन्हा जिवंत का करते, apps मध्ये system prompts का असतात. output निराश करतो तेव्हा आधी विचारा: desk वर खरोखर काय होते?

🧪 करून पाहा (कोणत्याही chatbot मध्ये — A/B lab)

A: "Write about our new coffee machine."
B: "You are a witty office-newsletter writer. Announce our new coffee
   machine in exactly 3 sentences: one joke, one real detail (it does
   oat milk), one call to action. Tone: friendly, no corporate-speak."

दोन्ही चालवा. मग desk तपासा: एक लांब लेख paste करा, "what was my first sentence?" हे सुरुवातीला आणि पुन्हा खूप नंतर विचारा — पान खाली सरकताना पाहा. शेवटी, अनेक steps च्या गणिताच्या प्रश्नासाठी, फक्त प्रश्न आणि ज्यात अटी व तुम्हाला हवा असलेला output format सांगितला आहे असा प्रश्न यांची तुलना करा ("show the working, then one line with the answer"). तीन प्रयोग, तीन धडे, पाच मिनिटे.

⏭️ पुढे

कधीकधी अगदी नीट विचारलेला ग्रंथपाल तुम्हाला सुंदर, आत्मविश्वासू… बनाव देतो. models गोष्टी का रचतात: hallucinations.

git checkout lesson-09-hallucinations

🗣️ Lesson 08 — Prompting & the context window: the librarian and the small desk

📍 You are here: Lesson 08 of 12 — Part 2 begins! · Previous: lesson-07-rlhf-lora · Next: lesson-09-hallucinations

📦 What's in this branch

Lessons 01–07, plus the two facts that make or break every AI interaction: how you ask (prompting) and how much fits on the desk (the context window).

🧒 Explain like I'm 5

The librarian 🗣️: walk up and say "books?" — you'll get something random. Say "I need three beginner-friendly books about volcanoes, for a 10-year-old, exciting ones, and tell me why you picked each" — you get exactly that. Same librarian, wildly different result. The model has read everything and can imitate anyone; your prompt decides which of its thousand modes shows up. The craft:

Say who to be: "You are a strict code reviewer" (role).
Say exactly what you want: format, length, audience, constraints.
Show, don't just tell: one or two examples of the output you want (few-shot) beats paragraphs of description.
Give it room to think (multi-step problems): "show the working, THEN the answer" — remember lesson 05: each written token conditions the next, so writing the reasoning literally builds a ramp to better answers.

The small desk 🪑: the librarian is brilliant but the desk holds only N pages (the context window — measured in lesson 03's tokens!). Everything — your instructions, the conversation so far, pasted documents, the answer being written — must fit on that ONE desk. Slide a new page on and an old page slides off (why long chats "forget" the beginning). And a very crowded desk is harder to use reliably — models often recall the start and end best ("lost in the middle" is a measured effect, not a law).

🗺️ Diagram

flowchart TB
    subgraph desk["🪑 the desk - context window, N tokens, that's ALL there is"]
        sys["📜 role + rules - 'be a strict reviewer'"]
        conv["💬 conversation so far - oldest slides off first"]
        doc["📎 pasted docs/examples"]
        ans["✍️ the answer being written - also on the desk!"]
    end
    tips["🗣️ the craft: role · exact ask ·<br/>show examples · constraints + output format"]
    lost["🕳️ NOT in the current context = unavailable:<br/>past chats too, unless re-added,<br/>a very long context is harder to use reliably"]
    tips -->|"1 shapes"| desk
    desk -.->|"2 the catch"| lost

❓ What

Message anatomy: system (standing rules — strongest seat at the desk), user, assistant turns — all just tokens on the desk.
Window sizes: ~128k tokens (≈ a 300-page book) is common; long ≠ infinite, and quality degrades before limits ("lost in the middle").
By default there is no memory between conversations (products add it by re-inserting notes onto the desk) — "it remembers me" = the app quietly re-pasting notes onto the desk each time.
Prompting is iteration, not incantation: change one thing, compare outputs, keep what worked. "Prompt engineering" = that loop, done honestly.

🤔 Why

The cheapest, highest-leverage AI skill: same model, 10× better output, zero cost. And the desk explains a whole family of mysteries — forgotten instructions in long chats, degraded answers with huge pastes, why "summarize then continue" revives a dying conversation, why apps have system prompts. When output disappoints, ask first: what was actually on the desk?

🧪 Try it (in any chatbot — the A/B lab)

A: "Write about our new coffee machine."
B: "You are a witty office-newsletter writer. Announce our new coffee
   machine in exactly 3 sentences: one joke, one real detail (it does
   oat milk), one call to action. Tone: friendly, no corporate-speak."

Run both. Then test the desk: paste a long article, ask "what was my first sentence?" early and again much later — watch the page slide off. Finally, for a multi-step math question, compare a bare question with one that states the constraints and the output format you want ("show the working, then one line with the answer"). Three experiments, three lessons, five minutes.

⏭️ Next

Sometimes the perfectly-asked librarian hands you a beautiful, confident… fabrication. Why models make things up: hallucinations.

git checkout lesson-09-hallucinations

← Previousrlhf lora Next →hallucinations

This page is the lesson's README from the lesson-08-prompting-context branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.