📺 धडा 12 — Diffusion आणि multimodal: TV चा static स्वच्छ करणे

📍 तुम्ही इथे आहात: 12 पैकी धडा 12 · मागे: lesson-11-agents · बोनस पुढे: lesson-13-mcp

📦 या ब्रँचमध्ये काय आहे

संपूर्ण मुख्य कोर्स — सगळे 12 धडे (धडा 13 हा बोनस MCP ओळख आहे). शेवटचा धडा: image generators कसे चालतात (diffusion), आणि models ना डोळे आणि कान कसे मिळाले (multimodal).

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

चित्रकलेचा वर्ग, आजवरचा सर्वात विचित्र सराव 🎨: शिक्षिका मांजरीचा एक फोटो घेते आणि त्यात TV-static चा थोडासा noise घालते. मग आणखी थोडा. आणि आणखी — 1,000 steps, तो पूर्ण static होईपर्यंत. विद्यार्थ्याचा गृहपाठ: ही फिल्म उलटी चालवायला शिका — "ही थोडी noisy मांजर आहे; कोणता noise घातला ते सांगा" — लाखो वेळा, लाखो फोटोंवर (पुन्हा लाल पेन! धडा 02).

पदवीचा दिवस: विद्यार्थ्याच्या हातात पूर्ण static द्या आणि म्हणा "यात एक 'cat wearing a crown' लपलेली आहे — noise काढून टाक." टप्प्याटप्प्याने, 20–50 फेऱ्यांत, तो ती "शोधतो": static → अस्पष्ट आकार → मांजरीसारखे → मुकुटाची चमक → उत्कृष्ट कलाकृती. 📺➡️🐱👑 static मध्ये कधीच मांजर नव्हती — शब्द जे मागतात त्या दिशेने noise काढल्याने ती तयार होते. शब्द दिशा देतात — ओळखलेत बरोबर — embeddings (धडा 04) द्वारे: prompt ची अर्थ-जागा प्रत्येक de-noising step ला मार्गदर्शन करते. (प्रत्यक्षात हे एका compressed "latent" रेखाटन-जागेत होते — छोटा canvas, तीच कल्पना — हेच Stable Diffusion मधील "latent diffusion".)

आणि multimodal? 👀👂 धडा-03 ची युक्ती सगळीकडे लागू होते: images patch-tokens बनतात, audio sound-tokens बनतो — वेगवेगळ्या संवेदना, तेच desk, तेच attention (धडा 06). म्हणूनच एक model तुमचा screenshot वाचतो, voice note ऐकतो, आणि text मध्ये उत्तर देतो: सगळे एका सामायिक अर्थ-जागेतले tokens बनले. एक वर्ग, प्रत्येक विषय.

🗺️ आकृती

flowchart LR
    subgraph train["🎨 homework - millions of times"]
        cat["🐱 photo"] -->|"add noise ×1000"| static1["📺 static"]
        static1 -->|"learn to predict<br/>the noise added"| skill["🧠 the un-noising skill"]
    end
    subgraph gen["🖼️ graduation - generating"]
        s2["📺 pure static"] --> d1["…20-50 un-noise steps…"] --> img["🐱👑 'cat with crown'"]
        p["📝 prompt embedding<br/>steers EVERY step"] -.-> d1
    end
    skill --> gen
    mm["👀 multimodal: images/audio → tokens too<br/>same desk, same attention, every sense"]

❓ काय

Diffusion: हळूहळू noise घालण्याची क्रिया उलटी करायला train करा; noise पासून वारंवार denoising करून generate करा, text-embedding च्या दिशेने. ते one-shot generation (GANs) पेक्षा का जिंकले: 50 छोट्या दुरुस्त्या एका मोठ्या उडीपेक्षा अधिक स्थिर असतात — प्रत्येक step फक्त थोडीशी बरोबर असली तरी पुरे.
Steps↔quality↔speed ची तडजोड; latent diffusion = हे compressed जागेत करणे (laptops साठी पुरेसे जलद); तीच कृती video आणि audio generation चालवते.
Multimodal LLMs: एक vision encoder image patches चे token-embeddings करतो ज्यांवर transformer attend करतो — screenshots, charts, फोटो "text-सारखे" input बनतात. Output बाजू: LLM एखादा diffusion model सुद्धा चालवू शकतो (agents ची tools, धडा 11 — चित्रकार हे एक tool आहे!).
कमकुवत जागा आता समजतात: generate केलेल्या images मधील text (ते अक्षरांचे आकार रंगवते, spelling करत नाही — धडा 03 चा बदला), बोटे मोजणे (global constraints विरुद्ध local denoising).

🤔 का

Image/video/voice generation प्रयोगशाळेच्या demo पासून रोजचे tool बनले — आणि ते तुमच्याकडे आधीच असलेल्या कल्पनांवर चालते: noise-prediction म्हणजे loss (L02), दिशा देणे म्हणजे embeddings (L04), patches म्हणजे tokens (L03), एकत्रीकरण म्हणजे attention (L06). हीच कोर्सची खरी पदवी: काहीही जादू उरली नाही — त्याच पाच कल्पना, नव्याने जोडलेल्या.

🧪 करून पाहा

कोणताही image generator (किंवा फक्त त्याचा preview पाहा): generation धूसरतेतून धारदार होताना लक्षात घ्या — तुम्ही अक्षरशः denoising steps पाहत आहात. मग सिद्धांत तपासा: prompt a shop sign that says "WELCOME FRIENDS" (अक्षरांचे आकार, L03 चा बदला) आणि a hand holding five pencils (global constraints). ज्या अपयशांचे तुम्ही आता स्पष्टीकरण देऊ शकता, त्यांवर तुम्ही मार्गही काढू शकता.

🎓 तुम्ही करून दाखवले — संपूर्ण शाळा

नियमपुस्तके विरुद्ध उदाहरणे → लाल पेन → puzzle तुकडे → बैठक- तक्ता → अंदाजाचा खेळ → इकडे-तिकडे पाहणे → शिष्टाचार आणि सोनेरी तारे → छोट्या desk वर नीट विचारणे → आत्मविश्वासू मूल → open-book परीक्षा → hall passes → static स्वच्छ करणे. बारा धडे, पाच मूळ कल्पना, जादू शून्य. जा, काहीतरी बांधा — आणि पुढची AI बातमी आली की ती कोणता धडा घालून आली आहे ते तुम्हाला नेमके कळेल. 🧠🎓

एक बोनस उरला आहे: हे सगळे तुमच्या files, तुमचे GitHub, तुमचा database यांच्याशी जोडणारा standard plug — MCP.

git checkout lesson-13-mcp   # 🔌 the universal plug

📺 Lesson 12 — Diffusion & multimodal: un-blurring the TV static

📍 You are here: Lesson 12 of 12 · Previous: lesson-11-agents · Bonus next: lesson-13-mcp

📦 What's in this branch

The complete core course — all 12 lessons (lesson 13 is the bonus MCP intro). The finale: how image generators work (diffusion), and how models got eyes and ears (multimodal).

🧒 Explain like I'm 5

Art class, weirdest exercise ever 🎨: the teacher takes a photo of a cat and adds a tiny bit of TV-static noise. Then a bit more. And more — 1,000 steps until it's pure static. The student's homework: learn to run this film backwards — "here's a slightly-noisy cat; tell me what noise was added" — millions of times, on millions of photos (the red pen again! lesson 02).

Graduation day: hand the student pure static and say "there's a 'cat wearing a crown' hidden in there — remove the noise." Step by step, 20–50 rounds, he "finds" it: static → vague shapes → cat-ish → crown glints → masterpiece. 📺➡️🐱👑 There was never a cat in the static — un-noising toward what the words demand creates one. The words steer via — you guessed it — embeddings (lesson 04): the prompt's meaning-seat guides every de-noising step. (In practice it happens in a compressed "latent" sketch-space — smaller canvas, same idea — that's the "latent diffusion" in Stable Diffusion.)

And multimodal? 👀👂 The lesson-03 trick generalizes: images become patch-tokens, audio becomes sound-tokens — different senses, same desk, same attention (lesson 06). That's how one model reads your screenshot, hears a voice note, and answers in text: everything became tokens in a shared meaning-space. One classroom, every subject.

🗺️ Diagram

flowchart LR
    subgraph train["🎨 homework - millions of times"]
        cat["🐱 photo"] -->|"add noise ×1000"| static1["📺 static"]
        static1 -->|"learn to predict<br/>the noise added"| skill["🧠 the un-noising skill"]
    end
    subgraph gen["🖼️ graduation - generating"]
        s2["📺 pure static"] --> d1["…20-50 un-noise steps…"] --> img["🐱👑 'cat with crown'"]
        p["📝 prompt embedding<br/>steers EVERY step"] -.-> d1
    end
    skill --> gen
    mm["👀 multimodal: images/audio → tokens too<br/>same desk, same attention, every sense"]

❓ What

Diffusion: train to reverse gradual noising; generate by iterated denoising from noise, steered by a text-embedding. Why it beat one-shot generation (GANs): 50 small corrections are more stable than one giant leap — each step only needs to be slightly right.
Steps↔quality↔speed tradeoff; latent diffusion = do it in a compressed space (fast enough for laptops); same recipe powers video and audio generation.
Multimodal LLMs: a vision encoder turns image patches into token-embeddings the transformer attends over — screenshots, charts, photos become "text-like" input. Output side: the LLM can also drive a diffusion model (agents' tools, lesson 11 — the painter is a tool!).
Weak spots make sense now: text inside generated images (it's painting letter-shapes, not spelling — lesson 03's revenge), counting fingers (global constraints vs local denoising).

🤔 Why

Image/video/voice generation went from lab demo to daily tool — and it runs on ideas you already own: noise-prediction is loss (L02), steering is embeddings (L04), patches are tokens (L03), fusion is attention (L06). That's the course's real graduation: nothing left is magic — it's the same five ideas, recombined.

🧪 Try it

Any image generator (or just watch its preview): notice generation sharpening from blur — you're literally watching denoising steps. Then test the theory: prompt a shop sign that says "WELCOME FRIENDS" (letter-shapes, L03's revenge) and a hand holding five pencils (global constraints). Failures you can now explain are failures you can work around.

🎓 You made it — the whole school

Rulebooks vs examples → the red pen → puzzle pieces → the seating chart → the guessing game → glancing around → etiquette & gold stars → asking well on a small desk → the confident kid → open-book exams → hall passes → un-blurring static. Twelve lessons, five core ideas, zero magic left. Go build something — and when the next AI headline drops, you'll know exactly which lesson it's wearing. 🧠🎓

One bonus remains: the standard plug that connects all of this to your files, your GitHub, your database — MCP.

git checkout lesson-13-mcp   # 🔌 the universal plug

← Previousagents Next →mcp

This page is the lesson's README from the lesson-12-diffusion branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.