🗺️ धडा 04 — Embeddings: अर्थांचा बैठक-तक्ता

📍 तुम्ही इथे आहात: 12 पैकी धडा 04 · मागे: lesson-03-tokens · पुढे: lesson-05-next-token

📦 या ब्रँचमध्ये काय आहे

धडे 01–03, आणि ती कल्पना जिच्यामुळे semantic search, RAG आणि "model ला मी काय म्हणतो ते कळते" शक्य होते: embeddings — अर्थ म्हणजे coordinates. खरी file: demo/attention_toy.py — त्यातले हाताने बनवलेले 4-आकडी vectors हेच छोटे embeddings आहेत.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

इतके मोठे शाळेचे सभागृह कल्पना करा की त्यात भाषेतील प्रत्येक शब्द बसू शकेल — आणि एकच नियम: सारखा अर्थ असलेली मुले एकमेकांजवळ बसतात. 🗺️

cat हा kitten च्या शेजारी, dog जवळ, प्राण्यांच्या कोपऱ्यात बसतो.
king आणि queen राजघराण्याच्या रांगेत एकाच बाकावर बसतात.
bank (पैसे) आणि bank (नदीकाठ)? context प्रमाणे, model तो token हे वाक्य जिथे मागते तिथे बसवतो.

शब्दाचे embedding म्हणजे फक्त त्याचे जागेचे coordinates — खऱ्या नकाशासारखे 2 आकडे नव्हे, तर शेकडो (~1,000+ dimensions), कारण अर्थाला अनेक दिशा असतात: सजीवपणा, आकार, औपचारिकता, भावना…

हा तक्ता येतो कुठून? तो कोणीही काढत नाही. training दरम्यान (धडा 02 चा लाल पेन), जागा बाकी सगळ्यांसारख्याच dials असतात — आणि model ला कळते की सारखे शब्द एकत्र बसवल्याने पुढच्या शब्दाचा अंदाज सोपा होतो. अर्थ भूमिती म्हणून उगवतो.

आणि भूमिती म्हणजे अर्थांवर गणित:

अंतर = साम्य — "या प्रश्नाजवळची वाक्ये शोधा" म्हणजे फक्त… मोजणे. (हेच RAG चे संपूर्ण इंजिन, धडा 10!)
प्रसिद्ध जादू: king − man + woman ≈ queen 👑 — सभागृहातील दिशांना अर्थ असतो ("राजघराण्याकडे", "अनेकवचनाकडे").

🗺️ आकृती

flowchart LR
    w["🧩 token 'cat'"]
    e["🗺️ embedding<br/>seat coordinates:<br/>[0.31, -1.2, 0.88, …] ×768"]
    subgraph hall["the seating hall - meaning space"]
        c["cat 🐱"] --- k["kitten"] --- d["dog 🐶"]
        far["📎 stapler - far away"]
    end
    q["'small pet that purrs?'"]
    w -->|"1 look up seat"| e -->|"2 place in hall"| hall
    q -->|"3 nearest seats win<br/>= semantic search"| c

❓ काय

Embedding = token साठी शिकलेला dense vector (आणि pooling करून वाक्ये/documents/images साठीसुद्धा — कोणत्याही गोष्टीला जागा मिळू शकते).
Similarity = vectors मधील cosine/dot-product — स्वस्त आणि parallel. "Semantic search" = query embed करा, documents embed करा, सर्वात जवळचे परत द्या.
Vector databases (Pinecone, pgvector…) = लाखो जागा साठवण्यासाठी आणि शेजारी पटकन शोधण्यासाठी खास बांधलेली सभागृहे — RAG खालची पाइपलाइन (धडा 10).
LLM च्या आत: पहिला layer प्रत्येक token ID चे embedding करतो; त्यानंतरचे सगळे (attention, धडा 06) म्हणजे context च्या गरजेनुसार त्या जागा हलवणे.

🤔 का

"calculator अर्थांची तुलना कसा करू शकतो?" याचे उत्तर embeddings आहेत. एकदा अर्थ भूमिती बनला की माणसांचे अस्पष्ट प्रश्न मोजता येतात: नेमके शब्द दुर्लक्षित करणारा search, "सारखे tickets शोधा", "कोणते docs याचे उत्तर देतात?" — सगळे फक्त अंतर. धडा 03 जर model च्या संवेदना होत्या, तर ही त्याची विचारांची जागा आहे.

🧪 करून पाहा

python3 demo/attention_toy.py

सुरुवातीचे हाताने बनवलेले vectors पाहा: robot [0.9, 0.7, 0.1, 0.6] विरुद्ध it [0.8, 0.5, 0.0, 0.5] — मुद्दाम जवळ बसवलेले (सारखा अर्थ-आकार), तर because दूर बसतो. मग printout साम्य खरे काम करताना दाखवते. कागदावरचा lab: pizza, burger, homework साठी 4-आकडी जागा तयार करा — कोणते दोन एकत्र बसतात, आणि तुमच्या 4 दिशांचा अर्थ काय?

⏭️ पुढे

संवेदना ✓, विचारांची जागा ✓ — आता संपूर्ण यंत्र ज्या खऱ्या कामासाठी train झाले ते: पुढचा puzzle तुकडा ओळखणे, आणि किती धाडसी व्हायचे यासाठी एक dial.

git checkout lesson-05-next-token

🗺️ Lesson 04 — Embeddings: the seating chart of meanings

📍 You are here: Lesson 04 of 12 · Previous: lesson-03-tokens · Next: lesson-05-next-token

📦 What's in this branch

Lessons 01–03, plus the idea that makes semantic search, RAG and "the model understands me" possible: embeddings — meaning as coordinates. Real file: demo/attention_toy.py — its hand-made 4-number vectors ARE tiny embeddings.

🧒 Explain like I'm 5

Imagine a school hall so large you can seat every word in the language — and one rule: kids with similar meanings sit close together. 🗺️

cat sits next to kitten, near dog, in the animals corner.
king and queen share a bench in royalty row.
bank (money) and bank (river)? In context, the model seats the token where this sentence needs it.

A word's embedding is simply its seat coordinates — not 2 numbers like a real map, but hundreds (~1,000+ dimensions), because meaning has many directions: alive-ness, size, formality, sentiment…

Where does the chart come from? Nobody draws it. During training (lesson 02's red pen), the seats are dials like everything else — and the model discovers that seating similar words together makes next-word prediction easier. Meaning emerges as geometry.

And geometry means MATH on meanings:

distance = similarity — "find sentences near this question" is just… measuring. (That's the entire engine of RAG, lesson 10!)
the famous party trick: king − man + woman ≈ queen 👑 — directions in the hall mean things ("royalty-ward", "plural-ward").

🗺️ Diagram

flowchart LR
    w["🧩 token 'cat'"]
    e["🗺️ embedding<br/>seat coordinates:<br/>[0.31, -1.2, 0.88, …] ×768"]
    subgraph hall["the seating hall - meaning space"]
        c["cat 🐱"] --- k["kitten"] --- d["dog 🐶"]
        far["📎 stapler - far away"]
    end
    q["'small pet that purrs?'"]
    w -->|"1 look up seat"| e -->|"2 place in hall"| hall
    q -->|"3 nearest seats win<br/>= semantic search"| c

❓ What

Embedding = a learned dense vector for a token (and by pooling, for sentences/documents/images too — anything can get a seat).
Similarity = cosine/dot-product between vectors — cheap and parallel. "Semantic search" = embed the query, embed the documents, return the nearest.
Vector databases (Pinecone, pgvector…) = purpose-built halls for storing millions of seats and finding neighbors fast — the plumbing under RAG (lesson 10).
Inside the LLM: layer one turns each token ID into its embedding; everything after (attention, lesson 06) is moving those seats around as the context demands.

🤔 Why

Embeddings are the answer to "how can a calculator compare meanings?" Once meaning is geometry, fuzzy human questions become measurable: search that ignores exact words, "find similar tickets", "which docs answer this?" — all just distance. If lesson 03 was the model's senses, this is its space of thought.

🧪 Try it

python3 demo/attention_toy.py

Look at the hand-made vectors at the top: robot [0.9, 0.7, 0.1, 0.6] vs it [0.8, 0.5, 0.0, 0.5] — deliberately seated CLOSE (similar meaning-shape), while because sits far away. The printout then shows similarity doing real work. Paper lab: invent 4-number seats for pizza, burger, homework — which two sit together, and what do your 4 directions mean?

⏭️ Next

Senses ✓, space of thought ✓ — now the actual JOB the whole machine was trained for: predicting the next puzzle piece, with a dial for how adventurous to be.

git checkout lesson-05-next-token

← Previoustokens Next →next token

This page is the lesson's README from the lesson-04-embeddings branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.