🗺️ धडा 01 — Vector databases का: अर्थानुसार लावलेले ग्रंथालय

📍 तुम्ही इथे आहात: 8 पैकी धडा 01 · पुढे: lesson-02-text-to-vectors

📦 या ब्रँचमध्ये काय आहे

Vector databases कोणता प्रश्न सोडवण्यासाठी आहेत ते — आणि आत्ताच चालवता येईल असा एक खरा छोटा vector DB: vectordb/vectordb.py.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

शाळेच्या ग्रंथालयात शोधाची एक अडचण आहे. 📚 Card catalog पुस्तके शीर्षकातल्या नेमक्या शब्दांवरून शोधते. "प्राण्यांशी दयाळू वागण्याबद्दलची पुस्तके" मागितली तर catalog ला… काहीच सापडत नाही — कारण सर्वोत्तम पुस्तकाचे नाव आहे "Every Living Thing". एकही शब्द सारखा नाही! सगळी पुस्तके वाचलेल्या ग्रंथपालाला माहीत असते की हेच योग्य पुस्तक आहे. Catalog ला ते कळू शकत नाही: keywords strings जुळवतात, अर्थ नव्हे.

आता AI शाळेतला बसण्याचा hall आठवा (तिथला धडा 04): प्रत्येक text ला अर्थाच्या जागेत (meaning-space) एक जागा मिळू शकते — असे निर्देशांक जिथे सारखे अर्थ एकमेकांच्या जवळ बसतात. अचानक search म्हणजे भूमिती होते: प्रश्नाला जागा द्या, आजूबाजूला पाहा, सर्वात जवळचे शेजारी परत द्या. "प्राण्यांशी दयाळू" हे "Every Living Thing" च्या अगदी शेजारी बसते, एकही सामायिक शब्द लागत नाही.

Vector database म्हणजे खरोखर बांधलेला हा hall: लाखो जागा (vectors) साठवण्याची आणि सर्वात जवळच्या पटकन शोधण्याची जागा. संपूर्ण product इतकेच:

गोष्टी आत ठेवा, प्रत्येकीची जागा (आणि काही stickers 🏷️ — metadata) सोबत,
नवी जागा दिली की सर्वात जवळच्या k, पटकन परत द्या,
मोठ्या scale वरही वेगाने — योग्य index सह — प्रत्येक जागेला एकेक करून न विचारता.

बाकी सगळे — chunking, filters, indexes, RAG — हे या तीन कामांचेच सुधारणे आहे, आणि हा course प्रत्येक गोष्ट शिकवतो.

🗺️ आकृती

flowchart LR
    q["❓ 'books about being<br/>kind to animals'"]
    subgraph kw["📇 keyword catalog"]
        k1["match exact words →<br/>'kind'? 'animals'? …<br/>❌ nothing found"]
    end
    subgraph vdb["🗺️ the meaning hall - vector DB"]
        s1["seat the question<br/>in meaning-space"]
        s2["find nearest seats"]
        s3["✅ 'Every Living Thing'<br/>zero shared words!"]
        s1 --> s2 --> s3
    end
    q --> kw
    q --> vdb

❓ काय

Vector database = storage + embedding vectors वर वेगवान nearest-neighbor search, सहसा metadata filtering सह. धडा 08 मध्ये भेटणारी उदाहरणे: pgvector, Pinecone, Chroma, FAISS वर आधारित systems.
खालील गोष्टींच्या खाली हीच यंत्रणा असते: semantic search, RAG (AI शाळा L10 — open-book परीक्षेचा page-finder!), recommendations, dedup ("असे ticket आपण आधी पाहिले आहे का?"), आणि agent memory (Agents शाळा L04).
Keyword search संपलेला नाही — जिथे vectors धूसर असतात तिथे तो नेमका असतो (नेमके IDs, नावे, error codes). प्रौढ systems दोन्ही वापरतात (hybrid — धडा 06).

🤔 का

प्रत्येक "तुमच्या docs शी गप्पा" product, योग्य policy शोधणारा प्रत्येक support bot, प्रत्येक "सारखे issues" sidebar — प्रत्येकाच्या खाली vector DB असतो. Models नंतर हा AI infrastructure चा सर्वात जास्त deploy झालेला भाग आहे, आणि models च्या उलट, तो तुम्ही पूर्णपणे समजू शकता — आपला फक्त ~70 ओळींचा आहे.

🧪 करून पाहा (60 सेकंद)

python3 vectordb/demo.py

शाळेचे सात documents index केलेले, तीन searches: क्रमवार लावलेला जवळपास-semantic hit, metadata ने filter केलेला lookup, आणि — सर्वात शिकवणारे — "pupils" या समानार्थी शब्दावरचे प्रामाणिक अपयश. तेच अपयश धडा 02 चा पहिला मुद्दा आहे. 😄

⏭️ पुढे

Text ला जागा कशी मिळते: शब्दांपासून vectors पर्यंत — आणि आपल्या toy चे vectors प्रामाणिक पण जवळचेच पाहणारे (nearsighted) का आहेत.

git checkout lesson-02-text-to-vectors

🗺️ Lesson 01 — Why vector databases: the library sorted by meaning

📍 You are here: Lesson 01 of 8 · Next: lesson-02-text-to-vectors

📦 What's in this branch

The problem vector databases exist to solve — and a real mini one you can run right now: vectordb/vectordb.py.

🧒 Explain like I'm 5

The school library has a search problem. 📚 The card catalog finds books by exact title words. Ask for "books about being kind to animals" and the catalog finds… nothing — because the best book is called "Every Living Thing". Not one shared word! The librarian who's read everything KNOWS it's the right book. The catalog can't know: keywords match strings, not meaning.

Now remember the AI school's seating hall (its lesson 04): every text can get a seat in meaning-space — coordinates where similar meanings sit close together. Suddenly search becomes geometry: seat the question, look around, hand back the nearest neighbors. "Kind to animals" sits right next to "Every Living Thing", zero shared words needed.

A vector database is the hall built for real: a place to store millions of seats (vectors) and find the nearest ones fast. That's the whole product:

put things in, each with its seat (and a few stickers 🏷️ — metadata),
given a new seat, return the k closest, quickly,
fast at large scale — with the right index — without asking every seat one by one.

Everything else — chunking, filters, indexes, RAG — is refinement of those three jobs, and this course covers each.

🗺️ Diagram

flowchart LR
    q["❓ 'books about being<br/>kind to animals'"]
    subgraph kw["📇 keyword catalog"]
        k1["match exact words →<br/>'kind'? 'animals'? …<br/>❌ nothing found"]
    end
    subgraph vdb["🗺️ the meaning hall - vector DB"]
        s1["seat the question<br/>in meaning-space"]
        s2["find nearest seats"]
        s3["✅ 'Every Living Thing'<br/>zero shared words!"]
        s1 --> s2 --> s3
    end
    q --> kw
    q --> vdb

❓ What

Vector database = storage + fast nearest-neighbor search over embedding vectors, usually with metadata filtering. Examples you'll meet in lesson 08: pgvector, Pinecone, Chroma, FAISS-based systems.
It's the plumbing under: semantic search, RAG (AI school L10 — the open-book exam's page-finder!), recommendations, dedup ("have we seen a ticket like this?"), and agent memory (Agents school L04).
Keyword search isn't dead — it's precise where vectors are fuzzy (exact IDs, names, error codes). Grown-up systems use BOTH (hybrid — lesson 06).

🤔 Why

Every "chat with your docs" product, every support bot that finds the right policy, every "similar issues" sidebar — there's a vector DB underneath. It's the most-deployed piece of AI infrastructure after the models themselves, and unlike the models, you can understand one COMPLETELY — ours is ~70 lines.

🧪 Try it (60 seconds)

python3 vectordb/demo.py

Seven school documents indexed, three searches: a ranked semantic-ish hit, a metadata-filtered lookup, and — most instructive — an honest FAILURE on the synonym "pupils". That failure is lesson 02's opening argument. 😄

⏭️ Next

How text becomes a seat: from words to vectors — and why our toy's vectors are honest but nearsighted.

git checkout lesson-02-text-to-vectors

← Course homeall lessons Next →text to vectors

This page is the lesson's README from the lesson-01-why-vector-db branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.