🏬 धडा 08 — Landscape: प्रत्यक्ष वापरासाठी vector database निवडणे

📍 तुम्ही इथे आहात: 8 पैकी धडा 08 — शेवटचा धडा!

📦 या ब्रँचमध्ये काय आहे

संपूर्ण course, आणि प्रत्यक्ष products चा नकाशा आणि निवडीचे प्रामाणिक मार्गदर्शन — तुलनात्मक cards सह विस्ताराने 🌐 landscape पानावर.

🧒 कुटुंबे, शाळेच्या भाषेत

🐘 "तुमच्याकडे आधीच असलेले ग्रंथालय" — pgvector (PostgreSQL च्या आतले extension): तुमचा data, तुमचे vectors, एक database, एक backup, similarity search च्या शेजारी SQL JOINs. आधीच Postgres वापरणाऱ्या teams साठी कंटाळवाणा पण उत्कृष्ट default — लाखो vectors पर्यंत.
☁️ "भाड्याचा hall" — Pinecone आणि managed मंडळी: पूर्णपणे hosted, तुम्हाला चालवायचे असेल त्यापलीकडे scale होते, filtered-ANN तुमच्यासाठी केलेले — AWS-course मधला build-vs-rent प्रश्न (EC2 L08!), उत्तर "भाड्याने", त्याच तडजोडींसह (प्रत्येक query चा खर्च, data घराबाहेर जातो, कमी नियंत्रण).
🧪 "प्रयोगशाळेचा बाक" — Chroma, LanceDB, Qdrant, Weaviate: developer-first stores; embedded-किंवा-server modes; prototypes पासून मध्यम scale पर्यंत उत्तम DX, प्रत्येकाची आपली खासियत (Qdrant: filters/perf; Weaviate: batteries; LanceDB: columnar/local).
⚙️ "Engine block" — FAISS, hnswlib: databases नाहीत — धडा 04 चे indexes अंमलात आणणाऱ्या libraries. जास्तीत जास्त नियंत्रण आणि वेग, ops ची शून्य मदत (persistence/filters/replication नाही — ते तुम्ही बनवता). Infra teams आणि संशोधकांसाठी.
🔎 "जुन्या ग्रंथालयाने नव्या युक्त्या शिकल्या" — OpenSearch/Elastic, Redis, Mongo, SQLite-vec…: तुमच्या आधीच्या store ला vector column आला. तो आधीच deploy झालेला असेल आणि बसत असेल, तर चालवायला एक system कमी.

🧭 निवडीचा flowchart (रहस्य फोड: सहसा pgvector)

Corpus एका Postgres मध्ये मावतो आणि तुमच्याकडे Postgres आहे → pgvector.
Prototype/notebook, शून्य setup हवा → Chroma/LanceDB embedded.
गंभीर scale (कोट्यवधी+, कडक latency, filtered ANN) आणि ops ची इच्छा नाही → managed (Pinecone-class).
तोच scale आणि ops ची इच्छा (आणि k8s शाळा पूर्ण केलेली ☸️) → Qdrant/Weaviate self-hosted.
स्वतःचे engine / संशोधन → FAISS/hnswlib.
एकूण ~100k पेक्षा कमी vectors? Brute-force loop (आपला toy + खरा embedder) खरोखर पुरेसा आहे — एका वर्गासाठी hall विकत घेऊ नका. 😄

❓ खरा फरक दाखवणारे प्रश्न (हे विचारा, "तो वेगवान आहे का" नाही)

Scale वर filtered search — pre-filter विरुद्ध post-filter (L06 चा सापळा): प्रत्यक्ष जगातला #1 फरक.
Hybrid search आतच आहे का? (keyword + vector + fusion) — की तुम्हाला वरून जोडावा लागतो?
Ops ची गोष्ट: persistence, backups, updates/deletes (ANN indexes ना deletes अजिबात आवडत नाहीत!), multi-tenancy (namespaces! — नमस्कार k8s L05).
पुन्हा-embed करण्याचा दिवस ⚠️ (L02 चा नियम): embedding models बदलले की सगळे पुन्हा embed होते. पूर्ण rebuild किती त्रासदायक आहे? हे असे migration आहे ज्याचे कोणीच नियोजन करत नाही आणि प्रत्येकाला शेवटी करावेच लागते.
आकड्यांसह recall benchmarks (L04): "कोणत्या recall वर वेगवान, कोणाच्या dataset वर?"

🤔 का

छोट्या teams साठी vector DB ची निवड हे दोन्ही बाजूंनी उघडणारे दार आहे (stores बदलणे सोपे — L05 मध्ये शिकलेल्या embedder सीमेमुळे vectors सहज हलवता येतात) आणि scale वर जवळपास एकाच बाजूने उघडणारे दार (data चे गुरुत्व). कंटाळवाण्या पर्यायाने सुरुवात करा, retrieval चा दर्जा मोजा (L06 चे golden questions), आणि upgrades benchmarks मुळे नव्हे तर खऱ्या अडथळ्यांमुळे होऊ द्या.

🧪 करून पाहा — engine बदलून पदवी मिळवा

धडा 07 ची RAG script घ्या आणि ती खऱ्या store कडे वळवा:

# pgvector (if you have Postgres):   CREATE EXTENSION vector;
#   store: INSERT ... embedding vector(256);  search: ORDER BY embedding <=> $1 LIMIT 3
# or Chroma (pip install chromadb):  3 lines: client, collection.add, collection.query
# keep OUR embed() first — then swap embed() for a real model and
# watch 'pupils' finally find 'students'. Both swaps, independently. 🎓

🎓 Hall आता तुमचा आहे

अर्थ म्हणजे जागा → जागा म्हणजे आकडे → similarity म्हणजे दिशा → scale वर शेजारी → तुम्ही वाचलेला database → कात्री आणि stickers → open-book pipeline → products चा नकाशा. आता तुम्ही छोटा vector DB स्वतः बनवू शकता, मोठा विकत घेऊ शकता, दोन्ही debug करू शकता — आणि कोणालाही नेमके समजावू शकता की त्यांनी काय विकत घेतले. 🗺️🎓

git checkout main
python3 vectordb/demo.py     # one last search, for fun

🏬 Lesson 08 — The landscape: picking a vector database for real

📍 You are here: Lesson 08 of 8 — the final lesson!

📦 What's in this branch

The complete course, plus the map of actual products and an honest picking guide — expanded with comparison cards on 🌐 the landscape page.

🧒 The families, in school words

🐘 "The library you already have" — pgvector (an extension inside PostgreSQL): your data, your vectors, one database, one backup, SQL JOINs next to similarity search. The boring, excellent default for teams already on Postgres — up to millions of vectors.
☁️ "The rented hall" — Pinecone & managed friends: fully hosted, scales past what you want to operate, filtered-ANN done for you — the AWS-course build-vs-rent question (EC2 L08!), answered "rent", with the same trade-offs (cost per query, data leaves home, less control).
🧪 "The lab bench" — Chroma, LanceDB, Qdrant, Weaviate: developer-first stores; embedded-or-server modes; great DX for prototypes through mid-scale, each with its specialty (Qdrant: filters/perf; Weaviate: batteries; LanceDB: columnar/local).
⚙️ "The engine block" — FAISS, hnswlib: not databases — libraries implementing lesson 04's indexes. Maximum control and speed, zero ops help (no persistence/filters/replication — you build those). For infra teams and researchers.
🔎 "The old library learned new tricks" — OpenSearch/Elastic, Redis, Mongo, SQLite-vec…: your existing store grew a vector column. If it's already deployed and fits, one less system to run.

🧭 The picking flowchart (spoiler: it's usually pgvector)

Corpus fits in one Postgres and you HAVE Postgres → pgvector.
Prototype/notebook, want zero setup → Chroma/LanceDB embedded.
Serious scale (tens of millions+, strict latency, filtered ANN) and no ops appetite → managed (Pinecone-class).
Same scale WITH ops appetite (and the k8s school under your belt ☸️) → Qdrant/Weaviate self-hosted.
Building your own engine / research → FAISS/hnswlib.
Under ~100k vectors total? A brute-force loop (our toy + a real embedder) is genuinely fine — don't buy a hall for a classroom. 😄

❓ The questions that actually differentiate (ask these, not "is it fast")

Filtered search at scale — pre-filter vs post-filter (L06's trap): the #1 real-world differentiator.
Hybrid search built in? (keyword + vector + fusion) — or do you bolt it on?
Ops story: persistence, backups, updates/deletes (ANN indexes hate deletes!), multi-tenancy (namespaces! — hello k8s L05).
The re-embedding day ⚠️ (L02's rule): when you change embedding models, EVERYTHING re-embeds. How painful is a full rebuild? This is the migration nobody plans for and everyone eventually does.
Recall benchmarks with numbers attached (L04): "fast at what recall, on whose dataset?"

🤔 Why

Vector DB choice is a two-way door for small teams (swapping stores is easy — the embedder boundary you learned in L05 makes vectors portable) and a one-way-ish door at scale (data gravity). Start boring, measure retrieval quality (L06's golden questions), and let real bottlenecks — not benchmarks — trigger upgrades.

🧪 Try it — graduate by swapping the engine

Take lesson 07's RAG script and re-point it at a real store:

# pgvector (if you have Postgres):   CREATE EXTENSION vector;
#   store: INSERT ... embedding vector(256);  search: ORDER BY embedding <=> $1 LIMIT 3
# or Chroma (pip install chromadb):  3 lines: client, collection.add, collection.query
# keep OUR embed() first — then swap embed() for a real model and
# watch 'pupils' finally find 'students'. Both swaps, independently. 🎓

🎓 The hall is yours

Meaning as seats → seats as numbers → similarity as direction → neighbors at scale → a database you READ → scissors and stickers → the open-book pipeline → the product map. You can now build a small one, buy a big one, debug either — and explain to anyone exactly what they bought. 🗺️🎓

git checkout main
python3 vectordb/demo.py     # one last search, for fun

← Previousrag wiring Finished! Take the quiz →check what stuck

This page is the lesson's README from the lesson-08-landscape branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.