🖼️ See the drawing + lab 🏠 Course home 🌿 Branch on GitHub ✏️ View source

🖼️ आकृती आणि labThe drawing + lab पूर्ण पानावर उघडा ↗Open full page ↗

📈 धडा 26 — Observability: प्रगतिपुस्तके, दैनंदिनी आणि धोक्याच्या घंटा

📍 तुम्ही इथे आहात: धडा 26 / 26 — शेवटचा धडा! · मागील: lesson-25-crds-operators

📦 या ब्रँचमध्ये काय आहे

संपूर्ण कोर्स — सर्व 26 धडे. शेवट: चालू cluster तुम्ही प्रत्यक्ष कसा पाहता: तीन signals, नेहमीची tools, आणि "पुरेसे चांगले" कसे दिसते.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

जी शाळा तुम्ही पाहू शकत नाही ती अफवांवर चालते. तीन प्रकारची कागदपत्रे हे दुरुस्त करतात:

प्रगतिपुस्तके 📊 (metrics) — वेळेनुसार आकडे: प्रत्येक मूल किती CPU वापरते? दर सेकंदाला किती requests? किती pods Pending? तुम्ही लहान आवृत्ती पाहिली आहे: metrics-server (तो kubectl top आणि HPA ला पुरवतो, L09). मोठी आवृत्ती म्हणजे Prometheus: दर काही सेकंदांनी तो शाळेत फिरतो आणि प्रत्येक दारावरचे आकडे (/metrics) उतरवून घेतो, इतिहासासह नोंदवतो — म्हणजे तुम्ही विचारू शकता "काल रात्री 2 वाजता ते काय करत होते?"
दैनंदिनी 📜 (logs) — प्रत्येक मुलाने जे लिहिले ते (kubectl logs, L16). मोठ्या प्रमाणावर एक अडचण: दैनंदिनी बाकासोबतच मरतात! म्हणून प्रत्येक मजल्यावरचा एक collector (एक DaemonSet! — L21) प्रत्येक दैनंदिनी ग्रंथालयात (Loki, CloudWatch Logs, Elasticsearch) पाठवतो, जिथे त्या pods पेक्षा जास्त टिकतात आणि संपूर्ण शाळेत शोधता येतात.
धोक्याच्या घंटा 🔔 (alerts) — रात्री 3 वाजता dashboards कडे कोणीच टक लावून पाहत नाही. नियम metrics वर लक्ष ठेवतात: "5 min हवे त्यापेक्षा कमी ready pods → on-call फोन वाजवा." (Alertmanager, किंवा CloudWatch alarms.)

आणि भारी चौथे: traces 🧵 — एका request चा प्रवास services मधून जोडलेला (फाटक → api → analytics → db), "कुठे हळू झाले?" साठी. तुमच्याकडे बोटांपेक्षा जास्त services होतील तेव्हा त्याची ओळख करून घ्या.

क्लासिक सुरुवातीचा संच: kube-prometheus-stack (Prometheus + Grafana

Alertmanager, Helm मधून install — ArgoCD कोर्स L11 — आणि हो, तो पूर्णपणे operators + CRDs वरच उभा आहे — L25 🤯).

🗺️ आकृती

flowchart LR
    subgraph school["🏫 the cluster"]
        pods["🪑 pods expose /metrics"]
        ds["🧯 log collector<br/>DaemonSet, every floor (L21)"]
    end
    prom["📊 Prometheus<br/>scrapes numbers + history"]
    loki["📜 log store<br/>diaries outlive desks"]
    graf["📺 Grafana<br/>one screen: metrics + logs"]
    alert["🔔 Alertmanager<br/>rules → ring the on-call phone"]
    pods --> prom
    ds --> loki
    prom --> graf
    loki --> graf
    prom --> alert

❓ काय

metrics-server vs Prometheus: HPA/top साठी आत्ताचे live आकडे vs पूर्ण इतिहास + query language (PromQL) + alerting. तुम्हाला दोन्ही हवे.
छोट्या setup ने उत्तर द्यायलाच हवेत असे चार प्रश्न: app चालू आहे का (probes ready)? ते errors देत आहे का (HTTP 5xx rate)? ते हळू आहे का (latency)? cluster निरोगी आहे का (Pending pods, node pressure — L23 चे evictions इथेच आधी दिसतात!).
सुरुवातीचे सोनेरी alerts: deployment चे ready-replicas हव्यापेक्षा कमी; pod restart-loop मध्ये; node NotReady; PVC जवळजवळ भरलेला; job failed (L18 ची तुमची backup घंटा!).
EKS वर भाड्याने-घ्या-स्वतः-चालवू-नका पर्याय म्हणजे CloudWatch Container Insights — कमी बटणे, एकच बिल; trade-offs पानाचे तर्कशास्त्र नेहमीप्रमाणे लागू.
खर्च cardinality आणि retention मध्ये असतो: 15 दिवस hot ठेवा, बाकी cold पाठवा, आणि metrics ना अमर्याद values चे labels लावू नका (user IDs 😱).

🤔 का

आधीच्या प्रत्येक धड्याने cluster ला एक वर्तन दिले; observability ने तुम्हाला कळते की आत्ता नेमके कोणते घडत आहे. धडा 16 चा सराव पुराव्यापासून सुरू होणे विरुद्ध घबराटीपासून सुरू होणे — आणि backup आज रात्री अपयशी झाला हे आज कळणे विरुद्ध backup लागला त्या दिवशी कळणे — यांतला फरकही हाच.

🧪 करून पाहा

# the junior report card you already have:
kubectl top nodes && kubectl -n school top pods        # (metrics-server, L09)

# what Prometheus would scrape — peek at a real /metrics page:
kubectl -n school port-forward deploy/school-api 3000:3000 &
curl -s localhost:3000/metrics | head -20 2>/dev/null \
  || echo "no /metrics endpoint — apps expose one via client libraries (prom-client for Node)"
kill %1

# the full stack, one command (needs Helm; ~2 min, laptop-friendly):
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install obs prometheus-community/kube-prometheus-stack -n monitoring --create-namespace
kubectl -n monitoring port-forward svc/obs-grafana 3001:80 &
# open http://localhost:3001 (admin / prom-operator) → dashboards for
# YOUR cluster: nodes, pods, the works. 📺  Uninstall: helm uninstall obs -n monitoring

🔧 या धड्यासाठी kubectl

kubectl port-forward svc/grafana · kubectl get servicemonitors

🔗 यावर आधारित: 🪪 AWS L18 (CloudWatch — तीच तिकडी, managed)

✅ तपासा — तुम्हाला काय दिसले पाहिजे

Grafana k8s/observability/starter-dashboard.json मधले चार panels दाखवते — up / errors / latency / cluster health — आणि तुम्ही pod मारल्यावर alert वाजतो.

🧹 साफसफाई

monitoring stack local वर helm uninstall करा — EKS वर ते nodes आणि storage तासाप्रमाणे बिल लावतात

⚠️ नेहमीच्या चुका

outage होईपर्यंत कोणीच न पाहणारे dashboards — alert फोनला जोडा
प्रत्येक metric वर alert — आधी चार प्रश्न, मग वाढवा

🎓 संपूर्ण शाळा, पूर्ण

डबे → बाक → monitors → reception → खोल्या → सूचना-फलक → probes → वाटे → बसेस → फाटके → बदल्या → फळ्या → office → deploy robots → अनेक इमारती → परिचारिकेचा सराव → hall passes → गृहपाठाच्या घंटा → चिठ्ठ्यांचे नियम → ठरलेल्या जागा → अग्निशामक → नावाच्या पाट्या → जेवणाचे क्रमांक → नूतनीकरण → नवे शब्द → आणि आता: सगळ्यावर नजर. सव्वीस धडे. तुम्ही आता फक्त Kubernetes वापरत नाही — तुम्ही ते चालवू शकता, debug करू शकता, सुरक्षित करू शकता, upgrade करू शकता आणि त्याचा श्वास पाहू शकता. 🎓

git checkout main   # and go run something real

📈 Lesson 26 — Observability: report cards, diaries and alarm bells

📍 You are here: Lesson 26 of 26 — the final lesson! · Previous: lesson-25-crds-operators

📦 What's in this branch

The complete course — all 26 lessons. The finale: how you actually see a running cluster: the three signals, the standard tools, and what "good enough" looks like.

🧒 Explain like I'm 5

A school you can't observe is a school run on rumors. Three kinds of paperwork fix that:

Report cards 📊 (metrics) — numbers over time: how much CPU is each kid using? requests per second? pods Pending? You've met the junior version: metrics-server (it feeds kubectl top and the HPA, L09). The grown-up version is Prometheus: every few seconds it walks the school and copies numbers off every door (/metrics), filing them with history — so you can ask "what was it doing at 2 AM yesterday?"
Diaries 📜 (logs) — what each kid wrote (kubectl logs, L16). One problem at scale: diaries die with the desk! So a collector on every floor (a DaemonSet! — L21) ships every diary to the library (Loki, CloudWatch Logs, Elasticsearch) where they outlive pods and are searchable across the whole school.
Alarm bells 🔔 (alerts) — nobody stares at dashboards at 3 AM. Rules watch the metrics: "fewer ready pods than desired for 5 min → ring the on-call phone." (Alertmanager, or CloudWatch alarms.)

Plus the fancy fourth: traces 🧵 — one request's journey stitched across services (gate → api → analytics → db), for "WHERE was it slow?". Meet it when you have more services than fingers.

The classic starter kit: kube-prometheus-stack (Prometheus + Grafana

Alertmanager, installed via Helm — ArgoCD course L11 — and yes, it's operators + CRDs all the way down — L25 🤯).

🗺️ Diagram

flowchart LR
    subgraph school["🏫 the cluster"]
        pods["🪑 pods expose /metrics"]
        ds["🧯 log collector<br/>DaemonSet, every floor (L21)"]
    end
    prom["📊 Prometheus<br/>scrapes numbers + history"]
    loki["📜 log store<br/>diaries outlive desks"]
    graf["📺 Grafana<br/>one screen: metrics + logs"]
    alert["🔔 Alertmanager<br/>rules → ring the on-call phone"]
    pods --> prom
    ds --> loki
    prom --> graf
    loki --> graf
    prom --> alert

❓ What

metrics-server vs Prometheus: live-now numbers for HPA/top vs full history + query language (PromQL) + alerting. You want both.
The four questions a minimal setup must answer: is the app up (probes ready)? is it erroring (HTTP 5xx rate)? is it slow (latency)? is the cluster healthy (Pending pods, node pressure — L23's evictions show up here first!).
Golden alerts to start with: deployment ready-replicas below desired; pod restart-looping; node NotReady; PVC almost full; job failed (your backup bell from L18!).
On EKS the rent-don't-run option is CloudWatch Container Insights — fewer knobs, one bill; the trade-offs page's logic applies as always.
Costs live in cardinality and retention: keep 15 days hot, ship the rest cold, and don't label metrics with unbounded values (user IDs 😱).

🤔 Why

Every earlier lesson gave the cluster a behavior; observability is how you find out which one is happening right now. It's also the difference between lesson 16's drill starting from evidence versus from panic — and between discovering the backup failed tonight or discovering it the day you needed the backup.

🧪 Try it

# the junior report card you already have:
kubectl top nodes && kubectl -n school top pods        # (metrics-server, L09)

# what Prometheus would scrape — peek at a real /metrics page:
kubectl -n school port-forward deploy/school-api 3000:3000 &
curl -s localhost:3000/metrics | head -20 2>/dev/null \
  || echo "no /metrics endpoint — apps expose one via client libraries (prom-client for Node)"
kill %1

# the full stack, one command (needs Helm; ~2 min, laptop-friendly):
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install obs prometheus-community/kube-prometheus-stack -n monitoring --create-namespace
kubectl -n monitoring port-forward svc/obs-grafana 3001:80 &
# open http://localhost:3001 (admin / prom-operator) → dashboards for
# YOUR cluster: nodes, pods, the works. 📺  Uninstall: helm uninstall obs -n monitoring

🔧 kubectl for this lesson

kubectl port-forward svc/grafana · kubectl get servicemonitors

🔗 Builds on: 🪪 AWS L18 (CloudWatch — the same trio, managed)

✅ Verify — what you should see

Grafana shows the four panels from k8s/observability/starter-dashboard.json — up / errors / latency / cluster health — and the alert fires when you kill a pod.

🧹 Clean up

helm uninstall the monitoring stack locally — on EKS it is nodes and storage billing hourly

⚠️ Common mistakes

dashboards nobody looks at until the outage — wire an alert to a phone
alerting on every metric — four questions, then grow

🎓 The whole school, complete

Lunchboxes → desks → monitors → reception → rooms → notice boards → probes → portions → buses → gates → substitutions → shelves → the office → deploy robots → many buildings → the nurse's drill → hall passes → homework bells → notes rules → assigned seats → extinguishers → name plates → lunch rankings → renovations → new words → and now: eyes on all of it. Twenty-six lessons. You don't just use Kubernetes anymore — you can run it, debug it, secure it, upgrade it and watch it breathe. 🎓

git checkout main   # and go run something real

← Previouscrds operators Finished! Take the quiz →check what stuck

This page is the lesson's README from the lesson-26-observability branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.