📈 धडा 18 — CloudWatch: प्रगतिपुस्तके, डायऱ्या, धोक्याच्या घंटा

📍 तुम्ही इथे आहात: 20 पैकी धडा 18 · मागील: lesson-17-rds · पुढील: lesson-19-lambda

📦 या ब्रँचमध्ये काय आहे

धडे 01–18. आतापर्यंत तुम्ही बांधलेले सगळे, अखेर दिसू लागते.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

जी शाळा तुम्हाला दिसत नाही, तिच्याबद्दल तुम्हाला संतापलेल्या पालकांकडूनच कळते. CloudWatch ही शाळेची संपूर्ण जाणीव-व्यवस्था आहे, तीन भागांत:

प्रगतिपुस्तके 📊 (metrics): प्रत्येक बाक, reception आणि दप्तर कार्यालय दर मिनिटाला आकडे पाठवतात — CPU, requests, निरोगी बाकांची संख्या, मोकळी storage. Metric म्हणजे फक्त timestamp असलेला आकडा, नावानुसार ठेवलेला.
डायऱ्या 📔 (logs): नेमके काय घडले त्याचा मजकूर — application output, Lambda prints, VPC flow logs (कोणी कोणत्या विभागाच्या दारावर ठोठावले — धडा 13 चे corridors, लिहून ठेवलेले).
धोक्याच्या घंटा 🔔 (alarms): एका आकड्यावर लक्ष ठेवणारा नियम: *"जर CPU

80% 5 मिनिटे राहिला → वाजव."* आणि वाजणे काहीतरी करतेही: शिक्षिकेला text करते (SNS), किंवा — सगळ्यात सुंदर — fleet व्यवस्थापकाला बाक वाढवायला सांगते (धडा 12 चा ASG; हा alarm म्हणजेच k8s HPA च्या पावसाळी दिवसाच्या जादा बसेस, एक थर खाली).

एक प्रसिद्ध धक्का 🫢: EC2 च्या अंगभूत प्रगतिपुस्तकात memory चा रकानाच नाही. Hypervisor बाहेरून CPU पाहू शकतो, पण memory ही बाकाची खाजगी बाब आहे — ती पाठवण्यासाठी तुम्हाला CloudWatch agent (बाकावरच बसलेला एक छोटा वार्ताहर) install करावा लागतो.

🗺️ आकृती

flowchart LR
    src["🖥️ desks · 🛎️ ALB · 🗃️ RDS<br/>every minute"]
    m["📊 metrics<br/>CPUUtilization = 87%"]
    l["📔 logs<br/>app output, flow logs"]
    a["🔔 alarm: CPU > 80%<br/>for 5 min"]
    sns["📱 text the teacher (SNS)"]
    asg["👯 ASG: +2 desks<br/>(the HPA, one floor down)"]
    src -->|"1"| m
    src -->|"1"| l
    m -->|"2 watched by"| a
    a -->|"3a"| sns
    a -->|"3b"| asg

❓ काय

Namespaces & dimensions: metrics AWS/EC2, AWS/ApplicationELB… खाली ठेवले जातात, instance/target-group नुसार विभागलेले. तुमचे app स्वतःचे custom metrics पाठवू शकते (put-metric-data) — दर मिनिटाच्या orders हाही metric आहे.
Alarm states: OK / ALARM / INSUFFICIENT_DATA — तिसऱ्याचा अर्थ बहुधा बाकाने कळवणे थांबवले आहे, जी स्वतःच एक आणीबाणी आहे.
Logs Insights: डायऱ्यांसाठी grep — terabytes log ओळींवर query करा (filter @message like /ERROR/ | stats count() by bin(5m)).
Dashboards: staff room जवळचा सूचनाफलक — सगळे ज्यांच्याकडे नजर टाकतात ते चार graphs.
या मालिकेत: k8s धडा 26 मधले Prometheus/Grafana म्हणजे नेमके हेच त्रिकूट, self-hosted; EKS control-plane logs इथेच येतात.

🤔 का

धडा 20 तुम्हाला शाळेचा खर्च सांगेल; हा धडा सांगतो ती काय करत आहे — आणि alarm-→-action ची जोडणी म्हणजे "monitoring" (outage नंतर पाहायचे सुंदर graphs) आणि "operating" (तुम्ही उठण्याआधीच शाळा प्रतिसाद देते) यांतला फरक. Metrics सांगतात की काहीतरी चुकले आहे, डायऱ्या सांगतात का: दोन्ही लागतात, नीट ठेवलेले आणि सापडण्याजोगे.

🔧 कसे

# read a desk's report card from the CLI (last hour of CPU):
aws cloudwatch get-metric-statistics --namespace AWS/EC2 \
  --metric-name CPUUtilization --dimensions Name=InstanceId,Value=$ID \
  --start-time $(date -u -v-1H +%FT%TZ) --end-time $(date -u +%FT%TZ) \
  --period 300 --statistics Average

🧪 करून पाहा (~15 मिनिटे, काही पैसे)

धडा 07 चा बाक boot करा, त्यावर stress --cpu 2 चालवा (user-data stress install करते), CPU > 50% वर alarm बनवा आणि तो तुमच्या email ने subscribe केलेल्या SNS topic ला जोडा, आणि mail ची वाट पाहा. तीच उसळी graph म्हणून वाचा. Destroy करा — आणि लक्षात घ्या, alarm ठेवायला मोफत आहे, पण बाक नाही.

✅ तपासा — तुम्हाला काय दिसायला हवे

Stress test दरम्यान alarm OK → ALARM होतो आणि SNS email येतो; metric graph उसळी दाखवतो.

🧹 साफसफाई — चालू ठेवू नका

बाक terraform destroy करा; alarm स्वतः ठेवायला मोफत आहे

⚠️ नेहमीच्या चुका

1 तासाच्या सरासरीवर alarm — उसळी सरासरीत विरून जाते
CloudWatch agent शिवाय memory metric ची अपेक्षा करणे
INSUFFICIENT_DATA कडे दुर्लक्ष — बाकाने कळवणे थांबवले, ते incident आहे

⏭️ पुढे

आतापर्यंत सगळे काही कामाची वाट पाहणाऱ्या बाकावर आधारित होते. पण काही काम दिवसातून एकदाचे छोटे काम असते — त्यासाठी बाक भाड्याने घेणे मूर्खपणा आहे. धडा 19: Lambda, फक्त बोलावल्यावरच अस्तित्वात असणारा मदतनीस.

📈 Lesson 18 — CloudWatch: report cards, diaries, alarm bells

📍 You are here: Lesson 18 of 20 · Previous: lesson-17-rds · Next: lesson-19-lambda

📦 What's in this branch

Lessons 01–18. Everything you've built so far, finally visible.

🧒 Explain like I'm 5

A school you can't see is a school you find out about from angry parents. CloudWatch is the school's whole awareness system, in three parts:

Report cards 📊 (metrics): every desk, reception, and record office mails in numbers every minute — CPU, requests, healthy-desk count, free storage. A metric is just a number with a timestamp, filed by name.
Diaries 📔 (logs): the actual text of what happened — application output, Lambda prints, VPC flow logs (who knocked on which wing — lesson 13's corridors, written down).
Alarm bells 🔔 (alarms): a rule watching one number: *"if CPU

80% for 5 minutes → ring."* And ringing DOES something: texts the teacher (SNS), or — the beautiful one — tells the fleet manager to add desks (the ASG from lesson 12; this alarm IS the k8s HPA's rainy-day buses, one layer down).

One famous surprise 🫢: EC2's built-in report card has no memory column. The hypervisor can see CPU from outside, but memory is the desk's private business — you must install the CloudWatch agent (a little reporter ON the desk) to mail that in.

🗺️ Diagram

flowchart LR
    src["🖥️ desks · 🛎️ ALB · 🗃️ RDS<br/>every minute"]
    m["📊 metrics<br/>CPUUtilization = 87%"]
    l["📔 logs<br/>app output, flow logs"]
    a["🔔 alarm: CPU > 80%<br/>for 5 min"]
    sns["📱 text the teacher (SNS)"]
    asg["👯 ASG: +2 desks<br/>(the HPA, one floor down)"]
    src -->|"1"| m
    src -->|"1"| l
    m -->|"2 watched by"| a
    a -->|"3a"| sns
    a -->|"3b"| asg

❓ What

Namespaces & dimensions: metrics file under AWS/EC2, AWS/ApplicationELB… sliced by instance/target-group. Your app can mail custom ones (put-metric-data) — orders per minute is a metric too.
Alarm states: OK / ALARM / INSUFFICIENT_DATA — the third one usually means the desk stopped reporting, which is its own emergency.
Logs Insights: grep for diaries — query terabytes of log lines (filter @message like /ERROR/ | stats count() by bin(5m)).
Dashboards: the noticeboard by the staff room — the four graphs everyone glances at.
In this series: k8s lesson 26's Prometheus/Grafana is this exact trio, self-hosted; EKS control-plane logs land here.

🤔 Why

Lesson 20 will tell you what the school costs; this lesson tells you what it's doing — and the alarm-→-action wiring is the difference between "monitoring" (pretty graphs you look at after the outage) and "operating" (the school reacts before you wake up). Metrics say THAT something's wrong, diaries say WHY: you need both, filed and findable.

🔧 How

# read a desk's report card from the CLI (last hour of CPU):
aws cloudwatch get-metric-statistics --namespace AWS/EC2 \
  --metric-name CPUUtilization --dimensions Name=InstanceId,Value=$ID \
  --start-time $(date -u -v-1H +%FT%TZ) --end-time $(date -u +%FT%TZ) \
  --period 300 --statistics Average

🧪 Try it (~15 min, pennies)

Boot lesson 07's desk, stress --cpu 2 it (user-data installs stress), create an alarm at CPU > 50% wired to an SNS topic your email subscribes to, and wait for the mail. Read the same spike as a graph. Destroy — and notice the alarm itself is free to keep, but the desk isn't.

✅ Verify — what you should see

the alarm goes OK → ALARM during the stress test and the SNS email arrives; the metric graph shows the spike.

🧹 Clean up — do not leave running

terraform destroy the desk; the alarm itself is free to keep

⚠️ Common mistakes

alarming on averages over 1 hour — the spike averages away
expecting a memory metric without the CloudWatch agent
INSUFFICIENT_DATA ignored — the desk stopped reporting, that's an incident

⏭️ Next

Everything so far assumed a desk waiting for work. But some work is one errand a day — renting a desk for that is silly. Lesson 19: Lambda, the helper who exists only while called.

← Previousrds Next →lambda

This page is the lesson's README from the lesson-18-cloudwatch branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.