🏗️ धडा 24 — Cluster upgrades: शाळा चालू असताना नूतनीकरण

📍 तुम्ही इथे आहात: धडा 24 / 26 · मागील: lesson-23-qos-evictions · पुढील: lesson-25-crds-operators

📦 या ब्रँचमध्ये काय आहे

आधीचे सगळे, आणि प्रत्येक cluster मालकाला वर्षातून ~3 वेळा करावे लागणारे काम: शाळा बंद न करता Kubernetes स्वतःच upgrade करणे.

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

Kubernetes वर्षातून तीन वेळा नवी version आणते, आणि जुन्या versions ना patches मिळणे बंद होते — म्हणून upgrade करणे ऐच्छिक नाही, ते ठरलेले नूतनीकरण आहे 🏗️. नूतनीकरणाचे नियम:

आधी office, मग वर्गखोल्या. 🏢 control plane upgrade करा (EKS: एक API call/Terraform बदल — AWS स्वतःच्या office चे नूतनीकरण न दिसता करते), मग बाक. कधीच उलटे नाही: kubelets office पेक्षा थोडे जुने असू शकतात, कधीच नवे नाहीत ("version skew" नियम).
एका वेळी एक वर्गखोली, मुलांना सभ्यपणे हलवा. प्रत्येक बाकासाठी:
- cordon 🚧 — दारावर पट्टी: "इथे नवी मुले बसवायची नाहीत" (kubectl cordon — बसलेली मुले जागीच राहतात);
- drain 🚚 — मुलांना दुसऱ्या बाकांकडे घेऊन जा (kubectl drain — pods reschedule होतात; धडा 03 चा monitor त्यांना दुसरीकडे पुन्हा बनवतो);
- बाक बदला (managed node groups: नव्या kubelet सह नवा EC2 बाक — गुरे, नूतनीकरण केलेले लाडके प्राणी नाहीत! AWS कोर्स L12);
- uncordon — पट्टी काढा, पुढची वर्गखोली.
PDBs अखेर कामाला येतात. 🍽️ धडा 15 चा PodDisruptionBudget हाच drain सुरक्षित बनवतो: "school-api ची दोन्ही मुले कधीच एकदम बाहेर नाहीत" — वर्ग सांभाळला जाईपर्यंत drain प्रत्येक पायरीवर थांबतो. PDB नाही = drain क्षणभरासाठी तुमचे app रिकामे करू शकतो. आता कळले आपण तो का ठेवला.
फक्त छोटी पावले: एका वेळी एकच minor version (1.31→1.32→1.33), आधी staging cluster, काढून टाकलेल्या APIs साठी release notes वाचा (क्लासिक बिघाड: नाहीशी झालेली apiVersion वापरणारा manifest).

🗺️ आकृती

flowchart LR
    plan["📋 read release notes<br/>check deprecated APIs"]
    office["🏢 1 upgrade the office<br/>EKS control plane - one call"]
    subgraph desks["2 then desk by desk"]
        c["🚧 cordon<br/>no new kids"]
        d["🚚 drain<br/>kids walk out politely<br/>PDB guards the minimum 🍽️"]
        r["🖥️ replace desk<br/>fresh EC2, new kubelet"]
        u["✅ uncordon<br/>next classroom"]
        c --> d --> r --> u
    end
    plan --> office --> desks
    u -.->|"repeat per node,<br/>school never closes"| c

❓ काय

Skew नियम: kubelet API server च्या 3 minor versions पर्यंत मागे असू शकतो, पण कधीच पुढे नाही. Upgrade क्रम: control plane → nodes → (मग add-ons: CNI, CoreDNS, kube-proxy — EKS प्रत्येक release साठी सुसंगत versions ची यादी देते).
EKS flow: Terraform मध्ये cluster_version वाढवा → control plane जागीच upgrade होतो (तरीही multi-AZ, downtime नाही) → node group ची AMI/version update करा → EKS नेमके cordon-drain-replace वापरून, तुमच्या PDBs चा मान राखत बाक बदलत जाते.
तुम्हाला खरोखर लागतील असे kubectl drain flags: --ignore-daemonsets (अग्निशामक मजल्याला बोल्टने पक्के राहतात — L21) आणि --delete-emptydir-data (कच्च्या कामाच्या फळ्या तसेही टिकत नाहीत).
सावधान: single-replica apps (हलवायला दुसरी जागाच नाही — थोडा downtime), drawer मुळे एका zone ला बांधलेले StatefulSets (L22), आणि इतके कडक PDBs की drain कधीच पुढे जाऊ शकत नाही (minAvailable = replicas → deadlock 😅).

🤔 का

upgrades टाळणारे clusters patch न करता येणारी संग्रहालये बनतात, आणि शेवटी भाग पाडणारा तिहेरी-उडीचा upgrade म्हणजे दहशतीचा weekend. वारंवार upgrade करणाऱ्या teams साठी ते कंटाळवाणे होते — कारण या कोर्समधली प्रत्येक यंत्रणा (monitor, probes, PDB, multi-AZ, गुरांसारखे बाक) नेमकी यासाठीच आहे की एखादा बाक कोणत्याही क्षणी मुद्दाम नाहीसा होऊ शकावा. Upgrade म्हणजे फक्त ठरवून केलेला गोंधळ.

🧪 करून पाहा (कोणत्याही local cluster वर सुरक्षित)

kubectl version | head -2                       # office vs desk versions
NODE=$(kubectl get nodes -o jsonpath='{.items[0].metadata.name}')

kubectl cordon $NODE                            # 🚧 tape on the door
kubectl get nodes                               # SchedulingDisabled
kubectl -n school run newkid --image=busybox -- sleep 300
kubectl -n school get pod newkid                # Pending — no desk accepts new kids!

kubectl uncordon $NODE                          # tape off
kubectl -n school get pod newkid -w             # seated 🎉  (Ctrl+C)
kubectl -n school delete pod newkid

# multi-node clusters only — feel a real drain (watch the PDB hold the line):
# kubectl drain $NODE --ignore-daemonsets --delete-emptydir-data
# kubectl uncordon $NODE

🔧 या धड्यासाठी kubectl

kubectl cordon/drain/uncordon · kubectl get nodes

🔗 यावर आधारित: 🪪 AWS L12 (EKS node groups = बाकांचे ASGs)

✅ तपासा — तुम्हाला काय दिसले पाहिजे

kubectl cordon NODE → SchedulingDisabled; kubectl drain PDB साठी थांबतो, मग pods हलतात; uncordon तो पुन्हा उघडतो.

🧹 साफसफाई

kubectl uncordon NODE — वर्गखोली पट्टी लावून बंद ठेवू नका

⚠️ नेहमीच्या चुका

minor versions वगळणे — एका वेळी एकच
PDB शिवाय drain करून सगळ्या replicas एकदम बंद पाडणे

⏭️ पुढे

Kubernetes पूर्णपणे नवे शब्द कसे शिकतो — ArgoCD च्या Application मागची आणि अर्ध्या cloud-native जगामागची यंत्रणा: CRDs आणि operators.

git checkout lesson-25-crds-operators

🏗️ Lesson 24 — Cluster upgrades: renovating while school stays open

📍 You are here: Lesson 24 of 26 · Previous: lesson-23-qos-evictions · Next: lesson-25-crds-operators

📦 What's in this branch

Everything before, plus the chore every cluster owner meets ~3 times a year: upgrading Kubernetes itself without closing the school.

🧒 Explain like I'm 5

Kubernetes ships a new version three times a year, and old versions stop getting patches — so upgrading isn't optional, it's scheduled renovation 🏗️. The renovation rules:

Office first, classrooms second. 🏢 Upgrade the control plane (EKS: one API call/Terraform change — AWS renovates its own office invisibly), THEN the desks. Never the other way: kubelets may be a little OLDER than the office, never newer (the "version skew" rule).
One classroom at a time, kids relocated politely. For each desk:
- cordon 🚧 — tape on the door: "no NEW kids seated here" (kubectl cordon — running kids stay put);
- drain 🚚 — walk the kids out to other desks (kubectl drain — pods rescheduled; lesson 03's monitor rebuilds them elsewhere);
- replace the desk (managed node groups: a fresh EC2 desk with the new kubelet — cattle, not renovated pets! AWS course L12);
- uncordon — tape off, next classroom.
The PDBs finally perform. 🍽️ Lesson 15's PodDisruptionBudget is exactly what makes draining safe: "never both school-api kids out at once" — the drain WAITS at each step until the class is covered. No PDB = a drain can empty your app for a moment. Now you know why we set one.
Small steps only: one minor version at a time (1.31→1.32→1.33), staging cluster first, read the release notes for removed APIs (the classic breakage: a manifest using an apiVersion that's gone).

🗺️ Diagram

flowchart LR
    plan["📋 read release notes<br/>check deprecated APIs"]
    office["🏢 1 upgrade the office<br/>EKS control plane - one call"]
    subgraph desks["2 then desk by desk"]
        c["🚧 cordon<br/>no new kids"]
        d["🚚 drain<br/>kids walk out politely<br/>PDB guards the minimum 🍽️"]
        r["🖥️ replace desk<br/>fresh EC2, new kubelet"]
        u["✅ uncordon<br/>next classroom"]
        c --> d --> r --> u
    end
    plan --> office --> desks
    u -.->|"repeat per node,<br/>school never closes"| c

❓ What

Skew rule: kubelet may trail the API server by up to 3 minor versions, but never lead it. Upgrade order: control plane → nodes → (then add-ons: CNI, CoreDNS, kube-proxy — EKS lists compatible versions per release).
EKS flow: bump cluster_version in Terraform → control plane upgrades in place (still multi-AZ, no downtime) → update the node group's AMI/version → EKS rolls desks using exactly cordon-drain-replace, respecting your PDBs.
kubectl drain flags you'll actually need: --ignore-daemonsets (extinguishers stay bolted to the floor — L21) and --delete-emptydir-data (scratch shelves don't survive anyway).
Watch out: single-replica apps (nothing to relocate TO — brief downtime), StatefulSets whose drawer pins them to a zone (L22), and PDBs set so strict the drain can never proceed (minAvailable = replicas → deadlock 😅).

🤔 Why

Clusters that skip upgrades become unpatchable museums, and the eventual forced triple-jump upgrade is a weekend of terror. Teams that upgrade often make it boring — because every mechanism in this course (monitor, probes, PDB, multi-AZ, cattle-desks) exists precisely so that a desk can vanish at any moment on purpose. An upgrade is just scheduled chaos.

🧪 Try it (safe on any local cluster)

kubectl version | head -2                       # office vs desk versions
NODE=$(kubectl get nodes -o jsonpath='{.items[0].metadata.name}')

kubectl cordon $NODE                            # 🚧 tape on the door
kubectl get nodes                               # SchedulingDisabled
kubectl -n school run newkid --image=busybox -- sleep 300
kubectl -n school get pod newkid                # Pending — no desk accepts new kids!

kubectl uncordon $NODE                          # tape off
kubectl -n school get pod newkid -w             # seated 🎉  (Ctrl+C)
kubectl -n school delete pod newkid

# multi-node clusters only — feel a real drain (watch the PDB hold the line):
# kubectl drain $NODE --ignore-daemonsets --delete-emptydir-data
# kubectl uncordon $NODE

🔧 kubectl for this lesson

kubectl cordon/drain/uncordon · kubectl get nodes

🔗 Builds on: 🪪 AWS L12 (EKS node groups = ASGs of desks)

✅ Verify — what you should see

kubectl cordon NODE → SchedulingDisabled; kubectl drain waits for the PDB, then pods move; uncordon reopens it.

🧹 Clean up

kubectl uncordon NODE — don't leave a classroom taped shut

⚠️ Common mistakes

skipping minor versions — one at a time
draining without a PDB and taking every replica down together

⏭️ Next

How Kubernetes learns entirely NEW words — the mechanism behind ArgoCD's Application and half the cloud-native world: CRDs & operators.

git checkout lesson-25-crds-operators

← Previousqos evictions Next →crds operators

This page is the lesson's README from the lesson-24-cluster-upgrades branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.