🏪 धडा 11 — Load balancers, proxies आणि CDNs: स्वागत कक्ष

📍 तुम्ही इथे आहात: 12 पैकी धडा 11 · पुढे: lesson-12-debugging

📦 या ब्रँचमध्ये काय आहे

धडे 01–11. एक नाव, अनेक counters: पाहुण्यांना वाटून देणारा, आरोग्य तपासणारा आणि सील केलेला लखोटा तिथेच उघडणारा desk — आणि प्रत्येक शहरात सूचना-फलकाची एक प्रत.

net/demo.py — http आणि tls: स्वागत कक्ष तुमच्या वतीने बोलतो त्या दोन गोष्टी

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

हजार पाहुणे "कार्यालय" मागतात. ते सगळे एकाच desk वर जाऊ शकत नाहीत. म्हणून समोर एक स्वागत कक्ष उभा असतो: तो प्रत्येक पाहुण्याला रिकाम्या counter कडे पाठवतो, आजारी रजेवर असलेला counter वगळतो (health check), आणि सील केलेला लखोटा स्वतःच वाचू शकतो म्हणजे counters ना ते करावे लागत नाही. reverse proxy म्हणजे थोड्या जास्त शिष्टाचारांचा तोच desk: तो चिठ्ठी पुन्हा लिहू शकतो, उत्तर cache करू शकतो, किंवा पाहुणा खरोखर कुठून आला ते सांगणारी टीप जोडू शकतो. CDN म्हणजे प्रत्येक शहरातला, सूचना-फलकाची प्रत असलेला स्वागत कक्ष — वाचकाला त्याच्या सर्वात जवळची प्रत मिळते.

🗺️ आकृती

flowchart LR
  V["👥 visitors"] --> LB["🏪 load balancer<br/>L4: ip:port · L7: URL, headers<br/>TLS ends here · health checks"]
  LB --> A["counter 1 ✅"] ; LB --> B["counter 2 ✅"] ; LB -.->|unhealthy| C["counter 3 ❌"]
  V --> CDN["🌍 CDN edge<br/>static files by URL"]

❓ काय

L4 balancing: पत्ता आणि port नुसार, protocol शी देणेघेणे नाही, TLS तसेच पुढे जाते. L7: URL, header, cookie नुसार; TLS इथे संपवतो; retry, rewrite, canary कडे route करू शकतो.
Algorithms: round-robin, least connections, hashing; sticky sessions पाहुण्याला एकाच counter ला बांधतात (एक cookie).
Health checks पाहुण्यांच्या लक्षात येण्याआधी बिघडलेला counter बाजूला करतात. X-Forwarded-For / Forwarded खऱ्या client चा पत्ता पुढे नेतात.
CDN: users जवळच्या edges वर URL नुसार responses cache करतो; anycast तुम्हाला सर्वात जवळच्याकडे पाठवतो; static files, images, UI शाळेचा फलक.
Kubernetes मध्ये: Service म्हणजे L4, Ingress म्हणजे L7. AWS मध्ये: NLB / ALB.

🤔 का

समोर desk असल्याशिवाय horizontally scale करणे अशक्य आहे. जगभरातल्या प्रेक्षकांसाठी latency मधले बहुतेक फायदे जलद servers मधून नाही, तर CDN मधून येतात. आणि बहुतेक "load balancer बिघडला आहे" म्हणजे fail होणारा health check असतो.

🔧 कसे (या repo मध्ये)

desk साठी स्वतः चालवण्यासारखे काही नाही; तुम्ही आधीच चालवलेले दोन विभाग म्हणजे तो बोलत असलेले दोन protocols. कोणत्याही मोठ्या site विरुद्ध curl -sI केल्यास desk च्या खुणा दिसतात: server: cloudflare, via, x-cache: HIT.

🧪 करून पाहा

curl -sI https://www.wikipedia.org | grep -iE 'server|via|x-cache|cf-ray|age'     # the desk's headers
curl -sI https://example.com -H 'X-Forwarded-For: 203.0.113.9' | head -1            # the note the proxy adds (harmless here)
python3 -m http.server 8081 & python3 -m http.server 8082 &                          # two counters; a one-line desk in front:
python3 - <<'EOF'
import http.server, urllib.request, itertools
up = itertools.cycle(["8081", "8082"])
class LB(http.server.BaseHTTPRequestHandler):
    def do_GET(self):
        p = next(up); r = urllib.request.urlopen(f"http://127.0.0.1:{p}{self.path}")
        self.send_response(200); self.send_header("X-Served-By", p); self.end_headers(); self.wfile.write(r.read()[:200])
print("desk on :8000 → 8081, 8082 round-robin"); http.server.HTTPServer(("127.0.0.1", 8000), LB).serve_forever()
EOF

✅ तपासा — तुम्हाला काय दिसायला हवे

Wikipedia CDN/proxy चे नाव सांगणारा server: header आणि age किंवा cache header देऊन उत्तर देते. पुन्हा पुन्हा curl -sI localhost:8000 केल्यावर तुमचा खेळण्यातला desk X-Served-By: 8081 आणि 8082 आलटून पालटून देतो.

🏁 तुम्ही आत्ताच काय सिद्ध केले

load balancer म्हणजे पुढे पाठवणारा एक साधा program; त्याचे मूल्य health checks, TLS termination आणि routing rules मध्ये आहे — आणि तिन्ही तुम्हाला headers मध्ये दिसतात.

⚠️ नेहमीच्या चुका

readiness दाखवणाऱ्या स्वस्त /health ऐवजी / (जड, cached) चा health-check करणे.
stateless counters ला पर्याय म्हणून sticky sessions वापरणे.
Set-Cookie असलेला API response CDN वर cache करणे. एका user चा data सगळ्यांना.

🏭 प्रत्यक्ष वापरात हे का महत्त्वाचे: ALB विरुद्ध NLB, Ingress controllers, सगळ्यासमोर Cloudflare — TLS, WAF, rate limits आणि canaries या desk वरच राहतात. API शाळेचा gateway (धडा 12) म्हणजे auth जोडलेला हाच desk.

⏭️ पुढे

धडा 12 — network चे debugging: सहा पायऱ्यांची शिडी आणि साधनपेटी.

🏪 Lesson 11 — Load balancers, proxies & CDNs: the reception desk

📍 You are here: Lesson 11 of 12 · Next: lesson-12-debugging

📦 What's in this branch

Lessons 01–11. One name, many counters: the desk that spreads visitors, checks health and ends the sealed envelope — and the copy of the notice board in every city.

net/demo.py — http and tls: the two things a reception desk speaks on your behalf

🧒 Explain like I'm 5

A thousand visitors ask for "the office". They cannot all go to one desk. So a reception desk stands in front: it sends each visitor to a free counter, skips a counter that is off sick (health check), and can read the sealed envelope itself so the counters do not have to. A reverse proxy is the same desk with extra manners: it may rewrite the slip, cache the answer, or add a note saying where the visitor really came from. A CDN is a reception desk in every city with a copy of the notice board — the reader gets the copy nearest them.

🗺️ Diagram

flowchart LR
  V["👥 visitors"] --> LB["🏪 load balancer<br/>L4: ip:port · L7: URL, headers<br/>TLS ends here · health checks"]
  LB --> A["counter 1 ✅"] ; LB --> B["counter 2 ✅"] ; LB -.->|unhealthy| C["counter 3 ❌"]
  V --> CDN["🌍 CDN edge<br/>static files by URL"]

❓ What

L4 balancing: by address and port, protocol-agnostic, TLS passes through. L7: by URL, header, cookie; terminates TLS; can retry, rewrite, route a canary.
Algorithms: round-robin, least connections, hashing; sticky sessions pin a visitor to one counter (a cookie).
Health checks remove a bad counter before visitors notice. X-Forwarded-For / Forwarded carry the real client address through.
CDN: caches responses by URL at edges near users; anycast sends you to the nearest; static files, images, the UI school's board.
In Kubernetes: a Service is L4, an Ingress is L7. In AWS: NLB / ALB.

🤔 Why

Scaling horizontally is impossible without a desk in front. Most latency wins for a global audience come from a CDN, not from faster servers. And most "the load balancer is broken" is a failing health check.

🔧 How (in this repo)

Nothing to run for the desk itself; the two sections you already ran are the two protocols it speaks. curl -sI against any big site shows the desk's fingerprints: server: cloudflare, via, x-cache: HIT.

🧪 Try it

curl -sI https://www.wikipedia.org | grep -iE 'server|via|x-cache|cf-ray|age'     # the desk's headers
curl -sI https://example.com -H 'X-Forwarded-For: 203.0.113.9' | head -1            # the note the proxy adds (harmless here)
python3 -m http.server 8081 & python3 -m http.server 8082 &                          # two counters; a one-line desk in front:
python3 - <<'EOF'
import http.server, urllib.request, itertools
up = itertools.cycle(["8081", "8082"])
class LB(http.server.BaseHTTPRequestHandler):
    def do_GET(self):
        p = next(up); r = urllib.request.urlopen(f"http://127.0.0.1:{p}{self.path}")
        self.send_response(200); self.send_header("X-Served-By", p); self.end_headers(); self.wfile.write(r.read()[:200])
print("desk on :8000 → 8081, 8082 round-robin"); http.server.HTTPServer(("127.0.0.1", 8000), LB).serve_forever()
EOF

✅ Verify — what you should see

Wikipedia answers with a server: header naming a CDN/proxy and an age or cache header. Your toy desk alternates X-Served-By: 8081 and 8082 on repeated curl -sI localhost:8000.

🏁 What you just proved

A load balancer is an ordinary program that forwards; the value is in health checks, TLS termination and routing rules — and you can see all three in headers.

⚠️ Common mistakes

Health-checking / (heavy, cached) instead of a cheap /health that reflects readiness.
Sticky sessions as a substitute for stateless counters.
Caching an API response with a Set-Cookie in it at the CDN. One user's data for everyone.

🏭 Why this matters in production: ALB vs NLB, Ingress controllers, Cloudflare in front of everything — the desk is where TLS, WAF, rate limits and canaries live. The API school's gateway (lesson 12) is this desk with auth attached.

⏭️ Next

Lesson 12 — debugging the network: the six-rung ladder and the toolbox.

← Previousfirewalls nat vpn Next →debugging

This page is the lesson's README from the lesson-11-load-balancers-cdn branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.