🖼️ See the drawing + lab 🏠 Course home 🌿 Branch on GitHub ✏️ View source

🖼️ आकृती आणि labThe drawing + lab पूर्ण पानावर उघडा ↗Open full page ↗

💾 धडा 04 — Storage — EBS आणि snapshots: ड्रॉवर, खरडवही आणि झेरॉक्स प्रत

📍 तुम्ही इथे आहात: 12 पैकी धडा 04 · मागे: lesson-03-amis-launch · पुढे: lesson-05-networking

📦 या ब्रँचमध्ये काय आहे

धडे 01–03, आणि डेस्क आपल्या वस्तू कुठे ठेवतो ते: EBS volumes (कुलूप लावता येणारा ड्रॉवर), instance store (खरडवही), आणि snapshots (आग न लागणाऱ्या archive मधली झेरॉक्स प्रत) — reboot, stop आणि terminate नंतर काय टिकते याच्या table सह, आणि ec2/costs.py मधले snapshot_cost().

🧒 5 वर्षांच्या मुलाला समजावल्यासारखे

प्रत्येक डेस्कवर वस्तू ठेवण्याच्या तीन जागा असतात.

ड्रॉवर 💾 (एक EBS volume) हा कुलूप लावता येणारा ड्रॉवर आहे, जो त्याच इमारतीतल्या भांडारातून तुमच्या डेस्कपर्यंत चाकांवरून आणला जातो. तुम्ही रात्री डेस्क सोडून गेलात (stop), तरी ड्रॉवर भरलेलाच राहतो. डेस्क फेकून दिला (terminate), तर मुख्य ड्रॉवर सहसा त्याच्यासोबत जातो — पण तुम्ही स्वतः जोडलेला जास्तीचा ड्रॉवर भरलेल्या अवस्थेतच भांडारात परत नेला जातो.

खरडवही 📝 (instance store) डेस्कच्या वरच्या भागातच बसवलेली असते. ती खूप वेगवान आहे, मोफत आहे, आणि तुम्ही डेस्क सोडता तेव्हा प्रत्येक वेळी पुसली जाते. कच्च्या कामासाठी उत्तम, तुमच्या गृहपाठासाठी अगदी वाईट.

झेरॉक्स प्रत 📸 (एक snapshot) म्हणजे आग न लागणाऱ्या archive मध्ये ठेवलेली ड्रॉवरची copy. पहिली प्रत सगळे copy करते; त्यानंतर फक्त बदललेली पाने. आणि झेरॉक्स प्रतीचे जिल्ह्यातल्या कोणत्याही इमारतीत पुन्हा ड्रॉवर बनवता येते — जरी तो ड्रॉवर स्वतः नेहमी एकाच इमारतीत राहिला असला तरी.

🗺️ आकृती

flowchart LR
    desk["🖥️ desk in AZ-a"]
    root["💾 root EBS<br/>DeleteOnTermination = true"]
    data["💾 data EBS<br/>attached later"]
    pad["📝 instance store"]
    desk --- root
    desk --- data
    desk --- pad
    snap["📸 snapshot<br/>6 GB first + 0.5 GB/day changed"]
    data -->|"1 photocopy, incremental"| snap
    newvol["💾 new volume in AZ-b"]
    snap -->|"2 restore anywhere in the Region"| newvol
    rules["🔁 reboot: all kept · ⏸️ stop: pad wiped · 🗑️ terminate: root deleted, data kept, pad wiped"]
    desk -.->|"3"| rules

🗺️ काढलेली आकृती + एक lab: https://school-edh.pages.dev/ec2/lesson-diagrams.html#l04

❓ काय

EBS volume — network ने जोडलेले block storage. ते एकाच AZ मध्ये राहते आणि त्याच AZ मधल्या instances ला जोडले जाते. Stop/start नंतर टिकते; तुम्ही ते काढून दुसऱ्या instance ला जोडू शकता.
Volume types — gp3 general-purpose SSD (baseline 3,000 IOPS आणि 125 MiB/s, दोन्ही size पासून वेगळे बदलता येतात — default निवड), gp2 (जुने; IOPS size शी बांधलेले), io2 (जड databases साठी provisioned IOPS), st1/sc1 (throughput/cold HDD).
DeleteOnTermination — root volume साठी default true असतो (instance सोबत delete होतो); launch नंतर जोडलेल्या volumes साठी default false (ठेवले जातात).
Instance store — host मध्ये प्रत्यक्ष असलेले NVMe disks, फक्त काही types वर (m7gd, c7gd मधला d, आणि i family). वेगवान आणि किमतीत समाविष्ट, पण stop, hibernate किंवा terminate वर पुसले जातात, आणि host बिघडला तर हरवतात.
Snapshot — volume ची एका क्षणाची, incremental copy, AWS ती S3 मध्ये साठवते (तुमच्या buckets मध्ये ती दिसत नाही). Regional: Region च्या कोणत्याही AZ मध्ये restore करा, किंवा disaster recovery साठी copy-snapshot ने दुसऱ्या Region मध्ये. Restore केलेला volume आपले blocks पहिल्या read वेळी हळूहळू load करतो — तुम्ही pre-warm केले नाही किंवा Fast Snapshot Restore वापरले नाही तर पहिले वापर मंद असतात.
Encryption — KMS keys वापरून EBS encryption, OS ला न जाणवणारे; प्रत्येक Region मध्ये encryption by default चालू करा आणि प्रत्येक नवा volume आणि त्याचे snapshots encrypted होतात.
Resizing — modify-volume वापरात असतानाच volume मोठा करते (आणि type किंवा IOPS बदलते); मग OS च्या आत partition आणि file system मोठी करा.

🤔 का

कारण "data कुठे राहतो?" यावरून stop, crash किंवा terminate तुम्हाला किती महागात पडेल ते ठरते. EC2 वरच्या data हरवण्याच्या बहुतेक कथा या तिघांपैकी एक असतात: database instance store वर होता, root volume instance सोबत delete झाला, किंवा कोणी कधी snapshot घेतलाच नाही. आणि stopped डेस्क मोफत नसतो: त्याच्या ड्रॉवरचे बिल चालूच राहते.

🔧 कसे (या repo मध्ये)

ec2/demo.py मधले storage() root EBS volume (DeleteOnTermination = true सह), एक जास्तीचा data volume आणि एक instance store यांची टिकण्याची table छापते, मग ec2/costs.py मधले costs.snapshot_cost() call करते: पहिली copy वापरलेले blocks साठवते, त्यानंतरची प्रत्येक फक्त बदललेले blocks. Compute hours शून्य असले तरी costs.monthly() gp3 storage चे बिल लावते. किमती अंदाजे आहेत.

🧪 करून पाहा

python3 ec2/demo.py storage
python3 - <<'EOF'
import sys; sys.path.insert(0, "ec2"); import costs
# a busier disk: 20 GB used, 2 GB changes a day — how much does the retention period cost?
print("keep 30 days:", costs.snapshot_cost(changed_gb_per_day=2, days_kept=30, first_full_gb=20), "(GB stored, $/month)")
print("keep  7 days:", costs.snapshot_cost(changed_gb_per_day=2, days_kept=7, first_full_gb=20))
# a stopped desk: zero compute hours, the 20 GB gp3 volume still bills
print("stopped all month (compute $, disk $):", costs.monthly("t3.micro", hours=0, gp3_gb=20))
EOF

खऱ्या account वर (AWS credentials लागतात; volumes आणि snapshots तुम्ही delete करेपर्यंत बिल लावतात — तुमच्या account मधले खरे IDs वापरा):

aws ec2 create-volume --availability-zone us-east-1a --size 20 --volume-type gp3 --encrypted
aws ec2 attach-volume --volume-id vol-0123456789abcdef0 --instance-id i-0123456789abcdef0 --device /dev/sdf
aws ec2 create-snapshot --volume-id vol-0123456789abcdef0 --description "before the upgrade"
aws ec2 describe-snapshots --owner-ids self --query 'Snapshots[].[SnapshotId,VolumeSize,State,StartTime]' --output table
aws ec2 enable-ebs-encryption-by-default --region us-east-1

✅ तपासा — तुम्हाला काय दिसायला हवे

टिकण्याची table अशी दिसते: reboot ✅ ✅ ✅; stop / start ✅ ✅ ❌ wiped; terminate ❌ deleted ✅ kept ❌ wiped. मग 6 GB first copy + 0.5 GB changed/day × 6 more days = 9.0 GB stored ≈ $0.45/month — 6 GB disk चे आठवडाभर रोज घेतलेले snapshots 9 GB साठवतात, 42 नाही. तुमचा snippet छापतो keep 30 days: (78, 3.9), keep 7 days: (32, 1.6) आणि stopped all month (compute $, disk $): (0.0, 1.6) — compute शून्य, पण ड्रॉवरचा खर्च अजूनही $1.60.

🏁 तुम्ही आत्ताच काय सिद्ध केले

प्रत्येक प्रकारच्या storage बद्दल तुम्ही सांगू शकता की reboot, stop आणि terminate त्याचे काय करतात — आणि रोजच्या सात झेरॉक्स प्रती सात पूर्ण copies पेक्षा खूप कमी खर्चाच्या का असतात.

⚠️ नेहमीच्या चुका

तुम्हाला लागणारे काहीही instance store वर ठेवणे — stop नंतर ते गेलेले असते
terminate वर root volume delete होतो हे विसरणे (DeleteOnTermination set करा किंवा आधी snapshot घ्या)
दुसऱ्या AZ मधल्या instance ला volume जोडण्याचा प्रयत्न करणे — त्याऐवजी तिथे snapshot restore करा
volume मोठा करून OS च्या आतली file system मोठी करायला विसरणे
न जोडलेले volumes आणि जुने snapshots वर्षानुवर्षे बिल लावत ठेवणे

🏭 प्रत्यक्ष वापरात हे का महत्त्वाचे: "data EBS वर आहे आणि त्याचे snapshots आहेत" हा प्रत्येक reviewer तपासतो तो पाया आहे, सोबत encryption by default चालू, gp2 ऐवजी gp3, आणि एक retention policy (धडा 12), म्हणजे snapshots ना नाहीसे होतात ना कायमचे साठत राहतात.

⏭️ पुढे

डेस्कजवळ कोणाला येण्याची परवानगी आहे? डेस्कवरची पाहुण्यांची यादी आणि विंगच्या दारावरचे नियम — security groups आणि network ACLs.

git checkout lesson-05-networking

💾 Lesson 04 — Storage — EBS & snapshots: the drawer, the scratch pad and the photocopy

📍 You are here: Lesson 04 of 12 · Previous: lesson-03-amis-launch · Next: lesson-05-networking

📦 What's in this branch

Lessons 01–03, plus where a desk keeps its things: EBS volumes (the lockable drawer), instance store (the scratch pad), and snapshots (the photocopy in the fireproof archive) — with a table of what survives reboot, stop and terminate, and snapshot_cost() in ec2/costs.py.

🧒 Explain like I'm 5

Every desk has three places to keep things.

The drawer 💾 (an EBS volume) is a lockable drawer that is wheeled up to your desk from the storeroom in the same building. If you leave the desk for the night (stop), the drawer stays full. If the desk is thrown away (terminate), the main drawer usually goes with it — but an extra drawer you attached yourself is wheeled back to the storeroom, still full.

The scratch pad 📝 (the instance store) is built into the desk top. It is very fast, it is free, and it is wiped every time you leave the desk. Great for rough work, terrible for your homework.

The photocopy 📸 (a snapshot) is a copy of a drawer kept in the fireproof archive. The first copy copies everything; after that, only the pages that changed. And a photocopy can be turned back into a drawer in any building in the district — even though the drawer itself only ever lived in one.

🗺️ Diagram

flowchart LR
    desk["🖥️ desk in AZ-a"]
    root["💾 root EBS<br/>DeleteOnTermination = true"]
    data["💾 data EBS<br/>attached later"]
    pad["📝 instance store"]
    desk --- root
    desk --- data
    desk --- pad
    snap["📸 snapshot<br/>6 GB first + 0.5 GB/day changed"]
    data -->|"1 photocopy, incremental"| snap
    newvol["💾 new volume in AZ-b"]
    snap -->|"2 restore anywhere in the Region"| newvol
    rules["🔁 reboot: all kept · ⏸️ stop: pad wiped · 🗑️ terminate: root deleted, data kept, pad wiped"]
    desk -.->|"3"| rules

🗺️ Drawn version + a lab: https://school-edh.pages.dev/ec2/lesson-diagrams.html#l04

❓ What

EBS volume — network-attached block storage. It lives in one AZ and attaches to instances in that AZ. Survives stop/start; you can detach it and attach it to another instance.
Volume types — gp3 general-purpose SSD (baseline 3,000 IOPS and 125 MiB/s, both adjustable separately from size — the default choice), gp2 (older; IOPS tied to size), io2 (provisioned IOPS for demanding databases), st1/sc1 (throughput/cold HDD).
DeleteOnTermination — the root volume defaults to true (deleted with the instance); volumes attached after launch default to false (kept).
Instance store — NVMe disks physically in the host, only on some types (the d in m7gd, c7gd, and the i family). Fast and included in the price, but wiped on stop, hibernate or terminate, and lost if the host fails.
Snapshot — a point-in-time, incremental copy of a volume, stored by AWS in S3 (you do not see it in your buckets). Regional: restore into any AZ of the Region, or copy-snapshot to another Region for disaster recovery. A restored volume loads its blocks lazily on first read — the first touches are slower unless you pre-warm it or use Fast Snapshot Restore.
Encryption — EBS encryption with KMS keys, transparent to the OS; turn on encryption by default per Region and every new volume and its snapshots are encrypted.
Resizing — modify-volume grows a volume (and changes type or IOPS) while it is in use; then grow the partition and file system inside the OS.

🤔 Why

Because "where does the data live?" decides what a stop, a crash or a terminate costs you. Most data-loss stories on EC2 are one of three: the database was on instance store, the root volume was deleted with the instance, or nobody ever took a snapshot. And a stopped desk is not free: its drawers keep billing.

🔧 How (in this repo)

storage() in ec2/demo.py prints the survival table for a root EBS volume (with DeleteOnTermination = true), an extra data volume and an instance store, then calls costs.snapshot_cost() from ec2/costs.py: the first copy stores the used blocks, every later one only the changed blocks. costs.monthly() bills gp3 storage even when compute hours are zero. The prices are approximate.

🧪 Try it

python3 ec2/demo.py storage
python3 - <<'EOF'
import sys; sys.path.insert(0, "ec2"); import costs
# a busier disk: 20 GB used, 2 GB changes a day — how much does the retention period cost?
print("keep 30 days:", costs.snapshot_cost(changed_gb_per_day=2, days_kept=30, first_full_gb=20), "(GB stored, $/month)")
print("keep  7 days:", costs.snapshot_cost(changed_gb_per_day=2, days_kept=7, first_full_gb=20))
# a stopped desk: zero compute hours, the 20 GB gp3 volume still bills
print("stopped all month (compute $, disk $):", costs.monthly("t3.micro", hours=0, gp3_gb=20))
EOF

On a real account (needs AWS credentials; volumes and snapshots bill until you delete them — use real IDs from your account):

aws ec2 create-volume --availability-zone us-east-1a --size 20 --volume-type gp3 --encrypted
aws ec2 attach-volume --volume-id vol-0123456789abcdef0 --instance-id i-0123456789abcdef0 --device /dev/sdf
aws ec2 create-snapshot --volume-id vol-0123456789abcdef0 --description "before the upgrade"
aws ec2 describe-snapshots --owner-ids self --query 'Snapshots[].[SnapshotId,VolumeSize,State,StartTime]' --output table
aws ec2 enable-ebs-encryption-by-default --region us-east-1

✅ Verify — what you should see

The survival table reads: reboot ✅ ✅ ✅; stop / start ✅ ✅ ❌ wiped; terminate ❌ deleted ✅ kept ❌ wiped. Then 6 GB first copy + 0.5 GB changed/day × 6 more days = 9.0 GB stored ≈ $0.45/month — a week of daily snapshots of a 6 GB disk stores 9 GB, not 42. Your snippet prints keep 30 days: (78, 3.9), keep 7 days: (32, 1.6) and stopped all month (compute $, disk $): (0.0, 1.6) — zero compute, but the drawer still costs $1.60.

🏁 What you just proved

You can say, for each kind of storage, what a reboot, a stop and a terminate do to it — and why seven daily photocopies cost far less than seven full copies.

⚠️ Common mistakes

keeping anything you need on instance store — it is gone after a stop
forgetting that the root volume is deleted on terminate (set DeleteOnTermination or snapshot first)
trying to attach a volume to an instance in a different AZ — restore a snapshot there instead
growing the volume and forgetting to grow the file system inside the OS
leaving unattached volumes and ancient snapshots billing for years

🏭 Why this matters in production: "the data is on EBS and snapshotted" is the baseline every reviewer checks, with encryption by default on, gp3 instead of gp2, and a retention policy (lesson 12) so snapshots neither vanish nor pile up forever.

⏭️ Next

Who is allowed to walk up to the desk? The guest list at the desk and the rules on the wing door — security groups and network ACLs.

git checkout lesson-05-networking

← Previousamis launch Next →networking

This page is the lesson's README from the lesson-04-storage branch, shown here so the whole School stays on one site. Code files open on GitHub at the same branch.