Mivel Visnyei Laci barátom megígérte az előző posztban, hogy írok pár sort a történtekről, így egy pillanatra otthagyom egyéb teendőimet és tájékoztatlak benneteket. Ennek egyrészt látom némi értelmét, mert pár geek talán érdekesnek fogja találni az alábbiakat, de a legtöbb ember szerintem csak ijedten mered a monitorra gondolván, hogy "mi a f@sz".
Szóval az volt a gond, hogy a régi, default AKI-ban (Amazon Kernel Image) volt LVM-specifikus bug és amikor pár hete snapshot-ot csináltam, akkor a kernelben valószínűleg beállt egy veszélyes állapot, ami csak tegnap előtt bosszulta meg magát, amikor új AMI-t (Amazon Machine Image) akartam menteni a wondeer.com mögött álló EC2 szerverből, aminek hatására nemes egyszerűséggel szétszállt a root fájlrendszer, vele együtt az SSH kulcsok is, szóval publikus kulcsú autentifikációval sem lehetett bepattanni SSH-n. Legalábbis feltételezem, hogy a fenti forgatókönyv szülte a hibát, nincs más ötletem.
Megoldás: Upgrade-eltem új AKI-ra az összes hosztunkat, az egyetlen OpenVZ szerverünket migrálom EC2-re és LVM snapshot segítségével periodikusan mentjük S3-ra az összes releváns adatot, a replikált adatbázist óránként vagy talán 10 percenként.
A fentieket tudva remélem mindenki boldog. :)
