V júli sme si spravili audit vlastnej Grafany — tej, cez ktorú monitorujeme systémy klientov v rámci spravovaného IT. Výsledok: 47 dashboardov naprieč klientmi. Podľa štatistík použitia niekto za posledných deväťdesiat dní otvoril šesť z nich. Zvyšných štyridsaťjeden sa na nič nepozeralo — len sa každých tridsať sekúnd poctivo prekresľovali do prázdna.
Tento zápis je o tom, ako sa to stalo, čo sme s tým spravili a čo z nášho monitoringu ostalo. Nadväzuje na starší text o tom, čo sledujeme na spravovanej UniFi sieti — toto je tá istá otázka položená o vrstvu vyššie, nad servermi a aplikáciami.
Ako sa dashboardy množia
Žiadny z tých štyridsaťjeden dashboardov nevznikol z hlúposti. Skoro každý má rovnaký pôvod: incident. Niečo spadlo, počas hasenia si niekto poskladal panel s presne tými grafmi, ktoré vtedy pomohli — a po incidente ho uložil, „lebo nabudúce sa zíde”. Nabudúce ale incident vyzerá inak, takže vznikne ďalší panel. Dashboard je zápisnica z minulého požiaru, nie príprava na budúci.
Druhý zdroj je import. Node exporter má komunitný dashboard s vyše tridsiatimi panelmi, Postgres ďalší, Kubernetes celé sady. Naimportovať ich trvá minútu a vyzerá to ako práca navyše spravená poriadne. Lenže tridsať grafov, z ktorých neviete povedať, ktorý je dôležitý, nie je monitoring — je to tapeta.
Test, ktorým sme prešli všetkých 47
Na upratanie sme použili jednu otázku: „Keby tento dashboard dnes v noci zmizol, všimol by si to niekto do mesiaca?” Ak bola odpoveď nie, zmazali sme ho. Nie archivovali, nie presunuli do priečinka „staré” — zmazali, definície aj tak žijú v Gite. Ostalo dvanásť: jeden prehľadový na klienta a hŕstka servisných. Za dva mesiace od upratovania nám nechýbal ani jeden zo zmazaných.
Štyri čísla namiesto štyridsiatich grafov
Skutočná zmena ale nebola v mazaní, ale v priznaní si, že monitoring nestojí na dashboardoch — stojí na alertoch. Dashboard funguje, len keď sa naň niekto pozerá; alert funguje, aj keď sa nikto nepozerá. Po audite máme pre každého spravovaného klienta štyri povinné alerty, všetky na symptómy, nie na príčiny:
- Chybovosť verejných endpointov — podiel 5xx odpovedí za posledných päť minút. Nie CPU, nie pamäť: klienta nebolí vyťažený procesor, bolí ho appka, ktorá nefunguje.
- Latencia p95 — spomalenie vidia používatelia skôr, než čokoľvek spadne. Priemer neberieme, priemer klame.
- Dni do zaplnenia disku — nie percento. „Disk je na 82 %” nehovorí nič; „pri tomto tempe je plný o deväť dní” hovorí presne, kedy konať.
- Vek poslednej otestovanej zálohy — nie kedy záloha prebehla, ale kedy sa z nej naposledy podarila skúšobná obnova. Prečo práve toto, sme písali v texte o netestovanej on-prem zálohe.
Dashboard, ktorý nikto neotvára, nie je monitoring. Je to múzeum minulých incidentov — a vstupné sa platí v čase toho, kto ho udržiava.
Jediný dashboard, ktorý ostal na stene
Jeden dashboard na klienta sme si nechali a visí na televízore v kancelárii: dostupnosť za tridsať dní, aktuálna chybovosť, dátum poslednej úspešnej skúšobnej obnovy zálohy a počet otvorených alertov. Štyri čísla, žiadny graf, čitateľné cez celú miestnosť. Keď je všetko zelené, nikto sa naň nepozerá — a presne tak to má byť. Pozerať sa treba vtedy, keď sa niektoré z čísel ozve samo.
Ak vaša Grafana pripomína skôr galériu než monitoring — alebo ak monitoring zatiaľ znamená „klient zavolá, že mu nejde web” — radi sa na to pozrieme. Nastavenie tých štyroch alertov je pri spravovanom IT prvý týždeň práce, nie projekt na kvartál.
