Situace: systém zpomaluje, i když se nic nezměnilo
První příznak byl triviální: zobrazení historie polohy se načítalo stále déle a zátěž databázového serveru rostla, přestože počet zaměstnanců zůstal stejný. Nikdo nenasadil novou funkci, která by to mohla vysvětlit. Vinu nesla samotná velikost dat: tabulka pulzů rostla s každým heartbeatem a po dvou letech měla desítky milionů záznamů.
Je to klasická past telemetrických systémů. Dotazy, které na prázdné databázi běží v milisekundách, ztrácejí výkon lineárně s počtem řádků, pokud databáze nemá správný index. IT tým nezačal hádáním, ale měřením.
Proč heartbeat určuje práh škálování
Heartbeat generuje největší část API provozu systému: podle prostředí od poloviny až po více než 90 % všech HTTP požadavků. Každá neefektivita v cestě heartbeatu se tedy násobí obrovským počtem volání. Jeden drahý dotaz na vzácné cestě je zanedbatelný, stejný dotaz na cestě heartbeatu je hlavním nákladem systému.
Proto má škálování začít u heartbeatu, a ne u reportovacích obrazovek. Zlepšení nákladu jednoho heartbeatu o zlomek přinese větší efekt než optimalizace několika zřídka otevíraných obrazovek.
Náklad jednoho heartbeatu v přečtených řádcích
Jak se měřil náklad jednoho heartbeatu
Tým použil jednoduchou metriku: rozdíl počtu řádků přečtených databází před a po sérii požadavků, dělený počtem požadavků. Metrika nezávisí na okamžitém zatížení procesoru ani na paměti cache, takže se dobře hodí k porovnání stavu před a po změně.
Výsledek prvního měření: cca 3 700 přečtených řádků na jeden heartbeat. Pro dotaz, jehož úkolem je najít jeden vysílač a zapsat jedno měření, je to číslo nepřijatelné.
První nalezený problém: úplný průchod při hledání vysílače
Vyhledání vysílače dělalo úplný průchod tabulky, protože stávající unikátní index začínal jiným sloupcem. Databáze jej nemohla použít, protože index funguje od levé strany klíče. Přidán byl pomocný index na dvojici identifikátorů vysílače, který změnil průchod na vyhledání jednoho řádku. Po této změně klesl náklad z cca 3 700 na cca 2 000 přečtených řádků na heartbeat.
Druhý problém: historie polohy zaměstnance
Zobrazení historie načítalo celou historii pulzů zaměstnance a teprve potom filtrovalo podle data. Složený index nad zaměstnancem a časem to změnil na prohledání rozsahu: databáze prochází jen řádky z požadovaného časového úseku.
Vytvoření indexu na živé tabulce
Největší obavou správce byl zámek: index na tabulce o desítkách milionů záznamů za provozu mohl zastavit přijímání heartbeatů. V popisovaném případě byl složený index vytvořen na tabulce o několika desítkách milionů záznamů bez zámku a bez chyb 5xx, během několika minut.
Podmínky, které to umožnily, rozebíráme v samostatné stránce o změně schématu databáze za provozu. Nejdůležitější z nich jsou volba okna s menším provozem, režim vytváření indexu bez zámku zápisů a průběžné sledování počtu chyb během operace.
Vedlejší efekt: šum v deníku
Při měřeních se ukázalo ještě něco dalšího. Diagnostický deník na úrovni varování, zapisovaný při každém heartbeatu, produkoval cca 250 tisíc řádků denně. Varování, které se objeví stokrát za hodinu, přestává být varováním: zakrývá skutečné problémy a zabírá místo na disku. Úroveň byla snížena na debug.
Závěr je širší než jeden řádek: četnost události by měla určovat úroveň logování. To, co se děje u každého požadavku, není varování.
Závěry pro IT tým
První lekce: měřte náklad dotazů v řádcích, ne subjektivním dojmem rychlosti. Druhá: začněte s cestou, která generuje největší provoz. Třetí: existující index nezaručuje, že ho dotaz použije, protože pořadí sloupců má význam. Čtvrtá: index na živé, velké tabulce je proveditelný, pokud naplánujete okno, režim a sledování chyb.
Příkladový výpočet ukazuje rozsah efektu: při předpokladu 1 000 000 heartbeatů denně znamená pokles z 3 700 na 2 000 řádků na požadavek rozdíl 1,7 mld přečtených řádků denně (3,7 mld oproti 2,0 mld), tedy cca 46 % méně.
Denní rozsah efektu při předpokládaném provozu
| Parametr | Hodnota |
|---|---|
| Heartbeaty denně | 1 000 000 požadavků |
| Řádky na požadavek před | 3 700 řádků |
| Řádky na požadavek po | 2 000 řádků |
Výsledek: 3,7 mld oproti 2,0 mld přečtených řádků denně, tedy rozdíl 1,7 mld (cca 46 %).
Poznámka: Příkladový výpočet: počet heartbeatů denně je ilustrativní předpoklad, nikoli data konkrétního provozu.
Videomateriál
Často kladené otázky
Jak změřit náklad dotazu v systému telemetrie?
Odečtěte počítadlo řádků databáze před a po sérii požadavků a rozdíl vydělte počtem požadavků. Metrika je porovnatelná před a po změně bez ohledu na okamžité zatížení.
Proč dotaz nepoužil existující index?
Unikátní index začínal jiným sloupcem a databáze používá index od levé strany klíče. Dotaz bez tohoto sloupce skončí úplným průchodem.
Musí index na velké tabulce zastavit systém?
Nemusí. V popisovaném případě byl index na tabulce o několika desítkách milionů záznamů vytvořen během několika minut, bez zámku a bez chyb 5xx.
Proč byla úroveň deníku snížena na debug?
Varování zapisované při každém heartbeatu produkovalo cca 250 tisíc řádků denně a zakrývalo skutečné problémy.
Roste vám databáze telemetrie?
Pojďme si promluvit o měření nákladu heartbeatu a plánu indexů pro vaši velikost. Ukážeme způsob měření na demonstraci.
Pojďme si promluvit