InnerWeb
Přejít na obsah

Případ: škálování heartbeatu a indexy databáze v systému lokalizace

Systém lokalizace po letech provozu zpomaluje z jednoduchého důvodu: heartbeat generuje většinu provozu a dotazy, které na malé databázi nebyly vidět, na velké čtou tisíce řádků. Popisujeme situaci z reálného systému, kde IT tým změřil náklad jednoho heartbeatu a snížil ho dvěma indexy bez výpadku.

cca 3 700
řádků čtených na heartbeat před změnou
Zdroj: karta
cca 2 000
řádků na heartbeat po přidání indexu
Zdroj: karta
cca 250 tis.
řádků deníku denně z jednoho varování při heartbeatu
Zdroj: karta

Situace: systém zpomaluje, i když se nic nezměnilo

První příznak byl triviální: zobrazení historie polohy se načítalo stále déle a zátěž databázového serveru rostla, přestože počet zaměstnanců zůstal stejný. Nikdo nenasadil novou funkci, která by to mohla vysvětlit. Vinu nesla samotná velikost dat: tabulka pulzů rostla s každým heartbeatem a po dvou letech měla desítky milionů záznamů.

Je to klasická past telemetrických systémů. Dotazy, které na prázdné databázi běží v milisekundách, ztrácejí výkon lineárně s počtem řádků, pokud databáze nemá správný index. IT tým nezačal hádáním, ale měřením.

Proč heartbeat určuje práh škálování

Heartbeat generuje největší část API provozu systému: podle prostředí od poloviny až po více než 90 % všech HTTP požadavků. Každá neefektivita v cestě heartbeatu se tedy násobí obrovským počtem volání. Jeden drahý dotaz na vzácné cestě je zanedbatelný, stejný dotaz na cestě heartbeatu je hlavním nákladem systému.

Proto má škálování začít u heartbeatu, a ne u reportovacích obrazovek. Zlepšení nákladu jednoho heartbeatu o zlomek přinese větší efekt než optimalizace několika zřídka otevíraných obrazovek.

Náklad jednoho heartbeatu v přečtených řádcích

Náklad jednoho heartbeatu v přečtených řádcíchGraf před a po: z přibližně 3 700 na přibližně 2 000 přečtených řádků na jeden heartbeat.01000200030004000řádkůPřed indexem: Řádky na heartbeat: 3700 řádků3700 řádkůPřed indexemPo indexu: Řádky na heartbeat: 2000 řádků2000 řádkůPo indexu
Zdroj: Karta: měření rozdílu přečtených řádků dělených počtem požadavků

Jak se měřil náklad jednoho heartbeatu

Tým použil jednoduchou metriku: rozdíl počtu řádků přečtených databází před a po sérii požadavků, dělený počtem požadavků. Metrika nezávisí na okamžitém zatížení procesoru ani na paměti cache, takže se dobře hodí k porovnání stavu před a po změně.

Výsledek prvního měření: cca 3 700 přečtených řádků na jeden heartbeat. Pro dotaz, jehož úkolem je najít jeden vysílač a zapsat jedno měření, je to číslo nepřijatelné.

První nalezený problém: úplný průchod při hledání vysílače

Vyhledání vysílače dělalo úplný průchod tabulky, protože stávající unikátní index začínal jiným sloupcem. Databáze jej nemohla použít, protože index funguje od levé strany klíče. Přidán byl pomocný index na dvojici identifikátorů vysílače, který změnil průchod na vyhledání jednoho řádku. Po této změně klesl náklad z cca 3 700 na cca 2 000 přečtených řádků na heartbeat.

Druhý problém: historie polohy zaměstnance

Zobrazení historie načítalo celou historii pulzů zaměstnance a teprve potom filtrovalo podle data. Složený index nad zaměstnancem a časem to změnil na prohledání rozsahu: databáze prochází jen řádky z požadovaného časového úseku.

Vytvoření indexu na živé tabulce

Největší obavou správce byl zámek: index na tabulce o desítkách milionů záznamů za provozu mohl zastavit přijímání heartbeatů. V popisovaném případě byl složený index vytvořen na tabulce o několika desítkách milionů záznamů bez zámku a bez chyb 5xx, během několika minut.

Podmínky, které to umožnily, rozebíráme v samostatné stránce o změně schématu databáze za provozu. Nejdůležitější z nich jsou volba okna s menším provozem, režim vytváření indexu bez zámku zápisů a průběžné sledování počtu chyb během operace.

Vedlejší efekt: šum v deníku

Při měřeních se ukázalo ještě něco dalšího. Diagnostický deník na úrovni varování, zapisovaný při každém heartbeatu, produkoval cca 250 tisíc řádků denně. Varování, které se objeví stokrát za hodinu, přestává být varováním: zakrývá skutečné problémy a zabírá místo na disku. Úroveň byla snížena na debug.

Závěr je širší než jeden řádek: četnost události by měla určovat úroveň logování. To, co se děje u každého požadavku, není varování.

Závěry pro IT tým

První lekce: měřte náklad dotazů v řádcích, ne subjektivním dojmem rychlosti. Druhá: začněte s cestou, která generuje největší provoz. Třetí: existující index nezaručuje, že ho dotaz použije, protože pořadí sloupců má význam. Čtvrtá: index na živé, velké tabulce je proveditelný, pokud naplánujete okno, režim a sledování chyb.

Příkladový výpočet ukazuje rozsah efektu: při předpokladu 1 000 000 heartbeatů denně znamená pokles z 3 700 na 2 000 řádků na požadavek rozdíl 1,7 mld přečtených řádků denně (3,7 mld oproti 2,0 mld), tedy cca 46 % méně.

Příklad výpočtu

Denní rozsah efektu při předpokládaném provozu

Předpoklady
ParametrHodnota
Heartbeaty denně1 000 000 požadavků
Řádky na požadavek před3 700 řádků
Řádky na požadavek po2 000 řádků

Výsledek: 3,7 mld oproti 2,0 mld přečtených řádků denně, tedy rozdíl 1,7 mld (cca 46 %).

Poznámka: Příkladový výpočet: počet heartbeatů denně je ilustrativní předpoklad, nikoli data konkrétního provozu.

Videomateriál

Často kladené otázky

Jak změřit náklad dotazu v systému telemetrie?

Odečtěte počítadlo řádků databáze před a po sérii požadavků a rozdíl vydělte počtem požadavků. Metrika je porovnatelná před a po změně bez ohledu na okamžité zatížení.

Proč dotaz nepoužil existující index?

Unikátní index začínal jiným sloupcem a databáze používá index od levé strany klíče. Dotaz bez tohoto sloupce skončí úplným průchodem.

Musí index na velké tabulce zastavit systém?

Nemusí. V popisovaném případě byl index na tabulce o několika desítkách milionů záznamů vytvořen během několika minut, bez zámku a bez chyb 5xx.

Proč byla úroveň deníku snížena na debug?

Varování zapisované při každém heartbeatu produkovalo cca 250 tisíc řádků denně a zakrývalo skutečné problémy.

Roste vám databáze telemetrie?

Pojďme si promluvit o měření nákladu heartbeatu a plánu indexů pro vaši velikost. Ukážeme způsob měření na demonstraci.

Pojďme si promluvit