InnerWeb
Přejít na obsah

Provoz heartbeat a indexy databáze: poznámky k nasazení pro správce databáze

Endpoint heartbeat generuje většinu provozu API: na testovací instanci pod demo generátorem 96 % požadavků, na produkci zhruba polovinu. Škálování flotily zařízení tak znamená škálování tohoto jednoho dotazu. Ukazujeme, jak index na dvojici major a minor snížil zátěž a jak naplánovat servisní okno.

96 %
podíl heartbeatů na požadavcích na testovací instanci pod demo generátorem
Zdroj: karta
zhruba 50 %
podíl heartbeatů na požadavcích na produkci
Zdroj: karta
3 665 → 1 928 až 2 205
řádky načítané na jeden heartbeat po přidání indexu
Zdroj: karta

Rozsah provozu: heartbeat dominuje API

Heartbeat je cyklický signál zařízení, který server přijímá, páruje s vysílačem a ukládá. Protože se každé zařízení hlásí pravidelně, generuje tento endpoint většinu provozu API. Na testovací instanci pod demo generátorem to bylo 96 % požadavků, na produkci zhruba polovinu.

Z pohledu správce databáze to znamená, že výkon celého API do velké míry závisí na jediném dotazu. Optimalizace tohoto dotazu přinese větší efekt než ladění deseti méně volaných.

Index na dvojici major a minor

Při každém heartbeatu systém vyhledává vysílač podle dvojice major a minor. Bez indexu toto vyhledání prochází celou tabulku. Přidání indexu na tuto dvojici snížilo počet načítaných řádků na jeden heartbeat z 3 665 na 1 928 až 2 205, protože vyhledání vysílače přestalo procházet celou tabulku.

Jde o snížení zhruba o 40 až 47 % (z 3 665 na rozmezí 1 928 až 2 205 řádků) při zachování stejných výsledků. Při provozu počítaném v tisících hlášení za hodinu se účinek sčítá do znatelného rozdílu zátěže.

Jak ověřit efekt u sebe

Před přidáním indexu změř průměrný počet načítaných řádků na heartbeat a dobu odezvy endpointu. Po přidání změř totéž na srovnatelném provozu. Porovnání na provozu o jiné intenzitě nemá smysl, proto použij stejný generátor nebo stejné časové okno.

Co index stojí

Každý index zabírá místo na disku a zpomaluje zápis. U tabulky, do které neustále přibývají řádky, je tento náklad patrný. Index na dvojici major a minor urychluje vyhledání vysílače, ale neřeší problém rostoucí tabulky telemetrie. Tomu se věnujeme v doporučeních k retenci.

Řádky načítané na jeden heartbeat: před a po indexu

Řádky načítané na jeden heartbeat: před a po indexuGraf před a po: 3 665 řádků před indexem, od 1 928 do 2 205 řádků po indexu.01000200030004000řádkyPřed indexem: 3665 řádky3665 řádkyPřed indexemPo indexu (dolní hodnota): 1928 řádky1928 řádkyPo indexu (dolní hodnota)Po indexu (horní hodnota): 2205 řádky2205 řádkyPo indexu (horní hodnota)
Zdroj: Interní karta: měření počtu načítaných řádků na heartbeat před a po přidání indexu na dvojici major a minor

Servisní okno

Přidání indexu do velké tabulky zatěžuje databázi a podle enginu může blokovat zápisy. Naplánuj ho do servisního okna s nejmenším provozem, nejlépe po změně, kdy je flotila zařízení uložena na nabíječkách a hlásí se méně často.

Před oknem proveď zálohu a stanov kritérium pro vrácení změny. Po okně porovnej počet načítaných řádků na heartbeat s hodnotou před změnou.

  • Změř aktuální počet načítaných řádků na heartbeat a dobu odezvy.
  • Proveď zálohu databáze a ověř, zda ji lze obnovit.
  • Přidej index na dvojici major a minor v servisním okně.
  • Změř stejné ukazatele na srovnatelném provozu.
  • Výsledky zapiš do dokumentace instalace.

Škálování flotily zařízení

Pokud plánuješ několikanásobné zvýšení počtu zařízení, provoz heartbeat vzroste úměrně a tabulka začne růst rychleji. U jedné instalace dosáhla tabulka heartbeat po dvou letech 73,9 mil. řádků a 6,2 GB. Při flotile o řád větší bude tempo růstu výrazně vyšší.

Proto před škálováním naplánuj tři věci současně: indexy pro vyhledávání vysílačů, politiku retence pro tabulku telemetrie a monitoring počtu načítaných řádků na heartbeat. První snižuje náklad jednoho požadavku, druhá omezuje velikost, třetí dává včasné varování.

Pamatuj také, že heartbeat je dotaz s velkým podílem na provozu, proto měření stojí za to opakovat po každé změně schématu databáze nebo počtu zařízení.

Podíl heartbeatů na požadavcích API na testovací instanci pod demo generátorem

Podíl heartbeatů na požadavcích API na testovací instanci pod demo generátoremKoláčový graf: heartbeat tvoří 96 % požadavků API, ostatní 4 %.Heartbeat: 96 % požadavků (96%)Ostatní: 4 % požadavků (4%)100% požadavkůHeartbeat96 % požadavků (96%)Ostatní4 % požadavků (4%)
Zdroj: Interní karta: testovací instance pod demo generátorem

Videomateriál

Často kladené otázky

Proč heartbeat generuje tolik provozu?

Každé zařízení se hlásí cyklicky, takže počet hlášení roste s počtem zařízení. Na testovací instanci pod demo generátorem to je 96 % požadavků, na produkci zhruba polovina.

O kolik index sníží zátěž?

Počet řádků načítaných na jeden heartbeat klesl z 3 665 na 1 928 až 2 205, protože vyhledání vysílače přestalo procházet celou tabulku.

Kdy přidat index?

V servisním okně s nejmenším provozem, po záloze, s měřením před a po na srovnatelném provozu.

Řeší index problém velikosti tabulky?

Ne. Urychluje vyhledání, ale tabulka dál roste. Velikost omezuje politika retence, o které musí rozhodnout zákazník.

Škálujete flotilu lokalizačních zařízení?

Spolu s vaším správcem databáze projdeme indexy a servisní okno před nárůstem provozu. Domluvte si schůzku s týmem InnerWeb.

Pojďme si promluvit