Rozsah provozu: heartbeat dominuje API
Heartbeat je cyklický signál zařízení, který server přijímá, páruje s vysílačem a ukládá. Protože se každé zařízení hlásí pravidelně, generuje tento endpoint většinu provozu API. Na testovací instanci pod demo generátorem to bylo 96 % požadavků, na produkci zhruba polovinu.
Z pohledu správce databáze to znamená, že výkon celého API do velké míry závisí na jediném dotazu. Optimalizace tohoto dotazu přinese větší efekt než ladění deseti méně volaných.
Index na dvojici major a minor
Při každém heartbeatu systém vyhledává vysílač podle dvojice major a minor. Bez indexu toto vyhledání prochází celou tabulku. Přidání indexu na tuto dvojici snížilo počet načítaných řádků na jeden heartbeat z 3 665 na 1 928 až 2 205, protože vyhledání vysílače přestalo procházet celou tabulku.
Jde o snížení zhruba o 40 až 47 % (z 3 665 na rozmezí 1 928 až 2 205 řádků) při zachování stejných výsledků. Při provozu počítaném v tisících hlášení za hodinu se účinek sčítá do znatelného rozdílu zátěže.
Jak ověřit efekt u sebe
Před přidáním indexu změř průměrný počet načítaných řádků na heartbeat a dobu odezvy endpointu. Po přidání změř totéž na srovnatelném provozu. Porovnání na provozu o jiné intenzitě nemá smysl, proto použij stejný generátor nebo stejné časové okno.
Co index stojí
Každý index zabírá místo na disku a zpomaluje zápis. U tabulky, do které neustále přibývají řádky, je tento náklad patrný. Index na dvojici major a minor urychluje vyhledání vysílače, ale neřeší problém rostoucí tabulky telemetrie. Tomu se věnujeme v doporučeních k retenci.
Řádky načítané na jeden heartbeat: před a po indexu
Servisní okno
Přidání indexu do velké tabulky zatěžuje databázi a podle enginu může blokovat zápisy. Naplánuj ho do servisního okna s nejmenším provozem, nejlépe po změně, kdy je flotila zařízení uložena na nabíječkách a hlásí se méně často.
Před oknem proveď zálohu a stanov kritérium pro vrácení změny. Po okně porovnej počet načítaných řádků na heartbeat s hodnotou před změnou.
- Změř aktuální počet načítaných řádků na heartbeat a dobu odezvy.
- Proveď zálohu databáze a ověř, zda ji lze obnovit.
- Přidej index na dvojici major a minor v servisním okně.
- Změř stejné ukazatele na srovnatelném provozu.
- Výsledky zapiš do dokumentace instalace.
Škálování flotily zařízení
Pokud plánuješ několikanásobné zvýšení počtu zařízení, provoz heartbeat vzroste úměrně a tabulka začne růst rychleji. U jedné instalace dosáhla tabulka heartbeat po dvou letech 73,9 mil. řádků a 6,2 GB. Při flotile o řád větší bude tempo růstu výrazně vyšší.
Proto před škálováním naplánuj tři věci současně: indexy pro vyhledávání vysílačů, politiku retence pro tabulku telemetrie a monitoring počtu načítaných řádků na heartbeat. První snižuje náklad jednoho požadavku, druhá omezuje velikost, třetí dává včasné varování.
Pamatuj také, že heartbeat je dotaz s velkým podílem na provozu, proto měření stojí za to opakovat po každé změně schématu databáze nebo počtu zařízení.
Podíl heartbeatů na požadavcích API na testovací instanci pod demo generátorem
Videomateriál
Často kladené otázky
Proč heartbeat generuje tolik provozu?
Každé zařízení se hlásí cyklicky, takže počet hlášení roste s počtem zařízení. Na testovací instanci pod demo generátorem to je 96 % požadavků, na produkci zhruba polovina.
O kolik index sníží zátěž?
Počet řádků načítaných na jeden heartbeat klesl z 3 665 na 1 928 až 2 205, protože vyhledání vysílače přestalo procházet celou tabulku.
Kdy přidat index?
V servisním okně s nejmenším provozem, po záloze, s měřením před a po na srovnatelném provozu.
Řeší index problém velikosti tabulky?
Ne. Urychluje vyhledání, ale tabulka dál roste. Velikost omezuje politika retence, o které musí rozhodnout zákazník.
Škálujete flotilu lokalizačních zařízení?
Spolu s vaším správcem databáze projdeme indexy a servisní okno před nárůstem provozu. Domluvte si schůzku s týmem InnerWeb.
Pojďme si promluvit