Proč heartbeat určuje práh škálování
Heartbeat generuje většinu provozu API systému: od poloviny do více než 90 % všech požadavků HTTP podle prostředí. Z tohoto důvodu náklad jednoho heartbeatu určuje práh škálování celého systému. Pokud jediný dotaz čte tisíce řádků, provoz roste lineárně s počtem zařízení a databáze se stává úzkým hrdlem dlouho předtím, než dojdou výkon aplikačních serverů.
Správce databáze má proto jeden hlavní úkol: znát náklad jednoho heartbeatu vyjádřený v přečtených řádcích a vědět, který dotaz tento náklad vytváří. Tato stránka popisuje metodu měření a tři typické příčiny nadměrného nákladu.
Metoda měření: řádky na žádost
Nejjednodušší metoda vyžaduje dvě měření čítače řádků přečtených databází v časovém odstupu, například pěti minut, a počtu heartbeatových požadavků ve stejném okně. Rozdíl čítačů se dělí počtem požadavků. Výsledkem je průměrný počet řádků přečtených na jeden heartbeat.
V měřeném případě náklad klesl z přibližně 3 700 na přibližně 2 000 řádků na požadavek po přidání indexu na dvojici identifikátorů vysílače. Jde o pokles asi o 46 %, vypočtený jako rozdíl 1 700 děleno 3 700. Absolutní hodnota závisí na prostředí, ale metoda je stejná: dvě měření čítače a dělení.
Měření je vhodné opakovat po každé změně schématu a při každém nárůstu počtu zařízení. Trend nákladu na požadavek říká víc než jediná hodnota, protože ukazuje okamžik, kdy nová funkce začala zatěžovat cestu heartbeatu.
Řádky přečtené na jeden heartbeat
Hledání dotazu, který brzdí škálování
Po měření je třeba najít viníka. Je třeba zapnout záznam plánů provádění pro dotazy vykonávané na cestě heartbeatu a hledat úplné průchody tabulkou. V popsaném případě hledání vysílače dělalo úplný průchod, protože existující unikátní index začínal jiným sloupcem, než podle kterého se hledalo. Pomocný index změnil průchod na vyhledání jediného řádku.
Druhý dotaz se týkal historie polohy zaměstnance. Četl celou historii jeho pulsů ještě před použitím filtru dat. Složený index nad zaměstnancem a časem to nahradil prohledáváním rozsahu, tedy čtením jen potřebných dat. Obecné pravidlo: pořadí sloupců v indexu musí odpovídat pořadí podmínek v dotazu.
Zápis heartbeatu je v systému chráněn ošetřením chyb, takže výkonnostní problém se nemusí projevit chybami aplikace, nýbrž rostoucí dobou odezvy. Proto je měření nákladu v řádcích citlivějším ukazatelem než počet chyb.
Zakládání indexu na velké tabulce
Tabulka pulsů obsahuje desítky milionů záznamů. Složený index byl založen bez zámku a bez chyb 5xx během několika minut. To je možné díky režimu zakládání indexu, který neblokuje zápisy, ale vyžaduje rezervu místa na disku a okno s menším provozem. Před změnou je třeba zkontrolovat volné místo a připravit plán návratu.
Změnu schématu databáze za provozu je vhodné řídit podle samostatného postupu, popsaného v poznámkách k nasazení o změně schématu databáze za provozu. Po dokončení je třeba zopakovat měření nákladu na žádost a porovnat ho s hodnotou před změnou.
Náklad diagnostického deníku
Druhým, často opomíjeným nákladem je diagnostický deník. Zápis na úrovni varování, uložený při každém heartbeatu, dával přibližně 250 tisíc řádků denně, tedy v průměru asi 2,9 řádku za sekundu. Po snížení úrovně na debug zápis zmizel z běžného provozu. Nadbytek logů zatěžuje disk, ruční analýzu i náklady na uložení.
Stojí za to projít, které zprávy se v cestě heartbeatu dostávají do deníku, a nastavit úroveň odpovídající jejich závažnosti. Varování má znamenat situaci vyžadující reakci, nikoli běžné přijetí pozice.
Seznam úkonů pro správce
Pořadí kroků lze shrnout do čtyř bodů. Nejprve změř náklad jednoho heartbeatu v řádcích. Potom v plánech provádění vyhledej úplné průchody na cestě heartbeatu. Pak přidej index odpovídající pořadí podmínek a změř znovu. Nakonec projdi úrovně deníku a sniž ty, které zaplavují disk.
Zbývá otázka uchování. Telemetrie pulsů nemá výchozí dobu uchování a mechanismus čištění je vypnutý do rozhodnutí klienta. Rostoucí tabulka zhoršuje náklad dotazů, takže rozhodnutí o délce uchování je vhodné učinit včas.
Kontrolní seznam
Videomateriál
Často kladené otázky
Jak změřit náklad jednoho heartbeatu?
Dvakrát přečti čítač řádků databáze v časovém odstupu, spočítej požadavky v tomto okně a rozdíl vyděl počtem požadavků.
Proč unikátní index nestačil k vyhledání vysílače?
Začínal jiným sloupcem, než podle kterého se hledalo, takže databáze prováděla úplný průchod.
Blokuje založení indexu na velké tabulce systém?
V popsaném případě ne: index nad několika desítkami milionů záznamů byl založen bez zámku a bez chyb 5xx.
Proč se snížila úroveň deníku?
Varovný zápis při každém heartbeatu dával přibližně 250 tisíc řádků denně, a rutinní přijetí pozice varování nevyžaduje.
Změřme náklad heartbeatu u vás
Společně se správcem databáze provedeme měření a ukážeme dotazy k opravě.
Pojďme si promluvit