InnerWeb
Přejít na obsah

Změna schématu databáze za provozu: poznámky k nasazení pro správce

Přidání indexu na tabulku telemetrie s desítkami milionů záznamů za provozu vyvolává obavu z zámku a chyb 5xx. V popisovaném nasazení byl složený index na takové tabulce vytvořen během několika minut, bez zámku a bez chyb. Níže jsou etapy, úskalí a pořadí kroků, které to umožnily.

několik minut
doba vytvoření složeného indexu na tabulce o desítkách milionů záznamů
Zdroj: karta
0
zámků a chyb 5xx během vytváření indexu
Zdroj: karta

Pro koho a kdy je tato změna potřebná

Správce systému lokalizace stojí před tímto rozhodnutím, když měření nákladu heartbeatu ukáže, že dotazy čtou tisíce řádků na jeden požadavek. Příkladové měření: cca 3 700 přečtených řádků na heartbeat kleslo na cca 2 000 po přidání indexu na dvojici identifikátorů vysílače. Podobně historie polohy zaměstnance získala po složeném indexu nad zaměstnancem a časem.

Změna schématu na živém systému je proveditelná, ale vyžaduje plán. Systém lokalizace přijímá heartbeaty nepřetržitě, takže každý zámek tabulky znamená ztrátu pulzů nebo chyby na straně zařízení.

Etapa 1: měření a odůvodnění změny

Než sáhnete na schéma, změřte náklad dotazu v přečtených řádcích a výsledek si zapište. Bez výchozí hodnoty nedoložíte efekt a auditor nebo vedoucí nepochopí, proč se zasahuje do produkce. Určete dotaz, který způsobuje úplný průchod, a ověřte, zda stávající index začíná správným sloupcem.

Zapište navrženou definici indexu: název tabulky, seznam sloupců v pořadí a odůvodnění pořadí. Pořadí sloupců ve složeném indexu rozhoduje o tom, zda ho databáze použije.

Přečtené řádky na heartbeat před a po indexu

Přečtené řádky na heartbeat před a po indexuGraf před a po: přibližně 3 700 řádků na heartbeat před indexem a přibližně 2 000 po indexu.01000200030004000řádkůPřed: Řádky na heartbeat: 3700 řádků3700 řádkůPředPo: Řádky na heartbeat: 2000 řádků2000 řádkůPo
Zdroj: Karta: měření rozdílu přečtených řádků dělených počtem požadavků

Etapa 2: příprava a zkouška na kopii

Proveďte zálohu a ověřte, že ji lze obnovit. Vyzkoušejte vytvoření indexu na kopii tabulky podobné velikosti, abyste odhadli čas a zátěž. Výsledek zkoušky je podkladem pro výběr okna: čím déle zkouška trvá, tím důležitější je zvolit období s menším provozem.

Do plánu zapište kritérium zastavení: po překročení jaké doby nebo úrovně chyb se změna přeruší, a kdo o tom rozhoduje.

Etapa 3: provedení na živém systému

Index vytvářejte v režimu, který neblokuje zápisy, pokud to databázový engine umožňuje. Pro tabulku o několika desítkách milionů záznamů v popisovaném případě operace trvala několik minut. Během ní sledujte dva ukazatele: počet chyb 5xx na straně API a zpoždění přijímání heartbeatů.

Sledování chyb má být průběžné, ne jen po skončení operace. Pokud ukazatel chyb roste, přerušte operaci podle kritéria z plánu.

Okno provedení

Zvolte období s menším provozem, například přestávku mezi směnami. Heartbeat generuje od poloviny až přes 90 % provozu API, takže i jedna minuta zvýšené latence zasáhne mnoho zařízení najednou.

Etapa 4: ověření efektu

Po dokončení zopakujte měření nákladu v přečtených řádcích a porovnejte s výchozí hodnotou. Zkontrolujte také plán dotazu, abyste ověřili, že databáze nový index používá. Výsledek si zapište: je to důkaz pro audit a odůvodnění dalších změn.

Při té příležitosti zkontrolujte úroveň diagnostického deníku: záznam zapisovaný při každém heartbeatu na úrovni varování produkoval cca 250 tisíc řádků denně a byl snížen na úroveň debug.

Úskalí, která jsme viděli

Nejčastějším úskalím je index s chybným pořadím sloupců: databáze jej ignoruje a náklad dotazu zůstává stejný. Druhým je vytvoření indexu ve špičce provozu, což zvyšuje zpoždění přijímání pulzů. Třetím je chybějící plán vrácení.

Poslední úskalí se týká hostitelů: změna schématu musí být konzistentní na všech hostitelích se stejným backendem. Nesoulad verzí hostitelů po nasazení vede k tomu, že jeden hostitel nový index využívá a druhý ne.

  • Špatné pořadí sloupců ve složeném indexu.
  • Provedení ve špičce provozu heartbeatů.
  • Chybějící kritérium a postup vrácení.
  • Nesoulad verzí hostitelů po nasazení.

Kontrolní seznam

Videomateriál

Často kladené otázky

Vždy zablokuje vytvoření indexu na živé tabulce systém?

Ne. V popisovaném případě byl index na tabulce o desítkách milionů záznamů vytvořen během několika minut, bez zámku a bez chyb 5xx. Vyžaduje to vhodný režim a okno.

Jak poznáte, že index zabral?

Z opakovaného měření nákladu dotazu v přečtených řádcích a z plánu dotazu, který ukazuje použití nového indexu.

Co dělat, když během operace rostou chyby 5xx?

Operaci přerušit podle předem stanoveného kritéria vrácení a vrátit se k ní v okně s menším provozem.

Plánujete změnu schématu databáze?

Probereme s vaším IT týmem plán změny, okno provedení a kritéria vrácení a také způsob měření efektu.

Pojďme si promluvit