Problém: šum přehlušuje signál
Nejčastější chyba v nastavení monitoringu je absence limitu. Pak jediná opakující se událost vygeneruje stovky shodných upozornění a dežurní na ně přestane reagovat. Druhá chyba je opačná: příliš agresivní filtrování, které odřízne i první signál skutečné poruchy.
Dobré nastavení je kompromis opřený o měření. Než limit nastavíte, změřte, kolik událostí každého druhu systém generuje v nejhorším dni bez incidentů. Teprve taková data umožní nastavit limit, který neomezuje běžnou práci a zastaví lavinu opakování.
Postup 1: limit na druh chyby nastavený z měření
Stanovte limit událostí za hodinu na druh chyby podle měření, ne odhadu. Příkladově limit 21 za hodinu na druh chyby leží nad běžným šumem a výrazně pod úrovní laviny opakování. Dežurní tak vidí každý druh chyby, ale žádný jediný druh nevyčerpá celý rozpočet.
Mějte na paměti, že měsíční rozpočet bývá společný pro více instancí. Příkladově činí 5 000 chyb a je sdíleným zdrojem, takže limit chrání nejen dežurního, ale i ostatní instance.
Příkladové limity událostí za hodinu
Postup 2: limit na instanci pro záznamy z logů
Záznamy z logů mají vlastní obtíž. Zpráva s připojenou proměnnou, například identifikátorem zakázky, vypadá pro monitoring při každém výskytu jako nový druh chyby. Limit na druh chyby ji nezastaví, protože druhů je stovky.
Řešením je přidaný společný limit na instanci, příkladově 89 událostí za hodinu pro záznamy z logů. Druhý limit uzavírá mezeru, kterou nechává první.
Postup 3 a 4: vyloučit nechyby, zachovat alarm
Výjimky popisující chybná vstupní data, například chybějící přístup, chybějící stránku nebo špatný požadavek, nejsou poruchami systému a měly by být vyloučeny z hlášení. Uživatel zadal špatnou adresu, systém nezklamal. Vyloučení takových výjimek výrazně sníží šum bez ztráty signálu.
Bezpodmínečně oddělte alarmy bezpečnosti práce od mechanismu limitů. Bezpečnostní alarmy se neztlumují: člověk v ohrožení vždy spustí alarm a log událost zaznamená. Pravidlo zní: monitoring chyb lze omezovat, alarm pro člověka v ohrožení nikoli.
Postup 5: verze vydání v hlášení a test po aktualizaci
Požadujte, aby každé hlášení chyby neslo verzi vydání. Verze vydání je zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru, takže každou chybu lze spojit s konkrétní změnou. Pro správce to znamená jednu otázku místo vyšetřování: od které verze se tato chyba objevuje.
Po každé aktualizaci ověřte, zda nové události nevypadají jako dříve známé. Pokud verze vydání v hlášení odpovídá nasazené, srovnání před a po aktualizaci zabere několik minut.
- limit na druh chyby nastavený z měření (příklad: 21 za hodinu)
- limit na instanci pro záznamy z logů (příklad: 89 za hodinu)
- vyloučení výjimek popisujících chybná vstupní data
- alarmy bezpečnosti práce nezávislé na mechanismu limitů
- verze vydání v každém hlášení chyby
Jak tyto postupy zavést krok za krokem
Začněte týdnem měření bez limitů: zapisujte, kolik událostí za hodinu generuje každý druh chyby v běžném dni. Vyberte nejhorší den bez incidentů a nastavte limit s rezervou nad touto úrovní. Pak ověřte, zda je limit výrazně nižší než úroveň, která by znamenala lavinu opakování.
Poté nastavte vyloučení nechyb, přidejte limit na instanci pro logy a na testovacím prostředí ověřte chování při velkém počtu opakování. Nakonec zapište prahy do postupu dežurní služby, aby osoba přijímající alarm věděla, co znamená omezený počet událostí u dané chyby: že se vyskytuje častěji, než ukazuje počítadlo.
Kontrolní seznam
Videomateriál
Často kladené otázky
Může limit skrýt skutečnou poruchu?
Limit omezuje počet opakování téhož druhu chyby, ne její první výskyt. Alarmy bezpečnosti práce jsou mimo limit a neztlumují se.
Proč je chyba s identifikátorem v textu problém?
Monitoring bere každý jiný text jako jiný druh chyby. Proto pro záznamy z logů působí přídavný limit na instanci: 89 událostí za hodinu.
K čemu slouží verze vydání v hlášení chyby?
Je to zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru. Díky tomu lze chybu spojit s konkrétní změnou.
Nastavme monitoring pro váš závod
Projdeme s vaším týmem IT limity, vyloučení a postup dežurní služby. Domluvte si krátkou schůzku s InnerWeb.
Pojďme si promluvit