InnerWeb
Přejít na obsah

Monitoring chyb systému v závodě: osvědčené postupy

Monitoring chyb má dva protichůdné úkoly: ukázat každou skutečnou poruchu a nezasypat dežurního stovkami opakování téhož události. Níže jsou postupy pro správce systému v závodě: limity na druh chyby, vyloučení nechyb, propojení chyby s verzí a oddělení bezpečnostních alarmů.

21
událostí za hodinu, limit na druh chyby
Zdroj: dokumentace funkce, hlášení chyb
89
událostí za hodinu, limit na instanci pro logy
Zdroj: dokumentace funkce, hlášení chyb
5 000
chyb měsíčně, společný rozpočet
Zdroj: dokumentace funkce, hlášení chyb

Problém: šum přehlušuje signál

Nejčastější chyba v nastavení monitoringu je absence limitu. Pak jediná opakující se událost vygeneruje stovky shodných upozornění a dežurní na ně přestane reagovat. Druhá chyba je opačná: příliš agresivní filtrování, které odřízne i první signál skutečné poruchy.

Dobré nastavení je kompromis opřený o měření. Než limit nastavíte, změřte, kolik událostí každého druhu systém generuje v nejhorším dni bez incidentů. Teprve taková data umožní nastavit limit, který neomezuje běžnou práci a zastaví lavinu opakování.

Postup 1: limit na druh chyby nastavený z měření

Stanovte limit událostí za hodinu na druh chyby podle měření, ne odhadu. Příkladově limit 21 za hodinu na druh chyby leží nad běžným šumem a výrazně pod úrovní laviny opakování. Dežurní tak vidí každý druh chyby, ale žádný jediný druh nevyčerpá celý rozpočet.

Mějte na paměti, že měsíční rozpočet bývá společný pro více instancí. Příkladově činí 5 000 chyb a je sdíleným zdrojem, takže limit chrání nejen dežurního, ale i ostatní instance.

Příkladové limity událostí za hodinu

Příkladové limity událostí za hodinuVodorovný sloupcový graf: příkladové limity 21 událostí za hodinu na druh chyby a 89 na instanci.020406080100událostí/hLimit na druh chybyLimit na druh chyby: 21 událostí/h21Limit na instanci (logy)Limit na instanci (logy): 89 událostí/h89
Zdroj: Dokumentace funkce: hlášení chyb; hodnoty příkladové

Postup 2: limit na instanci pro záznamy z logů

Záznamy z logů mají vlastní obtíž. Zpráva s připojenou proměnnou, například identifikátorem zakázky, vypadá pro monitoring při každém výskytu jako nový druh chyby. Limit na druh chyby ji nezastaví, protože druhů je stovky.

Řešením je přidaný společný limit na instanci, příkladově 89 událostí za hodinu pro záznamy z logů. Druhý limit uzavírá mezeru, kterou nechává první.

Postup 3 a 4: vyloučit nechyby, zachovat alarm

Výjimky popisující chybná vstupní data, například chybějící přístup, chybějící stránku nebo špatný požadavek, nejsou poruchami systému a měly by být vyloučeny z hlášení. Uživatel zadal špatnou adresu, systém nezklamal. Vyloučení takových výjimek výrazně sníží šum bez ztráty signálu.

Bezpodmínečně oddělte alarmy bezpečnosti práce od mechanismu limitů. Bezpečnostní alarmy se neztlumují: člověk v ohrožení vždy spustí alarm a log událost zaznamená. Pravidlo zní: monitoring chyb lze omezovat, alarm pro člověka v ohrožení nikoli.

Postup 5: verze vydání v hlášení a test po aktualizaci

Požadujte, aby každé hlášení chyby neslo verzi vydání. Verze vydání je zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru, takže každou chybu lze spojit s konkrétní změnou. Pro správce to znamená jednu otázku místo vyšetřování: od které verze se tato chyba objevuje.

Po každé aktualizaci ověřte, zda nové události nevypadají jako dříve známé. Pokud verze vydání v hlášení odpovídá nasazené, srovnání před a po aktualizaci zabere několik minut.

  • limit na druh chyby nastavený z měření (příklad: 21 za hodinu)
  • limit na instanci pro záznamy z logů (příklad: 89 za hodinu)
  • vyloučení výjimek popisujících chybná vstupní data
  • alarmy bezpečnosti práce nezávislé na mechanismu limitů
  • verze vydání v každém hlášení chyby

Jak tyto postupy zavést krok za krokem

Začněte týdnem měření bez limitů: zapisujte, kolik událostí za hodinu generuje každý druh chyby v běžném dni. Vyberte nejhorší den bez incidentů a nastavte limit s rezervou nad touto úrovní. Pak ověřte, zda je limit výrazně nižší než úroveň, která by znamenala lavinu opakování.

Poté nastavte vyloučení nechyb, přidejte limit na instanci pro logy a na testovacím prostředí ověřte chování při velkém počtu opakování. Nakonec zapište prahy do postupu dežurní služby, aby osoba přijímající alarm věděla, co znamená omezený počet událostí u dané chyby: že se vyskytuje častěji, než ukazuje počítadlo.

Kontrolní seznam

Videomateriál

Často kladené otázky

Může limit skrýt skutečnou poruchu?

Limit omezuje počet opakování téhož druhu chyby, ne její první výskyt. Alarmy bezpečnosti práce jsou mimo limit a neztlumují se.

Proč je chyba s identifikátorem v textu problém?

Monitoring bere každý jiný text jako jiný druh chyby. Proto pro záznamy z logů působí přídavný limit na instanci: 89 událostí za hodinu.

K čemu slouží verze vydání v hlášení chyby?

Je to zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru. Díky tomu lze chybu spojit s konkrétní změnou.

Nastavme monitoring pro váš závod

Projdeme s vaším týmem IT limity, vyloučení a postup dežurní služby. Domluvte si krátkou schůzku s InnerWeb.

Pojďme si promluvit