InnerWeb
Přejít na obsah

Monitoring chyb systému BOZP: poznámky k nasazení pro IT

Hlášení chyb má pomáhat, nezahltit schránku a nezpožďovat uživatele v okamžiku výpadku příjemce. V systému jsou nastaveny limity událostí na straně kódu a krátké časové limity spojení, a bezpečnostní alarmy se neztlumují. Níže jsou etapy, kontrolní body a podmínky nasazení monitoringu.

21
událostí za hodinu na druh chyby
Zdroj: karta
89
událostí logu za hodinu na instanci
Zdroj: karta
3 s
nejdelší zpoždění při nedostupném příjemci (1 s + 2 s)
Zdroj: karta

Etapa 1: jeden společný projekt hlášení

Hlášení chyb směřuje do jednoho společného projektu Sentry. Pro provozovnu to znamená, že události z instancí sleduje na jednom místě tým dodavatele a oddělení IT provozovny nemusí udržovat vlastního příjemce. Pokud politika bezpečnosti zakazuje odesílání ven, je třeba to vyjasnit na začátku.

Zeptejte se IT na politiku odchozího provozu. Pokud síť blokuje veškerý odchozí provoz z hostitele aplikace, hlášení neodejde a totéž platí pro webhooky. V takové síti se alarmové webhooky ukládají trvale a externí poller je vyzvedává kanálem příchozím.

Etapa 2: limity událostí, aby nebyla zahlcena schránka

Limit na straně kódu činí 21 událostí za hodinu na druh chyby a celkem 89 za hodinu na instanci pro záznamy logu. Zabraňuje to tomu, aby jediná porucha opakovaná tisíckrát zahltila příjemce a tým.

Pro IT provozovny z toho plyne praktický závěr: počet upozornění závisí na počtu různých druhů chyb, a ne na počtu opakování jednoho. Pokud dostáváte mnoho upozornění, znamená to, že se děje mnoho různých věcí, a ne že systém opakuje jednu.

Limity hlášení za hodinu

Limity hlášení za hodinuSloupcový graf: 21 událostí za hodinu na druh chyby, 89 na instanci.020406080100událostiNa druh chyby: 21 události21Na druh chybyNa instanci (záznamy logu): 89 události89Na instanci (záznamy logu)
Zdroj: Karta tematu D04: popis hlášení chyb

Kontrolní bod 1: bezpečnostní alarmy se neztlumují

Limity událostí se týkají opakujících se chyb aplikace. Bezpečnostní alarmy se neztlumují: směřují k příjemci bez ohledu na limit, protože jejich přehlédnutí by bylo nebezpečnější než nadbytek upozornění.

Pro IT provozovny z toho plyne praktický závěr: určete samostatnou schránku nebo kanál pro bezpečnostní alarmy a jmenujte osobu, která odpovídá za reakci. Bezpečnostní alarm vyžaduje rozhodnutí během pracovního dne, nikoli archivaci.

Kontrolní bod 2: synchronní přenos a nedostupný příjemce

Přenos Sentry je synchronní, proto je nastaven limit 1 sekundy na spojení a 2 sekundy na odpověď. Nedostupný příjemce tak neprodlužuje obsluhu každé chyby. Bez takového limitu by uživatel čekal na odpověď serveru tak dlouho, dokud příjemce hlášení neodpovídá.

V nejhorším případě se obsluha chyby uživatele prodlouží o 3 sekundy, tedy o součet limitů spojení a odpovědi. Je to řád, který uživatel zaznamená, ale který systém nezablokuje.

Časové limity přenosu

Časové limity přenosuGraf: limit spojení 1 sekunda, limit odpovědi 2 sekundy.012sekundySpojeníSpojení: 1 sekundy1OdpověďOdpověď: 2 sekundy2
Zdroj: Karta tematu D04: synchronní přenos, limity 1 s a 2 s

Etapa 3: verze vydání jako zkrácený hash commitu

Verze vydání v hlášeních chyb je zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru. Správce tak spojí hlášení s přesnou verzí kódu na instanci a s konkrétním obrazem kontejneru.

Při analýze chyby po aktualizaci nejprve ověřte, zda verze vydání v hlášení odpovídá verzi běžící na instanci. Rozdíl znamená, že část provozu stále obsluhuje starý obraz.

Při předání monitoringu si zapište do protokolu tři ustanovení: kdo přijímá běžná upozornění, kdo přijímá bezpečnostní alarmy a jak vypadá zástup na dobu dovolených. Tým dodavatele a IT provozovny by měly znát stejná pravidla, aby po prvním alarmu neztrácely čas zjišťováním, komu přišel. Také je vhodné jednou za čtvrtletí projít seznam příjemců a druhů chyb, které skutečně vyžadovaly reakci, a odstranit ty, které nikomu nebyly potřeba.

  • Domluvte politiku odchozího provozu k příjemci hlášení.
  • Určete, kdo v IT dostává upozornění a v jaké schránce.
  • Po aktualizaci porovnejte verzi vydání s běžícím obrazem.
  • Nezahlcujte schránku: vyberte druhy chyb, které vyžadují reakci.

Videomateriál

Často kladené otázky

Zastaví systém výpadek příjemce hlášení?

Ne. Je nastaven limit 1 sekundy na spojení a 2 sekundy na odpověď, takže obsluhu chyby nanejvýš prodlouží o několik sekund.

Ztlumí limit událostí bezpečnostní alarmy?

Ne. Limit se týká opakujících se chyb aplikace a bezpečnostní alarmy se neztlumují.

Jak zjistím, která verze kódu chybu nahlásila?

Verze vydání v hlášení je zkrácený hash commitu nasazeného obrazu, shodný se značkou obrazu v registru.

Nastavme monitoring bez záplavy upozornění

Domluvíme se s vaším IT na politice odchozího provozu a na příjemcích upozornění, aby alarmy chodily jen tam, kde vyžadují reakci.

Pojďme si promluvit