InnerWeb
Zum Inhalt springen

Fehlerüberwachung im Arbeitsschutzsystem: Umsetzungshinweise für die IT

Die Fehlermeldung soll helfen, nicht das Postfach überfluten und Benutzer im Störfall nicht verzögern. Im System sind Ereignisgrenzen im Code und kurze Verbindungszeitlimits gesetzt, Sicherheitsalarme werden nicht unterdrückt. Im Folgenden die Schritte, Kontrollpunkte und Bedingungen für die Einführung der Überwachung.

21
Ereignisse pro Stunde je Fehlerart
Quelle: Karte
89
Logereignisse pro Stunde je Instanz
Quelle: Karte
3 s
längste Verzögerung bei nicht erreichbarem Empfänger (1 s + 2 s)
Quelle: Karte

Schritt 1: ein gemeinsames Projekt für die Fehlermeldungen

Fehlermeldungen laufen in einem gemeinsamen Sentry-Projekt zusammen. Für das Werk heißt das, dass die Ereignisse aus den Instanzen an einer Stelle vom Team des Anbieters gesichtet werden und die IT des Werks keinen eigenen Empfänger betreiben muss. Gelten im Werk Vorgaben der Sicherheitsrichtlinie, die den Versand nach außen untersagen, muss dies gleich zu Beginn geklärt werden.

Fragen Sie die IT nach der Richtlinie für den ausgehenden Verkehr. Blockiert das Netz den gesamten ausgehenden Verkehr des Anwendungshosts, kommen die Fehlermeldungen nicht hinaus, und dasselbe gilt für Webhooks. In einem solchen Netz werden Alarm-Webhooks dauerhaft gespeichert, und ein externer Poller holt sie über einen eingehenden Kanal ab.

Schritt 2: Ereignisgrenzen, damit das Postfach nicht überläuft

Die Grenze im Code beträgt 21 Ereignisse pro Stunde je Fehlerart und insgesamt 89 pro Stunde je Instanz für Logeinträge. Das verhindert, dass eine einzige Störung, die tausendfach wiederholt wird, den Empfänger und das Team überflutet.

Für die IT des Werks folgt daraus eine praktische Erkenntnis: Die Zahl der Benachrichtigungen hängt von der Zahl verschiedener Fehlerarten ab, nicht von der Zahl der Wiederholungen einer Art. Erhalten Sie viele Alarme, geschehen viele verschiedene Dinge, und das System wiederholt nicht ein und dasselbe.

Grenzen der Meldungen pro Stunde

Grenzen der Meldungen pro StundeSäulendiagramm: 21 Ereignisse pro Stunde je Fehlerart, 89 je Instanz020406080100EreignisseJe Fehlerart: 21 Ereignisse21Je FehlerartJe Instanz (Logeinträge): 89 Ereignisse89Je Instanz (Logeinträge)
Quelle: Karte der Zelle: Beschreibung der Fehlermeldungen

Kontrollpunkt 1: Sicherheitsalarme werden nicht unterdrückt

Die Ereignisgrenzen betreffen wiederkehrende Fehler der Anwendung. Sicherheitsalarme werden nicht unterdrückt: Sie gehen unabhängig von der Grenze an den Empfänger, denn ihr Ausbleiben wäre gefährlicher als ein Übermaß an Benachrichtigungen.

Für die IT des Werks folgt daraus: Legen Sie einen eigenen Postkasten oder Kanal für Sicherheitsalarme fest und benennen Sie eine Person, die für die Reaktion verantwortlich ist. Ein Sicherheitsalarm verlangt eine Entscheidung innerhalb des Arbeitstages, nicht eine Ablage.

Kontrollpunkt 2: synchroner Transport und nicht erreichbarer Empfänger

Der Transport von Sentry ist synchron, daher sind ein Verbindungslimit von 1 Sekunde und ein Antwortlimit von 2 Sekunden gesetzt. So verlängert ein nicht erreichbarer Empfänger nicht die Bearbeitung jedes Fehlers. Ohne eine solche Grenze würde der Benutzer so lange auf die Antwort des Servers warten, wie der Empfänger der Meldung nicht antwortet.

Im ungünstigsten Fall wird ein Benutzerfehler 3 Sekunden länger bearbeitet, also um die Summe aus Verbindungs- und Antwortlimit. Das ist eine Größenordnung, die der Benutzer bemerkt, die das System aber nicht blockiert.

Zeitlimits des Transports

Zeitlimits des TransportsDiagramm: Verbindungslimit 1 Sekunde, Antwortlimit 2 Sekunden012SekundenVerbindungVerbindung: 1 Sekunden1AntwortAntwort: 2 Sekunden2
Quelle: Karte der Zelle: synchroner Transport, Grenzen 1 s und 2 s

Schritt 3: die Release-Version als Commit-Kurzhash

Die Release-Version in den Fehlermeldungen ist der Kurzhash des Commits des bereitgestellten Images. Sie entspricht dem Image-Tag in der Registry. So verbindet der Administrator eine Meldung mit der genauen Codeversion auf der Instanz und mit dem konkreten Container-Image.

Prüfen Sie bei der Analyse eines Fehlers nach einem Update zuerst, ob die Release-Version in der Meldung mit der Version übereinstimmt, die auf der Instanz läuft. Ein Unterschied bedeutet, dass ein Teil des Verkehrs noch vom alten Image bedient wird.

Halten Sie bei der Abnahme des Monitorings im Protokoll drei Festlegungen fest: wer die gewöhnlichen Benachrichtigungen erhält, wer die Sicherheitsalarme erhält und wie die Vertretung während Urlaubszeiten aussieht. Das Team des Anbieters und die IT des Werks sollten dieselben Regeln kennen, damit nach dem ersten Alarm keine Zeit darauf verloren geht, zu klären, wer ihn erhält. Prüfen Sie außerdem einmal im Quartal die Liste der Empfänger und der Fehlerarten, die tatsächlich eine Reaktion verlangten, und streichen Sie diejenigen, die niemand gebraucht hat.

  • Mit dem Betreiber des Empfängers der Meldungen die Richtlinie für den ausgehenden Verkehr abstimmen.
  • Festlegen, wer in der IT die Benachrichtigungen erhält und in welchem Postkasten.
  • Nach dem Update die Release-Version mit dem laufenden Image vergleichen.
  • Die Post nicht überladen: nur Fehlerarten auswählen, die eine Reaktion verlangen.

Videomaterial

Häufig gestellte Fragen

Bringt der Ausfall des Empfängers der Meldungen das System zum Stillstand?

Nein. Es sind ein Limit von 1 Sekunde für die Verbindung und 2 Sekunden für die Antwort gesetzt, die Bearbeitung eines Fehlers verlängert sich höchstens um einige Sekunden.

Unterdrückt die Ereignisgrenze die Sicherheitsalarme?

Nein. Die Grenze betrifft wiederkehrende Fehler der Anwendung, Sicherheitsalarme werden nicht unterdrückt.

Woher weiß ich, welche Codeversion den Fehler gemeldet hat?

Die Release-Version in der Meldung ist der Commit-Kurzhash des bereitgestellten Images, derselbe wie das Image-Tag in der Registry.

Richten wir eine Überwachung ohne Alarmflut ein

Wir stimmen mit Ihrer IT die Richtlinie für den ausgehenden Verkehr und die Empfänger der Benachrichtigungen ab, damit Alarme nur dort ankommen, wo sie eine Reaktion verlangen.

Sprechen wir