InnerWeb
Zum Inhalt springen

Fehlermonitoring des Systems im Werk: bewährte Praktiken

Das Fehlermonitoring hat zwei gegensätzliche Aufgaben: jeden echten Ausfall zeigen und den Bereitschaftsdienst nicht mit Hunderten Wiederholungen desselben Ereignisses überschütten. Im Folgenden finden Sie Praktiken für den Systemadministrator im Werk: Grenzen je Fehlerart, Ausschluss von Nicht-Störungen, Verknüpfung des Fehlers mit der Version und Trennung von Sicherheitsalarmen.

21
Ereignisse je Stunde, Grenze je Fehlerart
Quelle: Funktionsdokumentation, Fehlerberichterstattung
89
Ereignisse je Stunde, Grenze je Instanz für Protokolle
Quelle: Funktionsdokumentation, Fehlerberichterstattung
5 000
Fehler im Monat, gemeinsames Budget
Quelle: Funktionsdokumentation, Fehlerberichterstattung

Problem: Rauschen überdeckt das Signal

Der häufigste Konfigurationsfehler beim Monitoring ist das Fehlen einer Grenze. Dann erzeugt ein wiederkehrendes Ereignis Hunderte identischer Benachrichtigungen, und der Bereitschaftsdienst reagiert nicht mehr darauf. Der zweite Fehler ist das Gegenteil: eine zu aggressive Filterung, die auch das erste Signal eines echten Ausfalls ausblendet.

Gute Einstellungen sind ein auf Messung gestützter Kompromiss. Bevor Sie eine Grenze setzen, messen Sie, wie viele Ereignisse jeder Art das System an einem ungünstigsten Tag ohne Vorfälle erzeugt. Erst solche Daten erlauben eine Grenze, die die normale Arbeit nicht abschneidet und die Lawine der Wiederholungen anhält.

Praktik 1: Grenze je Fehlerart, aus Messungen abgeleitet

Legen Sie die Grenze für Ereignisse je Stunde und Fehlerart anhand von Messungen fest, nicht durch Schätzen. Beispielhaft liegt eine Grenze von 21 je Stunde und Fehlerart über dem normalen Rauschen und deutlich unter dem Niveau einer Lawine von Wiederholungen. So sieht der Bereitschaftsdienst jede Fehlerart, aber keine einzelne Art verbraucht das gesamte Budget.

Denken Sie daran, dass ein monatliches Budget oft mehreren Instanzen gemeinsam ist. Beispielhaft beträgt es 5 000 Fehler und ist eine geteilte Ressource, daher schützt die Grenze nicht nur den Bereitschaftsdienst, sondern auch die übrigen Instanzen.

Beispielhafte Grenzen für Ereignisse je Stunde

Beispielhafte Grenzen für Ereignisse je StundeBalkendiagramm: beispielhafte Grenzen von 21 Ereignissen je Stunde je Fehlerart und 89 je Instanz.020406080100Ereignisse/hGrenze je FehlerartGrenze je Fehlerart: 21 Ereignisse/h21Grenze je Instanz (Protokolle)Grenze je Instanz (Protokolle): 89 Ereignisse/h89
Quelle: Funktionsdokumentation: Fehlerberichterstattung; Werte als Beispiel

Praktik 2: Grenze je Instanz für Einträge aus den Protokollen

Einträge aus den Protokollen haben eine eigene Schwierigkeit. Eine Meldung mit einer angehängten variablen Angabe, zum Beispiel einer Auftragskennung, erscheint dem Monitoring bei jedem Auftreten als neue Fehlerart. Eine Grenze je Fehlerart hält das nicht auf, weil es Hunderte solcher Arten gibt.

Die Lösung ist eine zusätzliche gemeinsame Grenze je Instanz, beispielhaft 89 Ereignisse je Stunde für Einträge aus den Protokollen. Die zweite Grenze schließt die Lücke, die die erste lässt.

Praktik 3 und 4: Nicht-Störungen ausschließen, Alarm erhalten

Ausnahmen, die fehlerhafte Eingabedaten beschreiben, etwa fehlende Berechtigung, fehlende Seite oder eine fehlerhafte Anfrage, sind keine Störungen des Systems und sollten vom Reporting ausgeschlossen werden. Der Anwender hat eine falsche Adresse eingegeben, das System hat nicht versagt. Der Ausschluss solcher Ausnahmen senkt das Rauschen deutlich, ohne das Signal zu verlieren.

Trennen Sie Sicherheitsalarme bei der Arbeit unbedingt vom Mechanismus der Grenzen. Sicherheitsalarme werden nicht stummgeschaltet: Ein Mensch in Gefahr löst immer den Alarm aus, und das Protokoll hält das Ereignis fest. Die Regel lautet: Das Fehlermonitoring darf begrenzt werden, der Alarm eines Menschen in Gefahr darf es nicht.

Praktik 5: Release-Version im Bericht und Test nach der Aktualisierung

Verlangen Sie, dass jeder Fehlerbericht die Release-Version trägt. Die Release-Version ist der Hash des Commits des eingesetzten Images, derselbe wie das Image-Tag in der Registry, sodass sich jeder Fehler einer konkreten Änderung zuordnen lässt. Für den Administrator bedeutet das eine Frage statt einer Ermittlung: Ab welcher Version tritt dieser Fehler auf?

Prüfen Sie nach jeder Aktualisierung, ob neue Ereignisse nicht wie zuvor bekannte aussehen. Stimmt die Release-Version im Bericht mit der eingesetzten überein, dauert der Vergleich vor und nach der Aktualisierung einige Minuten.

  • Grenze je Fehlerart aus Messungen (Beispiel: 21 je Stunde)
  • Grenze je Instanz für Einträge aus den Protokollen (Beispiel: 89 je Stunde)
  • Ausschluss von Ausnahmen, die fehlerhafte Eingabedaten beschreiben
  • Sicherheitsalarme bei der Arbeit unabhängig von den Grenzen
  • Release-Version in jedem Fehlerbericht

So führen Sie diese Praktiken Schritt für Schritt ein

Beginnen Sie mit einer Woche Messung ohne Grenzen: Halten Sie fest, wie viele Ereignisse je Stunde jede Fehlerart an einem normalen Tag erzeugt. Wählen Sie den ungünstigsten Tag ohne Vorfälle und setzen Sie die Grenze mit Reserve über diesem Niveau. Prüfen Sie danach, ob die Grenze deutlich unter dem Niveau liegt, das eine Lawine von Wiederholungen bedeuten würde.

Dann richten Sie den Ausschluss der Nicht-Störungen ein, ergänzen die Grenze je Instanz für die Protokolle und prüfen auf der Testumgebung das Verhalten bei vielen Wiederholungen. Zum Schluss halten Sie die Schwellen im Ablauf des Bereitschaftsdienstes fest, damit die Person, die den Alarm annimmt, weiß, was eine begrenzte Zahl von Ereignissen bei einem Fehler bedeutet: dass er häufiger auftritt, als der Zähler zeigt.

Checkliste

Videomaterial

Häufig gestellte Fragen

Kann eine Grenze einen echten Ausfall verbergen?

Die Grenze begrenzt die Zahl der Wiederholungen derselben Fehlerart, nicht deren erstes Auftreten. Sicherheitsalarme bei der Arbeit liegen außerhalb der Grenze und werden nicht stummgeschaltet.

Warum ist eine Fehlermeldung mit einer Kennung im Text ein Problem?

Das Monitoring behandelt jeden anderen Text als eine andere Fehlerart. Deshalb wirkt für Einträge aus den Protokollen zusätzlich eine Grenze je Instanz: 89 Ereignisse je Stunde.

Wozu dient die Release-Version im Fehlerbericht?

Sie ist der Hash des Commits des eingesetzten Images, derselbe wie das Image-Tag in der Registry. So lässt sich ein Fehler einer konkreten Änderung zuordnen.

Richten wir das Monitoring auf Ihr Werk ein

Wir gehen mit Ihrem IT-Team die Grenzen, die Ausschlüsse und den Ablauf des Bereitschaftsdienstes durch. Vereinbaren Sie ein kurzes Gespräch mit InnerWeb.

Sprechen wir