Schritt 1: ein gemeinsames Projekt für die Fehlermeldungen
Fehlermeldungen laufen in einem gemeinsamen Sentry-Projekt zusammen. Für das Werk heißt das, dass die Ereignisse aus den Instanzen an einer Stelle vom Team des Anbieters gesichtet werden und die IT des Werks keinen eigenen Empfänger betreiben muss. Gelten im Werk Vorgaben der Sicherheitsrichtlinie, die den Versand nach außen untersagen, muss dies gleich zu Beginn geklärt werden.
Fragen Sie die IT nach der Richtlinie für den ausgehenden Verkehr. Blockiert das Netz den gesamten ausgehenden Verkehr des Anwendungshosts, kommen die Fehlermeldungen nicht hinaus, und dasselbe gilt für Webhooks. In einem solchen Netz werden Alarm-Webhooks dauerhaft gespeichert, und ein externer Poller holt sie über einen eingehenden Kanal ab.
Schritt 2: Ereignisgrenzen, damit das Postfach nicht überläuft
Die Grenze im Code beträgt 21 Ereignisse pro Stunde je Fehlerart und insgesamt 89 pro Stunde je Instanz für Logeinträge. Das verhindert, dass eine einzige Störung, die tausendfach wiederholt wird, den Empfänger und das Team überflutet.
Für die IT des Werks folgt daraus eine praktische Erkenntnis: Die Zahl der Benachrichtigungen hängt von der Zahl verschiedener Fehlerarten ab, nicht von der Zahl der Wiederholungen einer Art. Erhalten Sie viele Alarme, geschehen viele verschiedene Dinge, und das System wiederholt nicht ein und dasselbe.
Grenzen der Meldungen pro Stunde
Kontrollpunkt 1: Sicherheitsalarme werden nicht unterdrückt
Die Ereignisgrenzen betreffen wiederkehrende Fehler der Anwendung. Sicherheitsalarme werden nicht unterdrückt: Sie gehen unabhängig von der Grenze an den Empfänger, denn ihr Ausbleiben wäre gefährlicher als ein Übermaß an Benachrichtigungen.
Für die IT des Werks folgt daraus: Legen Sie einen eigenen Postkasten oder Kanal für Sicherheitsalarme fest und benennen Sie eine Person, die für die Reaktion verantwortlich ist. Ein Sicherheitsalarm verlangt eine Entscheidung innerhalb des Arbeitstages, nicht eine Ablage.
Kontrollpunkt 2: synchroner Transport und nicht erreichbarer Empfänger
Der Transport von Sentry ist synchron, daher sind ein Verbindungslimit von 1 Sekunde und ein Antwortlimit von 2 Sekunden gesetzt. So verlängert ein nicht erreichbarer Empfänger nicht die Bearbeitung jedes Fehlers. Ohne eine solche Grenze würde der Benutzer so lange auf die Antwort des Servers warten, wie der Empfänger der Meldung nicht antwortet.
Im ungünstigsten Fall wird ein Benutzerfehler 3 Sekunden länger bearbeitet, also um die Summe aus Verbindungs- und Antwortlimit. Das ist eine Größenordnung, die der Benutzer bemerkt, die das System aber nicht blockiert.
Zeitlimits des Transports
Schritt 3: die Release-Version als Commit-Kurzhash
Die Release-Version in den Fehlermeldungen ist der Kurzhash des Commits des bereitgestellten Images. Sie entspricht dem Image-Tag in der Registry. So verbindet der Administrator eine Meldung mit der genauen Codeversion auf der Instanz und mit dem konkreten Container-Image.
Prüfen Sie bei der Analyse eines Fehlers nach einem Update zuerst, ob die Release-Version in der Meldung mit der Version übereinstimmt, die auf der Instanz läuft. Ein Unterschied bedeutet, dass ein Teil des Verkehrs noch vom alten Image bedient wird.
Halten Sie bei der Abnahme des Monitorings im Protokoll drei Festlegungen fest: wer die gewöhnlichen Benachrichtigungen erhält, wer die Sicherheitsalarme erhält und wie die Vertretung während Urlaubszeiten aussieht. Das Team des Anbieters und die IT des Werks sollten dieselben Regeln kennen, damit nach dem ersten Alarm keine Zeit darauf verloren geht, zu klären, wer ihn erhält. Prüfen Sie außerdem einmal im Quartal die Liste der Empfänger und der Fehlerarten, die tatsächlich eine Reaktion verlangten, und streichen Sie diejenigen, die niemand gebraucht hat.
- Mit dem Betreiber des Empfängers der Meldungen die Richtlinie für den ausgehenden Verkehr abstimmen.
- Festlegen, wer in der IT die Benachrichtigungen erhält und in welchem Postkasten.
- Nach dem Update die Release-Version mit dem laufenden Image vergleichen.
- Die Post nicht überladen: nur Fehlerarten auswählen, die eine Reaktion verlangen.
Videomaterial
Häufig gestellte Fragen
Bringt der Ausfall des Empfängers der Meldungen das System zum Stillstand?
Nein. Es sind ein Limit von 1 Sekunde für die Verbindung und 2 Sekunden für die Antwort gesetzt, die Bearbeitung eines Fehlers verlängert sich höchstens um einige Sekunden.
Unterdrückt die Ereignisgrenze die Sicherheitsalarme?
Nein. Die Grenze betrifft wiederkehrende Fehler der Anwendung, Sicherheitsalarme werden nicht unterdrückt.
Woher weiß ich, welche Codeversion den Fehler gemeldet hat?
Die Release-Version in der Meldung ist der Commit-Kurzhash des bereitgestellten Images, derselbe wie das Image-Tag in der Registry.
Richten wir eine Überwachung ohne Alarmflut ein
Wir stimmen mit Ihrer IT die Richtlinie für den ausgehenden Verkehr und die Empfänger der Benachrichtigungen ab, damit Alarme nur dort ankommen, wo sie eine Reaktion verlangen.
Sprechen wir