InnerWeb
Zum Inhalt springen

Test nach dem Release und Version des Systems: Hinweise zur Umsetzung

Nach einem Update muss das Werk zwei Dinge wissen: welche Version genau läuft und ob die kritischen Szenarien bestanden haben, bevor der Bediener zur Arbeit zurückkehrt. Im Folgenden finden Sie Hinweise zur Umsetzung: wie Sie die Freigabe mit einer konkreten Änderung verknüpfen, wie Sie einen kurzen Test nach dem Release aufbauen und wie Sie den Nachweis festhalten.

242
Tests im Paket der Browser-Tests
Quelle: Funktionsdokumentation, End-to-End-Browser-Tests
31
Dateien mit Tests
Quelle: Funktionsdokumentation, End-to-End-Browser-Tests

Warum eine Versionsnummer nicht genügt

Werke notieren meist die Versionsnummer aus dem Kopf der Anwendung und belassen es dabei. Eine solche Nummer ist jedoch oft ein Marketingname oder ein Sammelstand, und eine Version kann mehrere Änderungen umfassen, die nacheinander eingesetzt wurden. Tritt nach einem Update ein Problem auf, lautet die Frage nicht: Welche Version ist das, sondern: Nach welcher Änderung hat es angefangen?

Deshalb lohnt es sich, mit dem Lieferanten eine Kennung zu vereinbaren, die eine Änderung eindeutig bezeichnet. Im beschriebenen System ist die Release-Version in den Fehlerberichten der Hash des Commits des eingesetzten Images, derselbe wie das Image-Tag in der Registry. Aus einer einzigen Zeichenfolge lässt sich ablesen, welche Änderung auf der Instanz läuft.

Schritt 1: Bestätigung der Version nach der Einführung

Der erste Schritt nach dem Update ist das Ablesen der Version von der laufenden Instanz und der Vergleich mit der Version, die der Lieferant in der Mitteilung zum Fenster angekündigt hat. Die Übereinstimmung zeigt, dass genau dieses Image eingesetzt wurde und nicht das vorherige. Eine Abweichung ist ein Signal, mit den weiteren Schritten nicht zu beginnen.

Halten Sie die abgelesene Version im Protokoll des Fensters fest. Wenn in einem Monat jemand fragt, mit welcher Version Sie es während eines Vorfalls zu tun hatten, steht die Antwort im Dokument und nicht in der Erinnerung einer Person.

Umfang des Pakets der Browser-Tests

Umfang des Pakets der Browser-TestsBalkendiagramm: 242 Tests in 31 Dateien.050100150200250AnzahlTestsTests: 242 Anzahl242Dateien mit TestsDateien mit Tests: 31 Anzahl31
Quelle: Funktionsdokumentation: End-to-End-Browser-Tests

Schritt 2: kurzer Test der kritischen Szenarien

Der vollständige Satz der Browser-Tests dauert etwa 2 bis 2,5 Stunden, daher verwendet man nach dem Release eine kurze Liste. Sie stützt sich auf den Umfang, den die E2E-Tests abbilden: Anmeldung, Administrationsfeld, Planung der Arbeiten, Arbeitserlaubnisse, Meldungen, Dokumentation, Karten und Auswertung. Wählen Sie aus dieser Liste die Szenarien, von denen die Sicherheit der Änderung abhängt.

Das Paket umfasst 242 Tests in 31 Dateien und startet einen echten Browser auf einem echten Backend. Ein Test schlägt automatisch fehl, sobald im Browser eine nicht abgefangene JavaScript-Ausnahme oder eine Serverantwort 5xx auftritt, sodass ein stiller Fehler nach dem Update nicht unbemerkt bleibt.

Fallstrick: Fehler, die Einheitstests nicht sehen

Nach der Korrektur eines gemeldeten Fehlers lohnt sich der Lauf der Browser-Tests, denn sie finden den für den Anwender sichtbaren Fehler, den Einheitstests nicht erkennen, weil sie mit einer API-Attrappe arbeiten. Eine Korrektur, die eine Funktion behebt und dabei einen Ablauf zerstört, zeigt sich erst im Test auf einem echten Backend.

Schritt 3: Beobachtung der Fehlerberichte nach dem Release

Beobachten Sie in den ersten Stunden nach dem Release die Fehlerberichte, aufgeteilt nach Release-Version. Taucht eine neue Fehlerart nur beim Hash einer neuen Änderung auf, ist die Ursache bekannt: diese Änderung. Dank der Verknüpfung des Fehlers mit der Version trifft das Team die Entscheidung über eine Korrektur oder eine Rückkehr, ohne mühsame Ermittlung.

Denken Sie an die Grenzen: Die Grenze für Ereignisse liegt bei 21 je Stunde und Fehlerart. Eine neue Fehlerart mit hoher Häufigkeit sehen Sie daher als begrenzte Zahl von Ereignissen, aber mit vollständiger Angabe der Art. Sicherheitsalarme bei der Arbeit werden durch einen Ausfall des Zwischenspeichers nicht stummgeschaltet: Fällt er aus, klingelt der Alarm, und das Protokoll hält das Problem fest.

Nachweis und Freigabe des Bedieners

Das Protokoll nach dem Release enthält: die abgelesene Release-Version, die Uhrzeit, das Ergebnis des kurzen Tests der kritischen Szenarien, den Bezug zum Ergebnis des letzten vollständigen Laufs und den Namen der Person, die die Schicht zur Arbeit freigegeben hat. Das ist eine Seite, die ein interner Prüfer mit früheren Fenstern vergleichen kann.

Der Bediener kehrt erst nach der Freigabe zur Arbeit zurück. Das ist eine einfache Regel, deren Fehlen aber eine typische Ursache von Problemen ist: Die Änderung geht in ein System zurück, das die Kontrolle nicht bestanden hat, und den ersten Fehler meldet ein Anwender aus der Halle. Der Test nach dem Release besteht dafür, dass diesen ersten Fehler das Team des Werks oder des Lieferanten meldet.

  • Ablesen der Version von der Instanz und Vergleich mit der Ankündigung im Fenster
  • kurzer Test der kritischen Szenarien auf einem echten Browser
  • harter Fehler bei JavaScript-Ausnahme und Antwort 5xx
  • Beobachtung der Fehlerberichte, aufgeteilt nach Release-Version
  • Protokoll mit Version, Uhrzeit, Ergebnis und der Person, die die Schicht freigibt

Videomaterial

Häufig gestellte Fragen

Warum ist der Hash des Commits besser als eine Versionsnummer?

Er bezeichnet genau eine Änderung und ist derselbe wie das Image-Tag in der Registry. Jeder Fehler in den Berichten lässt sich so einer konkreten Änderung zuordnen.

Müssen nach dem Release alle Tests laufen?

Nein. Der vollständige Satz dauert etwa 2 bis 2,5 Stunden. Nach dem Release genügt eine kurze Liste kritischer Szenarien, ergänzt durch das Ergebnis des letzten vollständigen Laufs.

Was tun, wenn die Version nach der Einführung von der angekündigten abweicht?

Gehen Sie nicht zu den weiteren Schritten über. Eine Abweichung bedeutet, dass ein anderes Image eingesetzt wurde als vereinbart, und das muss mit dem Lieferanten geklärt werden, bevor der Bediener freigegeben wird.

Vereinbaren wir das Protokoll nach dem Release

Wir bereiten mit Ihnen ein einseitiges Protokoll vor: Version, kurzer Test und die Person, die die Schicht freigibt. Vereinbaren Sie ein Gespräch mit dem Team von InnerWeb.

Sprechen wir