Für wen diese Empfehlungen gelten
Die Empfehlungen richten sich an die IT-Leitung des Werks, die das Update-Fenster freigibt, und an die Leitung Arbeitsschutz, die für die Kontinuität von Erlaubnissen und Alarmen verantwortlich ist. Sie betreffen die Situation, in der der Lieferant eine neue Version des Systems ankündigt und das Werk entscheiden muss, ob es sie jetzt übernimmt oder nach einer Prüfung.
Der Ausgangspunkt ist eine einfache Beobachtung: Allein die Information, dass der Lieferant die Version getestet hat, genügt nicht. Wichtig ist zu wissen, welche Tests, auf welchem System und mit welchem Ergebnis. Die folgenden Empfehlungen helfen, diese Fragen konkret zu stellen.
Empfehlung 1 und 2: Paket im echten Browser, auf einem echten Backend
Verlangen Sie Tests, die einen echten Browser auf einem echten Backend starten. Einheitstests arbeiten mit einer API-Attrappe und finden keinen Fehler, der für den Anwender sichtbar ist und erst an den Übergängen zwischen Modulen entsteht. Ein Beispielpaket von InnerWeb umfasst 242 Tests in 31 Dateien.
Prüfen Sie, ob der Umfang der Arbeit im Werk entspricht: Anmeldung, Administrationsfeld, Planung der Arbeiten, Arbeitserlaubnisse, Meldungen, Dokumentation, Karten und Auswertung. Ein Paket, das Erlaubnisse oder Karten auslässt, schützt nicht die Funktionen, auf die das Werk seine Sicherheit stützt.
Dauer eines vollständigen Testlaufs der E2E-Tests
Empfehlung 3 und 4: harte Fehler und saubere Datenbank
Verlangen Sie die Regel, dass ein Test fehlschlägt, sobald im Browser eine nicht abgefangene JavaScript-Ausnahme oder eine Serverantwort 5xx auftritt. Diese Regel macht stille Fehler sichtbar. Ohne sie kann ein Test bestehen, obwohl auf dem Bildschirm etwas abgestürzt ist.
Fragen Sie nach der Vorbereitung der Daten. Die Testdatenbank sollte vor jedem Lauf einmal aus den Migrationen neu aufgebaut werden, damit das Ergebnis nicht von Daten des vorherigen Laufs abhängt. Ein Test, der gestern grün und heute rot ist, ohne dass sich der Code geändert hat, deutet meist auf eine verschmutzte Datenbank hin und nicht auf einen Fehler der Anwendung.
Empfehlung 5 und 6: Register bekannter Fehler und Test nach der Korrektur
Bitten Sie um eine Liste bekannter, noch nicht behobener Fehler. Gute Praxis ist, sie im Test als erwarteten Fehlschlag mit Meldungsnummer zu markieren und nicht den Test zu überspringen. Dann überwacht das Paket den Bereich weiter, und nach der Behebung meldet der Test selbst, dass die Markierung zu entfernen ist.
Wenn der Lieferant einen von Ihnen gemeldeten Fehler korrigiert, verlangen Sie den Lauf der Browser-Tests nach der Korrektur. Ein solcher Test findet den für den Anwender sichtbaren Fehler, den Einheitstests nicht erkennen, weil sie mit einer API-Attrappe arbeiten. Ein behobener Defekt sollte einen Regressionstest hinterlassen.
Empfehlung 7: frisches Ergebnis aus dem letzten Lauf
Der vollständige Satz der Browser-Tests dauert etwa 2 bis 2,5 Stunden und wird deshalb nicht bei jeder kleinen Änderung ausgeführt. Er läuft auf Anforderung und automatisch an Wochenenden um Mitternacht. Bitten Sie deshalb vor der Zustimmung zum Update um das Ergebnis des letzten vollständigen Laufs und um das Datum seiner Ausführung.
Das Ergebnis ist ein Nachweis für die interne Prüfung: Es zeigt, dass vor der Einführung der neuen Version die kritischen Szenarien geprüft wurden. InnerWeb ist Softwarehersteller und integriert sich in bestehende Systeme des Kunden, daher tauscht ein Update auf unserer Seite keine Leser und keine Karten des Werks aus. Die Tests betreffen die Software, nicht die Hardware.
- Paket auf echtem Browser und echtem Backend, nicht auf einer API-Attrappe
- Umfang mit Arbeitserlaubnissen, Karten und Alarmen
- harter Fehler bei JavaScript-Ausnahme oder Antwort 5xx
- Datenbank wird vor jedem Lauf aus den Migrationen neu aufgebaut
- bekannte Fehler als erwartete Fehlschläge mit Meldungsnummer
- Test nach der Korrektur eines gemeldeten Fehlers
- Datum und Ergebnis des letzten vollständigen Laufs
Wie Sie das in das Abnahmeverfahren aufnehmen
Am einfachsten sind diese Empfehlungen als fester Anhang zum Änderungsverfahren auf Seiten des Werks einzuführen. Der Anhang umfasst eine Seite: sieben Fragen, ein Feld für die Antwort des Lieferanten und ein Feld für das Datum des Ergebnisses. Die IT-Leitung hakt die Punkte ab, bevor sie die Zustimmung zum Update-Fenster unterschreibt.
Kann der Lieferant eine Frage nicht beantworten, bedeutet das nicht automatisch eine Ablehnung. Es bedeutet, dass es sich lohnt, das Update bis zur Ergänzung des Nachweises zu verschieben oder auf ein Fenster zu beschränken, in dem das Team des Werks die kritischen Szenarien rasch prüfen kann. Die Entscheidungsregel legt das Werk fest, der Lieferant liefert den Nachweis.
Videomaterial
Häufig gestellte Fragen
Kann das Werk die Tests des Lieferanten selbst starten?
Das hängt vom Vertrag ab. In der Regel genügt es, den Lieferanten um den Lauf des vollständigen Satzes auf Anforderung und um die Übermittlung des Ergebnisses mit Datum zu bitten. Ein vollständiger Lauf dauert etwa 2 bis 2,5 Stunden.
Reichen Einheitstests nicht aus?
Nein. Sie arbeiten mit einer API-Attrappe und erkennen keinen Fehler, der für den Anwender sichtbar ist. Für ein System des Arbeitsschutzes ist es sinnvoll, beide Arten von Tests zu haben.
Was tun mit einem Fehler, den der Lieferant als bekannt markiert hat?
Notieren Sie die Meldungsnummer und bewerten Sie die Auswirkung auf die kritischen Szenarien des Werks. Ein erwarteter Fehlschlag mit Meldungsnummer belegt, dass der Fehler erfasst und nicht verborgen wird.
Vereinbaren wir die Nachweise vor dem Update
Stellen Sie uns Ihr Verfahren zur Abnahme von Änderungen vor, und wir zeigen Ihnen, welche Ergebnisse der Regressionstests wir vor jedem Update-Fenster liefern können.
Sprechen wir