Was das Paket automatisierter Tests umfasst
Das Paket der browserbasierten E2E-Tests umfasst 242 Tests in 31 Dateien und startet einen echten Chromium-Browser auf einem echten Backend. Die Tests bilden die Benutzer nach: Anmeldung, Administrationsbereich, Planung von Arbeiten, Arbeitsfreigaben, Meldungen, Dokumentation, Lagepläne und Auswertungen. Das ist derselbe Umfang, den der manuelle Abnehmer nach jedem Release durchgeht.
Die Testdatenbank wird pro Testlauf einmal aus den Migrationen neu aufgebaut, sodass das Ergebnis nicht von Daten des vorherigen Laufs abhängt. Die Abnahme ist damit wiederholbar: Zwei Läufe derselben Version liefern dasselbe Ergebnis, was bei einer manuellen Abnahme nicht garantiert werden kann.
Woher stammen die Szenarien?
Die Szenarien der manuellen Tester aus Sitzungsaufzeichnungen (Juni bis September 2026) wurden in automatisierte Tests umgeschrieben. Bei der Übertragung wurden 13 Fehler in der Anwendung gefunden, das Umschreiben war also auch eine Form der Prüfung.
Wie lange ein Durchlauf dauert und wann er startet
Der vollständige E2E-Satz dauert etwa 2 bis 2,5 Stunden. Er wird daher auf Anforderung manuell sowie automatisch an den Wochenenden um Mitternacht gestartet, ohne das Zusammenführen von Änderungen zu blockieren. Das Team des Werks wartet deshalb im Arbeitstag nicht auf das Ergebnis.
Der parallele Modus verkürzt die Zeit nahezu linear, doch jede Testinstanz braucht eine eigene Datenbank und eine eigene Redis-Datenbank. Das sind Infrastrukturkosten auf Seiten des Anbieters, die einzurechnen sind, wenn der Auftraggeber eine kürzere Laufzeit wünscht.
Stunden für die Abnahme eines Releases
Kalkulation: wie viele Stunden der Automat ersetzt
Die folgende Kalkulation beruht auf Annahmen, die das Werk durch eigene Zahlen ersetzen kann. Die Zeit einer manuellen Abnahme eines Releases hängt von der Zahl der Pfade ab, die das Werk als kritisch einstuft, nicht von der Zahl der Tests im Paket.
Beispiel: Das Werk geht davon aus, dass die vollständige manuelle Abnahme eines Releases 40 Arbeitsstunden dauert. Nach Einführung des Automaten wenden die Mitarbeiter 10 Stunden für die Abnahme der Pfade auf, die nicht durch Tests abgedeckt sind, und für die Auswertung des Ergebnisses. Bei 12 Releases im Jahr beträgt die Einsparung 360 Stunden.
Was der Automat nicht ersetzt
Der Automat ersetzt weder die Beurteilung der Gebrauchstauglichkeit noch die Prüfung einer neuen Funktion, für die noch kein Test entstanden ist. Er ersetzt auch keinen Besuch in der Halle und keine Prüfung der Geräte wie Sender oder mobile Geräte. Deshalb lassen wir in der Kalkulation 10 Stunden menschliche Abnahme stehen.
Was ist mit einem Fehler, den wir schon kennen?
Ein bekannter, noch nicht behobener Fehler wird im Test als erwartetes Fehlschlagen mit Meldungsnummer markiert, niemals durch Überspringen des Tests. Nach der Behebung meldet der Test selbst, dass die Markierung entfernt werden muss. Der Abnehmer sieht also eine Liste bekannter Probleme statt Überraschungen.
Warum Unit-Tests allein nicht reichen
Der Lauf der browserbasierten E2E-Tests nach einer Korrektur erkennt einen Fehler, den der Benutzer sieht und den Unit-Tests nicht erkennen, weil diese mit einer API-Attrappe arbeiten. Deshalb rechnen wir die Einsparung bei Abnahmen, die bisher ein Mensch am Bildschirm durchführte, und nicht bei Unit-Tests.
Beim Umschreiben der Szenarien wurden sieben von 13 Fehlern innerhalb von zwei Tagen behoben, und ihre Tests wurden zu gewöhnlichen Regressionstests. Jeder behobene Fehler bleibt also geschützt, was die Zahl der Abnahmestunden mit der Zeit verringert.
Fehler aus der Übertragung der Szenarien
Stundeneinsparung bei Abnahmen pro Jahr
| Parameter | Wert |
|---|---|
| Releases im Jahr | 12 Releases |
| Manuelle Abnahme eines Releases | 40 Stunden |
| Automatisierte Abnahme eines Releases | 10 Stunden |
Ergebnis: (40 − 10) × 12 = 360 Stunden jährlich. Multipliziert mit dem eigenen Stundensatz des Werks ergibt das die jährliche Einsparung in Euro.
Hinweis: Beispielkalkulation auf Annahmen des Autors der Seite, kein Messergebnis. Das Werk setzt die eigene Zahl der Releases und Abnahmestunden ein.
Videomaterial
Häufig gestellte Fragen
Reichen 242 Tests für die Abnahme des gesamten Systems?
Sie decken Anmeldung, Administrationsbereich, Planung von Arbeiten, Freigaben, Meldungen, Dokumentation, Lagepläne und Auswertungen ab. Neue Funktionen und Geräte in der Halle erfordern eine zusätzliche Prüfung.
Blockieren die Tests das Zusammenführen von Änderungen?
Nein. Der vollständige Satz dauert etwa 2 bis 2,5 Stunden und läuft auf Anforderung sowie an den Wochenenden um Mitternacht, ohne das Zusammenführen zu blockieren.
Arbeitet der Test mit Attrappen der Daten?
Nein. Er startet einen echten Browser auf einem echten Backend, und die Datenbank wird aus den Migrationen aufgebaut.
Berechnen Sie die Einsparung mit Ihren Annahmen
Nennen Sie die Zahl der Releases und die Abnahmestunden in Ihrem Werk, und wir berechnen, wie viel Arbeit der Automat ersetzt. Vereinbaren Sie ein Gespräch mit InnerWeb.
Sprechen wir