InnerWeb
Zum Inhalt springen

Einsparungen durch automatisierte statt manuelle Abnahmen

Jedes Update eines Sicherheitssystems braucht eine Abnahme: Jemand muss prüfen, ob Anmeldung, Freigaben und Karten noch funktionieren. Wir zeigen, wie viele Stunden manueller Abnahme das Paket mit 242 E2E-Tests ersetzen kann, wie man das mit den Annahmen des Werks berechnet und was der Automat nicht ersetzt.

242
E2E-Tests in 31 Dateien
13
Fehler beim Umschreiben der Szenarien gefunden
360 Std.
jährliche Einsparung in der Beispielkalkulation
Quelle: Beispielkalkulation

Was das Paket automatisierter Tests umfasst

Das Paket der browserbasierten E2E-Tests umfasst 242 Tests in 31 Dateien und startet einen echten Chromium-Browser auf einem echten Backend. Die Tests bilden die Benutzer nach: Anmeldung, Administrationsbereich, Planung von Arbeiten, Arbeitsfreigaben, Meldungen, Dokumentation, Lagepläne und Auswertungen. Das ist derselbe Umfang, den der manuelle Abnehmer nach jedem Release durchgeht.

Die Testdatenbank wird pro Testlauf einmal aus den Migrationen neu aufgebaut, sodass das Ergebnis nicht von Daten des vorherigen Laufs abhängt. Die Abnahme ist damit wiederholbar: Zwei Läufe derselben Version liefern dasselbe Ergebnis, was bei einer manuellen Abnahme nicht garantiert werden kann.

Woher stammen die Szenarien?

Die Szenarien der manuellen Tester aus Sitzungsaufzeichnungen (Juni bis September 2026) wurden in automatisierte Tests umgeschrieben. Bei der Übertragung wurden 13 Fehler in der Anwendung gefunden, das Umschreiben war also auch eine Form der Prüfung.

Wie lange ein Durchlauf dauert und wann er startet

Der vollständige E2E-Satz dauert etwa 2 bis 2,5 Stunden. Er wird daher auf Anforderung manuell sowie automatisch an den Wochenenden um Mitternacht gestartet, ohne das Zusammenführen von Änderungen zu blockieren. Das Team des Werks wartet deshalb im Arbeitstag nicht auf das Ergebnis.

Der parallele Modus verkürzt die Zeit nahezu linear, doch jede Testinstanz braucht eine eigene Datenbank und eine eigene Redis-Datenbank. Das sind Infrastrukturkosten auf Seiten des Anbieters, die einzurechnen sind, wenn der Auftraggeber eine kürzere Laufzeit wünscht.

Stunden für die Abnahme eines Releases

Stunden für die Abnahme eines ReleasesVorher-nachher-Diagramm: 40 Stunden manuelle Abnahme eines Releases gegenüber 10 Stunden mit Automatisierung.010203040StundenManuelle Abnahme: Ein Release: 40 Stunden40Manuelle AbnahmeMit Automatisierung: Ein Release: 10 Stunden10Mit Automatisierung
Quelle: Beispielkalkulation auf Annahmen aus dem Abschnitt Kalkulation

Kalkulation: wie viele Stunden der Automat ersetzt

Die folgende Kalkulation beruht auf Annahmen, die das Werk durch eigene Zahlen ersetzen kann. Die Zeit einer manuellen Abnahme eines Releases hängt von der Zahl der Pfade ab, die das Werk als kritisch einstuft, nicht von der Zahl der Tests im Paket.

Beispiel: Das Werk geht davon aus, dass die vollständige manuelle Abnahme eines Releases 40 Arbeitsstunden dauert. Nach Einführung des Automaten wenden die Mitarbeiter 10 Stunden für die Abnahme der Pfade auf, die nicht durch Tests abgedeckt sind, und für die Auswertung des Ergebnisses. Bei 12 Releases im Jahr beträgt die Einsparung 360 Stunden.

Was der Automat nicht ersetzt

Der Automat ersetzt weder die Beurteilung der Gebrauchstauglichkeit noch die Prüfung einer neuen Funktion, für die noch kein Test entstanden ist. Er ersetzt auch keinen Besuch in der Halle und keine Prüfung der Geräte wie Sender oder mobile Geräte. Deshalb lassen wir in der Kalkulation 10 Stunden menschliche Abnahme stehen.

Was ist mit einem Fehler, den wir schon kennen?

Ein bekannter, noch nicht behobener Fehler wird im Test als erwartetes Fehlschlagen mit Meldungsnummer markiert, niemals durch Überspringen des Tests. Nach der Behebung meldet der Test selbst, dass die Markierung entfernt werden muss. Der Abnehmer sieht also eine Liste bekannter Probleme statt Überraschungen.

Warum Unit-Tests allein nicht reichen

Der Lauf der browserbasierten E2E-Tests nach einer Korrektur erkennt einen Fehler, den der Benutzer sieht und den Unit-Tests nicht erkennen, weil diese mit einer API-Attrappe arbeiten. Deshalb rechnen wir die Einsparung bei Abnahmen, die bisher ein Mensch am Bildschirm durchführte, und nicht bei Unit-Tests.

Beim Umschreiben der Szenarien wurden sieben von 13 Fehlern innerhalb von zwei Tagen behoben, und ihre Tests wurden zu gewöhnlichen Regressionstests. Jeder behobene Fehler bleibt also geschützt, was die Zahl der Abnahmestunden mit der Zeit verringert.

Fehler aus der Übertragung der Szenarien

Fehler aus der Übertragung der SzenarienKreisdiagramm: 7 von 13 Fehlern wurden innerhalb von zwei Tagen behoben, 6 weitere.In zwei Tagen behoben: 7 Fehler (53,8%)Weitere: 6 Fehler (46,2%)13FehlerIn zwei Tagen behoben7 Fehler (53,8%)Weitere6 Fehler (46,2%)
Quelle: und
Beispielrechnung

Stundeneinsparung bei Abnahmen pro Jahr

Annahmen
ParameterWert
Releases im Jahr12 Releases
Manuelle Abnahme eines Releases40 Stunden
Automatisierte Abnahme eines Releases10 Stunden

Ergebnis: (40 − 10) × 12 = 360 Stunden jährlich. Multipliziert mit dem eigenen Stundensatz des Werks ergibt das die jährliche Einsparung in Euro.

Hinweis: Beispielkalkulation auf Annahmen des Autors der Seite, kein Messergebnis. Das Werk setzt die eigene Zahl der Releases und Abnahmestunden ein.

Videomaterial

Häufig gestellte Fragen

Reichen 242 Tests für die Abnahme des gesamten Systems?

Sie decken Anmeldung, Administrationsbereich, Planung von Arbeiten, Freigaben, Meldungen, Dokumentation, Lagepläne und Auswertungen ab. Neue Funktionen und Geräte in der Halle erfordern eine zusätzliche Prüfung.

Blockieren die Tests das Zusammenführen von Änderungen?

Nein. Der vollständige Satz dauert etwa 2 bis 2,5 Stunden und läuft auf Anforderung sowie an den Wochenenden um Mitternacht, ohne das Zusammenführen zu blockieren.

Arbeitet der Test mit Attrappen der Daten?

Nein. Er startet einen echten Browser auf einem echten Backend, und die Datenbank wird aus den Migrationen aufgebaut.

Berechnen Sie die Einsparung mit Ihren Annahmen

Nennen Sie die Zahl der Releases und die Abnahmestunden in Ihrem Werk, und wir berechnen, wie viel Arbeit der Automat ersetzt. Vereinbaren Sie ein Gespräch mit InnerWeb.

Sprechen wir