InnerWeb
Přejít na obsah

Případ: 13 chyb z E2E testů a oprava za 2 dny

Scénáře ručních testerů z nahrávek sezení z léta 2026 byly přepsány na automatické testy. Při přenosu se ukázalo 13 chyb aplikace. Sedm z nich se podařilo opravit během dvou dnů. Tento případ ukazuje, jak implementační tým proměnil opakovanou práci testera v sadu, která po každé změně hlídá bezpečnost práce.

13
chyb nalezených při přenosu scénářů
Zdroj: dokumentace funkce, prohlížečové testy E2E
7
chyb opravených za 2 dny
Zdroj: dokumentace funkce, prohlížečové testy E2E
242
testů v sadě E2E
Zdroj: dokumentace funkce, prohlížečové testy E2E

Výchozí bod: ruční testy z nahrávek sezení

Od června do září 2026 testeři procházeli systém krok za krokem a jejich sezení se nahrávala. Takové nahrávky mají velkou hodnotu, protože ukazují skutečný způsob práce s aplikací: pořadí kliknutí, místa váhání a chyby, které se objeví až při určitém sledu úkonů. Mají však jednu nevýhodu: nelze je na požádání zopakovat po každé změně v kódu.

Implementační tým si proto položil praktickou otázku: kolik z těchto poznatků lze převést na scénáře, které se spouštějí samy. Odpovědí byla sada prohlížečových testů se 242 testy v 31 souborech. Sada spouští skutečný prohlížeč na skutečném backendu, nikoli atrapu, a proto prochází stejnou cestou jako uživatel.

Jak probíhal přenos scénářů

Přenos znamená přepsat každý nahraný scénář na automatický test: přihlášení, vstup do administrátorského panelu, plánování prací, povolení k práci, hlášení, dokumentace, mapy a analytika. Rozsah odpovídá tomu, co dělá člověk v závodě, a ne tomu, co je pohodlné ověřit z úrovně kódu.

Důležitý technický detail: testovací databáze se z migrací obnovuje jednou za běh testů. Výsledek tak nezávisí na datech, která zanechal předchozí běh, a test, který včera prošel, dnes neprojde jen proto, že někdo změnil záznam.

Pravidlo tvrdé chyby

Test se automaticky nezdaří, pokud se v prohlížeči objeví nezachycená výjimka JavaScriptu nebo odpověď serveru z třídy 5xx. Tester si toho nemusí všimnout na obrazovce: chyba, které by se uživatel mohl vyhnout obnovením stránky, běh tak či tak zastaví.

Chyby z přenosu scénářů: stav po 2 dnech

Chyby z přenosu scénářů: stav po 2 dnechSloupcový graf: 13 nalezených chyb, 7 opravených za dva dny a 6 známých s číslem hlášení.051015chybNalezené: 13 chyb13 chybNalezenéOpravené za 2 dny: 7 chyb7 chybOpravené za 2 dnyZnámé, s číslem hlášení: 6 chyb6 chybZnámé, s číslem hlášení
Zdroj: Dokumentace funkce: prohlížečové testy E2E; počet známých chyb = 13 minus 7

Co se našlo: 13 chyb

Při přenosu scénářů bylo nalezeno 13 chyb aplikace. Největší hodnota tohoto čísla spočívá v okamžiku zjištění: chyby se odhalily během přípravy testů, dříve než je uviděl uživatel na hale nebo v kanceláři závodu. Pro systém, který odpovídá za povolení k práci a alarmy, je rozdíl mezi zjištěním u dodavatele a zjištěním u provozovatele podstatný.

Chyby nevypadaly jako výpadky z titulků. Šlo o nesoulad na rozhraní modulů, chyby viditelné až při určitém sledu kroků a chování, které jednotkové testy nezachytí, protože běží na atrapě API. Je to typický profil vad, které odhalují prohlížečové testy: nejde o chybu v jedné funkci, ale v toku práce.

  • 13 chyb nalezených při přenosu scénářů
  • 7 z nich opraveno během dvou dnů
  • zbylých 6 označeno v testech jako známé, s číslem hlášení
  • každá opravená chyba zanechala regresní test

Oprava za dva dny a přeměna chyby v regresní test

Sedm z 13 chyb se podařilo opravit během dvou dnů. Rychlost vyplynula z toho, že každá chyba přišla už s reprodukovatelným scénářem: nebylo třeba doptávat se, jak ji vyvolat. Programátor dostal test, který padá, a úkol spočíval v tom, aby byl zelený.

Po opravě test nezmizí. Stane se běžným regresním testem, který při každém dalším spuštění ověřuje, zda se stejná chyba nevrátila. Seznam opravených vad se tak mění v trvalou ochranu, a ne v položku v historii hlášení.

Šest známých chyb bez zamlčování

Chyby, které nebyly opraveny hned, nebyly vynechány. Známá, dosud neopravená chyba je v testu označena jako očekávané selhání s číslem hlášení, nikdy jako přeskočený test. Rozdíl je zásadní: přeskočený test mlčí, kdežto test s očekávaným selháním zůstává v sadě a dál hlídá danou oblast.

Po opravě test sám oznámí, že anotaci je třeba odstranit. Nikdo si nemusí pamatovat úklid a seznam známých chyb v sadě vždy odpovídá skutečnosti. Pro auditora nebo vedoucího IT závodu je to čitelný důkaz, že dodavatel vede evidenci známých vad a neutlumuje je tichým vypnutím testů.

Závěry pro závod, který systém přebírá

První závěr: ruční nahrávky jsou dobrý výchozí materiál, ale teprve převod na automatické scénáře přináší opakovatelnost. Druhý: sada běžící na skutečném prohlížeči a skutečném backendu zachytí chyby viditelné pro uživatele, které jednotkové testy neodhalí. Třetí: explicitní evidence známých chyb je bezpečnější než prázdný seznam.

Celá sada trvá zhruba 2 až 2,5 hodiny, takže neblokuje každodenní schvalování změn. Spouští se na požádání a automaticky o víkendech o půlnoci. Pro zákazníka to znamená, že před aktualizací existuje čerstvý výsledek z posledního běhu, který lze požádat o ukázání.

Kontrolní seznam

Videomateriál

Často kladené otázky

Nahrazují testy E2E jednotkové testy?

Ne. Jednotkové testy ověřují jednotlivé funkce rychle a levně. Prohlížečové testy ověřují tok práce, který vidí uživatel, a zachytí chyby, které test na atrapě API nevidí. Oba druhy se doplňují.

Proč neskrývat známé chyby přeskočením testu?

Přeskočený test přestane hlídat oblast a nikdo neví, že chyba stále existuje. Očekávané selhání s číslem hlášení zůstane v sadě a po opravě test sám oznámí, že anotaci je třeba odstranit.

Jak často se spouští celá sada testů?

Celá sada trvá zhruba 2 až 2,5 hodiny. Spouští se na požádání a automaticky o víkendech o půlnoci, bez blokování schvalování změn.

Podívejte se, jak testujeme změny před nasazením

Pojďme si popsat, jaké regresní testy a jaký seznam známých chyb chcete vidět u dodavatele systému bezpečnosti práce.

Pojďme si promluvit