Výchozí bod: ruční testy z nahrávek sezení
Od června do září 2026 testeři procházeli systém krok za krokem a jejich sezení se nahrávala. Takové nahrávky mají velkou hodnotu, protože ukazují skutečný způsob práce s aplikací: pořadí kliknutí, místa váhání a chyby, které se objeví až při určitém sledu úkonů. Mají však jednu nevýhodu: nelze je na požádání zopakovat po každé změně v kódu.
Implementační tým si proto položil praktickou otázku: kolik z těchto poznatků lze převést na scénáře, které se spouštějí samy. Odpovědí byla sada prohlížečových testů se 242 testy v 31 souborech. Sada spouští skutečný prohlížeč na skutečném backendu, nikoli atrapu, a proto prochází stejnou cestou jako uživatel.
Jak probíhal přenos scénářů
Přenos znamená přepsat každý nahraný scénář na automatický test: přihlášení, vstup do administrátorského panelu, plánování prací, povolení k práci, hlášení, dokumentace, mapy a analytika. Rozsah odpovídá tomu, co dělá člověk v závodě, a ne tomu, co je pohodlné ověřit z úrovně kódu.
Důležitý technický detail: testovací databáze se z migrací obnovuje jednou za běh testů. Výsledek tak nezávisí na datech, která zanechal předchozí běh, a test, který včera prošel, dnes neprojde jen proto, že někdo změnil záznam.
Pravidlo tvrdé chyby
Test se automaticky nezdaří, pokud se v prohlížeči objeví nezachycená výjimka JavaScriptu nebo odpověď serveru z třídy 5xx. Tester si toho nemusí všimnout na obrazovce: chyba, které by se uživatel mohl vyhnout obnovením stránky, běh tak či tak zastaví.
Chyby z přenosu scénářů: stav po 2 dnech
Co se našlo: 13 chyb
Při přenosu scénářů bylo nalezeno 13 chyb aplikace. Největší hodnota tohoto čísla spočívá v okamžiku zjištění: chyby se odhalily během přípravy testů, dříve než je uviděl uživatel na hale nebo v kanceláři závodu. Pro systém, který odpovídá za povolení k práci a alarmy, je rozdíl mezi zjištěním u dodavatele a zjištěním u provozovatele podstatný.
Chyby nevypadaly jako výpadky z titulků. Šlo o nesoulad na rozhraní modulů, chyby viditelné až při určitém sledu kroků a chování, které jednotkové testy nezachytí, protože běží na atrapě API. Je to typický profil vad, které odhalují prohlížečové testy: nejde o chybu v jedné funkci, ale v toku práce.
- 13 chyb nalezených při přenosu scénářů
- 7 z nich opraveno během dvou dnů
- zbylých 6 označeno v testech jako známé, s číslem hlášení
- každá opravená chyba zanechala regresní test
Oprava za dva dny a přeměna chyby v regresní test
Sedm z 13 chyb se podařilo opravit během dvou dnů. Rychlost vyplynula z toho, že každá chyba přišla už s reprodukovatelným scénářem: nebylo třeba doptávat se, jak ji vyvolat. Programátor dostal test, který padá, a úkol spočíval v tom, aby byl zelený.
Po opravě test nezmizí. Stane se běžným regresním testem, který při každém dalším spuštění ověřuje, zda se stejná chyba nevrátila. Seznam opravených vad se tak mění v trvalou ochranu, a ne v položku v historii hlášení.
Šest známých chyb bez zamlčování
Chyby, které nebyly opraveny hned, nebyly vynechány. Známá, dosud neopravená chyba je v testu označena jako očekávané selhání s číslem hlášení, nikdy jako přeskočený test. Rozdíl je zásadní: přeskočený test mlčí, kdežto test s očekávaným selháním zůstává v sadě a dál hlídá danou oblast.
Po opravě test sám oznámí, že anotaci je třeba odstranit. Nikdo si nemusí pamatovat úklid a seznam známých chyb v sadě vždy odpovídá skutečnosti. Pro auditora nebo vedoucího IT závodu je to čitelný důkaz, že dodavatel vede evidenci známých vad a neutlumuje je tichým vypnutím testů.
Závěry pro závod, který systém přebírá
První závěr: ruční nahrávky jsou dobrý výchozí materiál, ale teprve převod na automatické scénáře přináší opakovatelnost. Druhý: sada běžící na skutečném prohlížeči a skutečném backendu zachytí chyby viditelné pro uživatele, které jednotkové testy neodhalí. Třetí: explicitní evidence známých chyb je bezpečnější než prázdný seznam.
Celá sada trvá zhruba 2 až 2,5 hodiny, takže neblokuje každodenní schvalování změn. Spouští se na požádání a automaticky o víkendech o půlnoci. Pro zákazníka to znamená, že před aktualizací existuje čerstvý výsledek z posledního běhu, který lze požádat o ukázání.
Kontrolní seznam
Videomateriál
Často kladené otázky
Nahrazují testy E2E jednotkové testy?
Ne. Jednotkové testy ověřují jednotlivé funkce rychle a levně. Prohlížečové testy ověřují tok práce, který vidí uživatel, a zachytí chyby, které test na atrapě API nevidí. Oba druhy se doplňují.
Proč neskrývat známé chyby přeskočením testu?
Přeskočený test přestane hlídat oblast a nikdo neví, že chyba stále existuje. Očekávané selhání s číslem hlášení zůstane v sadě a po opravě test sám oznámí, že anotaci je třeba odstranit.
Jak často se spouští celá sada testů?
Celá sada trvá zhruba 2 až 2,5 hodiny. Spouští se na požádání a automaticky o víkendech o půlnoci, bez blokování schvalování změn.
Podívejte se, jak testujeme změny před nasazením
Pojďme si popsat, jaké regresní testy a jaký seznam známých chyb chcete vidět u dodavatele systému bezpečnosti práce.
Pojďme si promluvit