Pro koho jsou tato doporučení
Doporučení jsou určena vedoucímu IT závodu, který schvaluje okno aktualizace, a vedoucímu BOZP, který odpovídá za souvislost povolení a alarmů. Týkají se situace, kdy dodavatel ohlásí novou verzi systému a závod musí rozhodnout, zda ji přijme hned, nebo až po ověření.
Výchozí postřeh je jednoduchý: samotná informace, že dodavatel verzi otestoval, nestačí. Je dobré vědět, jaké testy, na čem spuštěné a s jakým výsledkem. Níže uvedená doporučení umožňují tyto otázky položit konkrétně.
Doporučení 1 a 2: sada na skutečném prohlížeči a skutečném backendu
Požádejte o testy, které spouštějí skutečný prohlížeč na skutečném backendu. Jednotkové testy běží na atrapě API a neodhalí chybu viditelnou pro uživatele, která vzniká až na rozhraní modulů. Ukázková sada InnerWeb obsahuje 242 testů v 31 souborech.
Ověřte, zda rozsah odpovídá práci v závodě: přihlášení, administrátorský panel, plánování prací, povolení k práci, hlášení, dokumentace, mapy a analytika. Sada, která vynechává povolení nebo mapy, nechrání funkce, na kterých závod staví svou bezpečnost.
Doba úplného běhu testů E2E
Doporučení 3 a 4: tvrdé chyby a čistá databáze
Požadujte pravidlo, že test selže, pokud se v prohlížeči objeví nezachycená výjimka JavaScriptu nebo odpověď serveru 5xx. Toto pravidlo mění tiché chyby ve viditelné. Bez něj může test projít, i když se na obrazovce něco rozbilo.
Zeptejte se na způsob přípravy dat. Testovací databáze by se měla z migrací obnovovat jednou za běh, aby výsledek nezávisel na datech z předchozího spuštění. Test, který včera prošel a dnes padá bez změny kódu, obvykle svědčí o znečištěné databázi, a ne o chybě aplikace.
Doporučení 5 a 6: evidence známých chyb a test po opravě
Požádejte o seznam známých, dosud neopravených chyb. Dobrou praxí je označit je v testu jako očekávané selhání s číslem hlášení, a ne přeskočit test. Sada pak dál hlídá danou oblast a po opravě test sám oznámí, že anotaci je třeba odstranit.
Když dodavatel opraví chybu, kterou jste nahlásili, požadujte spuštění prohlížečových testů po opravě. Takový test zachytí chybu viditelnou pro uživatele, kterou jednotkové testy nezjistí, protože běží na atrapě API. Opravená vada by měla zanechat regresní test.
Doporučení 7: čerstvý výsledek z posledního běhu
Celá sada prohlížečových testů trvá zhruba 2 až 2,5 hodiny, takže se nespouští při každé drobné změně. Spouští se na požádání a automaticky o víkendech o půlnoci. Proto před souhlasem s aktualizací požádejte o výsledek z posledního úplného běhu a o datum jeho provedení.
Výsledek je důkazem pro interní audit: ukazuje, že před nasazením nové verze byly prověřeny kritické scénáře. InnerWeb je výrobcem softwaru a integruje se s existujícími systémy zákazníka, takže aktualizace z naší strany nemění čtečky ani karty závodu. Testy se týkají softwaru, ne hardwaru.
- sada na skutečném prohlížeči a backendu, ne na atrapě API
- rozsah zahrnující povolení k práci, mapy a alarmy
- tvrdá chyba při výjimce JavaScriptu nebo odpovědi 5xx
- databáze obnovená z migrací před každým během
- známé chyby jako očekávaná selhání s číslem hlášení
- test po opravě nahlášené chyby
- datum a výsledek posledního úplného běhu
Jak to zapsat do postupu přebírání
Doporučení se nejsnáze zavedou jako stálá příloha k postupu změn na straně závodu. Příloha má jednu stranu: sedm otázek, pole pro odpověď dodavatele a pole pro datum výsledku. Vedoucí IT odškrtá body před podpisem souhlasu s oknem aktualizace.
Pokud dodavatel na některou otázku neumí odpovědět, neznamená to automaticky odmítnutí. Znamená to, že stojí za to odložit aktualizaci do doby, než bude důkaz doplněn, nebo ji omezit na okno, v němž tým závodu může rychle ověřit kritické scénáře. Pravidla rozhodnutí určuje závod, dodavatel dodává důkaz.
Videomateriál
Často kladené otázky
Může závod spustit testy dodavatele sám?
To záleží na smlouvě. Obvykle stačí požádat dodavatele o spuštění úplné sady na požádání a o předání výsledku s datem. Úplný běh trvá zhruba 2 až 2,5 hodiny.
Nestačí jednotkové testy?
Ne. Běží na atrapě API a neodhalí chybu viditelnou pro uživatele. Pro systém BOZP je dobré mít oba druhy testů.
Co dělat s chybou, kterou dodavatel označil jako známou?
Zapište si číslo hlášení a posuďte dopad na kritické scénáře závodu. Očekávané selhání s číslem hlášení je důkazem, že chyba je evidovaná, a ne skrytá.
Domluvme se na důkazech před aktualizací
Pošlete nám svůj postup přebírání změn a ukážeme, jaké výsledky regresních testů dokážeme dodat před každým oknem aktualizace.
Pojďme si promluvit