InnerWeb
Přejít na obsah

Regresní testy před aktualizací systému BOZP: doporučení

Aktualizace systému bezpečnosti práce mění software, na kterém stojí povolení k práci, alarm a hlášení. Vedoucí IT závodu může před souhlasem od dodavatele požadovat důkaz, že kritické scénáře procházejí. Níže je sedm doporučení s odůvodněním, vycházejících z toho, jak sada regresních testů vypadá v praxi.

242
testů v ukázkové sadě E2E
Zdroj: dokumentace funkce, prohlížečové testy E2E
31
souborů s testy
Zdroj: dokumentace funkce, prohlížečové testy E2E

Pro koho jsou tato doporučení

Doporučení jsou určena vedoucímu IT závodu, který schvaluje okno aktualizace, a vedoucímu BOZP, který odpovídá za souvislost povolení a alarmů. Týkají se situace, kdy dodavatel ohlásí novou verzi systému a závod musí rozhodnout, zda ji přijme hned, nebo až po ověření.

Výchozí postřeh je jednoduchý: samotná informace, že dodavatel verzi otestoval, nestačí. Je dobré vědět, jaké testy, na čem spuštěné a s jakým výsledkem. Níže uvedená doporučení umožňují tyto otázky položit konkrétně.

Doporučení 1 a 2: sada na skutečném prohlížeči a skutečném backendu

Požádejte o testy, které spouštějí skutečný prohlížeč na skutečném backendu. Jednotkové testy běží na atrapě API a neodhalí chybu viditelnou pro uživatele, která vzniká až na rozhraní modulů. Ukázková sada InnerWeb obsahuje 242 testů v 31 souborech.

Ověřte, zda rozsah odpovídá práci v závodě: přihlášení, administrátorský panel, plánování prací, povolení k práci, hlášení, dokumentace, mapy a analytika. Sada, která vynechává povolení nebo mapy, nechrání funkce, na kterých závod staví svou bezpečnost.

Doba úplného běhu testů E2E

Doba úplného běhu testů E2ESloupcový graf: úplný běh testů trvá 120 až 150 minut.050100150minDolní hranice (2 h): 120 min120 minDolní hranice (2 h)Horní hranice (2,5 h): 150 min150 minHorní hranice (2,5 h)
Zdroj: Dokumentace funkce: prohlížečové testy E2E; 2 hodiny = 120 min, 2,5 hodiny = 150 min

Doporučení 3 a 4: tvrdé chyby a čistá databáze

Požadujte pravidlo, že test selže, pokud se v prohlížeči objeví nezachycená výjimka JavaScriptu nebo odpověď serveru 5xx. Toto pravidlo mění tiché chyby ve viditelné. Bez něj může test projít, i když se na obrazovce něco rozbilo.

Zeptejte se na způsob přípravy dat. Testovací databáze by se měla z migrací obnovovat jednou za běh, aby výsledek nezávisel na datech z předchozího spuštění. Test, který včera prošel a dnes padá bez změny kódu, obvykle svědčí o znečištěné databázi, a ne o chybě aplikace.

Doporučení 5 a 6: evidence známých chyb a test po opravě

Požádejte o seznam známých, dosud neopravených chyb. Dobrou praxí je označit je v testu jako očekávané selhání s číslem hlášení, a ne přeskočit test. Sada pak dál hlídá danou oblast a po opravě test sám oznámí, že anotaci je třeba odstranit.

Když dodavatel opraví chybu, kterou jste nahlásili, požadujte spuštění prohlížečových testů po opravě. Takový test zachytí chybu viditelnou pro uživatele, kterou jednotkové testy nezjistí, protože běží na atrapě API. Opravená vada by měla zanechat regresní test.

Doporučení 7: čerstvý výsledek z posledního běhu

Celá sada prohlížečových testů trvá zhruba 2 až 2,5 hodiny, takže se nespouští při každé drobné změně. Spouští se na požádání a automaticky o víkendech o půlnoci. Proto před souhlasem s aktualizací požádejte o výsledek z posledního úplného běhu a o datum jeho provedení.

Výsledek je důkazem pro interní audit: ukazuje, že před nasazením nové verze byly prověřeny kritické scénáře. InnerWeb je výrobcem softwaru a integruje se s existujícími systémy zákazníka, takže aktualizace z naší strany nemění čtečky ani karty závodu. Testy se týkají softwaru, ne hardwaru.

  • sada na skutečném prohlížeči a backendu, ne na atrapě API
  • rozsah zahrnující povolení k práci, mapy a alarmy
  • tvrdá chyba při výjimce JavaScriptu nebo odpovědi 5xx
  • databáze obnovená z migrací před každým během
  • známé chyby jako očekávaná selhání s číslem hlášení
  • test po opravě nahlášené chyby
  • datum a výsledek posledního úplného běhu

Jak to zapsat do postupu přebírání

Doporučení se nejsnáze zavedou jako stálá příloha k postupu změn na straně závodu. Příloha má jednu stranu: sedm otázek, pole pro odpověď dodavatele a pole pro datum výsledku. Vedoucí IT odškrtá body před podpisem souhlasu s oknem aktualizace.

Pokud dodavatel na některou otázku neumí odpovědět, neznamená to automaticky odmítnutí. Znamená to, že stojí za to odložit aktualizaci do doby, než bude důkaz doplněn, nebo ji omezit na okno, v němž tým závodu může rychle ověřit kritické scénáře. Pravidla rozhodnutí určuje závod, dodavatel dodává důkaz.

Videomateriál

Často kladené otázky

Může závod spustit testy dodavatele sám?

To záleží na smlouvě. Obvykle stačí požádat dodavatele o spuštění úplné sady na požádání a o předání výsledku s datem. Úplný běh trvá zhruba 2 až 2,5 hodiny.

Nestačí jednotkové testy?

Ne. Běží na atrapě API a neodhalí chybu viditelnou pro uživatele. Pro systém BOZP je dobré mít oba druhy testů.

Co dělat s chybou, kterou dodavatel označil jako známou?

Zapište si číslo hlášení a posuďte dopad na kritické scénáře závodu. Očekávané selhání s číslem hlášení je důkazem, že chyba je evidovaná, a ne skrytá.

Domluvme se na důkazech před aktualizací

Pošlete nám svůj postup přebírání změn a ukážeme, jaké výsledky regresních testů dokážeme dodat před každým oknem aktualizace.

Pojďme si promluvit