Proč rozhodnutí o uchovávání nemůže čekat
Data o poloze a telemetrii neustále narůstají, protože zařízení se ohlašují v pravidelných intervalech. Tabulka heartbeat roste bez limitu: 73,9 mil. řádků a 6,2 GB po dvou letech provozu instalace. To je v průměru přibližně 37 mil. řádků ročně, tedy desítky milionů.
Mechanismus uchovávání existuje, ale je vypnutý, dokud klient nerozhodne o délce historie. Je to rozumné výchozí nastavení, protože systém nemůže sám rozhodnout, jak dlouho má závod právo nebo povinnost data uchovávat. Rozhodnutí však patří klientovi, a pokud ho nikdo nepřijme, data budou dál růst.
Kdo se na rozhodnutí podílí
Rozhodnutí připravuje oddělení IT a posuzuje pověřenec pro ochranu osobních údajů, pokud je v závodě jmenován, a vlastník procesu: BOZP, logistika nebo ochrana. Každý z nich zná jiný požadavek: IT náklady a výkon, pověřenec zásadu minimalizace dat, vlastník procesu potřebu důkazů.
Stojí za to přijmout zásadu, že doba uchovávání vyplývá z účelu, pro který se data sbírala. Pokud data tras slouží k vyúčtování dodávek, doba vyplývá z vyúčtovacích potřeb. Pokud slouží k vysvětlení událostí, vyplývá z lhůt pro nároky a z interních postupů.
Narůstání tabulky heartbeat při stálém tempu (příkladová kalkulace)
Pět doporučení
Následující doporučení mají pomoci sestavit politiku uchovávání tak, aby po roce nedošlo k nedostatku místa na disku ani k tomu, že někdo smaže data potřebná k vysvětlení události.
1. Odděl heartbeaty od bodů tras
Heartbeat je technický signál, že zařízení žije, a obvykle stačí krátká historie. Body tras ukazují, kde se vozidlo nebo pracovník nacházel, takže jejich doba vyplývá z obchodního účelu. Dvě různé tabulky mohou mít dvě různé doby uchovávání.
2. Začni krátkou dobou a prodlužuj ji na odůvodněnou žádost
Snáze se prodlouží doba, až někdo potřebu nahlásí, než vysvětlovat, proč se po léta uchovávala data, na která nikdo nenahlížel. Počáteční dobu stanov po dohodě s vlastníky procesů a zapiš ji do politiky.
3. Naplánuj servisní okno pro první čištění
První smazání velké dávky řádků z tabulky s desítkami milionů záznamů zatěžuje databázi. Proveď jej v servisním okně, po dávkách, se zálohou před startem a s měřením velikosti po dokončení.
4. Zapiš politiku a datum jejího přezkumu
Politika uchovávání bez data přezkumu stárne spolu s instalací. Do ní zapiš termín každoroční kontroly a odpovědnou osobu, která ji vede.
5. Spočti náklad na uchovávání podle čísel z instalace
Při 6,2 GB po dvou letech je přírůstek přibližně 3,1 GB ročně pro jednu tabulku. Vynásob to počtem instalací a přidej indexy a zálohy. Výsledek umožní porovnat cenu disků s hodnotou delší historie.
Příkladová kalkulace přírůstku
Na základě hodnot z instalace po dvou letech lze odhadnout roční přírůstek. Jde o lineární odhad: nezohledňuje škálování flotily zařízení, o kterém píšeme v poznámkách k nasazení k indexům a provozu heartbeat.
- Řádky po 2 letech: 73,9 mil., tedy přibližně 36,95 mil. ročně.
- Velikost po 2 letech: 6,2 GB, tedy přibližně 3,1 GB ročně.
- Průměrná velikost řádku: přibližně 84 bajtů včetně indexů (6,2 GB děleno 73,9 mil.).
Na co si dát pozor
Smazání dat je nevratná operace, proto před prvním čištěním proveď zálohu a ověř ji obnovou. Tabulky s daty o poloze mohou být vyžadovány ve sporu nebo při analýze nehody a rozhodnutí o zkrácení období nelze vzít zpět.
Druhou pastí je zaměňovat uchovávání s anonymizací. Agregované statistiky provozu mohou zůstat déle než surová data, pokud neumožňují identifikovat osobu. Určení, zda jsou data skutečně anonymizovaná, náleží pověřenci pro ochranu osobních údajů, a ne správci databáze.
Roční přírůstek tabulky heartbeat
| Parametr | Hodnota |
|---|---|
| Řádky po 2 letech | 73,9 mil. |
| Velikost po 2 letech | 6,2 GB |
| Tempo narůstání | stálé lineárně |
Výsledek: ok. 36,95 mil. řádků a 3,1 GB ročně
Poznámka: Příkladová kalkulace: nezohledňuje změnu počtu zařízení ve flotile ani změny četnosti hlášení.
Videomateriál
Často kladené otázky
Maže systém staré heartbeaty sám?
Mechanismus uchovávání existuje, ale je vypnutý, dokud klient nerozhodne o délce historie. Do té doby tabulka roste bez limitu.
Kdo má určit dobu uchovávání?
Klient, za účasti oddělení IT, pověřence pro ochranu osobních údajů a vlastníka procesu. Doba vyplývá z účelu sběru dat.
Jak velký je přírůstek dat?
U instalace, z níž pocházejí naše data, měla tabulka po dvou letech 73,9 mil. řádků a 6,2 GB. Škálování flotily přírůstek zvýší.
Zastaví čištění databáze systém?
Velké smazání zatěžuje databázi, proto se provádí v servisním okně a po dávkách, po zálohování.
Zdroje
Potřebujete politiku uchovávání pro data o poloze?
Připravíme rozhodnutí pro IT a pověřence pro ochranu osobních údajů na číslech z vaší instalace. Domluvte si konzultaci.
Pojďme si promluvit