InnerWeb
Přejít na obsah

Uchovávání dat o poloze a telemetrie: doporučení pro IT a pověřence pro ochranu dat

Tabulka heartbeat roste bez limitu: po dvou letech měla 73,9 mil. řádků a 6,2 GB. Mechanismus uchovávání existuje, ale je vypnutý, dokud klient nerozhodne o délce historie. Níže jsou doporučení, jak toto rozhodnutí připravit a přijmout ještě před nasazením.

73,9 mil.
řádků tabulky heartbeat po dvou letech
Zdroj: karta
6,2 GB
velikost této tabulky po dvou letech
Zdroj: karta
ok. 3,1 GB
odhadovaný roční přírůstek jedné tabulky
Zdroj: příkladová kalkulace

Proč rozhodnutí o uchovávání nemůže čekat

Data o poloze a telemetrii neustále narůstají, protože zařízení se ohlašují v pravidelných intervalech. Tabulka heartbeat roste bez limitu: 73,9 mil. řádků a 6,2 GB po dvou letech provozu instalace. To je v průměru přibližně 37 mil. řádků ročně, tedy desítky milionů.

Mechanismus uchovávání existuje, ale je vypnutý, dokud klient nerozhodne o délce historie. Je to rozumné výchozí nastavení, protože systém nemůže sám rozhodnout, jak dlouho má závod právo nebo povinnost data uchovávat. Rozhodnutí však patří klientovi, a pokud ho nikdo nepřijme, data budou dál růst.

Kdo se na rozhodnutí podílí

Rozhodnutí připravuje oddělení IT a posuzuje pověřenec pro ochranu osobních údajů, pokud je v závodě jmenován, a vlastník procesu: BOZP, logistika nebo ochrana. Každý z nich zná jiný požadavek: IT náklady a výkon, pověřenec zásadu minimalizace dat, vlastník procesu potřebu důkazů.

Stojí za to přijmout zásadu, že doba uchovávání vyplývá z účelu, pro který se data sbírala. Pokud data tras slouží k vyúčtování dodávek, doba vyplývá z vyúčtovacích potřeb. Pokud slouží k vysvětlení událostí, vyplývá z lhůt pro nároky a z interních postupů.

Narůstání tabulky heartbeat při stálém tempu (příkladová kalkulace)

Narůstání tabulky heartbeat při stálém tempu (příkladová kalkulace)Čárový graf: počet řádků tabulky roste lineárně od 0 do 147,8 mil. ve čtvrtém roce při předpokladu stálého tempa.050100150mil. řádkůRok 0Rok 1Rok 2Rok 3Rok 4Rok 0: 0 mil. řádků0Rok 1: 36,95 mil. řádků36,95Rok 2: 73,9 mil. řádků73,9Rok 3: 110,85 mil. řádků110,85Rok 4: 147,8 mil. řádků147,8
Zdroj: Příkladová kalkulace: lineární prodloužení hodnoty 73,9 mil. řádků po dvou letech z karty

Pět doporučení

Následující doporučení mají pomoci sestavit politiku uchovávání tak, aby po roce nedošlo k nedostatku místa na disku ani k tomu, že někdo smaže data potřebná k vysvětlení události.

1. Odděl heartbeaty od bodů tras

Heartbeat je technický signál, že zařízení žije, a obvykle stačí krátká historie. Body tras ukazují, kde se vozidlo nebo pracovník nacházel, takže jejich doba vyplývá z obchodního účelu. Dvě různé tabulky mohou mít dvě různé doby uchovávání.

2. Začni krátkou dobou a prodlužuj ji na odůvodněnou žádost

Snáze se prodlouží doba, až někdo potřebu nahlásí, než vysvětlovat, proč se po léta uchovávala data, na která nikdo nenahlížel. Počáteční dobu stanov po dohodě s vlastníky procesů a zapiš ji do politiky.

3. Naplánuj servisní okno pro první čištění

První smazání velké dávky řádků z tabulky s desítkami milionů záznamů zatěžuje databázi. Proveď jej v servisním okně, po dávkách, se zálohou před startem a s měřením velikosti po dokončení.

4. Zapiš politiku a datum jejího přezkumu

Politika uchovávání bez data přezkumu stárne spolu s instalací. Do ní zapiš termín každoroční kontroly a odpovědnou osobu, která ji vede.

5. Spočti náklad na uchovávání podle čísel z instalace

Při 6,2 GB po dvou letech je přírůstek přibližně 3,1 GB ročně pro jednu tabulku. Vynásob to počtem instalací a přidej indexy a zálohy. Výsledek umožní porovnat cenu disků s hodnotou delší historie.

Příkladová kalkulace přírůstku

Na základě hodnot z instalace po dvou letech lze odhadnout roční přírůstek. Jde o lineární odhad: nezohledňuje škálování flotily zařízení, o kterém píšeme v poznámkách k nasazení k indexům a provozu heartbeat.

  • Řádky po 2 letech: 73,9 mil., tedy přibližně 36,95 mil. ročně.
  • Velikost po 2 letech: 6,2 GB, tedy přibližně 3,1 GB ročně.
  • Průměrná velikost řádku: přibližně 84 bajtů včetně indexů (6,2 GB děleno 73,9 mil.).

Na co si dát pozor

Smazání dat je nevratná operace, proto před prvním čištěním proveď zálohu a ověř ji obnovou. Tabulky s daty o poloze mohou být vyžadovány ve sporu nebo při analýze nehody a rozhodnutí o zkrácení období nelze vzít zpět.

Druhou pastí je zaměňovat uchovávání s anonymizací. Agregované statistiky provozu mohou zůstat déle než surová data, pokud neumožňují identifikovat osobu. Určení, zda jsou data skutečně anonymizovaná, náleží pověřenci pro ochranu osobních údajů, a ne správci databáze.

Příklad výpočtu

Roční přírůstek tabulky heartbeat

Předpoklady
ParametrHodnota
Řádky po 2 letech73,9 mil.
Velikost po 2 letech6,2 GB
Tempo narůstánístálé lineárně

Výsledek: ok. 36,95 mil. řádků a 3,1 GB ročně

Poznámka: Příkladová kalkulace: nezohledňuje změnu počtu zařízení ve flotile ani změny četnosti hlášení.

Videomateriál

Často kladené otázky

Maže systém staré heartbeaty sám?

Mechanismus uchovávání existuje, ale je vypnutý, dokud klient nerozhodne o délce historie. Do té doby tabulka roste bez limitu.

Kdo má určit dobu uchovávání?

Klient, za účasti oddělení IT, pověřence pro ochranu osobních údajů a vlastníka procesu. Doba vyplývá z účelu sběru dat.

Jak velký je přírůstek dat?

U instalace, z níž pocházejí naše data, měla tabulka po dvou letech 73,9 mil. řádků a 6,2 GB. Škálování flotily přírůstek zvýší.

Zastaví čištění databáze systém?

Velké smazání zatěžuje databázi, proto se provádí v servisním okně a po dávkách, po zálohování.

Zdroje

Potřebujete politiku uchovávání pro data o poloze?

Připravíme rozhodnutí pro IT a pověřence pro ochranu osobních údajů na číslech z vaší instalace. Domluvte si konzultaci.

Pojďme si promluvit