Warum die Entscheidung über die Aufbewahrung nicht warten kann
Standort- und Telemetriedaten wachsen ständig, weil sich die Geräte zyklisch melden. Die Heartbeat-Tabelle wächst ohne Grenze: 73,9 Mio. Zeilen und 6,2 GB nach zwei Jahren Betrieb der Anlage. Das sind im Durchschnitt rund 37 Mio. Zeilen pro Jahr, also Dutzende Millionen.
Ein Aufbewahrungsmechanismus ist vorhanden, aber bis zur Entscheidung des Kunden über die Dauer der Historie abgeschaltet. Das ist eine vernünftige Grundeinstellung, denn das System kann nicht selbst entscheiden, wie lange das Werk die Daten aufbewahren darf oder muss. Diese Entscheidung liegt jedoch beim Kunden, und solange niemand sie trifft, wachsen die Daten weiter.
Wer an der Entscheidung beteiligt ist
Die Entscheidung bereitet die IT vor. Stellung nimmt der Datenschutzbeauftragte, sofern im Werk einer bestellt ist, sowie der Prozessverantwortliche: Arbeitssicherheit, Logistik oder Werkschutz. Jeder kennt eine andere Anforderung: Die IT Kosten und Leistung, der Datenschutzbeauftragte den Grundsatz der Datenminimierung, der Prozessverantwortliche den Bedarf an Nachweisen.
Es empfiehlt sich, den Grundsatz festzulegen, dass sich die Aufbewahrungsdauer aus dem Zweck der Datenerhebung ergibt. Dienen die Routendaten der Abrechnung von Lieferungen, richtet sich die Dauer nach den Abrechnungsanforderungen. Dienen sie der Aufklärung von Vorfällen, richtet sich die Dauer nach den Fristen für Ansprüche und den internen Verfahren.
Wachstum der Heartbeat-Tabelle bei gleichbleibendem Tempo (Beispielrechnung)
Fünf Empfehlungen
Die folgenden Empfehlungen sollen helfen, eine Aufbewahrungsrichtlinie so aufzustellen, dass nach einem Jahr weder der Speicherplatz ausgeht noch Daten gelöscht werden, die zur Aufklärung eines Vorfalls benötigt werden.
1. Heartbeats und Routenpunkte getrennt behandeln
Der Heartbeat ist ein technisches Lebenszeichen des Geräts, meist genügt dafür eine kurze Historie. Routenpunkte zeigen, wo sich ein Fahrzeug oder ein Mitarbeiter befand, daher richtet sich ihre Dauer nach dem Geschäftszweck. Zwei verschiedene Tabellen können zwei verschiedene Fristen haben.
2. Mit kurzer Frist beginnen und sie bei begründetem Antrag verlängern
Es ist leichter, eine Frist zu verlängern, wenn jemand einen Bedarf meldet, als zu erklären, warum Daten über Jahre gespeichert wurden, die niemand angesehen hat. Legen Sie die Anfangsfrist nach Gesprächen mit den Prozessverantwortlichen fest und halten Sie sie in der Richtlinie fest.
3. Für die erste Bereinigung ein Wartungsfenster einplanen
Die erste Löschung einer großen Menge von Zeilen aus einer Tabelle mit Dutzenden Millionen Datensätzen belastet die Datenbank. Führen Sie sie in einem Wartungsfenster, stapelweise, mit einer Sicherungskopie vor dem Start und mit einer Messung der Größe nach Abschluss durch.
4. Richtlinie und Termin ihrer Überprüfung festhalten
Eine Aufbewahrungsrichtlinie ohne Überprüfungstermin veraltet zusammen mit der Anlage. Tragen Sie darin den Termin der jährlichen Prüfung und die verantwortliche Person ein, die sie führt.
5. Die Speicherkosten anhand der Zahlen der Anlage berechnen
Bei 6,2 GB nach zwei Jahren beträgt der Zuwachs etwa 3,1 GB pro Jahr für eine Tabelle. Multiplizieren Sie dies mit der Anzahl der Anlagen und addieren Sie Indizes und Sicherungskopien. Das Ergebnis erlaubt es, die Kosten der Festplatten mit dem Wert einer längeren Historie zu vergleichen.
Beispielrechnung des Zuwachses
Auf Grundlage der Werte der Anlage nach zwei Jahren lässt sich der jährliche Zuwachs abschätzen. Es handelt sich um eine lineare Schätzung: Sie berücksichtigt keine Skalierung des Gerätebestands, die wir in den Umsetzungshinweisen zu Indizes und Heartbeat-Verkehr behandeln.
- Zeilen nach 2 Jahren: 73,9 Mio., also etwa 36,95 Mio. pro Jahr.
- Größe nach 2 Jahren: 6,2 GB, also etwa 3,1 GB pro Jahr.
- Durchschnittliche Zeilengröße: etwa 84 Byte einschließlich Indizes (6,2 GB geteilt durch 73,9 Mio.).
Worauf zu achten ist
Das Löschen von Daten ist nicht umkehrbar. Erstellen Sie daher vor der ersten Bereinigung eine Sicherungskopie und prüfen Sie sie durch eine Wiederherstellung. Tabellen mit Standortdaten werden manchmal in einem strittigen Fall oder bei der Analyse eines Unfalls benötigt, und eine Entscheidung zur Verkürzung der Frist lässt sich nicht zurücknehmen.
Die zweite Falle ist die Verwechslung von Aufbewahrung und Anonymisierung. Aggregierte Verkehrsstatistiken können länger bestehen bleiben als die Rohdaten, wenn sie keine Identifizierung einer Person erlauben. Ob die Daten tatsächlich anonymisiert sind, entscheidet der Datenschutzbeauftragte und nicht der Administrator der Datenbank.
Jährlicher Zuwachs der Heartbeat-Tabelle
| Parameter | Wert |
|---|---|
| Zeilen nach 2 Jahren | 73,9 Mio. |
| Größe nach 2 Jahren | 6,2 GB |
| Wachstumstempo | gleichbleibend linear |
Ergebnis: ca. 36,95 Mio. Zeilen und 3,1 GB pro Jahr
Hinweis: Beispielrechnung: berücksichtigt weder die Änderung der Anzahl der Geräte im Bestand noch Änderungen der Meldehäufigkeit.
Videomaterial
Häufig gestellte Fragen
Löscht das System alte Heartbeats selbst?
Der Aufbewahrungsmechanismus ist vorhanden, aber bis zur Entscheidung des Kunden über die Dauer der Historie abgeschaltet. Bis dahin wächst die Tabelle ohne Grenze.
Wer sollte die Aufbewahrungsdauer festlegen?
Der Kunde, unter Beteiligung der IT, des Datenschutzbeauftragten und des Prozessverantwortlichen. Die Dauer ergibt sich aus dem Zweck der Datenerhebung.
Wie groß ist der Datenzuwachs?
In der Anlage, aus der unsere Daten stammen, hatte die Tabelle nach zwei Jahren 73,9 Mio. Zeilen und 6,2 GB. Die Skalierung des Gerätebestands erhöht den Zuwachs.
Bringt die Bereinigung der Datenbank das System zum Stillstand?
Eine große Löschung belastet die Datenbank. Deshalb wird sie in einem Wartungsfenster und stapelweise nach einer Sicherungskopie durchgeführt.
Quellen
Benötigen Sie eine Aufbewahrungsrichtlinie für Standortdaten?
Wir helfen, die Entscheidung für IT und Datenschutzbeauftragte anhand der Zahlen Ihrer Anlage vorzubereiten. Vereinbaren Sie ein Gespräch.
Sprechen wir