InnerWeb
Zum Inhalt springen

Schemaänderung im laufenden Betrieb: Hinweise zur Umsetzung für Administratoren

Ein Index auf einer Telemetrietabelle mit zig Millionen Datensätzen während des laufenden Betriebs weckt die Sorge vor Sperren und Fehlern 5xx. In der beschriebenen Umsetzung wurde der zusammengesetzte Index auf einer solchen Tabelle innerhalb weniger Minuten angelegt, ohne Sperre und ohne Fehler. Im Folgenden finden Sie die Schritte, Fallstricke und die Reihenfolge der Maßnahmen, die das ermöglichen.

wenige Minuten
Dauer des Anlegens eines zusammengesetzten Index auf einer Tabelle mit mehreren zehn Millionen Datensätzen
Quelle: Karte
0
Sperren und Fehler 5xx während des Anlegens des Index
Quelle: Karte

Für wen und wann diese Änderung nötig ist

Der Administrator eines Ortungssystems steht vor dieser Entscheidung, wenn die Messung der Heartbeat-Kosten zeigt, dass Abfragen pro Anfrage Tausende Zeilen lesen. Beispielmessung: ca. 3 700 gelesene Zeilen pro Heartbeat sanken auf ca. 2 000 nach dem Hinzufügen eines Index auf dem Paar der Sender-Kennungen. Ähnlich profitierte der Standortverlauf eines Beschäftigten von einem zusammengesetzten Index auf Beschäftigtem und Zeitpunkt.

Eine Schemaänderung auf einem laufenden System ist machbar, erfordert aber einen Plan. Das Ortungssystem nimmt Heartbeats ununterbrochen entgegen, daher bedeutet jede Sperre der Tabelle den Verlust von Pulsen oder Fehler auf Seiten der Geräte.

Schritt 1: Messung und Begründung der Änderung

Bevor Sie das Schema anfassen, messen Sie die Kosten der Abfrage in gelesenen Zeilen und halten Sie das Ergebnis fest. Ohne Ausgangswert können Sie keinen Effekt nachweisen, und ein Prüfer oder Leiter versteht nicht, warum in die Produktion eingegriffen wird. Ermitteln Sie die Abfrage, die den vollständigen Scan verursacht, und prüfen Sie, ob der vorhandene Index mit der richtigen Spalte beginnt.

Halten Sie die vorgeschlagene Definition des Index fest: Name der Tabelle, Liste der Spalten in der Reihenfolge und Begründung der Reihenfolge. Die Reihenfolge der Spalten in einem zusammengesetzten Index entscheidet darüber, ob die Datenbank ihn nutzt.

Gelesene Zeilen pro Heartbeat vor und nach dem Index

Gelesene Zeilen pro Heartbeat vor und nach dem IndexVorher-nachher-Diagramm: etwa 3 700 Zeilen pro Heartbeat vor dem Index und etwa 2 000 nach dem Index.01000200030004000ZeilenVorher: Zeilen pro Heartbeat: 3700 Zeilen3700 ZeilenVorherNachher: Zeilen pro Heartbeat: 2000 Zeilen2000 ZeilenNachher
Quelle: Karte: Messung der Differenz der gelesenen Zeilen geteilt durch die Zahl der Anfragen

Schritt 2: Vorbereitung und Test auf einer Kopie

Erstellen Sie eine Sicherungskopie und prüfen Sie, dass sie wiederhergestellt werden kann. Legen Sie den Index probeweise auf einer Kopie der Tabelle mit ähnlicher Größe an, um Dauer und Belastung abzuschätzen. Das Ergebnis des Tests bildet die Grundlage für die Wahl des Fensters: Je länger der Test dauert, desto wichtiger ist die Wahl eines Zeitraums mit geringerem Verkehr.

Halten Sie im Plan das Abbruchkriterium fest: Nach welcher Dauer oder bei welchem Fehlerniveau wird die Änderung abgebrochen und wer entscheidet darüber.

Schritt 3: Umsetzung im laufenden Betrieb

Legen Sie den Index in einem Modus an, der keine Schreibvorgänge blockiert, sofern die verwendete Datenbank-Engine dies unterstützt. Für die Tabelle mit mehreren zehn Millionen Datensätzen dauerte der Vorgang im beschriebenen Fall einige Minuten. Beobachten Sie während der Operation zwei Werte: die Zahl der Fehler 5xx auf Seiten der API und die Verzögerung bei der Annahme von Heartbeats.

Die Beobachtung der Fehler muss laufend erfolgen, nicht nur nach Abschluss der Operation. Steigt die Fehlerquote, brechen Sie die Operation nach dem Kriterium aus dem Plan ab.

Ausführungsfenster

Wählen Sie einen Zeitraum mit geringerem Verkehr, etwa die Pause zwischen den Schichten. Der Heartbeat erzeugt zwischen der Hälfte und mehr als 90 Prozent des API-Verkehrs, daher trifft schon eine einzige Minute erhöhter Latenz viele Geräte gleichzeitig.

Schritt 4: Überprüfung des Effekts

Wiederholen Sie nach Abschluss die Messung der Kosten in gelesenen Zeilen und vergleichen Sie das Ergebnis mit dem Ausgangswert. Prüfen Sie außerdem den Ausführungsplan der Abfrage, um sicherzustellen, dass die Datenbank den neuen Index nutzt. Halten Sie das Ergebnis fest: Es ist der Nachweis für die Revision und die Begründung für weitere Änderungen.

Prüfen Sie bei dieser Gelegenheit auch die Stufe des Diagnoseprotokolls: Ein Eintrag, der bei jedem Heartbeat auf Warnstufe geschrieben wurde, erzeugte ca. 250 000 Zeilen pro Tag und wurde auf die Stufe Debug gesenkt.

Fallstricke, die wir beobachtet haben

Die häufigste Falle ist ein Index mit falscher Spaltenreihenfolge: Die Datenbank ignoriert ihn, und die Kosten der Abfrage bleiben unverändert. Die zweite ist das Anlegen des Index in der Spitzenlast, was die Verzögerung bei der Annahme von Pulsen erhöht. Die dritte ist das Fehlen eines Rückzugsplans.

Die letzte Falle betrifft die Hosts: Die Schemaänderung muss auf allen Hosts konsistent sein, die dasselbe Backend nutzen. Uneinheitliche Versionen der Hosts nach einem Deployment führen dazu, dass ein Host den neuen Index nutzt und ein anderer nicht.

  • Falsche Spaltenreihenfolge im zusammengesetzten Index.
  • Ausführung in der Spitzenlast des Heartbeat-Verkehrs.
  • Fehlendes Abbruchkriterium und fehlende Rückzugsprozedur.
  • Uneinheitliche Versionen der Hosts nach dem Deployment.

Checkliste

Videomaterial

Häufig gestellte Fragen

Blockiert das Anlegen eines Index auf einer Live-Tabelle immer das System?

Nein. Im beschriebenen Fall wurde der Index auf einer Tabelle mit mehreren zehn Millionen Datensätzen in wenigen Minuten ohne Sperre und ohne Fehler 5xx angelegt. Dafür sind der passende Modus und das richtige Fenster nötig.

Woran erkennt man, dass der Index gewirkt hat?

An der wiederholten Messung der Kosten der Abfrage in gelesenen Zeilen und am Ausführungsplan der Abfrage, der die Nutzung des neuen Index zeigt.

Was tun, wenn während der Operation die Fehler 5xx steigen?

Die Operation nach dem vorher festgelegten Abbruchkriterium stoppen und sie in einem Fenster mit geringerem Verkehr wiederholen.

Planen Sie eine Änderung des Datenbankschemas?

Wir besprechen mit Ihrem IT-Team den Plan der Änderung, das Ausführungsfenster und die Abbruchkriterien sowie die Messung des Effekts.

Sprechen wir