InnerWeb
Zum Inhalt springen

Anwendungsfall: Skalierung des Heartbeats und Datenbankindizes im Ortungssystem

Das Ortungssystem wird nach Jahren des Betriebs langsamer, und der Grund ist einfach: Der Heartbeat erzeugt den größten Teil des Datenverkehrs, und Abfragen, die auf einer kleinen Datenbank unsichtbar waren, lesen auf einer großen Datenbank Tausende Zeilen. Wir beschreiben einen Fall aus einem realen System, in dem das IT-Team die Kosten eines einzelnen Heartbeats gemessen und mit zwei Indizes gesenkt hat, ohne Betriebsunterbrechung.

ca. 3 700
gelesene Zeilen pro Heartbeat vor der Änderung
Quelle: Karte
ca. 2 000
Zeilen pro Heartbeat nach dem Hinzufügen des Index
Quelle: Karte
ca. 250 000
Protokollzeilen pro Tag durch eine Warnung bei jedem Heartbeat
Quelle: Karte

Ausgangslage: Das System wird langsamer, obwohl niemand etwas geändert hat

Das erste Anzeichen war unauffällig: Die Ansicht des Standortverlaufs lud immer länger, und die Last des Datenbankservers stieg, obwohl die Zahl der Beschäftigten gleich blieb. Es war keine neue Funktion eingeführt worden, die das hätte erklären können. Die Ursache war der Umfang der Daten selbst: Die Tabelle mit den Pulsen wuchs mit jedem Heartbeat und umfasste nach zwei Jahren zig Millionen Datensätze.

Das ist eine klassische Falle telemetrischer Systeme. Abfragen, die auf einer leeren Datenbank in Millisekunden laufen, verlieren linear an Leistung mit der Zahl der Zeilen, wenn die Datenbank nicht den passenden Index hat. Das IT-Team begann nicht mit Vermutungen, sondern mit einer Messung.

Warum der Heartbeat die Grenze für die Skalierung bestimmt

Der Heartbeat erzeugt den größten Teil des API-Verkehrs des Systems: je nach Umgebung zwischen der Hälfte und mehr als 90 Prozent aller HTTP-Anfragen. Jede Ineffizienz im Heartbeat-Pfad wird daher mit einer sehr großen Zahl von Aufrufen multipliziert. Eine teure Abfrage im Pfad einer selten genutzten Funktion ist eine Randerscheinung, dieselbe Abfrage im Heartbeat-Pfad ist der Hauptkostenfaktor des Systems.

Deshalb sollte die Skalierung beim Heartbeat beginnen und nicht bei den Berichtsansichten. Eine geringe Verbesserung der Kosten eines einzelnen Heartbeats bringt mehr als die Optimierung mehrerer selten geöffneter Bildschirme.

Kosten eines Heartbeats in gelesenen Zeilen

Kosten eines Heartbeats in gelesenen ZeilenVorher-nachher-Diagramm: von etwa 3 700 auf etwa 2 000 gelesene Zeilen pro Heartbeat.01000200030004000ZeilenVor dem Index: Zeilen pro Heartbeat: 3700 Zeilen3700 ZeilenVor dem IndexNach dem Index: Zeilen pro Heartbeat: 2000 Zeilen2000 ZeilenNach dem Index
Quelle: Karte: Messung der Differenz der gelesenen Zeilen geteilt durch die Zahl der Anfragen

So wurden die Kosten eines einzelnen Heartbeats gemessen

Das Team verwendete ein einfaches Maß: die Differenz der gelesenen Zeilen der Datenbank vor und nach einer Serie von Anfragen, geteilt durch die Zahl der Anfragen. Dieses Maß hängt weder von der momentanen Prozessorlast noch vom Zwischenspeicher ab und eignet sich daher gut für den Vergleich vor und nach einer Änderung.

Ergebnis der ersten Messung: ca. 3 700 gelesene Zeilen pro Heartbeat. Diese Zahl ist für eine Abfrage, deren Aufgabe darin besteht, einen Sender zu finden und einen Messwert zu speichern, inakzeptabel.

Das erste gefundene Problem: vollständiger Scan bei der Sendersuche

Die Suche nach einem Sender führte einen vollständigen Tabellenscan durch, weil der vorhandene eindeutige Index mit einer anderen Spalte begann. Die Datenbank konnte ihn nicht nutzen, da ein Index nur von links nach rechts über den Schlüssel verwendet werden kann. Es wurde ein zusätzlicher Index auf dem Paar der Sender-Kennungen angelegt, der den Scan in die Suche nach einer einzelnen Zeile verwandelte. Nach dieser Änderung sanken die Kosten von ca. 3 700 auf ca. 2 000 gelesene Zeilen pro Heartbeat.

Das zweite Problem: Standortverlauf des Beschäftigten

Die Verlaufsansicht las die gesamte Pulshistorie eines Beschäftigten und filterte die Daten erst danach. Ein zusammengesetzter Index auf Beschäftigtem und Zeitpunkt machte daraus eine Bereichssuche: Die Datenbank durchläuft nur noch die Zeilen des gewünschten Zeitraums.

Anlegen des Index auf einer Live-Tabelle

Die größte Sorge des Administrators war eine Sperre: Ein Index auf einer Tabelle mit zig Millionen Datensätzen könnte während des laufenden Betriebs die Annahme von Heartbeats anhalten. Im beschriebenen Fall wurde der zusammengesetzte Index auf einer Tabelle mit mehreren zehn Millionen Datensätzen ohne Sperre und ohne Fehler 5xx innerhalb weniger Minuten angelegt.

Die Bedingungen, die das ermöglichten, behandeln wir auf einer eigenen Seite zur Änderung des Datenbankschemas im laufenden Betrieb. Die wichtigsten sind die Wahl eines Fensters mit geringerem Verkehr, ein Modus zum Anlegen des Index ohne Sperre der Schreibvorgänge und eine ständige Überwachung der Fehlerzahl während der Operation.

Zweiter Nebeneffekt: Lärm im Protokoll

Bei den Messungen zeigte sich noch etwas anderes. Das Diagnoseprotokoll auf Warnstufe, das bei jedem Heartbeat geschrieben wurde, erzeugte ca. 250 000 Zeilen pro Tag. Ein Warnungseintrag, der hunderttausendfach erscheint, ist keine Warnung mehr: Er verdeckt echte Probleme und belegt Speicherplatz. Die Stufe wurde auf Debug gesenkt.

Die Lehre reicht über diese eine Zeile hinaus: Die Häufigkeit eines Ereignisses sollte die Protokollstufe bestimmen. Was bei jeder Anfrage geschieht, ist keine Warnung.

Schlussfolgerungen für das IT-Team

Erste Lehre: Messen Sie die Kosten von Abfragen in Zeilen und nicht nach dem subjektiven Eindruck der Geschwindigkeit. Zweite: Beginnen Sie mit dem Pfad, der den größten Verkehr erzeugt. Dritte: Ein vorhandener Index garantiert nicht, dass eine Abfrage ihn nutzt, denn die Reihenfolge der Spalten ist entscheidend. Vierte: Ein Index auf einer großen Live-Tabelle ist machbar, wenn man Fenster, Modus und Fehlerüberwachung plant.

Ein Beispielrechnung zeigt den Umfang des Effekts: Bei 1 000 000 Heartbeats pro Tag bedeutet der Rückgang von 3 700 auf 2 000 Zeilen pro Anfrage eine Differenz von 1,7 Mrd. gelesenen Zeilen täglich (3,7 Mrd. gegenüber 2,0 Mrd.), also ca. 46 Prozent weniger.

Beispielrechnung

Umfang des täglichen Effekts bei angenommenem Verkehr

Annahmen
ParameterWert
Heartbeats pro Tag1 000 000 Anfragen
Zeilen pro Anfrage vorher3 700 Zeilen
Zeilen pro Anfrage nachher2 000 Zeilen

Ergebnis: 3,7 Mrd. gegenüber 2,0 Mrd. gelesenen Zeilen täglich, also eine Differenz von 1,7 Mrd. (ca. 46 Prozent).

Hinweis: Beispielrechnung: Die Zahl der Heartbeats pro Tag ist eine illustrative Annahme und keine Angabe zu einem konkreten Werk.

Videomaterial

Häufig gestellte Fragen

Wie misst man die Kosten einer Abfrage im Telemetriesystem?

Lesen Sie den Zeilenzähler der Datenbank vor und nach einer Serie von Anfragen und teilen Sie die Differenz durch die Zahl der Anfragen. Das Maß ist vor und nach der Änderung vergleichbar, unabhängig von der momentanen Last.

Warum wurde der vorhandene Index von der Abfrage nicht genutzt?

Der eindeutige Index begann mit einer anderen Spalte, und die Datenbank nutzt einen Index nur von links nach rechts über den Schlüssel. Eine Abfrage ohne diese Spalte endet mit einem vollständigen Scan.

Muss ein Index auf einer großen Tabelle das System anhalten?

Nein. Im beschriebenen Fall wurde der Index auf einer Tabelle mit mehreren zehn Millionen Datensätzen in wenigen Minuten ohne Sperre und ohne Fehler 5xx angelegt.

Warum wurde die Protokollstufe auf Debug gesenkt?

Eine Warnung, die bei jedem Heartbeat geschrieben wurde, erzeugte ca. 250 000 Zeilen pro Tag und verdeckte echte Probleme.

Wächst Ihre Telemetriedatenbank?

Sprechen wir über die Messung der Kosten eines Heartbeats und einen Indexplan für Ihre Größenordnung. Wir zeigen die Messmethode in einer Demonstration.

Sprechen wir