InnerWeb
Zum Inhalt springen

Leitfaden: Kosten von Telemetrie-Abfragen messen

Der Heartbeat erzeugt zwischen der Hälfte und über 90 % des API-Verkehrs, daher bestimmen seine Kosten die Skalierungsgrenze des Systems. Dieser Leitfaden zeigt, wie der Datenbankadministrator die Kosten eines Heartbeats in Zeilen misst, die Abfrage mit dem vollständigen Tabellenscan findet und die Wirkung eines Index prüft: im beschriebenen Fall von 3 700 auf 2 000 Zeilen.

-46%
gelesene Zeilen pro Heartbeat nach dem Index
Quelle: Berechnung aus der Karte: 3 700 zu 2 000
250 000
Protokollzeilen am Tag vor der Senkung der Stufe
Quelle: Karte

Warum der Heartbeat die Skalierungsgrenze bestimmt

Der Heartbeat erzeugt den größten Teil des API-Verkehrs des Systems: je nach Umgebung zwischen der Hälfte und über 90 % aller HTTP-Anfragen. Deshalb bestimmen die Kosten eines einzelnen Heartbeats die Skalierungsgrenze des gesamten Systems. Liest eine einzelne Abfrage Tausende Zeilen, wächst die Last linear mit der Zahl der Geräte, und die Datenbank wird zum Engpass, lange bevor die Leistung der Anwendungsserver erschöpft ist.

Der Datenbankadministrator hat daher eine übergeordnete Aufgabe: die Kosten eines Heartbeats in gelesenen Zeilen zu kennen und zu wissen, welche Abfrage diese Kosten verursacht. Diese Seite beschreibt die Messmethode und drei typische Ursachen für übermäßige Kosten.

Messmethode: Zeilen pro Anfrage

Die einfachste Methode benötigt zwei Ablesungen des Zählers für die von der Datenbank gelesenen Zeilen im Abstand von etwa fünf Minuten sowie die Zahl der Heartbeat-Anfragen im selben Zeitfenster. Die Differenz der Zähler wird durch die Zahl der Anfragen geteilt. Das Ergebnis ist die durchschnittliche Zahl der Zeilen, die pro Heartbeat gelesen werden.

Im gemessenen Fall sanken die Kosten von etwa 3 700 auf etwa 2 000 Zeilen pro Anfrage, nachdem ein Index auf dem Paar der Geräte-Kennungen angelegt wurde. Das entspricht einer Senkung um etwa 46 %, berechnet als Differenz 1 700 geteilt durch 3 700. Der absolute Wert hängt von der Umgebung ab, die Methode bleibt jedoch dieselbe: zwei Ablesungen des Zählers und eine Division.

Die Messung sollte nach jeder Änderung des Schemas und bei jedem Anstieg der Gerätezahl wiederholt werden. Der Trend der Kosten pro Anfrage sagt mehr aus als ein einzelner Wert, denn er zeigt den Zeitpunkt, zu dem eine neue Funktion begann, den Heartbeat-Pfad zu belasten.

Gelesene Zeilen pro Heartbeat

Gelesene Zeilen pro HeartbeatDiagramm vorher und nachher: Die Kosten des Heartbeats sanken von 3700 auf 2000 Zeilen.01000200030004000ZeilenVor dem Index: 3700 Zeilen3700 ZeilenVor dem IndexNach dem Index: 2000 Zeilen2000 ZeilenNach dem Index
Quelle: Kartenseite der Zelle: ca. 3 700 und ca. 2 000 Zeilen pro Anfrage

Die Abfrage finden, die die Skalierung begrenzt

Nach der Messung muss der Verursacher ermittelt werden. Man aktiviert die Protokollierung der Ausführungspläne für die Abfragen im Heartbeat-Pfad und sucht nach vollständigen Tabellenscans. Im beschriebenen Fall führte die Suche nach dem Gerät einen vollständigen Scan durch, weil der bestehende eindeutige Index mit einer anderen Spalte begann als die, nach der gesucht wurde. Ein Hilfsindex verwandelte den Scan in die Suche nach einer einzigen Zeile.

Die zweite Abfrage betraf den Standortverlauf eines Mitarbeiters. Sie las den gesamten Verlauf seiner Pulse, bevor der Datumsfilter angewendet wurde. Ein zusammengesetzter Index über Mitarbeiter und Zeitpunkt machte daraus eine Bereichssuche, also das Lesen nur der benötigten Daten. Allgemeine Regel: Die Reihenfolge der Spalten im Index muss der Reihenfolge der Bedingungen in der Abfrage entsprechen.

Das Schreiben des Heartbeats ist durch eine Fehlerbehandlung abgesichert. Ein Leistungsproblem sollte sich daher nicht durch Anwendungsfehler zeigen, sondern durch wachsende Antwortzeiten. Deshalb ist die Messung der Kosten in Zeilen ein empfindlicherer Indikator als die Zahl der Fehler.

Anlegen eines Index auf einer großen Tabelle

Die Pulstabelle enthält mehrere zehn Millionen Datensätze. Der zusammengesetzte Index wurde ohne Sperre und ohne Fehler 5xx innerhalb weniger Minuten angelegt. Das ist mit dem Modus zum Anlegen von Indizes möglich, der Schreibvorgänge nicht sperrt, aber freien Speicherplatz und ein Zeitfenster mit geringerer Last voraussetzt. Vor der Änderung sind der freie Speicherplatz zu prüfen und ein Rückbauplan vorzubereiten.

Eine Änderung des Datenbankschemas im laufenden Betrieb sollte nach einem eigenen Verfahren erfolgen, das in den Umsetzungshinweisen zur Schemaänderung im laufenden Betrieb beschrieben ist. Nach Abschluss ist die Messung der Kosten pro Anfrage zu wiederholen und mit dem Wert vor der Änderung zu vergleichen.

Kosten des Diagnoseprotokolls

Ein zweiter, oft übersehener Kostenfaktor ist das Diagnoseprotokoll. Ein Eintrag auf der Warnstufe, der bei jedem Heartbeat geschrieben wurde, ergab etwa 250 000 Zeilen am Tag, also im Durchschnitt etwa 2,9 Zeilen pro Sekunde. Nach der Senkung der Stufe auf Debug verschwand der Eintrag aus dem Regelbetrieb. Übermäßige Protokolle belasten den Speicher, die manuelle Auswertung und die Kosten der Aufbewahrung.

Es lohnt sich zu prüfen, welche Meldungen im Heartbeat-Pfad in das Protokoll gelangen, und die Stufen dem Gewicht der Meldungen anzupassen. Eine Warnung sollte eine Situation bedeuten, die eine Reaktion erfordert, und nicht die gewöhnliche Annahme einer Positionsmeldung.

Checkliste für den Administrator

Die Reihenfolge der Schritte lässt sich in vier Punkten zusammenfassen. Zuerst die Kosten eines Heartbeats in Zeilen messen. Danach in den Ausführungsplänen die vollständigen Scans im Heartbeat-Pfad suchen. Anschließend einen Index anlegen, der der Reihenfolge der Bedingungen entspricht, und erneut messen. Zuletzt die Stufen des Protokolls prüfen und jene senken, die den Speicher füllen.

Offen bleibt die Frage der Aufbewahrung. Die Pulstelemetrie hat keine Standardaufbewahrung, und der Bereinigungsmechanismus ist bis zur Entscheidung des Kunden deaktiviert. Eine wachsende Tabelle verschlechtert die Kosten der Abfragen, daher sollte die Entscheidung über die Aufbewahrungsdauer frühzeitig getroffen werden.

Checkliste

Videomaterial

Häufig gestellte Fragen

Wie messe ich die Kosten eines Heartbeats?

Lesen Sie den Zeilenzähler der Datenbank zweimal im zeitlichen Abstand ab, zählen Sie die Anfragen in diesem Zeitraum und teilen Sie die Differenz durch die Zahl der Anfragen.

Warum reichte der eindeutige Index nicht zur Suche nach dem Gerät?

Er begann mit einer anderen Spalte als der, nach der gesucht wurde, daher führte die Datenbank einen vollständigen Scan durch.

Blockiert das Anlegen eines Index auf einer großen Tabelle das System?

Im beschriebenen Fall nicht: Der Index auf mehreren zehn Millionen Datensätzen wurde ohne Sperre und ohne Fehler 5xx angelegt.

Warum wurde die Protokollstufe gesenkt?

Ein Warneintrag bei jedem Heartbeat ergab ca. 250 000 Zeilen am Tag, und die Routineannahme einer Position erfordert keine Warnung.

Messen wir die Kosten des Heartbeats bei Ihnen

Gemeinsam mit Ihrem Datenbankadministrator führen wir die Messung durch und zeigen die Abfragen, die sich verbessern lassen.

Sprechen wir