Mehrstufiger Speicher – Übersicht

Auf dieser Seite wird beschrieben, wie der gestaffelte Speicher in Spanner funktioniert. Diese Funktion wird sowohl in Datenbanken im GoogleSQL-Dialekt als auch in Datenbanken im PostgreSQL-Dialekt unterstützt.

Der gestaffelte Speicher von Spanner ist ein vollständig verwaltetes Speicherfeature, mit dem Sie auswählen können, ob Ihre Daten auf Solid-State-Drives (SSD) oder Festplattenlaufwerken (HDD) gespeichert werden sollen. Wenn Sie keinen gestuften Speicher verwenden, werden Ihre Daten standardmäßig auf SSD-Speicher gespeichert. Je nachdem, wie oft Sie die Daten verwenden oder darauf zugreifen, können Sie mehrstufigen Speicher verwenden und Daten sowohl auf SSD- als auch auf HDD-Speicher speichern.

  • SSD-Speicher ist die leistungsstärkste (höhere Abfragen pro Sekunde) und kostengünstigste Wahl für die meisten Anwendungsfälle. Sie sollten ihn zum Speichern aktiver Daten mit hohem Schreib- und Lesedurchsatz und Daten verwenden, die einen Datenzugriff mit niedriger Latenz erfordern.
  • HDD-Speicher ist manchmal für große Datasets geeignet, die nicht latenzempfindlich sind, auf die selten zugegriffen wird oder wenn die Speicherkosten ein wichtiger Faktor sind.

Mit dem mehrstufigen Speicher können Sie sowohl SSD-Speicher, der die hohe Leistung aktiver Daten unterstützt, als auch HDD-Speicher nutzen, der den seltenen Datenzugriff zu geringeren Kosten unterstützt.

SSD- oder HDD-Speicher wählen

In der folgenden Tabelle sind die Unterschiede und Gemeinsamkeiten zwischen SSD- und HDD-Speicher aufgeführt. Die Durchsatzwerte in der Tabelle gelten pro Knoten und skalieren linear mit der Anzahl der Knoten in Ihrer Spanner-Instanz. Im Zweifel empfehlen wir, SSD-Speicher zu wählen.

SSD-Speicher HDD-Speicher
Zielanwendungsfälle Daten, die einen hohen Schreib- und Lesedurchsatz sowie einen Datenzugriff mit geringer Latenz erfordern Große Datasets, die nicht latenzempfindlich sind oder auf die selten zugegriffen wird
Erwarteter Durchsatz pro Knoten
Regionale Konfigurationen
Bis zu 22.500 Abfragen pro Sekunde (Lesen)
Bis zu 3.500 Abfragen pro Sekunde (Schreiben)
Bis zu 1.500 Abfragen pro Sekunde (Lesen)
Bis zu 3.500 Abfragen pro Sekunde (Schreiben)
Erwarteter Durchsatz pro Knoten
Biregionale und multiregionale Konfigurationen
Bis zu 15.000 Abfragen pro Sekunde an Lesevorgängen pro Region
Bis zu 2.700 Abfragen pro Sekunde an Schreibvorgängen
Bis zu 1.000 Abfragen pro Sekunde (Lesevorgänge) pro Region
Bis zu 2.700 Abfragen pro Sekunde (Schreibvorgänge)
Unterstützte Vorgänge Lesen, Schreiben, Aktualisieren und Löschen Lesen, Schreiben, Aktualisieren und Löschen

Verwenden Sie durchsatzoptimierte Schreibvorgänge, um den Schreibdurchsatz über die Werte in der Tabelle hinaus zu erhöhen. Weitere Informationen finden Sie unter Leistungsübersicht.

Vorteile

Der mehrstufige Speicher bietet folgende Vorteile, da Sie sowohl SSD- als auch HDD-Speicher verwenden können:

  • Deutliche Reduzierung der Gesamtbetriebskosten: HDD-Speicher ist eine kostengünstigere Option für große Datasets, die nicht latenzempfindlich sind oder auf die selten zugegriffen wird.
  • Einfache Verwaltung: Bietet einen vollständig verwalteten Tiering-Dienst ohne die Komplexität zusätzlicher Pipelines und Aufteilungslogik.
  • Einheitliche und konsistente Umgebung: Bietet einheitlichen Datenzugriff und einen einzigen Satz von Messwerten für aktive und (veränderliche) selten genutzte Daten.
  • Verbesserte Leistung: Verbessert die Abfrageleistung, indem Ihre Daten in verschiedenen Lokalisierungsgruppen organisiert werden. Dadurch werden Datenlokalität und Isolation über Spalten hinweg ermöglicht. Daten in derselben Standortgruppe werden physisch nahe beieinander gespeichert.

Funktionsweise von mehrstufigem Speicher

Wenn Sie eine neue Instanz erstellen, werden Daten standardmäßig nur im SSD-Speicher gespeichert. Ebenso werden Daten in vorhandenen Instanzen nur auf SSD-Speicher gespeichert.

Wenn Sie gestaffelten Speicher verwenden möchten, um einige Daten im HDD-Speicher zu speichern, müssen Sie eine Lokalisierungsgruppe erstellen, mit der die Richtlinie für gestaffelten Speicher für Daten in Ihrem Schema definiert wird. Wenn Sie eine Lokalisierungsgruppe erstellen, können Sie den Speichertyp definieren, entweder ssd oder hdd. Optional können Sie auch festlegen, wie lange Daten im SSD-Speicher gespeichert werden, bevor sie in den HDD-Speicher verschoben werden. Diese Zeit ist relativ zum Commit-Zeitstempel der Daten. Nach Ablauf der angegebenen Zeit migriert Spanner die Daten während des normalen Komprimierungszyklus in den HDD-Speicher. Dies geschieht in der Regel innerhalb von sieben Tagen nach der angegebenen Zeit. Wenn Sie Daten schneller als im normalen Komprimierungszyklus zwischen SSD und HDD migrieren möchten, können Sie manuell eine Hauptkomprimierung auslösen. Dies wird als altersbasierte Richtlinie für gestaffelten Speicher bezeichnet. Wenn Sie eine altersbasierte Richtlinie für gestuften Speicher verwenden, müssen Daten mindestens eine Stunde lang auf SSD gespeichert werden, bevor sie in den HDD-Speicher verschoben werden.

Nachdem Sie Ihre Standortgruppen definiert haben, können Sie beim Erstellen Ihrer Tabellen die Richtlinie für gestuften Speicher auf Datenbank-, Tabellen-, Spalten- oder sekundärer Indexebene festlegen. Die Richtlinie für gestaffelten Speicher bestimmt, wie und wo Daten gespeichert werden. Eine Anleitung finden Sie unter Standortgruppen erstellen und verwalten.

Wichtige Verhaltensdetails

Bei der Verwendung von mehrstufigem Speicher gilt Folgendes:

  • Speicherstufen werden auf Zellebene angewendet: Altersbasierte Richtlinien für gestuften Speicher gelten für einzelne Zellen innerhalb einer Zeile, basierend auf dem Commit-Zeitstempel der Zelle. Daten werden in den HDD-Speicher verschoben, wenn ihr Commit-Zeitstempel älter als die angegebene Dauer ist. Eine einzelne Zeile kann daher einige Daten auf SSD und einige auf HDD enthalten, je nachdem, wann die einzelnen Zellen zuletzt aktualisiert wurden.
  • Verschachtelte Tabellen sind unabhängig: Einstellungen für Lokalisierungsgruppen und Richtlinien für gestaffelten Speicher werden nicht von verschachtelten untergeordneten Tabellen übernommen. Sie müssen diese Einstellungen auf jede Tabelle einzeln anwenden.
  • Lesevorgänge haben keinen Einfluss auf die Datenalterung: Das Lesen von Daten aus einer Tabelle setzt das Alter der Daten nicht zurück und verhindert auch nicht, dass sie auf eine Festplatte verschoben werden. Nur ein Schreibvorgang, bei dem die Daten aktualisiert werden, setzt den Commit-Zeitstempel zurück und behält die Daten im SSD-Speicher.
  • Daten von HDD zurück auf SSD verschieben: Wenn Sie auf HDD gespeicherte Daten aktualisieren, schreibt Spanner die neue Version der Daten direkt in den SSD-Speicher. Die vorherige Version der Daten auf der Festplatte wird als veraltet markiert und später durch einen Hintergrundverdichtungsprozess bereinigt. Sie können manuell eine Hauptkomprimierung auslösen, um die Daten schneller zu bereinigen. So profitieren Aktualisierungen von Cold Data sofort von der SSD-Leistung für nachfolgende Lesevorgänge der neuen Daten.
  • Metadaten zur Zeilenexistenz für Tabellen mit vielen Einfügungen auf SSD speichern: Spanner speichert Metadaten in der Lokalisierungsgruppe der Tabelle, um zu verfolgen, ob jede Zeile vorhanden ist, und liest diese Metadaten bei der Prüfung der Eindeutigkeit des Primärschlüssels. Wenn Sie eine altersbasierte oder HDD-Lokalisierungsgruppe auf Datenbank- oder Tabellenebene festlegen, werden diese Metadaten entweder direkt oder nach der Spill-Zeitspanne auf dem HDD-Speicher abgelegt. Wenn Sie die Eindeutigkeitsprüfungen auf SSDs beibehalten möchten, weisen Sie die Tabelle einer SSD-Standortgruppe zu und weisen Sie nur große Nicht-Schlüsselspalten der altersbasierten oder HDD-Standortgruppe zu. Wenn die Tabelle die Standortgruppe default verwendet, prüfen Sie in INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, ob für default die Option storage den OPTION_VALUE ssd und die Option ssd_to_hdd_spill_timespan den OPTION_VALUE NULL hat. Nachdem Sie eine Tabelle auf SSD verschoben haben, werden vorhandene Metadaten zur Zeilenexistenz während der nächsten größeren Verdichtung verschoben, wie im vorherigen Punkt beschrieben.
  • Schreibvorgänge und Eindeutigkeitsprüfungen für kalte Daten: Schreibvorgänge, bei denen geprüft wird, ob Schlüssel bereits vorhanden sind, lesen aus dem HDD-Speicher, wenn Zielschlüssel nicht im Arbeitsspeicher zwischengespeichert sind. Solche Lesevorgänge können die Commit-Latenz und die instance/disk_load erhöhen. Die Auswirkungen sind am größten bei verschachtelten untergeordneten Tabellen, bei denen Spanner keine Existenzfilter verwaltet, um HDD-Lesevorgänge für nicht vorhandene Schlüssel zu überspringen.

    • Vorgänge, die das Vorhandensein prüfen: INSERT-Anweisungen und Insert-Mutationen, INSERT OR IGNORE-Anweisungen, ON CONFLICT DO NOTHING-Anweisungen, ON CONFLICT DO UPDATE-Anweisungen, die nicht als vollständige Zeilenschreibvorgänge mit Primärschlüssel ohne Lesevorgang gelten, und Schreibvorgänge, die HDD- oder altersbasierte sekundäre Indexe verwalten. Beispielsweise prüfen ON CONFLICT DO UPDATE-Anweisungen, ob ein UNIQUE-Index vorhanden ist, wenn sie eine WHERE-Klausel enthalten, Spalten weglassen oder Spalten auf andere Ausdrücke als EXCLUDED festlegen.
    • Vorgänge, bei denen die Existenzprüfung übersprungen wird: INSERT OR UPDATE-Anweisungen für ganze Zeilen und InsertOrUpdate-Mutationen für ganze Zeilen schreiben auf SSD, ohne zu prüfen, ob der Zielschlüssel bereits vorhanden ist. Dasselbe gilt für ON CONFLICT DO UPDATE-Anweisungen mit Primärschlüsseln für ganze Zeilen in GoogleSQL und PostgreSQL, die jede Spalte, einschließlich der Primärschlüsselspalten, auf den entsprechenden EXCLUDED-Wert ohne WHERE-Klausel setzen.
    • Andere HDD-Lesevorgänge während Schreibvorgängen: Selbst Vorgänge, die die Existenzprüfung überspringen, können nicht im Cache gespeicherte Daten oder Metadaten aus dem HDD-Speicher lesen, wenn Spanner sekundäre Indexe, Fremdschlüssel oder Änderungsstreams verwaltet, eine THEN RETURN- oder RETURNING-Klausel auswertet oder prüft, ob eine übergeordnete Zeile für eine verschachtelte untergeordnete Tabelle vorhanden ist.

Sichern und wiederherstellen

Sie können Ihre Daten mit Spanner-Sicherungen sichern und wiederherstellen. Die Sicherung enthält alle Speicherschemainformationen, einschließlich INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, die den Speichertyp jeder Lokalititätsgruppe angeben. Wenn Sie eine Sicherung mit Standortgruppen in einer neuen Instanz wiederherstellen möchten, muss sich die Zielinstanz in der Spanner Enterprise- oder Spanner Enterprise Plus-Version befinden.

Data Boost

Mit Spanner Data Boost können Sie auf Daten im SSD- oder HDD-Speicher zugreifen. Beim Abfragen von Daten im HDD-Speicher wird eine separate HDD-Laufwerkskapazität von Ihrer Instanz verwendet, ähnlich wie bei der Verwendung von separatem Computing.

Suchindexe

Volltextsuche und Vektorindexe übernehmen die Lokalisierungsgruppe, die für das Datenbankobjekt festgelegt ist.

Beobachtbarkeit

Die folgenden Beobachtbarkeitsfunktionen sind für den mehrstufigen Speicher verfügbar.

Messwerte überwachen

Spanner bietet die folgenden Messwerte, mit denen Sie die Nutzung und Daten des mehrstufigen Speichers mit Cloud Monitoring überwachen können:

  • spanner.googleapis.com/instance/storage/used_bytes (Gesamtspeicher): Zeigt die Gesamtzahl der Byte an Daten an, die auf SSD- und HDD-Speicher gespeichert sind.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes: Zeigt das kombinierte SSD- und HDD-Speicherlimit an.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: Zeigt das kombinierte SSD- und HDD-Speicherlimit für jede Verarbeitungseinheit an.
  • spanner.googleapis.com/instance/storage/combined/utilization: Zeigt die kombinierte SSD- und HDD-Speicherauslastung im Vergleich zum kombinierten Speicherlimit an.
  • spanner.googleapis.com/instance/disk_load: Zeigt die HDD-Nutzung in Prozent an. Wenn Ihre Instanz eine HDD-Laufwerksauslastung von 100 % erreicht, kommt es zu einer erheblichen Erhöhung der Latenz.

Wenn Sie vorhandene Abfragen haben, die vorhandene Messwerte nach storage_class:ssd filtern, müssen Sie den Filter entfernen, um die HDD-Nutzung zu sehen.

Weitere Informationen zum Monitoring Ihrer Spanner-Ressourcen finden Sie unter Instanzen mit Systemstatistiken überwachen und Instanzen mit Monitoring überwachen.

Informationsschema

INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS enthält die Liste der Standortgruppen und Optionen in Ihrer Spanner-Datenbank. Sie enthält Informationen für die Standortgruppe default. In der Spalte IS_INHERITED wird angegeben, ob der Speichertyp einer Standortgruppe explizit festgelegt oder übernommen wird. Weitere Informationen finden Sie unter locality_group_options für Datenbanken im GoogleSQL-Dialekt und locality_group_options für Datenbanken im PostgreSQL-Dialekt.

Wenn Sie wissen möchten, in welcher Standortgruppe die einzelnen Tabellen, Indexe und Spalten gespeichert sind, fragen Sie die Tabellen TABLE_OPTIONS, INDEX_OPTIONS und COLUMN_OPTIONS ab. Tabellen und Indexe, die keine locality_group-Zeile in TABLE_OPTIONS oder INDEX_OPTIONS haben, verwenden die Standortgruppe default. In COLUMN_OPTIONS gibt die Spalte IS_INHERITED an, ob die Lokalisierungsgruppe explizit für die Spalte festgelegt oder von der Tabelle übernommen wurde. Hier finden Sie weitere Informationen:

Integrierte Statistiktabellen

Die folgenden integrierten Statistiktabellen sind für Datenbanken mit mehrstufigem Speicher verfügbar:

  • SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: Zeigt die HDD- und SSD-Speichernutzung für jede Tabelle in Ihrer Datenbank an.
  • SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: Zeigt die HDD- und SSD-Speichernutzung für jede Lokalisierungsgruppe in Ihrer Datenbank an.

Weitere Informationen finden Sie unter Statistiken zur Tabellengröße.

Die Tabellen mit Abfragestatistiken und Lesestatistiken enthalten die folgende Spalte, die sich auf den mehrstufigen Speicher bezieht:

  • AVG_DISK_IO_COST: Die durchschnittlichen Kosten dieser Abfrage in Bezug auf die HDD-Laufwerkslast von Cloud Spanner. Mit diesem Wert können Sie relative HDD-E/A-Kostenvergleiche zwischen Lesevorgängen in der Datenbank anstellen. Ein höherer Wert weist darauf hin, dass Sie mehr HDD-Speicherlast verwenden und Ihre Abfrage möglicherweise langsamer ist als bei der Ausführung auf SSD. Wenn die HDD-Laufwerkslast außerdem ausgelastet ist, kann die Leistung Ihrer Abfragen weiter beeinträchtigt werden.

Weitere Informationen finden Sie unter Abfragestatistiken und Lesestatistiken.

Preise

Für die Verwendung von mehrstufigem Speicher fallen keine zusätzlichen Gebühren an. Ihnen werden die Standardpreise für Spanner für die Rechenkapazität, die Ihre Instanz verwendet, und für den Speicherplatz, den Ihre Datenbank belegt, in Rechnung gestellt. Daten, die auf SSD und HDD gespeichert sind, werden zu den jeweiligen Speichertarifen abgerechnet. Für das Verschieben von Daten zwischen SSD- und HDD-Speicher fallen keine Kosten an. Beim Abfragen von Daten auf einer HDD wird die HDD-Festplattenlastkapazität der Instanz verwendet, die Teil der Preise für die Rechenkapazität ist. Weitere Informationen finden Sie unter Spanner-Preise.

Nächste Schritte