Auf dieser Seite wird beschrieben, wie der gestaffelte Speicher in Spanner funktioniert. Diese Funktion wird sowohl in Datenbanken im GoogleSQL-Dialekt als auch in Datenbanken im PostgreSQL-Dialekt unterstützt.
Der gestaffelte Speicher von Spanner ist ein vollständig verwaltetes Speicherfeature, mit dem Sie auswählen können, ob Ihre Daten auf Solid-State-Drives (SSD) oder Festplattenlaufwerken (HDD) gespeichert werden sollen. Wenn Sie keinen gestuften Speicher verwenden, werden Ihre Daten standardmäßig auf SSD-Speicher gespeichert. Je nachdem, wie oft Sie die Daten verwenden oder darauf zugreifen, können Sie mehrstufigen Speicher verwenden und Daten sowohl auf SSD- als auch auf HDD-Speicher speichern.
- SSD-Speicher ist die leistungsstärkste (höhere Abfragen pro Sekunde) und kostengünstigste Wahl für die meisten Anwendungsfälle. Sie sollten ihn zum Speichern aktiver Daten mit hohem Schreib- und Lesedurchsatz und Daten verwenden, die einen Datenzugriff mit niedriger Latenz erfordern.
- HDD-Speicher ist manchmal für große Datasets geeignet, die nicht latenzempfindlich sind, auf die selten zugegriffen wird oder wenn die Speicherkosten ein wichtiger Faktor sind.
Mit dem mehrstufigen Speicher können Sie sowohl SSD-Speicher, der die hohe Leistung aktiver Daten unterstützt, als auch HDD-Speicher nutzen, der den seltenen Datenzugriff zu geringeren Kosten unterstützt.
SSD- oder HDD-Speicher wählen
In der folgenden Tabelle sind die Unterschiede und Gemeinsamkeiten zwischen SSD- und HDD-Speicher aufgeführt. Die Durchsatzwerte in der Tabelle gelten pro Knoten und skalieren linear mit der Anzahl der Knoten in Ihrer Spanner-Instanz. Im Zweifel empfehlen wir, SSD-Speicher zu wählen.
| SSD-Speicher | HDD-Speicher | |
|---|---|---|
| Zielanwendungsfälle | Daten, die einen hohen Schreib- und Lesedurchsatz sowie einen Datenzugriff mit geringer Latenz erfordern | Große Datasets, die nicht latenzempfindlich sind oder auf die selten zugegriffen wird |
| Erwarteter Durchsatz pro Knoten Regionale Konfigurationen |
Bis zu 22.500 Abfragen pro Sekunde (Lesen) Bis zu 3.500 Abfragen pro Sekunde (Schreiben) |
Bis zu 1.500 Abfragen pro Sekunde (Lesen) Bis zu 3.500 Abfragen pro Sekunde (Schreiben) |
| Erwarteter Durchsatz pro Knoten Biregionale und multiregionale Konfigurationen |
Bis zu 15.000 Abfragen pro Sekunde an Lesevorgängen pro Region Bis zu 2.700 Abfragen pro Sekunde an Schreibvorgängen |
Bis zu 1.000 Abfragen pro Sekunde (Lesevorgänge) pro Region Bis zu 2.700 Abfragen pro Sekunde (Schreibvorgänge) |
| Unterstützte Vorgänge | Lesen, Schreiben, Aktualisieren und Löschen | Lesen, Schreiben, Aktualisieren und Löschen |
Verwenden Sie durchsatzoptimierte Schreibvorgänge, um den Schreibdurchsatz über die Werte in der Tabelle hinaus zu erhöhen. Weitere Informationen finden Sie unter Leistungsübersicht.
Vorteile
Der mehrstufige Speicher bietet folgende Vorteile, da Sie sowohl SSD- als auch HDD-Speicher verwenden können:
- Deutliche Reduzierung der Gesamtbetriebskosten: HDD-Speicher ist eine kostengünstigere Option für große Datasets, die nicht latenzempfindlich sind oder auf die selten zugegriffen wird.
- Einfache Verwaltung: Bietet einen vollständig verwalteten Tiering-Dienst ohne die Komplexität zusätzlicher Pipelines und Aufteilungslogik.
- Einheitliche und konsistente Umgebung: Bietet einheitlichen Datenzugriff und einen einzigen Satz von Messwerten für aktive und (veränderliche) selten genutzte Daten.
- Verbesserte Leistung: Verbessert die Abfrageleistung, indem Ihre Daten in verschiedenen Lokalisierungsgruppen organisiert werden. Dadurch werden Datenlokalität und Isolation über Spalten hinweg ermöglicht. Daten in derselben Standortgruppe werden physisch nahe beieinander gespeichert.
Funktionsweise von mehrstufigem Speicher
Wenn Sie eine neue Instanz erstellen, werden Daten standardmäßig nur im SSD-Speicher gespeichert. Ebenso werden Daten in vorhandenen Instanzen nur auf SSD-Speicher gespeichert.
Wenn Sie gestaffelten Speicher verwenden möchten, um einige Daten im HDD-Speicher zu speichern, müssen Sie eine Lokalisierungsgruppe erstellen, mit der die Richtlinie für gestaffelten Speicher für Daten in Ihrem Schema definiert wird. Wenn Sie eine Lokalisierungsgruppe erstellen, können Sie den Speichertyp definieren, entweder ssd oder hdd. Optional können Sie auch festlegen, wie lange Daten im SSD-Speicher gespeichert werden, bevor sie in den HDD-Speicher verschoben werden. Diese Zeit ist relativ zum Commit-Zeitstempel der Daten. Nach Ablauf der angegebenen Zeit migriert Spanner die Daten während des normalen Komprimierungszyklus in den HDD-Speicher. Dies geschieht in der Regel innerhalb von sieben Tagen nach der angegebenen Zeit. Wenn Sie Daten schneller als im normalen Komprimierungszyklus zwischen SSD und HDD migrieren möchten, können Sie manuell eine Hauptkomprimierung auslösen.
Dies wird als altersbasierte Richtlinie für gestaffelten Speicher bezeichnet. Wenn Sie eine altersbasierte Richtlinie für gestuften Speicher verwenden, müssen Daten mindestens eine Stunde lang auf SSD gespeichert werden, bevor sie in den HDD-Speicher verschoben werden.
Nachdem Sie Ihre Standortgruppen definiert haben, können Sie beim Erstellen Ihrer Tabellen die Richtlinie für gestuften Speicher auf Datenbank-, Tabellen-, Spalten- oder sekundärer Indexebene festlegen. Die Richtlinie für gestaffelten Speicher bestimmt, wie und wo Daten gespeichert werden. Eine Anleitung finden Sie unter Standortgruppen erstellen und verwalten.
Wichtige Verhaltensdetails
Bei der Verwendung von mehrstufigem Speicher gilt Folgendes:
- Speicherstufen werden auf Zellebene angewendet: Altersbasierte Richtlinien für gestuften Speicher gelten für einzelne Zellen innerhalb einer Zeile, basierend auf dem Commit-Zeitstempel der Zelle. Daten werden in den HDD-Speicher verschoben, wenn ihr Commit-Zeitstempel älter als die angegebene Dauer ist. Eine einzelne Zeile kann daher einige Daten auf SSD und einige auf HDD enthalten, je nachdem, wann die einzelnen Zellen zuletzt aktualisiert wurden.
- Verschachtelte Tabellen sind unabhängig: Einstellungen für Lokalisierungsgruppen und Richtlinien für gestaffelten Speicher werden nicht von verschachtelten untergeordneten Tabellen übernommen. Sie müssen diese Einstellungen auf jede Tabelle einzeln anwenden.
- Lesevorgänge haben keinen Einfluss auf die Datenalterung: Das Lesen von Daten aus einer Tabelle setzt das Alter der Daten nicht zurück und verhindert auch nicht, dass sie auf eine Festplatte verschoben werden. Nur ein Schreibvorgang, bei dem die Daten aktualisiert werden, setzt den Commit-Zeitstempel zurück und behält die Daten im SSD-Speicher.
- Daten von HDD zurück auf SSD verschieben: Wenn Sie auf HDD gespeicherte Daten aktualisieren, schreibt Spanner die neue Version der Daten direkt in den SSD-Speicher. Die vorherige Version der Daten auf der Festplatte wird als veraltet markiert und später durch einen Hintergrundverdichtungsprozess bereinigt. Sie können manuell eine Hauptkomprimierung auslösen, um die Daten schneller zu bereinigen. So profitieren Aktualisierungen von Cold Data sofort von der SSD-Leistung für nachfolgende Lesevorgänge der neuen Daten.
- Metadaten zur Zeilenexistenz für Tabellen mit vielen Einfügungen auf SSD speichern: Spanner speichert Metadaten in der Lokalisierungsgruppe der Tabelle, um zu verfolgen, ob jede Zeile vorhanden ist, und liest diese Metadaten bei der Prüfung der Eindeutigkeit des Primärschlüssels. Wenn Sie eine altersbasierte oder HDD-Lokalisierungsgruppe auf Datenbank- oder Tabellenebene festlegen, werden diese Metadaten entweder direkt oder nach der Spill-Zeitspanne auf dem HDD-Speicher abgelegt. Wenn Sie die Eindeutigkeitsprüfungen auf SSDs beibehalten möchten, weisen Sie die Tabelle einer SSD-Standortgruppe zu und weisen Sie nur große Nicht-Schlüsselspalten der altersbasierten oder HDD-Standortgruppe zu. Wenn die Tabelle die Standortgruppe
defaultverwendet, prüfen Sie inINFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, ob fürdefaultdie OptionstoragedenOPTION_VALUEssdund die Optionssd_to_hdd_spill_timespandenOPTION_VALUENULLhat. Nachdem Sie eine Tabelle auf SSD verschoben haben, werden vorhandene Metadaten zur Zeilenexistenz während der nächsten größeren Verdichtung verschoben, wie im vorherigen Punkt beschrieben. Schreibvorgänge und Eindeutigkeitsprüfungen für kalte Daten: Schreibvorgänge, bei denen geprüft wird, ob Schlüssel bereits vorhanden sind, lesen aus dem HDD-Speicher, wenn Zielschlüssel nicht im Arbeitsspeicher zwischengespeichert sind. Solche Lesevorgänge können die Commit-Latenz und die
instance/disk_loaderhöhen. Die Auswirkungen sind am größten bei verschachtelten untergeordneten Tabellen, bei denen Spanner keine Existenzfilter verwaltet, um HDD-Lesevorgänge für nicht vorhandene Schlüssel zu überspringen.- Vorgänge, die das Vorhandensein prüfen:
INSERT-Anweisungen undInsert-Mutationen,INSERT OR IGNORE-Anweisungen,ON CONFLICT DO NOTHING-Anweisungen,ON CONFLICT DO UPDATE-Anweisungen, die nicht als vollständige Zeilenschreibvorgänge mit Primärschlüssel ohne Lesevorgang gelten, und Schreibvorgänge, die HDD- oder altersbasierte sekundäre Indexe verwalten. Beispielsweise prüfenON CONFLICT DO UPDATE-Anweisungen, ob einUNIQUE-Index vorhanden ist, wenn sie eineWHERE-Klausel enthalten, Spalten weglassen oder Spalten auf andere Ausdrücke alsEXCLUDEDfestlegen. - Vorgänge, bei denen die Existenzprüfung übersprungen wird:
INSERT OR UPDATE-Anweisungen für ganze Zeilen undInsertOrUpdate-Mutationen für ganze Zeilen schreiben auf SSD, ohne zu prüfen, ob der Zielschlüssel bereits vorhanden ist. Dasselbe gilt fürON CONFLICT DO UPDATE-Anweisungen mit Primärschlüsseln für ganze Zeilen in GoogleSQL und PostgreSQL, die jede Spalte, einschließlich der Primärschlüsselspalten, auf den entsprechendenEXCLUDED-Wert ohneWHERE-Klausel setzen. - Andere HDD-Lesevorgänge während Schreibvorgängen: Selbst Vorgänge, die die Existenzprüfung überspringen, können nicht im Cache gespeicherte Daten oder Metadaten aus dem HDD-Speicher lesen, wenn Spanner sekundäre Indexe, Fremdschlüssel oder Änderungsstreams verwaltet, eine
THEN RETURN- oderRETURNING-Klausel auswertet oder prüft, ob eine übergeordnete Zeile für eine verschachtelte untergeordnete Tabelle vorhanden ist.
- Vorgänge, die das Vorhandensein prüfen:
Sichern und wiederherstellen
Sie können Ihre Daten mit Spanner-Sicherungen sichern und wiederherstellen.
Die Sicherung enthält alle Speicherschemainformationen, einschließlich INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, die den Speichertyp jeder Lokalititätsgruppe angeben. Wenn Sie eine Sicherung mit Standortgruppen in einer neuen Instanz wiederherstellen möchten, muss sich die Zielinstanz in der Spanner Enterprise- oder Spanner Enterprise Plus-Version befinden.
Data Boost
Mit Spanner Data Boost können Sie auf Daten im SSD- oder HDD-Speicher zugreifen. Beim Abfragen von Daten im HDD-Speicher wird eine separate HDD-Laufwerkskapazität von Ihrer Instanz verwendet, ähnlich wie bei der Verwendung von separatem Computing.
Suchindexe
Volltextsuche und Vektorindexe übernehmen die Lokalisierungsgruppe, die für das Datenbankobjekt festgelegt ist.
Beobachtbarkeit
Die folgenden Beobachtbarkeitsfunktionen sind für den mehrstufigen Speicher verfügbar.
Messwerte überwachen
Spanner bietet die folgenden Messwerte, mit denen Sie die Nutzung und Daten des mehrstufigen Speichers mit Cloud Monitoring überwachen können:
spanner.googleapis.com/instance/storage/used_bytes(Gesamtspeicher): Zeigt die Gesamtzahl der Byte an Daten an, die auf SSD- und HDD-Speicher gespeichert sind.spanner.googleapis.com/instance/storage/combined/limit_bytes: Zeigt das kombinierte SSD- und HDD-Speicherlimit an.spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: Zeigt das kombinierte SSD- und HDD-Speicherlimit für jede Verarbeitungseinheit an.spanner.googleapis.com/instance/storage/combined/utilization: Zeigt die kombinierte SSD- und HDD-Speicherauslastung im Vergleich zum kombinierten Speicherlimit an.spanner.googleapis.com/instance/disk_load: Zeigt die HDD-Nutzung in Prozent an. Wenn Ihre Instanz eine HDD-Laufwerksauslastung von 100 % erreicht, kommt es zu einer erheblichen Erhöhung der Latenz.
Wenn Sie vorhandene Abfragen haben, die vorhandene Messwerte nach storage_class:ssd filtern, müssen Sie den Filter entfernen, um die HDD-Nutzung zu sehen.
Weitere Informationen zum Monitoring Ihrer Spanner-Ressourcen finden Sie unter Instanzen mit Systemstatistiken überwachen und Instanzen mit Monitoring überwachen.
Informationsschema
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS enthält die Liste der Standortgruppen und Optionen in Ihrer Spanner-Datenbank. Sie enthält Informationen für die Standortgruppe default. In der Spalte IS_INHERITED wird angegeben, ob der Speichertyp einer Standortgruppe explizit festgelegt oder übernommen wird. Weitere Informationen finden Sie unter locality_group_options für Datenbanken im GoogleSQL-Dialekt und locality_group_options für Datenbanken im PostgreSQL-Dialekt.
Wenn Sie wissen möchten, in welcher Standortgruppe die einzelnen Tabellen, Indexe und Spalten gespeichert sind, fragen Sie die Tabellen TABLE_OPTIONS, INDEX_OPTIONS und COLUMN_OPTIONS ab. Tabellen und Indexe, die keine locality_group-Zeile in TABLE_OPTIONS oder INDEX_OPTIONS haben, verwenden die Standortgruppe default. In COLUMN_OPTIONS gibt die Spalte IS_INHERITED an, ob die Lokalisierungsgruppe explizit für die Spalte festgelegt oder von der Tabelle übernommen wurde. Hier finden Sie weitere Informationen:
- GoogleSQL-Dialekt-Datenbanken:
TABLE_OPTIONS,INDEX_OPTIONSundCOLUMN_OPTIONS. - PostgreSQL-Dialekt-Datenbanken:
table_options,index_optionsundcolumn_options.
Integrierte Statistiktabellen
Die folgenden integrierten Statistiktabellen sind für Datenbanken mit mehrstufigem Speicher verfügbar:
SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: Zeigt die HDD- und SSD-Speichernutzung für jede Tabelle in Ihrer Datenbank an.SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: Zeigt die HDD- und SSD-Speichernutzung für jede Lokalisierungsgruppe in Ihrer Datenbank an.
Weitere Informationen finden Sie unter Statistiken zur Tabellengröße.
Die Tabellen mit Abfragestatistiken und Lesestatistiken enthalten die folgende Spalte, die sich auf den mehrstufigen Speicher bezieht:
AVG_DISK_IO_COST: Die durchschnittlichen Kosten dieser Abfrage in Bezug auf die HDD-Laufwerkslast von Cloud Spanner. Mit diesem Wert können Sie relative HDD-E/A-Kostenvergleiche zwischen Lesevorgängen in der Datenbank anstellen. Ein höherer Wert weist darauf hin, dass Sie mehr HDD-Speicherlast verwenden und Ihre Abfrage möglicherweise langsamer ist als bei der Ausführung auf SSD. Wenn die HDD-Laufwerkslast außerdem ausgelastet ist, kann die Leistung Ihrer Abfragen weiter beeinträchtigt werden.
Weitere Informationen finden Sie unter Abfragestatistiken und Lesestatistiken.
Preise
Für die Verwendung von mehrstufigem Speicher fallen keine zusätzlichen Gebühren an. Ihnen werden die Standardpreise für Spanner für die Rechenkapazität, die Ihre Instanz verwendet, und für den Speicherplatz, den Ihre Datenbank belegt, in Rechnung gestellt. Daten, die auf SSD und HDD gespeichert sind, werden zu den jeweiligen Speichertarifen abgerechnet. Für das Verschieben von Daten zwischen SSD- und HDD-Speicher fallen keine Kosten an. Beim Abfragen von Daten auf einer HDD wird die HDD-Festplattenlastkapazität der Instanz verwendet, die Teil der Preise für die Rechenkapazität ist. Weitere Informationen finden Sie unter Spanner-Preise.