Google Cloud Observability-Speicher – Übersicht

Google Cloud Observability speichert und organisiert Telemetriedaten aus Cloud Logging, Cloud Monitoring und Cloud Trace in strukturierten Speichercontainern. Wenn Sie das Speichermodell kennen, können Sie den Datenstandort konfigurieren, Verschlüsselungsrichtlinien erzwingen und Telemetriedaten mit Analysediensten wie BigQuery verbinden.

Logdaten

Logdaten befinden sich in Log-Buckets, den Containern, die von Logging zum Speichern Ihrer Logdaten verwendet werden. Wenn das System einGoogle Cloud -Projekt, ein Rechnungskonto, einen Ordner oder eine Organisation erstellt, erstellt Cloud Logging in der Ressource die Log-Buckets _Required und _Default:

  • Speicherort: Cloud Logging wählt den Speicherort dieser Buckets aus, sofern in den Standardressourceneinstellungen für Cloud Logging kein Speicherort angegeben ist. Sie können den Standort nach dem Erstellen der Buckets nicht mehr ändern.

  • Verschlüsselung: Für diese Buckets wirdGoogle-owned and Google-managed encryption keys verwendet, sofern in den Standardressourceneinstellungen für Cloud Logging kein kundenverwalteter Verschlüsselungsschlüssel (CMEK) angegeben ist. Diese Konfiguration kann nach dem Erstellen der Buckets nicht mehr geändert werden.

Standardmäßig befinden sich Logdaten in dem Google Cloud Projekt, Abrechnungskonto, Ordner oder der Organisation, aus der die Daten stammen. Sie können jedoch Logging so konfigurieren, dass Logdaten von der Ressource, aus der sie stammen, an einen anderen Ort weitergeleitet werden, z. B. an ein anderes Projekt oder einen zentralen Log-Bucket. Weitere Informationen finden Sie unter Logeinträge speichern und Logeinträge weiterleiten.

Mit Cloud Logging können Sie Ihre Logdaten regionalisieren:

  • Mit Organisationsrichtlinien können die Standorte neuer Log-Buckets eingeschränkt und die Verwendung von CMEK für Log-Buckets erzwungen werden.

  • Mit den Standardeinstellungen für Ressourcen für Cloud Logging können Sie für Organisationen und Ordner Folgendes konfigurieren:

    • Der Speicherort neuer _Required- und _Default-Log-Buckets
    • Der Cloud Key Management Service-Schlüssel zum Verschlüsseln Ihrer Logdaten
    • Konfiguration der Standardsenke

    Untergeordnete Elemente in der Ressourcenhierarchie übernehmen diese Einstellungen automatisch, sofern sie nicht auch Standardressourceneinstellungen konfigurieren. Wenn Sie beispielsweise Standardressourceneinstellungen für Cloud Logging für eine Organisation konfigurieren, werden diese Einstellungen automatisch von allen Ordnern und Projekten in der Ressourcenhierarchie der Organisation übernommen. Wenn Sie jedoch die Standardressourceneinstellungen für Cloud Logging für einen Ordner in dieser Organisation festlegen, werden die Einstellungen auf Ordnerebene verwendet.

    Die Standardeinstellungen für Ressourcen für Cloud Logging gelten nur für neue Ressourcen, nicht für vorhandene. Weitere Informationen finden Sie unter Standardressourceneinstellungen für Cloud Logging konfigurieren.

Messwertdaten

Messwertdaten befinden sich im Google Cloud -Projekt, aus dem die Daten stammen.

Informationen zu den Speicherrichtlinien finden Sie unter Datenstandort für Monitoring.

Trace-Daten

Trace-Daten werden in einem Dataset gespeichert, das vom Beobachtungs-Bucket _Trace verwaltet wird. Damit das Dataset gespeichert werden kann, muss der Bucket _Trace vorhanden sein. Der _Trace-Bucket kann automatisch oder manuell erstellt werden:

  • Automatische Erstellung: Das System erstellt den Bucket automatisch, wenn es Tracedaten von einer Anwendung oder einem Google Cloud Dienst empfängt. Das System verwendet die entsprechenden Standardeinstellungen für Observability-Buckets, um den Speicherort und den Verschlüsselungsschlüssel des Buckets zu bestimmen. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System einen unterstützten Standort aus und für den Bucket wird die Standardverschlüsselung von Google verwendet.

    Durch Trace-Daten, die von Cloud Run Functions, Cloud Run und App Engine generiert werden, wird nicht automatisch der Observability-Bucket erstellt. Spans aus diesen Diensten werden nur gespeichert, wenn der Observability-Bucket vorhanden ist.

  • Manuelle Erstellung: Sie können den _Trace-Bucket mit der Observability API erstellen, bevor in Ihrem Google Cloud -Projekt Tracedaten eingehen. Sie müssen den Speicherort des Buckets angeben. Sie können einen Cloud Key Management Service-Schlüssel angeben:

    • Wenn Sie einen Schlüssel angeben, wird dieser vom System zum Verschlüsseln der gespeicherten Daten verwendet.
    • Wenn Sie keinen Cloud KMS-Schlüssel angeben, wird der Verschlüsselungsschlüssel durch die Standardeinstellungen bestimmt, die für die übergeordnete Ressource des Buckets gelten. Wenn in den Standardeinstellungen ein Cloud KMS-Schlüssel angegeben ist, werden die gespeicherten Daten mit diesem Schlüssel verschlüsselt. Andernfalls wird die Standardverschlüsselung von Google verwendet.

Wenn der Bucket _Trace erstellt wird, erstellt das System auch ein Dataset mit dem Namen Spans für den Bucket und eine Ansicht mit dem Namen _AllSpans für das Dataset. Diese Ansicht enthält alle Daten im Dataset.

Hier finden Sie weitere Informationen:

Speichermodell für die Beobachtbarkeit

Das Speichermodell der Observability API basiert auf der folgenden Architektur:

Beobachtbarkeits-Buckets
Ein Observability-Bucket ist die Verwaltungseinheit für Datasets, in denen Daten gespeichert werden. Ein Beobachtbarkeits-Bucket befindet sich an einem bestimmten Ort und hat eine Richtlinie zur Datenaufbewahrung. Wenn ein Google Cloud Dienst die Observability API zum Speichern seiner Daten verwendet, erstellt das System einen Observability-Bucket basierend auf dem Namen des Dienstes, ein Dataset zum Speichern von Daten und eine Ansicht, um Lesezugriff auf die gespeicherten Daten zu ermöglichen. Für den Cloud Trace-Dienst benennt das System beispielsweise den vom System erstellten Bucket _Trace, das Dataset Spans und die Ansicht _AllSpans. Informationen zur Struktur eines Beobachtbarkeits-Buckets finden Sie unter Bucket.
Datasets
In einem Dataset werden Daten gespeichert. Das System erstellt automatisch ein Dataset, wenn es einen Beobachtbarkeits-Bucket erstellt, der das Dataset verwaltet. Wenn das System beispielsweise den Bucket _Trace erstellt, wird auch ein Dataset mit dem Namen Spans erstellt, in dem Ihre Tracedaten gespeichert werden. Informationen zur Struktur eines Datasets finden Sie unter Dataset.
Ansichten für Datasets
Jedes Dataset enthält eine oder mehrere Ansichten. Eine Ansicht bietet Lesezugriff auf eine Teilmenge der Einträge im Dataset. Das System erstellt eine Ansicht, wenn ein Dataset erstellt wird. Diese Ansicht enthält alle Daten im Dataset. Der Name der Ansicht hängt vom Dienst ab. Für den Cloud Trace-Dienst wird beispielsweise eine Ansicht mit dem Namen _AllSpans für das Dataset Spans erstellt. Informationen zur Struktur einer Ansicht finden Sie unter View.
Links zu Datasets

Jedes Dataset kann maximal einen Link enthalten. Wenn Sie eine Verknüpfung für ein Dataset erstellen, wird ein verknüpftes BigQuery-Dataset erstellt. Anschließend können Sie die Daten in Ihrem Dataset mit BigQuery oder mit anderen Diensten abfragen, die die BigQuery API verwenden. Informationen zur Struktur eines Links finden Sie unter Link.

Das System erstellt nicht automatisch Links für Datasets.

Ihre Trace-Daten befinden sich beispielsweise in einem Spans-Dataset im Beobachtungs-Bucket _Trace. Das System erstellt für dieses Dataset eine _AllSpans-Ansicht, die alle gespeicherten Spannen enthält.

Datenstandort für Beobachtbarkeits-Buckets

Wenn Sie Compliance- oder behördliche Anforderungen haben, Ihre Daten an bestimmten Standorten zu speichern oder kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEKs) zu verwenden, empfehlen wir, sowohl Organisationsrichtlinien als auch Standardeinstellungen für Observability-Buckets zu konfigurieren.

Mit Standardeinstellungen für Observability-Buckets können Sie für Organisationen, Ordner und Projekte Folgendes konfigurieren:

  • Ein Standardspeicherort.
  • Für jeden Standort ein standardmäßiger Cloud Key Management Service-Schlüssel.

Das System verwendet Standardeinstellungen auf zwei verschiedene Arten:

  • Wenn das System automatisch einen Observability-Bucket erstellt, werden die Standardschlüssel verwendet, um den Standort und den Verschlüsselungsschlüssel des Buckets zu bestimmen. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System den Standort aus und für den Bucket wird die Standardverschlüsselung von Google verwendet.

  • Wenn Sie die Erstellung eines Observability-Buckets durch Senden einer API-Anfrage initiieren, geben Sie den Speicherort an. Das System verwendet jedoch automatisch den Cloud KMS-Schlüssel, der durch die Standardeinstellungen definiert ist, um die Daten zu verschlüsseln, sofern der Schlüssel nicht in den Argumenten der API-Anfrage angegeben ist.

Da das übergeordnete Element eines Observability-Buckets immer ein Projekt ist, sucht das System beim Erstellen eines Buckets zuerst nach Standardeinstellungen auf Projektebene. Wenn diese nicht vorhanden sind, sucht das System in den übergeordneten Elementen nach Standardeinstellungen. Wenn Sie beispielsweise Standardeinstellungen für einen Ordner definieren, werden diese Einstellungen auf alle untergeordneten Elemente des Ordners angewendet, mit Ausnahme der untergeordneten Elemente, für die Standardeinstellungen konfiguriert sind.

Sie können auch Organisationsrichtlinien verwenden, um die Standorte neuer Observability-Buckets einzuschränken, die Verwendung von CMEKs zu erzwingen oder einzuschränken, welche Cloud KMS-Schlüssel für die Verschlüsselung verwendet werden können. Wenn Sie Organisationsrichtlinien konfigurieren, die die Verwendung von CMEKs erfordern, müssen Sie Standardeinstellungen für Observability-Buckets konfigurieren. Andernfalls schlägt die Bereitstellung für vom System erstellte Observability-Buckets fehl.

Weitere Informationen finden Sie unter Standardeinstellungen für Observability-Buckets festlegen.

Beschränkungen

Folgendes ist nicht möglich:

  • Beobachtungs-Buckets ändern oder löschen
  • Datasets erstellen, löschen oder ändern.
  • Ansichten erstellen, löschen oder ändern.
  • Verwenden Sie die Google Cloud Console, um Buckets, Datasets, Ansichten oder Links aufzulisten.

Nächste Schritte