Google Cloud Observability-Speicher – Übersicht

Google Cloud Observability speichert und organisiert Telemetriedaten aus Cloud Logging, Cloud Monitoring und Cloud Trace in strukturierten Speichercontainern. Wenn Sie das Speichermodell verstehen, können Sie den Datenstandort konfigurieren, Verschlüsselungsrichtlinien erzwingen und Telemetriedaten mit Analysediensten wie BigQuery verbinden.

Logdaten

Logdaten befinden sich in Log-Buckets. Das sind die Container, die Logging zum Speichern Ihrer Logdaten verwendet. Wenn das System einGoogle Cloud Projekt, ein Rechnungskonto, einen Ordner oder eine Organisation erstellt, erstellt Cloud Logging Log-Buckets mit den Namen _Required und _Default in der Ressource:

  • Standort: Cloud Logging wählt den Standort dieser Buckets aus, es sei denn, in den Standardressourceneinstellungen für Cloud Logging ist ein Standort angegeben. Sie können den Standort nach dem Erstellen der Buckets nicht mehr ändern.

  • Verschlüsselung: Diese Buckets verwendenGoogle-owned and Google-managed encryption keys , sofern in den Standardressourceneinstellungen für Cloud Logging kein kundenverwalteter Verschlüsselungsschlüssel (CMEK) angegeben ist. Diese Konfiguration kann nach dem Erstellen der Buckets nicht mehr geändert werden.

Standardmäßig befinden sich Logdaten in dem Projekt, Rechnungskonto, Ordner oder der Organisation in Google Cloud , aus dem die Daten stammen. Sie können Logging jedoch so konfigurieren, dass Logdaten von der Ressource, von der sie stammen, an einen anderen Speicherort weitergeleitet werden, z. B. an ein anderes Projekt oder einen zentralen Log-Bucket. Weitere Informationen finden Sie unter Logeinträge speichern und Logeinträge weiterleiten.

Mit Cloud Logging können Sie Ihre Logdaten regionalisieren:

  • Organisationsrichtlinien können die Standorte neuer Log-Buckets einschränken und festlegen, dass Log-Buckets CMEK verwenden müssen.

  • Für Organisationen und Ordner können Sie mit den Standardressourceneinstellungen für Cloud Logging Folgendes konfigurieren:

    • Der Speicherort der neuen Log-Buckets _Required und _Default
    • Der Cloud Key Management Service-Schlüssel zum Verschlüsseln Ihrer Logdaten
    • Konfiguration der Standardsenke

    Nachgeordnete Elemente in der Ressourcenhierarchie übernehmen diese Einstellungen automatisch, sofern sie nicht auch Standardressourceneinstellungen konfigurieren. Wenn Sie beispielsweise Standardressourceneinstellungen für Cloud Logging für eine Organisation konfigurieren, übernehmen alle Ordner und Projekte in der Ressourcenhierarchie der Organisation diese Einstellungen automatisch. Wenn Sie jedoch die Standardressourceneinstellungen für Cloud Logging für einen Ordner in dieser Organisation festlegen, werden die Einstellungen auf Ordnerebene verwendet.

    Die Standardressourceneinstellungen für Cloud Logging gelten nur für neue Ressourcen, nicht für vorhandene Ressourcen. Weitere Informationen finden Sie unter Standardressourceneinstellungen für Cloud Logging konfigurieren.

Messwertdaten

Messwertdaten befinden sich im Google Cloud -Projekt, aus dem die Daten stammen.

Informationen zu den Speicherrichtlinien finden Sie unter Datenstandort für Monitoring.

Trace-Daten

Trace-Daten werden in einem Dataset gespeichert, das vom Beobachtbarkeits-Bucket mit dem Namen _Trace verwaltet wird. Der Bucket _Trace muss vorhanden sein, um das Dataset zu speichern. Der Bucket _Trace kann automatisch oder manuell erstellt werden:

  • Automatische Erstellung: Das System erstellt den Bucket automatisch, wenn Trace-Daten von einer Anwendung oder einem Google Cloud -Dienst empfangen werden. Das System verwendet die entsprechenden Standardeinstellungen für Beobachtbarkeits-Buckets, um den Standort und den Verschlüsselungsschlüssel des Buckets zu bestimmen. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System einen unterstützten Standort aus und der Bucket verwendet die standardmäßige Google-Verschlüsselung.

    Trace-Daten, die von Cloud Run Functions, Cloud Run und App Engine generiert werden, führen nicht dazu, dass das System den Beobachtbarkeits-Bucket erstellt. Spans von diesen Diensten werden nur gespeichert, wenn der Beobachtbarkeits-Bucket vorhanden ist.

  • Manuelle Erstellung: Sie können die Observability API verwenden, um den Bucket _Trace zu erstellen, bevor Ihr Google Cloud -Projekt Trace-Daten empfängt. Sie müssen den Speicherort des Buckets angeben. Sie können einen Cloud Key Management Service-Schlüssel angeben:

    • Wenn Sie einen Schlüssel angeben, verwendet das System diesen Schlüssel, um die gespeicherten Daten zu verschlüsseln.
    • Wenn Sie keinen Cloud KMS-Schlüssel angeben, bestimmen die Standardeinstellungen, die für die übergeordnete Ressource des Buckets gelten, den Verschlüsselungsschlüssel. Wenn in den Standardeinstellungen ein Cloud KMS-Schlüssel angegeben ist, werden die gespeicherten Daten mit diesem Schlüssel verschlüsselt. Andernfalls wird die standardmäßige Google-Verschlüsselung verwendet.

Wenn der Bucket _Trace erstellt wird, erstellt das System auch ein Dataset mit dem Namen Spans für den Bucket und eine Ansicht mit dem Namen _AllSpans für das Dataset. Diese Ansicht enthält alle Daten im Dataset.

Hier finden Sie weitere Informationen:

Speichermodell für Beobachtbarkeit

Das Speichermodell der Observability API basiert auf der folgenden Architektur:

Beobachtbarkeits-Buckets

Ein Beobachtbarkeits-Bucket ist die Verwaltungseinheit für Datasets, in denen Daten gespeichert werden. Ein Beobachtbarkeits-Bucket befindet sich an einem bestimmten Standort und unterliegt einer Richtlinie zur Datenaufbewahrung. Wenn ein Google Cloud -Dienst die Observability API zum Speichern seiner Daten verwendet, erstellt das System einen Observability-Bucket basierend auf dem Namen des Dienstes, ein Dataset zum Speichern von Daten und eine Ansicht, um Lesezugriff auf die gespeicherten Daten zu gewähren. Für den Cloud Trace-Dienst benennt das System beispielsweise den vom System erstellten Bucket _Trace, das Dataset Spans und die Ansicht _AllSpans. Informationen zur Struktur eines Beobachtbarkeits-Buckets finden Sie unter Bucket.

Google Cloud Observability verwendet Standardeinstellungen und Organisationsrichtlinien, um den Speicherort und das Verschlüsselungsmodell für neue Observability-Buckets zu bestimmen. Wenn ein vorhandener Beobachtbarkeits-Bucket die regulatorischen Anforderungen Ihrer Organisation nicht erfüllt, können Sie den Beobachtbarkeits-Bucket möglicherweise neu bereitstellen.

Datasets

In einem Dataset werden Daten gespeichert. Das System erstellt automatisch ein Dataset, wenn es einen Beobachtbarkeits-Bucket erstellt, der das Dataset verwaltet. Wenn das System beispielsweise den Bucket _Trace erstellt, wird auch ein Dataset mit dem Namen Spans erstellt, in dem Ihre Trace-Daten gespeichert werden. Informationen zur Struktur eines Datasets finden Sie unter Dataset.

Ansichten von Datasets

Jedes Dataset enthält eine oder mehrere Ansichten. Eine Ansicht bietet Lesezugriff auf eine Teilmenge der Einträge im Dataset. Das System erstellt eine Ansicht, wenn es ein Dataset erstellt. Diese Ansicht enthält alle Daten im Dataset. Der Name der Ansicht hängt vom Dienst ab. Für den Cloud Trace-Dienst erstellt das System beispielsweise eine Ansicht mit dem Namen _AllSpans im Dataset Spans. Informationen zur Struktur einer Ansicht finden Sie unter View.

Links zu Datasets

Jedes Dataset kann maximal einen Link enthalten. Wenn Sie einen Link für ein Dataset erstellen, erstellt das System ein verknüpftes BigQuery-Dataset. Anschließend können Sie die Daten in Ihrem Dataset mit BigQuery oder anderen Diensten abfragen, die die BigQuery API verwenden. Informationen zur Struktur eines Links finden Sie unter Link.

Das System erstellt nicht automatisch Verknüpfungen für Datasets.

Ihre Trace-Daten befinden sich beispielsweise in einem Spans-Dataset im Beobachtbarkeits-Bucket _Trace. Das System erstellt für dieses Dataset eine _AllSpans-Ansicht, die alle gespeicherten Spans enthält.

Datenstandort für Beobachtbarkeits-Buckets

Wenn Sie Compliance- oder regulatorische Anforderungen haben, Ihre Daten an bestimmten Standorten zu speichern oder kundenverwaltete Verschlüsselungsschlüssel (CMEKs) zu verwenden, empfehlen wir, sowohl Organisationsrichtlinien als auch Standardeinstellungen für Observability-Buckets zu konfigurieren.

Für Organisationen, Ordner und Projekte können Sie mit den Standardeinstellungen für Beobachtbarkeits-Buckets Folgendes konfigurieren:

  • Einen Standardspeicherort.
  • Für jeden Standort einen Standard-Cloud Key Management Service-Schlüssel.

Das System verwendet Standardeinstellungen auf zwei verschiedene Arten:

  • Wenn das System automatisch einen Beobachtbarkeits-Bucket erstellt, werden die Standardeinstellungen verwendet, um den Standort und den Verschlüsselungsschlüssel des Buckets zu bestimmen. Wenn Sie keine Standardeinstellungen definiert haben, wählt das System den Standort aus und der Bucket verwendet die standardmäßige Google-Verschlüsselung.

  • Wenn Sie die Erstellung eines Observability-Buckets über eine API-Anfrage initiieren, geben Sie den Standort an. Das System verwendet jedoch automatisch den durch die Standardeinstellungen definierten Cloud KMS-Schlüssel, um die Daten zu verschlüsseln, sofern der Schlüssel nicht in den Argumenten der API-Anfrage angegeben ist.

Da das übergeordnete Element eines Observability-Buckets immer ein Projekt ist, sucht das System beim Erstellen eines Buckets zuerst nach Standardeinstellungen auf Projektebene. Wenn diese nicht vorhanden sind, sucht das System in den übergeordneten Elementen nach Standardeinstellungen. Wenn Sie beispielsweise Standardeinstellungen für einen Ordner definieren, gelten diese Einstellungen für die untergeordneten Elemente des Ordners, mit Ausnahme der untergeordneten Elemente, für die Standardeinstellungen konfiguriert sind.

Sie können auch Organisationsrichtlinien verwenden, um die Standorte neuer Observability-Buckets einzuschränken, die Verwendung von CMEKs vorzuschreiben oder einzuschränken, welche Cloud KMS-Schlüssel für die Verschlüsselung verwendet werden können. Wenn Sie Organisationsrichtlinien konfigurieren, die die Verwendung von CMEKs erfordern, müssen Sie Standardeinstellungen für Beobachtbarkeits-Buckets konfigurieren. Andernfalls schlägt die Bereitstellung für vom System erstellte Beobachtbarkeits-Buckets fehl.

Weitere Informationen finden Sie in folgenden Dokumenten:

Beschränkungen

Folgendes ist nicht möglich:

  • Beobachtbarkeits-Buckets ändern oder löschen.
  • Datasets erstellen, löschen oder ändern.
  • Ansichten erstellen, löschen oder ändern.
  • Verwenden Sie die Google Cloud Console, um Buckets, Datasets, Ansichten oder Links aufzulisten.

Nächste Schritte