Panoramica dell'archiviazione di Google Cloud Observability

Google Cloud Observability archivia e organizza i dati di telemetria di Cloud Logging, Cloud Monitoring e Cloud Trace in container di archiviazione strutturati. Comprendere il modello di archiviazione ti aiuta a configurare la residenza dei dati, applicare le policy di crittografia e collegare la telemetria ai servizi di analisi come BigQuery.

Dati di log

I dati di log si trovano nei bucket di log, ovvero i container utilizzati da Logging per archiviare i dati di log. Quando il sistema crea un progetto, un account di fatturazione, una cartella o un'organizzazioneGoogle Cloud , Cloud Logging crea i bucket di log denominati _Required e _Default nella risorsa:

Per impostazione predefinita, la residenza dei dati di log si trova nel progetto, nell'account di fatturazione, nella cartella o nell'organizzazione Google Cloud da cui provengono. Tuttavia, puoi configurare Logging in modo che instradi i dati di log dalla risorsa di origine a un'altra posizione, ad esempio un altro progetto o un bucket di log centralizzato. Per saperne di più, consulta Archivia le voci di log e Instrada le voci di log.

Cloud Logging ti consente di regionalizzare i dati di log:

  • Le policy dell'organizzazione possono limitare le località dei nuovi bucket di log e richiedere che i bucket di log utilizzino CMEK.

  • Per le organizzazioni e le cartelle, le impostazioni predefinite delle risorse per Cloud Logging consentono di configurare quanto segue:

    • La località dei nuovi bucket di log _Required e _Default
    • La chiave di Cloud Key Management Service per criptare i dati di log
    • La configurazione del sink predefinito

    I discendenti nella gerarchia delle risorse ereditano automaticamente queste impostazioni, a meno che non configurino anche le impostazioni predefinite delle risorse. Ad esempio, se configuri le impostazioni predefinite delle risorse per Cloud Logging per un'organizzazione, tutte le cartelle e i progetti nella gerarchia delle risorse dell'organizzazione ereditano automaticamente queste impostazioni. Tuttavia, se configuri le impostazioni predefinite delle risorse per Cloud Logging per una cartella di quell'organizzazione, vengono utilizzate le impostazioni a livello di cartella.

    Le impostazioni predefinite delle risorse per Cloud Logging si applicano solo alle nuove risorse, non a quelle esistenti. Per saperne di più, consulta Configura le impostazioni predefinite delle risorse per Cloud Logging.

Dati delle metriche

I dati delle metriche risiedono nel progetto Google Cloud da cui provengono.

Per informazioni sulle policy di archiviazione, consulta Residenza dei dati per Monitoring.

Dati di Trace

I dati di Trace vengono archiviati in un set di dati gestito dal bucket di osservabilità denominato _Trace. Per contenere il set di dati, deve esistere il bucket _Trace. Il bucket _Trace può essere creato automaticamente o manualmente:

  • Creazione automatica: il sistema crea automaticamente il bucket in risposta alla ricezione dei dati di traccia da un'applicazione o da un servizio Google Cloud . Il sistema utilizza le impostazioni predefinite applicabili per i bucket di osservabilità per determinare la località e la chiave di crittografia del bucket. Se non hai definito le impostazioni predefinite, il sistema seleziona una località supportata e il bucket utilizza la crittografia predefinita di Google.

    I dati di Trace generati da Cloud Run Functions, Cloud Run e App Engine non causano la creazione del bucket di osservabilità da parte del sistema. Gli intervalli di questi servizi vengono archiviati solo se esiste il bucket di osservabilità.

  • Creazione manuale: puoi utilizzare l'API Observability per creare il bucket_Traceprima che il tuo progetto Google Cloud riceva i dati di traccia. Devi fornire la località del bucket. Puoi fornire una chiave Cloud Key Management Service:

    • Se fornisci una chiave, il sistema la utilizza per criptare i dati archiviati.
    • Se non fornisci una chiave Cloud KMS, la chiave di crittografia viene determinata dalle impostazioni predefinite applicate alla risorsa padre del bucket. Se le impostazioni predefinite specificano una chiave Cloud KMS, questa chiave cripta i dati archiviati. In caso contrario, viene utilizzata la crittografia predefinita di Google.

Quando viene creato il bucket _Trace, il sistema crea anche un set di dati denominato Spans per il bucket e una visualizzazione denominata _AllSpans sul set di dati. Questa vista include tutti i dati del set di dati.

Per ulteriori informazioni, consulta le seguenti risorse:

Modello di archiviazione di osservabilità

Il modello di archiviazione dell'API Observability si basa sulla seguente architettura:

Bucket di osservabilità

Un bucket di osservabilità è l'entità di gestione dei set di dati, che archiviano i dati. Un bucket di osservabilità si trova in una posizione specifica e ha una policy sulla conservazione dei dati. Quando un servizio Google Cloud utilizza l'API Observability per archiviare i propri dati, il sistema crea un bucket di osservabilità basato sul nome del servizio, un set di dati per archiviare i dati e una visualizzazione per fornire l'accesso in lettura ai dati archiviati. Ad esempio, per il servizio Cloud Trace, il sistema assegna al bucket creato dal sistema il nome _Trace, al set di dati il nome Spans e alla visualizzazione il nome _AllSpans. Per scoprire la struttura di un bucket di osservabilità, consulta Bucket.

Google Cloud Observability utilizza le impostazioni predefinite e le policy dell'organizzazione per determinare la località e il modello di crittografia per i nuovi bucket di osservabilità. Se un bucket di osservabilità esistente non soddisfa i requisiti normativi della tua organizzazione, potresti essere in grado di eseguire il provisioning del bucket di osservabilità.

Set di dati

Un set di dati archivia i dati. Il sistema crea automaticamente un set di dati quando crea un bucket di osservabilità, che gestisce il set di dati. Ad esempio, quando il sistema crea il bucket _Trace, crea anche un set di dati denominato Spans, che archivia i dati di traccia. Per scoprire di più sulla struttura di un set di dati, consulta Dataset.

Visualizzazioni sui set di dati

Ogni set di dati ospita una o più visualizzazioni. Una vista fornisce l'accesso in lettura a un sottoinsieme di voci nel set di dati. Il sistema crea una visualizzazione quando crea un set di dati. Questa vista include tutti i dati del set di dati. Il nome della vista dipende dal servizio. Ad esempio, per il servizio Cloud Trace, il sistema crea una vista denominata _AllSpans nel set di dati Spans. Per scoprire di più sulla struttura di una vista, consulta View.

Link sui set di dati

Ogni set di dati può contenere al massimo un link. Quando crei un link per un set di dati, il sistema crea un set di dati BigQuery collegato. Puoi quindi eseguire query sui dati nel set di dati utilizzando BigQuery o altri servizi che utilizzano l'API BigQuery. Per scoprire di più sulla struttura di un link, consulta Link.

Il sistema non crea automaticamente i link sui set di dati.

Ad esempio, i dati di traccia si trovano in un set di dati Spans all'interno del bucket di osservabilità _Trace. Il sistema crea una vista _AllSpans su questo set di dati che include tutti gli intervalli archiviati.

Residenza dei dati per i bucket di osservabilità

Se hai requisiti di conformità o normativi per archiviare i dati in località specifiche o per utilizzare chiavi di crittografia gestite dal cliente (CMEK), ti consigliamo di configurare sia le policy dell'organizzazione sia le impostazioni predefinite per i bucket di osservabilità.

Per organizzazioni, cartelle e progetti, le impostazioni predefinite per i bucket di osservabilità consentono di configurare quanto segue:

  • Una posizione di archiviazione predefinita.
  • Per ogni località, una chiave Cloud Key Management Service predefinita.

Il sistema utilizza le impostazioni predefinite in due modi diversi:

  • Quando il sistema crea automaticamente un bucket di osservabilità, utilizza le impostazioni predefinite per determinare la località e la chiave di crittografia del bucket. Se non hai definito le impostazioni predefinite, il sistema seleziona la località e il bucket utilizza la crittografia predefinita di Google.

  • Quando avvii la creazione di un bucket di osservabilità inviando una richiesta API, fornisci la località. Tuttavia, il sistema utilizza automaticamente la chiave Cloud KMS definita dalle impostazioni predefinite per criptare i dati, a meno che gli argomenti della richiesta API non specifichino la chiave.

Poiché l'elemento principale di un bucket di osservabilità è sempre un progetto, quando crei un bucket, il sistema cerca prima le impostazioni predefinite a livello di progetto. Se non esistono, il sistema cerca le impostazioni predefinite negli antenati del nodo principale. Ad esempio, se definisci le impostazioni predefinite per una cartella, queste vengono applicate ai discendenti della cartella, ad eccezione di quelli per cui sono configurate impostazioni predefinite.

Puoi anche utilizzare le policy dell'organizzazione per limitare le località dei nuovi bucket di osservabilità, per richiedere l'utilizzo di CMEK o per limitare le chiavi Cloud KMS che possono essere utilizzate per la crittografia. Se configuri policy dell'organizzazione che richiedono l'utilizzo di CMEK, devi configurare le impostazioni predefinite per i bucket di osservabilità. In caso contrario, il provisioning dei bucket di osservabilità creati dal sistema non va a buon fine.

Per saperne di più, consulta i seguenti documenti:

Limitazioni

Non puoi:

  • Modifica o elimina i bucket di osservabilità.
  • Creare, eliminare o modificare i set di dati.
  • Creare, eliminare o modificare le visualizzazioni.
  • Utilizza la console Google Cloud per elencare bucket, set di dati, visualizzazioni o link.

Passaggi successivi