Panoramica dell'archiviazione di Google Cloud Observability

Google Cloud Observability archivia e organizza i dati di telemetria di Cloud Logging, Cloud Monitoring e Cloud Trace in contenitori di archiviazione strutturati. La comprensione del modello di archiviazione ti aiuta a configurare la residenza dei dati, applicare le norme di crittografia e collegare la telemetria a servizi di analisi come BigQuery.

Dati di log

I dati di log si trovano nei bucket di log, ovvero i container che Logging utilizza per archiviare i dati di log. Quando il sistema crea un progetto, un account di fatturazione, una cartella o un'organizzazioneGoogle Cloud , Cloud Logging crea bucket log denominati _Required e _Default nella risorsa:

Per impostazione predefinita, i dati di log si trovano nel progetto, nell'account di fatturazione, nella cartella o nell'organizzazione da cui provengono i dati. Google Cloud Tuttavia, puoi configurare Logging per indirizzare i dati di log dalla risorsa di origine a un'altra posizione, ad esempio un altro progetto o un bucket di log centralizzato. Per saperne di più, consulta Voci di log dello store e Voci di log delle route.

Cloud Logging ti consente di regionalizzare i dati di log:

  • I criteri dell'organizzazione possono limitare le posizioni dei nuovi bucket di log e richiedere che i bucket di log utilizzino CMEK.

  • Per organizzazioni e cartelle, le impostazioni predefinite delle risorse per Cloud Logging ti consentono di configurare quanto segue:

    • La posizione dei nuovi bucket di log _Required e _Default
    • La chiave Cloud Key Management Service per criptare i dati di log
    • Configurazione del sink predefinito

    I discendenti nella gerarchia delle risorse ereditano automaticamente queste impostazioni, a meno che non configurino anche le impostazioni predefinite delle risorse. Ad esempio, se configuri le impostazioni predefinite delle risorse per Cloud Logging per un'organizzazione, tutte le cartelle e tutti i progetti nella gerarchia delle risorse dell'organizzazione ereditano automaticamente queste impostazioni. Tuttavia, se imposti le impostazioni predefinite delle risorse per Cloud Logging per una cartella in questa organizzazione, vengono utilizzate le impostazioni a livello di cartella.

    Le impostazioni predefinite delle risorse per Cloud Logging si applicano solo alle nuove risorse, non a quelle esistenti. Per saperne di più, consulta Configura le impostazioni predefinite delle risorse per Cloud Logging.

Dati delle metriche

I dati delle metriche si trovano nel progetto Google Cloud in cui hanno origine.

Per informazioni sulle norme di archiviazione, consulta Residenza dei dati per Monitoring.

Dati di Trace

I dati di Trace vengono archiviati in un set di dati gestito dal bucket osservabilità denominato _Trace. Per conservare il set di dati, deve esistere il bucket _Trace. Il bucket _Trace può essere creato automaticamente o manualmente:

  • Creazione automatica: il sistema crea automaticamente il bucket in risposta alla ricezione dei dati di traccia da un'applicazione o da un servizio. Google Cloud Il sistema utilizza le impostazioni predefinite applicabili per i bucket di osservabilità per determinare la posizione e la chiave di crittografia del bucket. Se non hai definito impostazioni predefinite, il sistema seleziona una località supportata e il bucket utilizza la crittografia predefinita di Google.

    I dati di Trace generati da Cloud Run Functions, Cloud Run e App Engine non causano la creazione del bucket di osservabilità da parte del sistema. Gli span di questi servizi vengono archiviati solo quando esiste il bucket di osservabilità.

  • Creazione manuale: puoi utilizzare l'API Observability per creare il bucket _Trace prima che il tuo progetto Google Cloud riceva i dati di traccia. Devi fornire la posizione del bucket. Puoi fornire una chiave Cloud Key Management Service:

    • Se fornisci una chiave, il sistema la utilizza per criptare i dati archiviati.
    • Se non fornisci una chiave Cloud KMS, le impostazioni predefinite che si applicano alla risorsa padre del bucket determinano la chiave di crittografia. Se le impostazioni predefinite specificano una chiave Cloud KMS, questa cripta i dati archiviati. In caso contrario, viene utilizzata la crittografia predefinita di Google.

Quando viene creato il bucket _Trace, il sistema crea anche un set di dati denominato Spans per il bucket e una vista denominata _AllSpans nel set di dati. Questa visualizzazione include tutti i dati nel set di dati.

Per ulteriori informazioni, consulta le seguenti risorse:

Modello di archiviazione dell'osservabilità

Il modello di archiviazione dell'API Observability si basa sulla seguente architettura:

Bucket osservabilità
Un bucket di osservabilità è l'entità di gestione per i set di dati, che archiviano i dati. Un bucket di osservabilità si trova in una posizione specifica e ha un criterio di conservazione dei dati. Quando un Google Cloud servizio utilizza l'API Observability per archiviare i propri dati, il sistema crea un bucket di osservabilità in base al nome del servizio, un set di dati per archiviare i dati e una vista per fornire l'accesso in lettura ai dati archiviati. Ad esempio, per il servizio Cloud Trace, il sistema assegna al bucket creato dal sistema il nome _Trace, al set di dati il nome Spans e alla visualizzazione il nome _AllSpans. Per scoprire la struttura di un bucket di osservabilità, consulta Bucket.
Set di dati
Un set di dati archivia i dati. Il sistema crea automaticamente un set di dati quando crea un bucket di osservabilità, che gestisce il set di dati. Ad esempio, quando il sistema crea il bucket _Trace, crea anche un set di dati denominato Spans, che archivia i dati di traccia. Per informazioni sulla struttura di un set di dati, consulta Dataset.
Visualizzazioni dei set di dati
Ogni set di dati ospita una o più viste. Una vista fornisce l'accesso in lettura a un sottoinsieme di voci nel set di dati. Il sistema crea una visualizzazione quando crea un set di dati. Questa visualizzazione include tutti i dati nel set di dati. Il nome della visualizzazione dipende dal servizio. Ad esempio, per il servizio Cloud Trace, il sistema crea una vista denominata _AllSpans nel set di dati Spans. Per scoprire di più sulla struttura di una vista, consulta la pagina View.
Link sui set di dati

Ogni set di dati può contenere al massimo un link. Quando crei un link per un set di dati, il sistema crea un set di dati BigQuery collegato. Puoi quindi eseguire query sui dati nel set di dati utilizzando BigQuery o altri servizi che utilizzano l'API BigQuery. Per scoprire di più sulla struttura di un link, consulta la sezione Link.

Il sistema non crea automaticamente link nei set di dati.

Ad esempio, i dati di traccia si trovano in un set di dati Spans all'interno del bucket osservabilità _Trace. Il sistema crea una visualizzazione _AllSpans di questo set di dati che include tutti gli intervalli memorizzati.

Residenza dei dati per i bucket di osservabilità

Se hai requisiti di conformità o normativi per archiviare i dati in posizioni specifiche o per utilizzare chiavi di crittografia gestite dal cliente (CMEK), ti consigliamo di configurare sia i criteri dell'organizzazione sia le impostazioni predefinite per i bucket di osservabilità.

Per organizzazioni, cartelle e progetti, le impostazioni predefinite per i bucket di osservabilità consentono di configurare quanto segue:

  • Una posizione di archiviazione predefinita.
  • Per ogni località, una chiave Cloud Key Management Service predefinita.

Il sistema utilizza le impostazioni predefinite in due modi diversi:

  • Quando il sistema crea automaticamente un bucket di osservabilità, utilizza le impostazioni predefinite per determinare la posizione del bucket e la chiave di crittografia. Se non hai definito impostazioni predefinite, il sistema seleziona la località e il bucket utilizza la crittografia predefinita di Google.

  • Quando avvii la creazione di un bucket di osservabilità inviando una richiesta API, fornisci la località. Tuttavia, il sistema utilizza automaticamente la chiave Cloud KMS definita dalle impostazioni predefinite per criptare i dati, a meno che gli argomenti della richiesta API non specifichino la chiave.

Poiché il parent di un bucket di osservabilità è sempre un progetto, quando crei un bucket, il sistema cerca prima le impostazioni predefinite a livello di progetto. Se non esistono, il sistema cerca le impostazioni predefinite negli antenati dell'elemento principale. Ad esempio, se definisci impostazioni predefinite per una cartella, queste vengono applicate ai discendenti della cartella, ad eccezione di quelli per cui sono state configurate impostazioni predefinite.

Puoi anche utilizzare i criteri dell'organizzazione per limitare le località dei nuovi bucket di osservabilità, per richiedere l'utilizzo delle CMEK o per limitare le chiavi Cloud KMS che possono essere utilizzate per la crittografia. Se configuri criteri dell'organizzazione che richiedono l'utilizzo di CMEK, devi configurare le impostazioni predefinite per i bucket di osservabilità. In caso contrario, il provisioning dei bucket di osservabilità creati dal sistema non andrà a buon fine.

Per saperne di più, consulta Imposta i valori predefiniti per i bucket di osservabilità.

Limitazioni

Non puoi:

  • Modifica o elimina i bucket di osservabilità.
  • Crea, elimina o modifica set di dati.
  • Creare, eliminare o modificare le visualizzazioni.
  • Utilizza la console Google Cloud per elencare bucket, set di dati, viste o link.

Passaggi successivi