Set di dati di Storage Insights

I set di dati di Storage Insights ti aiutano a gestire le risorse di Cloud Storage generando un indice interrogabile di metadati e attività in organizzazioni, cartelle, progetti o bucket specifici. Dopo aver collegato il set di dati a BigQuery, puoi analizzare, eseguire query e visualizzare i dati di bucket e oggetti.

Contenuti e schemi dei set di dati

Un set di dati di Storage Insights fornisce uno snapshot continuo di metadati, dati sulle attività, errori ed eventi per tutti i progetti, i bucket e gli oggetti nell'ambito definito. Il set di dati raccoglie e indicizza le informazioni per fornire una visualizzazione dei dati. Questa visualizzazione ti consente di monitorare le risorse Cloud Storage e gestire il tuo patrimonio di archiviazione.

Il set di dati è disponibile come set di dati collegato a BigQuery, con un insieme di tabelle che hanno i seguenti schemi:

  • Metadati: uno snapshot dei metadati per progetti, bucket e oggetti. Per maggiori dettagli sullo schema dei metadati, consulta Schema di set di dati dei metadati.

  • Dati sulle attività: record di mutazioni ed errori per gli oggetti e insight sulle attività aggregati per i bucket e i progetti. Per maggiori dettagli sullo schema dei dati delle attività, consulta Schema del set di dati delle attività.

  • Errori ed eventi: informazioni sugli eventi e sugli errori di elaborazione degli snapshot. Per informazioni dettagliate sullo schema di errori ed eventi, consulta Schema del set di dati di eventi ed errori.

Casi d'uso per i set di dati di Storage Insights

I set di dati di Storage Insights forniscono visualizzazioni per ottenere insight granulari e a livello di organizzazione sui tuoi dati. Le sezioni seguenti descrivono i casi d'uso dei set di dati.

Comprendi il tuo patrimonio di archiviazione

Puoi ottenere insight sui tuoi dati visualizzando i metadati di progetti, bucket e oggetti. Le visualizzazioni dei metadati ti aiutano con le seguenti attività:

  • Individuare anomalie, ad esempio dati in una regione imprevista.
  • Identificare le opportunità di ottimizzazione, ad esempio individuando i file temporanei o duplicati.
  • Esegui query per ottenere insight specifici, ad esempio gli oggetti creati nelle ultime 24 ore o il numero totale di file PDF.
  • Esegui il drill-down degli oggetti su cui vuoi intervenire estraendo un elenco di prefissi di un insieme di oggetti in base ai risultati della query.

Esegui operazioni collettive utilizzando i filtri del set di dati

Integrando i set di dati di Storage Insights con le operazioni batch di archiviazione, puoi eseguire azioni su larga scala sugli oggetti identificati nei tuoi set di dati. Questa integrazione ti consente di selezionare sottoinsiemi specifici di dati in più bucket a livello di progetto e di applicare trasformazioni in base ai campi del set di dati. Questo approccio elimina la necessità di file manifest manuali.

Selezione diretta degli oggetti

Utilizza i flag di filtro Common Expression Language (CEL) (--bucket-filters e --object-filters) direttamente in Google Cloud CLI per selezionare ed elaborare gli oggetti su larga scala. Questa selezione diretta ti consente di valutare i campi del set di dati ed eseguire azioni collettive a livello di progetto. Questo metodo elimina la necessità di creare manualmente file manifest CSV. Non è necessario eseguire query sul set di dati in BigQuery, esportare i risultati di ricerca e caricare i manifest nei bucket. Questo ambito a livello di progetto ti consente di eseguire un singolo job batch su un massimo di 1000 bucket.

Ad esempio, puoi specificare i criteri di filtro direttamente in Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Per informazioni sui campi e sugli operatori disponibili che puoi utilizzare in questi filtri, consulta la documentazione di riferimento sui filtri CEL.

Analizza i pattern di attività

Utilizzando la visualizzazione delle attività dei bucket, la visualizzazione delle attività dei progetti e la visualizzazione degli eventi degli oggetti, puoi:

  • Analizza i pattern operativi e identifica i bucket inattivi.

  • Monitora le operazioni sugli oggetti per vedere come cambia il tuo parco risorse di archiviazione nel tempo.

  • Mappa i progetti, i bucket e i prefissi più attivi.

Informazioni sull'attività dei bucket regionali

La visualizzazione dell'attività regionale del bucket mostra campi come i byte di richiesta e risposta, indicando le regioni che interagiscono di frequente con il tuo bucket. Analizza l'attività dei bucket regionali per determinare se è necessaria la rilocalizzazione dei bucket:

  • Visualizza il traffico in uscita e in entrata totale per un bucket in una regione per identificare i bucket che potrebbero essere più adatti per una classe regionale, anziché multiregionale.

  • Valuta il traffico di dati totale all'interno di tutte le regioni e tra di esse.

Valuta lo stato della sicurezza

Puoi utilizzare i metadati di bucket e oggetti per identificare gli oggetti esposti pubblicamente, i tipi di crittografia attivi e le tempistiche di scadenza per la conservazione dei dati. Le sezioni seguenti descrivono in che modo i set di dati di Storage Insights ti aiutano a valutare le potenziali vulnerabilità della sicurezza.

Identifica gli oggetti accessibili pubblicamente

Puoi utilizzare i set di dati di Storage Insights per identificare gli oggetti accessibili pubblicamente. Lo stato di accesso pubblico degli oggetti ti aiuta a gestire i dati di archiviazione e a mitigare i rischi di esfiltrazione di dati consentendoti di identificare gli oggetti esposti alla rete internet pubblica.

Lo schema dei metadati degli oggetti fornisce lo stato di accesso pubblico, una metrica calcolata che semplifica l'analisi della sicurezza. Per determinare lo stato di accesso pubblico di un oggetto, i set di dati di Storage Insights convalidano tutte le seguenti configurazioni:

Per aiutarti a identificare la configurazione specifica che concede l'accesso pubblico, i set di dati di Storage Insights includono informazioni su quando un oggetto è leggibile o scrivibile pubblicamente. Per gli oggetti leggibili pubblicamente, queste informazioni indicano se l'autorizzazione ha origine a livello di oggetto, bucket o cartella gestita. Per gli oggetti scrivibili pubblicamente, fornisce dettagli sulla concessione dell'accesso tramite un ACL di oggetto, un ACL di bucket o una policy IAM.

Puoi eseguire query sullo stato di accesso pubblico degli oggetti utilizzando BigQuery e poi monitorare questi oggetti utilizzando le dashboard di Looker per elencare tutti gli oggetti leggibili o scrivibili pubblicamente. Per ulteriori informazioni sui campi dello stato di accesso pubblico, consulta securityInsights nello schema dei metadati degli oggetti.

Controlla le configurazioni di crittografia

Puoi utilizzare le visualizzazioni dei metadati di bucket e oggetti per controllare le configurazioni di crittografia. Queste viste includono informazioni sulla crittografia sia a livello di bucket che di oggetto, con campi come encryption nei metadati del bucket e encryptionType nei metadati dell'oggetto. Puoi utilizzare queste informazioni per:

  • Verifica che per i bucket sia configurata la crittografia predefinita controllando encryption.defaultEncryptionType e encryption.defaultKmsKeyName.
  • Convalida la conformità alle policy di applicazione della crittografia controllando encryptionType per verificare se gli oggetti utilizzano chiavi di crittografia gestite da Google, gestite dal cliente o fornite dal cliente.
  • Identificare tutti gli oggetti criptati con una chiave Cloud Key Management Service specifica o con chiavi di crittografia fornite dal cliente.

Monitora le policy sulla conservazione dei dati

Puoi utilizzare le visualizzazioni dei metadati di bucket e oggetti per monitorare le policy sulla conservazione dei dati. Queste viste includono campi come retentionExpirationTime nei metadati degli oggetti e softDeletePolicy nei metadati dei bucket. Puoi utilizzare questi campi per:

  • Monitora gli oggetti la cui conservazione sta per scadere.
  • Identifica i bucket con l'eliminazione temporanea abilitata e monitora la loro durata di conservazione.
  • Identifica gli oggetti in stato di eliminazione temporanea controllando softDeleteTime.

Velocizza la risoluzione dei problemi

La vista object_events_view contiene informazioni sugli errori che possono essere utili per la risoluzione dei problemi. Puoi utilizzare questa visualizzazione per esaminare le operazioni che hanno generato errori, identificare i motivi degli errori e rilevare progetti e bucket con tassi di errore elevati. Ad esempio, puoi risolvere gli errori 429 identificando il bucket e il progetto interessati e la causa principale, come la quota di risorse o i limiti di larghezza di banda.

Analizza i dati e i metadati degli oggetti utilizzando BigQuery

Puoi analizzare i dati nei set di dati di Storage Insights utilizzando le funzioni ObjectRef di BigQuery. Ad esempio, puoi creare query per rilevare informazioni sensibili nei documenti o per generare descrizioni di immagini.

Per analizzare i contenuti degli oggetti, utilizza la colonna ref delle tabelle dei metadati degli oggetti con le funzioni ObjectRef. Per maggiori dettagli, consulta Analizza i dati e i metadati degli oggetti utilizzando BigQuery.

Vantaggi dei set di dati di Storage Insights

I set di dati di Storage Insights forniscono metadati e informazioni sulle attività relative al tuo patrimonio di archiviazione in un formato interrogabile in BigQuery. Di seguito sono riportati i vantaggi dell'utilizzo dei set di dati di Storage Insights:

  • Analizza il tuo patrimonio di archiviazione all'interno di un ambito personalizzabile per ottenere insight a livello di organizzazione o specifica cartelle, progetti o bucket per l'analisi.

  • Con i dati disponibili in BigQuery, utilizza query SQL e in linguaggio naturale con Gemini per analizzare i tuoi dati. Per maggiori dettagli, vedi Analizza i dati con l'assistenza di Gemini.

  • Puoi visualizzare i dati collegandoti a una dashboard di Looker. Puoi utilizzare la dashboard di Storage Intelligence come modello che fornisce un esempio degli insight che puoi ricavare dai set di dati. Puoi utilizzare il modello per connetterti ai tuoi set di dati o aggiungere grafici personalizzati. Per informazioni su come utilizzare il modello, consulta le istruzioni per la connessione alla dashboard di Storage Intelligence.

Come funzionano i set di dati di Storage Insights

Per utilizzare i set di dati di Storage Insights, devi prima configurare un set di dati all'interno di un progetto. Specifica l'organizzazione, le cartelle o i progetti per cui vuoi monitorare i dati. Dopo la creazione, concedi le autorizzazioni necessarie all'agente di servizio per generare il set di dati. Puoi quindi collegare il set di dati a BigQuery per eseguire query. Una volta configurato, il servizio raccoglie e importa automaticamente snapshot giornalieri di metadati degli oggetti, metadati dei bucket, operazioni ed errori in un'istanza BigQuery di proprietà di Cloud Storage. I dati vengono conservati in base al periodo di conservazione configurato e archiviati in modo ottimizzato per ridurre al minimo i costi di archiviazione e analisi.

Nella configurazione del set di dati, definisci quali dati vengono raccolti, dove vengono archiviati e come vengono gestiti.

La tabella seguente descrive le proprietà chiave che devi definire quando configuri un set di dati:

Proprietà Descrizione Dettagli e limiti
Ambito del set di dati Specifica le risorse (organizzazioni, progetti o cartelle) che contengono i bucket e gli oggetti che vuoi includere nel set di dati. Puoi specificare progetti o cartelle singolarmente o utilizzando un file CSV. Ogni configurazione consente un solo ambito del set di dati. Puoi specificare fino a 10,000 progetti o cartelle.
Filtri bucket Filtri utilizzati per includere o escludere bucket specifici dal set di dati.Puoi filtrare in base al nome del bucket utilizzando espressioni regolari o in base alla località del bucket.
Periodo di conservazione per il set di dati Il numero di giorni per cui il set di dati acquisisce e conserva i metadati e i dati delle attività, inclusa la data di creazione del set di dati. Per le tabelle dei dati delle attività, puoi sostituire il periodo di conservazione dei dati utilizzando la proprietà Periodo di conservazione dei dati delle attività. Questo periodo di conservazione è una finestra temporale e può essere di un massimo di 90 giorni. I set di dati vengono aggiornati con nuovi metadati ogni 24 ora. Il sistema elimina automaticamente i dati acquisiti al di fuori della finestra di conservazione. Ad esempio, se crei un set di dati il 1° ottobre 2023 con una finestra di conservazione impostata su 30 giorni, Il 30 ottobre, il set di dati riflette i dati degli ultimi 30 giorni (dal 1° al 30 ottobre). Il 31 ottobre, il set di dati riflette i dati dal 2 al 31 ottobre. Puoi modificare la finestra di conservazione in qualsiasi momento. Per impostazione predefinita, il periodo di conservazione si applica alle tabelle dei metadati e anche alle tabelle dei dati delle attività quando il periodo di conservazione dei dati delle attività non è specificato.
Periodo di conservazione dei dati delle attività Il numero di giorni per cui il set di dati acquisisce e conserva i dati delle attività. Se definito, questo valore sostituisce il Periodo di conservazione per il set di dati. Il periodo di conservazione può essere di massimo 365 days. Il periodo di conservazione dei dati delle attività è applicabile alle tabelle dei dati delle attività.
Località La località BigQuery utilizzata per archiviare il set di dati collegato e i dati associati. Il set di dati collegato deve trovarsi in una località supportata da BigQuery, ad esempio us-central1, anche se i bucket di origine possono trovarsi in qualsiasi località di Cloud Storage. Se hai già delle tabelle BigQuery, ti consigliamo di selezionare la loro località.
Tipo di agente di servizio Determina l'ambito dell'agente di servizio che legge e scrive i dati per la configurazione del set di dati. Può essere un agente di servizio con ambito a livello di configurazione o un agente di servizio con ambito a livello di progetto Gli agenti di servizio con ambito a livello di progetto possono accedere ai set di dati e scriverli per tutte le configurazioni dei set di dati nel progetto. Ad esempio, se hai più configurazioni di set di dati all'interno di un progetto, devi concedere le autorizzazioni richieste all'agente di servizio con ambito a livello di progetto una sola volta. In questo modo, può leggere e scrivere set di dati per tutte le configurazioni dei set di dati all'interno del progetto. Quando una configurazione del set di dati viene eliminata, l'agente di servizio con ambito a livello di progetto non viene eliminato.

Gli agenti di servizio con ambito a livello di configurazione possono accedere e scrivere solo nel set di dati generato dalla particolare configurazione del set di dati. Di conseguenza, se hai più configurazioni di set di dati, devi concedere le autorizzazioni richieste a ogni agente di servizio con ambito di configurazione. Quando una configurazione del set di dati viene eliminata, viene eliminato anche l'agente di servizio con ambito a livello di configurazione.

Dopo aver specificato le proprietà di configurazione e concesso le autorizzazioni necessarie all'agente di servizio, collega il set di dati a BigQuery per eseguire query.

Per i dettagli sulle proprietà impostate durante la creazione o l'aggiornamento di una configurazione del set di dati, consulta la risorsa DatasetConfigs nella documentazione dell'API JSON.

Dopo la configurazione, il servizio raccoglie e importa automaticamente i dati in un'istanza BigQuery di proprietà di Cloud Storage. La cronologia per la compilazione dei dati nei set di dati è la seguente:

  • Il caricamento iniziale del set di dati e i dati sulle attività per i bucket o gli oggetti appena aggiunti potrebbero richiedere da 24 a 48 ore per essere visualizzati come set di dati collegato in BigQuery.

  • I dati sulle attività vengono in genere inclusi entro quattro ore dall'attività (la latenza potrebbe occasionalmente essere superiore).

  • Gli snapshot dei metadati (per progetti, bucket e oggetti) vengono aggiornati ogni 24 ore.

Considerazioni

Per le configurazioni dei set di dati, tieni presente quanto segue:

  • Quando rinomini una cartella in un bucket con lo spazio dei nomi gerarchico attivato, i nomi degli oggetti in quel bucket vengono aggiornati. Quando il set di dati collegato importa questi snapshot degli oggetti, vengono considerati nuove voci.

  • I checksum CRC32C e gli hash MD5 non sono disponibili nella tabella object metadata per gli oggetti criptati con chiavi di crittografia gestite dal cliente (CMEK).

  • I set di dati di Storage Insights possono importare i metadati dai bucket di origine in qualsiasi località di Cloud Storage, incluse quelle non elencate qui. Tuttavia, il set di dati collegato deve trovarsi in una delle seguenti località BigQuery supportate:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Quando si determina lo stato di accesso pubblico per gli oggetti utilizzando i set di dati di Storage Insights, si applicano le seguenti limitazioni:

    • Lo stato dell'accesso pubblico non è disponibile per gli oggetti all'interno delle cartelle gestite.

    • I set di dati di Storage Insights non considerano la configurazione dei Controlli di servizio VPC o del filtro IP del bucket quando determinano lo stato di accesso pubblico di un oggetto.

Passaggi successivi