Operazioni batch di archiviazione

Questo documento descrive come utilizzare le operazioni batch di archiviazione per eseguire azioni su miliardi di oggetti su larga fare lo scale in un ambiente serverless. Le configurazioni aziendali di grandi dimensioni possono avere oggetti distribuiti su migliaia di bucket. Le operazioni batch di archiviazione automatizzano le operazioni su larga scala sugli oggetti. Questa automazione riduce il tempo di sviluppo necessario per scrivere e gestire gli script per ogni richiesta.

Per scoprire come creare job di operazioni batch di archiviazione, vedi Creare e gestire job di operazioni batch di archiviazione.

Panoramica

Utilizza le operazioni batch di archiviazione per gestire un numero elevato di file nel tuo progetto. Per iniziare, crea una configurazione del job. La configurazione definisce le trasformazioni da applicare a oggetti specifici. Queste trasformazioni includono l'inserimento di blocchi oggetto, l'eliminazione di oggetti, l'aggiornamento dei metadati e dei contesti degli oggetti, la riscrittura degli oggetti e l'applicazione di patch ai controlli di accesso.

Quando invii un job di operazioni batch, puoi monitorarne lo stato per verificare quando il job applica tutte le trasformazioni specificate.

Vantaggi

Di seguito sono riportati i vantaggi delle operazioni batch di archiviazione:

  • Scalabilità: esegui trasformazioni su milioni di oggetti con un singolo job di operazioni batch di archiviazione.
  • Esecuzione serverless: esegui job batch in un ambiente serverless, eliminando la necessità di gestire l'infrastruttura.
  • Automazione: automatizza attività complesse e ripetitive per migliorare l'efficienza operativa.
  • Tempo di sviluppo ridotto: evita di scrivere e gestire script personalizzati complessi.
  • Integrazione del set di dati di Storage Insights: seleziona gli oggetti direttamente specificando le condizioni che corrispondono ai campi nei tuoi set di dati di Storage Insights. Questa selezione diretta elimina la necessità di assemblare manualmente un manifest CSV manifest o di eseguire query per esportare il set di dati da BigQuery.
  • Rendimento: completa le operazioni urgenti eseguendo più job batch simultanei. Ad esempio, puoi elaborare fino a un miliardo di oggetti entro tre ore.
  • Nuovi tentativi automatici: riprova automaticamente le operazioni non riuscite.
  • Monitoraggio dei job: monitora i progressi in dettaglio per monitorare lo stato e il completamento di tutti i job.

Casi d'uso

Le operazioni batch di archiviazione automatizzano e semplificano la gestione dell'archiviazione a livello di organizzazione. I seguenti scenari comuni descrivono come aiutano a proteggere, organizzare e gestire le risorse:

  • Proteggi i tuoi dati: gestisci la tua security posture su larga scala. Ad esempio, puoi ruotare le chiavi di crittografia su milioni di oggetti, applicare o rimuovere i blocchi oggetto per applicare l'immutabilità e applicare patch agli elenchi di controllo dell'accesso (ACL) in blocco per rimuovere l'accesso in lettura pubblico ai dati privati.

  • Mantieni la conformità: rispetta le normative sulla conservazione dei dati. Utilizza i blocchi oggetto mirati per applicare le regole di conservazione, impostare tempistiche di scadenza specifiche ed eliminare gli oggetti entro un periodo specifico per soddisfare i criteri di eliminazione.

  • Trasforma i dati su larga scala: esegui aggiornamenti collettivi delle proprietà degli oggetti. Ad esempio, puoi aggiornare i metadati degli oggetti personalizzati o fissi e taggare i file per i sistemi downstream aggiornando o cancellando i contesti personalizzati degli oggetti.

  • Gestisci i costi di archiviazione: ottimizza le spese di Cloud Storage. Ad esempio, puoi eliminare in blocco gli oggetti attivi non necessari, eliminare i record obsoleti eliminando definitivamente le versioni non correnti degli oggetti e spostare gli oggetti di archiviazione Standard in classi di archiviazione meno utilizzate, come l'archiviazione Archive, su larga scala.

Configurazioni dei job

Per creare un job di operazioni batch di archiviazione, imposta le seguenti configurazioni del job. Le configurazioni dei job sono parametri che controllano la modalità di elaborazione degli oggetti da parte del job.

  • Nome del job: un nome univoco per identificare il job di operazioni batch di archiviazione. Utilizza questo nome per monitorare e fare riferimento al job. I nomi dei job sono alfanumerici, ad esempio job-01.

  • Descrizione del job (facoltativa): una breve descrizione dello scopo del job. Questa descrizione ti aiuta a comprendere e documentare le azioni del job. Ad esempio, Deletes all objects in a bucket.

  • Elenco di bucket: un elenco separato da virgole di uno o più nomi di bucket contenenti gli oggetti che vuoi elaborare. Puoi specificare fino a 1000 bucket da qualsiasi progetto, a condizione che ogni bucket sia registrato in un piano di Storage Intelligence.

  • Selezione degli oggetti: i criteri di selezione che definiscono gli oggetti da elaborare. Puoi specificare i criteri utilizzando una delle seguenti opzioni:

    • Filtri dei set di dati: utilizza Common Expression Language (CEL) per filtrare gli oggetti in base ai campi dei metadati nel set di dati di Storage Insights. Puoi eseguire job batch sugli oggetti in più bucket di un progetto. Quando utilizzi i filtri dei set di dati per la selezione degli oggetti, le operazioni batch di archiviazione hanno come target gli oggetti attivi e correnti al momento dello snapshot del set di dati selezionato. Di conseguenza, il job include solo gli oggetti che hanno un valore NULL sia per softDeleteTime che per timeDeleted al momento dello snapshot. Per maggiori dettagli, vedi Creare un job utilizzando i filtri avanzati.

    • Manifest: crea un manifest e specifica la sua posizione quando crei il job di operazioni batch di archiviazione. Il manifest è un file CSV caricato in Google Cloud contenente l'elenco degli oggetti da elaborare. Ogni riga del manifest deve includere bucket e name dell'oggetto. Facoltativamente, puoi specificare la generation dell'oggetto. Se ometti il valore generation, il job elabora la versione live dell'oggetto.

      Il file manifest deve includere una riga di intestazione con il seguente formato:

      bucket,name,generation

      Di seguito è riportato un esempio di manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_2,object_3,generation_3

      Puoi anche creare un manifest utilizzando i set di dati di Storage Insights. Per maggiori dettagli, vedi Creare un manifest utilizzando i set di dati di Storage Insights.

    • Prefissi degli oggetti: specifica un elenco di prefissi per filtrare gli oggetti nel bucket. Il job elabora solo gli oggetti che corrispondono a questi prefissi. Se lasci vuoto l'elenco dei prefissi, il job elabora tutti gli oggetti nel bucket.

  • Tipo di prestazione: le operazioni batch di archiviazione supportano i seguenti tipi di prestazione, eseguendo un singolo job per operazione batch.

    • Eliminazione degli oggetti: elimina gli oggetti all'interno di un bucket per ottimizzare i costi, gestire il ciclo di vita dei dati e rispettare i criteri di eliminazione dei dati.

    • Aggiornamenti dei metadati: puoi modificare i seguenti metadati degli oggetti:

      • Metadati personalizzati: puoi aggiornare qualsiasi coppia chiave-valore definita dall'utente associata all'oggetto.

      • Metadati fissi: puoi aggiornare Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, e la configurazione della conservazione. Per modificare i blocchi oggetto, utilizza il tipo di prestazione di aggiornamento dei blocchi oggetto.

    • Aggiornamenti dei blocchi oggetto: puoi attivare o disattivare i blocchi oggetto. I blocchi oggetto impediscono l'eliminazione o la modifica degli oggetti. Questi blocchi sono essenziali per la conformità e la conservazione dei dati.

    • Aggiornamenti delle chiavi di crittografia degli oggetti: puoi gestire le chiavi di crittografia gestite dal cliente per uno o più oggetti. Questa funzionalità include l'applicazione o la modifica delle chiavi di crittografia utilizzando il metodo di riscrittura degli oggetti.

    • Aggiornamenti dei contesti degli oggetti: gestisci i contesti degli oggetti associati agli oggetti. Puoi cancellare tutti i contesti degli oggetti esistenti o apportare aggiornamenti specifici, ad esempio rimuovere le chiavi o inserire e aggiornare le coppie chiave-valore.

    • Aggiornamenti delle classi di archiviazione degli oggetti: puoi modificare la classe di archiviazione degli oggetti in blocco per ottimizzare i costi.

    • Aggiornamenti degli elenchi di controllo dell'accesso (ACL) degli oggetti: puoi applicare patch agli ACL degli oggetti per aggiungere, aggiornare o rimuovere le concessioni per entità come allUsers e allAuthenticatedUsers.

  • Dry run (facoltativo): utilizza la modalità dry run per evitare configurazioni errate su larga scala accidentali. Un dry run simula l'operazione senza eseguire trasformazioni. Questa simulazione ti aiuta a convalidare la configurazione del job prima di eseguire il job effettivo. I risultati del dry run forniscono un'anteprima dei seguenti dettagli prima dell'esecuzione del job:

    • Il numero di oggetti interessati dal job.

    • Potenziali errori.

    • Le dimensioni totali degli oggetti interessati, se filtri in base ai prefissi degli oggetti.

Prezzi

Per stimare i costi del job o del dry run, consulta Cloud Storage pricing.

Puoi utilizzare un dry run per convalidare la configurazione senza incorrere in costi operativi, anche se il dry run potrebbe comportare costi di elenco degli oggetti.

Limitazioni

Le operazioni batch di archiviazione presentano le seguenti limitazioni:

  • I job di operazioni batch di archiviazione hanno una durata massima di 14 giorni. Qualsiasi job in corso che non viene completato entro 14 giorni dalla creazione viene annullato automaticamente.

  • Puoi includere un massimo di 1000 prefissi di oggetti in un singolo job.

  • L'esecuzione di più di 10 job simultanei sullo stesso bucket peggiora il rendimento di ogni job.

  • Puoi eseguire un singolo job batch su un massimo di 1000 bucket in un progetto.

  • I filtri dei bucket e i filtri degli oggetti sono limitati a un massimo di 150 caratteri ciascuno.

  • Le operazioni batch di archiviazione selezionano automaticamente l'ora dello snapshot del set di dati di Storage Insights in base al manifest globale. Questa selezione associa tutti i bucket di destinazione alla stessa ora dello snapshot per l'individuazione degli oggetti. L'ora dello snapshot globale selezionata viene restituita nella risposta dell'API. Se l'ora dello snapshot è precedente a due giorni, la creazione del job non riesce. Per informazioni su come risolvere questo problema, vedi Risolvere i problemi relativi alle operazioni batch di archiviazione.

  • Le operazioni batch di archiviazione non sono supportate nei bucket con la funzionalità Richiedi pagamento abilitata.

  • Quando utilizzi i set di dati di Storage Insights per la selezione degli oggetti, le operazioni batch di archiviazione hanno come target gli oggetti attivi e correnti al momento dello snapshot del set di dati selezionato.

Passaggi successivi