Cloud Storage offre Rapid Bucket e Rapid Cache per aiutarti a ottimizzare l'archiviazione dei dati per casi d'uso ad alte prestazioni come l'intelligenza artificiale (AI), il machine learning (ML) e l'analisi ad alta intensità di dati. Questo documento presenta queste opzioni e ti aiuta a selezionare quella più adatta alle esigenze dei tuoi workload.
La famiglia di prodotti Cloud Storage Rapid
Cloud Storage Rapid è una famiglia di prodotti ad alte prestazioni di Cloud Storage progettati per eliminare i colli di bottiglia dei dati per i workload di AI/ML e analisi dei dati. Man mano che i modelli di AI/ML diventano più complessi e i set di dati raggiungono scale di petabyte, le prestazioni dello spazio di archiviazione diventano spesso il principale collo di bottiglia per i costosi cluster di GPU e TPU. Cloud Storage Rapid sfrutta le architetture a livello di zona per avvicinare i dati alle risorse di computing, aiutando gli acceleratori a rimanere saturi, ridurre i tempi di addestramento e abbassare il costo totale di proprietà (TCO) per i workload più impegnativi.
Cloud Storage Rapid include Rapid Bucket e Rapid Cache.
Archivia i dati nella classe di archiviazione Rapid Storage utilizzando un bucket Rapid
Rapid Bucket è una soluzione di archiviazione di oggetti a livello di zona ad alte prestazioni che ti consente di archiviare i dati nella classe di archiviazione Rapid definendo una zona come località di un bucket. Il bucket Rapid ti consente di collocare i tuoi dati nella stessa zona fisica degli acceleratori AI e ti aiuta a ottenere la latenza più bassa e il throughput più elevato tra le altre offerte di prodotti Cloud Storage. Il bucket Rapid offre una latenza inferiore al millisecondo, un throughput aggregato fino a 15 TB/s e supporta fino a 20 milioni di query al secondo (QPS).
Rapid Bucket supporta aggiunte di oggetti in modalità flusso stateful, consentendo alle applicazioni di scrivere dati in oggetti esistenti in tempo reale. Questa funzionalità ti consente di evitare costose riscritture degli oggetti e di ottenere una visibilità immediata dei dati, consentendo alle applicazioni consumer di leggere i dati durante la scrittura.
Utilizzo ottimale: addestramento, checkpointing e gestione di modelli di AI che richiedono latenza ultra bassa e prestazioni deterministiche elevate
Utilizza questa opzione se: vuoi prestazioni elevate dedicate sia per le letture che per le scritture
Per scoprire come creare bucket a livello di zona con Rapid Bucket, consulta Crea bucket a livello di zona.
Crea cache di zona con Rapid Cache
Rapid Cache è una cache di lettura a livello di zona completamente gestita e basata su SSD che funziona con i bucket regionali, a due regioni o multiregionali esistenti senza richiedere modifiche alle API. Una cache offre capacità di archiviazione e larghezza di banda temporanee che fanno lo scale up o lo scale down automaticamente in base alle esigenze dei tuoi workload. I dati vengono importati automaticamente nella cache dal bucket quando vengono letti da una VM che si trova nella stessa zona della cache.
Rapid Cache fornisce 2,5 TB/s di throughput aggregato e riduce la latenza per letture più rapide collocando i dati nelle stesse zone delle VM. Oltre a pubblicare i dati più velocemente, i dati pubblicati da una cache possono comportare tariffe per il trasferimento di dati, il recupero di dati e le operazioni inferiori rispetto ai dati pubblicati direttamente da un bucket. Per saperne di più, consulta Vantaggi per Rapid Cache.
Utilizzo ottimale: addestramento, ripristini di checkpoint e distribuzione di modelli di AI che richiedono una larghezza di banda di lettura elevata da un bucket Cloud Storage esistente
Utilizza questa opzione se: hai un datastore esistente in un bucket Cloud Storage che vuoi accelerare
Per scoprire come utilizzare Rapid Cache, consulta Crea e gestisci le cache.