Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo workload cloud, a comprendere le opzioni di archiviazione disponibili in Google Cloude a progettare una strategia di archiviazione che offra un valore tecnico e aziendale ottimale.
Per informazioni sulla selezione dei servizi di archiviazione per i workload di AI e ML, consulta Panoramica dei servizi di archiviazione per i workload di AI e ML in AI Hypercomputer.
Panoramica del processo di progettazione
In qualità di cloud architect, quando pianifichi lo spazio di archiviazione per un workload cloud, devi innanzitutto considerare le caratteristiche funzionali del workload, i vincoli di sicurezza, i requisiti di resilienza, le aspettative di prestazioni e gli obiettivi di costo. Successivamente, devi esaminare i servizi e le funzionalità di archiviazione disponibili inGoogle Cloud. Poi, in base ai tuoi requisiti e alle opzioni disponibili, selezioni i servizi e le funzionalità di archiviazione di cui hai bisogno. Il seguente diagramma mostra questo processo di progettazione in tre fasi:
Definisci i requisiti
Utilizza i questionari in questa sezione per definire i requisiti di archiviazione chiave del workload di cui vuoi eseguire il deployment in Google Cloud.
Linee guida per la definizione dei requisiti di archiviazione
Quando rispondi ai questionari, tieni presente le seguenti linee guida:
Definisci i requisiti in modo granulare
Ad esempio, se la tua applicazione richiede l'archiviazione di file basata su Network File System (NFS), identifica la versione NFS richiesta.
Considera i requisiti futuri
Ad esempio, il tuo deployment attuale potrebbe servire utenti in paesi dell'Asia, ma potresti pianificare di espandere l'attività in altri continenti. In questo caso, considera i requisiti normativi relativi allo spazio di archiviazione dei nuovi territori aziendali.
Considera le opportunità e i requisiti specifici del cloud
Sfrutta le opportunità specifiche del cloud.
Ad esempio, per ottimizzare il costo di archiviazione dei dati archiviati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando le policy di conservazione dei dati e le configurazioni del ciclo di vita.
Considera i requisiti specifici del cloud.
Ad esempio, i dati on-premise potrebbero trovarsi in un unico data center e potresti dover replicare i dati di cui è stata eseguita la migrazione in due localitàGoogle Cloud per la ridondanza.
Questionari
I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizzale come punto di partenza per analizzare sistematicamente tutti i requisiti di archiviazione del workload di cui vuoi eseguire il deployment su Google Cloud.
Valuta le caratteristiche del tuo workload
Che tipo di dati devi archiviare?
Esempi
- Contenuti di siti web statici
- Backup e archivi per il ripristino di emergenza
- Audit log per la conformità
- Oggetti di dati di grandi dimensioni che gli utenti scaricano direttamente
- Dati transazionali
- Dati non strutturati ed eterogenei
Di quanta capacità hai bisogno? Considera i tuoi requisiti attuali e futuri.
La capacità deve scalare automaticamente in base all'utilizzo?
Quali sono i requisiti di accesso? Ad esempio, i dati devono essere accessibili dall'esterno di Google Cloud?
Quali sono i pattern di lettura/scrittura previsti?
Esempi
- Scritture e letture frequenti
- Scritture frequenti, ma letture occasionali
- Scritture e letture occasionali
- Scritture occasionali, ma letture frequenti
Il workload richiede l'accesso basato su file, ad esempio utilizzando NFS?
Più client devono essere in grado di leggere o scrivere dati contemporaneamente?
Identifica i vincoli di sicurezza
Quali sono i tuoi requisiti di crittografia dei dati? Ad esempio, devi utilizzare chiavi che controlli?
Esistono requisiti di residenza dei dati?
Definisci i requisiti di resilienza dei dati
- Il tuo workload richiede la memorizzazione nella cache a bassa latenza o spazio temporaneo?
- Devi replicare i dati nel cloud per la ridondanza?
- Hai bisogno di una coerenza di lettura e scrittura rigorosa per i set di dati replicati?
Definisci le aspettative di rendimento
Qual è la frequenza di I/O richiesta?
Quali livelli di throughput di lettura e scrittura sono necessari per la tua applicazione?
Per quali ambienti hai bisogno di spazio di archiviazione? Per un determinato workload, potresti aver bisogno di uno spazio di archiviazione ad alte prestazioni per l'ambiente di produzione, ma potresti scegliere un'opzione con prestazioni inferiori per gli ambienti non di produzione.
Esamina le opzioni di archiviazione
Google Cloud offre servizi di archiviazione per tutti i principali formati di archiviazione: a blocchi, di file e di oggetti. Esamina e valuta le funzionalità, le opzioni di progettazione e i relativi vantaggi dei servizi disponibili per ogni formato di archiviazione.
Panoramica
Archiviazione a blocchi
I dati archiviati nell'archiviazione a blocchi sono suddivisi in blocchi, ognuno archiviato come un blocco separato con un indirizzo univoco. Le applicazioni accedono ai dati facendo riferimento agli indirizzi dei blocchi appropriati. L'archiviazione a blocchi è ottimizzata per i workload con IOPS elevati, come l'elaborazione delle transazioni. È simile ai sistemi SAN (Storage Area Network) e DAS (Directly Attached Storage) on-premise.
Le opzioni di archiviazione a blocchi in Google Cloud fanno parte del servizio Compute Engine.
| Opzione | Panoramica |
|---|---|
| Persistent Disk | Unità disco rigido (HDD) e unità a stato solido (SSD) dedicate per applicazioni aziendali e di database di cui è stato eseguito il deployment su VM di Compute Engine e cluster Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Spazio di archiviazione di rete veloce e ridondante per le VM di Compute Engine e i cluster GKE, con capacità che può essere aumentata dinamicamente e prestazioni configurabili. |
| SSD locale | Archiviazione a blocchi temporanea collegata in locale per applicazioni ad alte prestazioni. |
Archiviazione di file
I dati vengono organizzati e rappresentati in una gerarchia di file archiviati in cartelle, in modo simile al Network Attached Storage (NAS) on-premise. I file system possono essere montati sui client utilizzando protocolli come NFS e Server Message Block (SMB). Le applicazioni accedono ai dati utilizzando il nome file e il percorso della directory pertinenti.
Google Cloud offre una gamma di soluzioni completamente gestite per l'archiviazione di file.
| Soluzione | Panoramica |
|---|---|
| Filestore |
Archiviazione basata su file che utilizza file server NFS per VM di Compute Engine e cluster GKE. |
| Google Cloud Managed Lustre |
File system parallelo a bassa latenza per AI, computing ad alte prestazioni (HPC) e applicazioni ad alta intensità di dati. |
| Google Cloud NetApp Volumes | Archiviazione basata su file che utilizza i protocolli NFS, SMB o di archiviazione a blocchi. |
Archiviazione di oggetti
I dati vengono archiviati come oggetti in una gerarchia piatta di bucket. A ogni oggetto viene assegnato un ID univoco globale. Gli oggetti possono avere metadati assegnati dal sistema e definiti dall'utente per aiutarti a organizzare e gestire i dati. Le applicazioni accedono ai dati facendo riferimento agli ID oggetto, utilizzando le API REST o le librerie client.
Cloud Storage fornisce un'archiviazione di oggetti a basso costo, altamente durevole e altamente scalabile per diversi tipi di dati. I dati archiviati in Cloud Storage sono accessibili ovunque, sia all'interno che all'esterno di Google Cloud. La ridondanza facoltativa tra regioni offre alta affidabilità e disponibilità. Puoi selezionare una classe di archiviazione adatta ai tuoi requisiti di conservazione dei dati e frequenza di accesso.
Analisi comparativa
La tabella seguente elenca le funzionalità principali dei servizi di archiviazione inGoogle Cloud.
| Persistent Disk | Hyperdisk | SSD locale | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Limite di capacità |
64 TiB per disco e 257 TiB per VM. Specifiche più recenti: documentazione di Persistent Disk |
64 TiB per disco, 512 TiB per VM e 5 PiB per pool di archiviazione. I pool Google Cloud Hyperdisk Exapool sono pool Hyperdisk con capacità più elevata. Specifiche più recenti: Documentazione di Hyperdisk |
375 GiB per disco e 12.000 GiB per VM. I dischi Titanium SSD supportano fino a 6 TiB per disco e 84.000 GiB per VM. Specifiche più recenti: documentazione sulle unità SSD locali |
100 TiB per istanza, a seconda del livello di servizio. | 80,1 PiB per istanza, a seconda del livello di prestazioni. |
20 PiB per pool di archiviazione e 20 PiB per volume. Specifiche più recenti: Documentazione di NetApp Volumes |
5 TiB per oggetto, senza limiti per bucket (ad eccezione di Rapid Bucket). Specifiche più recenti: Documentazione di Cloud Storage |
|
Scalabilità |
|
|
Non scalabile | Scale up e scale down (livelli Zonale e Regionale) | Scale up | Scale up e scale down | Scalabilità automatica in base all'utilizzo |
| Condivisione |
Supportato | Supportato | Non condivisibile | Montabile su più VM di Compute Engine, client remoti e cluster GKE | Montabile su più VM Compute Engine e cluster GKE | Montabile su più VM di Compute Engine, client remoti e cluster GKE |
|
| Opzioni di chiave di crittografia |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| Persistenza |
Durata del disco | Durata del disco | Temporaneo (i dati vengono persi quando la VM viene arrestata o eliminata) | Durata dell'istanza Filestore | Durata dell'istanza Managed Lustre | Durata del volume | Durata del bucket |
| Disponibilità |
|
|
A livello di zona | A livello di zona |
|
| |
| Prestazioni |
Scalabilità lineare con dimensioni del disco e numero di CPU | Archiviazione permanente con scalabilità dinamica | Spazio di archiviazione temporaneo ad alte prestazioni | A livello di zona e regionale: prestazioni personalizzate | Scalabilità in base al livello di prestazioni selezionato. | Prestazioni scalabili Le aspettative dipendono dal livello di servizio. |
|
| Gestione |
Formatta e monta manualmente | Formatta e monta manualmente | Formatta, crea lo stripe e monta manualmente | Completamente gestito | Completamente gestito | Completamente gestito | Completamente gestito |
La tabella seguente elenca i tipi di workload per i quali è appropriata ogni opzione di archiviazione Google Cloud:
| Opzione di archiviazione | Tipi di workload |
|---|---|
| Hyperdisk o Persistent Disk |
|
| SSD locale |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Scegli un'opzione di archiviazione
La selezione di un'opzione di archiviazione prevede due parti:
- Decidere quali servizi di archiviazione ti servono.
- Scegliere le funzionalità e le opzioni di progettazione richieste in un determinato servizio.
Esempi di funzionalità e opzioni di progettazione specifiche per i servizi
Persistent Disk
- Regione e zona di deployment
- Replica regionale
- Tipo di disco, dimensioni e IOPS (per Extreme Persistent Disk)
- Chiavi di crittografia: Google-owned and Google-managed encryption keyso gestite dal cliente
- Pianificazione snapshot
Hyperdisk
- Regione e zona di deployment
- Tipo di disco, dimensioni e IOPS o throughput riservati
- Chiavi di crittografia: Google-owned and Google-managed encryption keyso gestite dal cliente
- Replica: sincrona o asincrona
- Pianificazione snapshot
Filestore
- Regione e zona di deployment
- Livello istanza
- Capacità
- Intervallo IP: allocato automaticamente o personalizzato
- Controllo degli accessi
Managed Lustre
- Zona di deployment
- Livello di capacità e prestazioni
- Chiavi di crittografia: Google-owned and Google-managed encryption keyso gestite dal cliente
NetApp Volumes
- Regione di deployment
- Livello di servizio per il pool di archiviazione
- Capacità del pool e del volume
- Protocollo del volume
- Regole di esportazione del volume
Cloud Storage
- Località: multiregione, a due regioni, singola regione, singola zona
- Classe di archiviazione: Standard, Nearline, Coldline, Archive o Rapid
- Controllo dell'accesso: uniforme o granulare
- Chiavi di crittografia: Google-owned and Google-managed encryption keys, gestite dal cliente o fornite dal cliente
- Criterio di conservazione
Suggerimenti per lo spazio di archiviazione
Utilizza i seguenti suggerimenti come punto di partenza per scegliere i servizi e le funzionalità di archiviazione che soddisfano i tuoi requisiti. Per indicazioni specifiche per i workload di AI e ML, consulta Panoramica dei servizi di archiviazione per i workload di AI e ML in AI Hypercomputer.
Per le applicazioni di AI, ML e HPC che richiedono un file system parallelo, utilizza Managed Lustre.
Per le applicazioni che richiedono l'accesso basato su file, scegli un servizio di archiviazione di file adatto in base ai tuoi requisiti di protocollo di accesso, disponibilità e prestazioni.
Protocollo di accesso Suggerimento NFS - Se hai bisogno di disponibilità a livello di regione e prestazioni elevate configurabili, utilizza Filestore Regional o NetApp Volumes Flex Unified.
- Se la disponibilità a livello di zona è sufficiente:
- Per configurare le prestazioni indipendentemente dalla capacità, utilizza Filestore Zonal o NetApp Volumes Flex Unified.
- Per prestazioni che scalano con la capacità, utilizza Filestore Zonal o NetApp Volumes Standard, Premium o Extreme.
Per saperne di più, consulta Livelli di servizio di Filestore e Livelli di servizio di NetApp Volumes.
SMB Utilizza NetApp Volumes. Per i workload che richiedono uno spazio di archiviazione primario con prestazioni elevate, utilizza Hyperdisk, SSD locale o Persistent Disk a seconda delle tue esigenze.
Requisito Suggerimento Disco temporaneo o cache rapida Utilizza i dischi SSD locali (temporanei). Archiviazione a blocchi con prestazioni e capacità scalabili in modo indipendente Utilizza Hyperdisk, l'archiviazione a blocchi durevole consigliata da Google e richiesta per le serie di macchine più recenti. Scegli un tipo di disco appropriato in base ai tuoi requisiti:
- Workload per uso generico:
hyperdisk-balanced - Workload con I/O elevato, ad esempio database ad alte prestazioni:
hyperdisk-extreme - Analisi dello scale out, unità di dati per app sensibili ai costi e archiviazione cold:
hyperdisk-throughput - Workload ML che richiedono un throughput elevato per più VM in modalità di sola lettura:
hyperdisk-mlin modalità di sola lettura - Più VM con accesso in scrittura simultaneo allo stesso disco:
hyperdisk-balanced-high-availability(in due zone di una regione) ohyperdisk-balancedohyperdisk-extreme(all'interno di una singola zona) in modalità multi-writer
Per saperne di più, consulta Informazioni su Hyperdisk.
Archiviazione a blocchi con capacità scalabile per VM di generazione precedente Utilizza Persistent Disk. Scegli un tipo di disco appropriato in base alle tue esigenze:
- IOPS sequenziali:
pd-standard - Workload ad alta intensità di IOPS:
pd-extremeopd-ssd - Equilibrio tra prestazioni e costi:
pd-balanced
Per saperne di più, consulta Informazioni su Persistent Disk.
- A seconda dei requisiti di ridondanza, scegli tra dischi a livello di zona e
a livello di regione.
Requisito Suggerimento Ridondanza all'interno di una singola zona in una regione Utilizza Hyperdisk o Persistent Disk a livello di zona. Ridondanza in più zone all'interno di una regione Utilizza Google Cloud Hyperdisk Balanced High Availability o un Persistent Disk a livello di regione.
- Workload per uso generico:
Per l'archiviazione su larga scala e disponibile a livello globale, utilizza Cloud Storage.
A seconda della frequenza di accesso ai dati e della durata dell'archiviazione, scegli una classe di Cloud Storage adatta.
Requisito Suggerimento La frequenza di accesso varia o il periodo di conservazione dei dati è sconosciuto o non prevedibile. Utilizza la funzionalità Autoclass per trasferire automaticamente gli oggetti di un bucket alle classi di archiviazione appropriate in base al pattern di accesso di ciascun oggetto. Spazio di archiviazione a livello di zona per workload che richiedono una latenza inferiore al millisecondo e un throughput elevato, come l'addestramento, il checkpointing, l'inferenza e l'analisi di AI e ML. Utilizza un bucket Rapid con la classe di archiviazione Rapid. Archiviazione per i dati ad accesso frequente, tra cui analisi ad alta velocità effettiva, data lake, siti web, video in streaming e app mobile. Utilizza la classe di archiviazione Standard.
Per memorizzare nella cache i dati a cui si accede di frequente e pubblicarli da località vicine ai client, utilizza Cloud CDN.
Per i workload con un numero elevato di letture, modifiche dei dati non frequenti e letture frequenti (come l'addestramento, l'inferenza e l'analisi ML), puoi migliorare le prestazioni di lettura e ridurre i costi di trasferimento di dati utilizzando Rapid Cache.
Archiviazione a basso costo per i dati ad accesso non frequente che possono essere archiviati per almeno 30 giorni (ad esempio, backup e contenuti multimediali long-tail). Utilizza la classe di archiviazione Nearline. Archiviazione a basso costo per i dati ad accesso non frequente che possono essere archiviati per almeno 90 giorni (ad esempio, ripristino di emergenza). Utilizza la classe di archiviazione Coldline. Archiviazione al costo più basso per i dati ad accesso non frequente che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi. Utilizza la classe di archiviazione Archive. Per un'analisi comparativa dettagliata, consulta Classi di Cloud Storage.
Opzioni di trasferimento dei dati
Dopo aver scelto i servizi di archiviazione Google Cloud appropriati, per eseguire il deployment e i workload, devi trasferire i dati in Google Cloud. I dati che devi trasferire potrebbero trovarsi on-premise o su altre piattaforme cloud.
Puoi utilizzare i seguenti metodi per trasferire i dati a Google Cloud:
- Trasferisci i dati online utilizzando Storage Transfer Service: automatizza il trasferimento di grandi quantità di dati tra sistemi di archiviazione di oggetti e file, tra cui Cloud Storage, Amazon S3, servizi di archiviazione Azure e origini dati on-premise.
- Trasferisci i dati offline utilizzando Transfer Appliance: trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, sono limitate o costose.
- Carica i dati in Cloud Storage: carica i dati online nei bucket Cloud Storage utilizzando la console Google Cloud , Google Cloud CLI, l'API Cloud Storage o le librerie client.
Quando scegli un metodo di trasferimento dei dati, considera fattori come le dimensioni dei dati, i vincoli di tempo, la disponibilità della larghezza di banda, gli obiettivi di costo e i requisiti di sicurezza e conformità. Per informazioni sulla pianificazione e sull'implementazione dei trasferimenti di dati a Google Cloud, consulta Opzioni di trasferimento dei dati.
Passaggi successivi
- Stima il costo di archiviazione utilizzando il Calcolatore prezzi diGoogle Cloud .
- Scopri le best practice per la creazione di una topologia cloud ottimizzata per sicurezza, resilienza, costi e prestazioni.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.
Collaboratori
Autore: Kumar Dhanagopal | Cross-Product Solution Developer
Altri collaboratori:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Technical Writer
- Jason Wu | Director, Product Management
- Jeff Allen | Solutions Architect
- Samantha He | Technical Writer
- Sean Derrington | Group Product Manager, Storage