Informazioni sull'accesso ai dati cross-cloud

La funzionalità di accesso ai dati cross-cloud ti consente di eseguire query sui dati archiviati in altri provider cloud direttamente da Google Cloud senza migrare i file o creare pipeline ETL complesse. Le query possono essere instradate tramite la rete internet pubblica o utilizzare Cross-Cloud Interconnect per il trasporto di rete privata.

Nell'ambito del Lakehouse senza confini, questa funzionalità unifica i workload di analisi e AI nei tuoi set di dati distribuiti tramite BigQuery, ambienti Apache Spark autonomi o Managed Service for Apache Spark.

Oltre a eseguire query analitiche, puoi creare agenti di analisi conversazionale basati sulle tue tabelle distribuite, incluse le origini cross-cloud, per analizzare i dati su più cloud da un'unica conversazione. Puoi anche utilizzare Knowledge Catalog per la profilazione dei dati e gli insight su piattaforme remote.

Casi d'uso

Lakehouse supporta diversi casi d'uso chiave per l'accesso ai dati su più provider cloud:

  • La riduzione dello spostamento dei dati ti consente di eseguire query direttamente sui dati archiviati in altri ambienti cloud, semplificando l'accesso e l'elaborazione dei dati.
  • L'analisi unificata ti consente di eseguire analisi avanzate con funzionalità coerenti e ottimizzazione dell'hardware su tutti i tuoi dati, indipendentemente da dove si trovano.
  • AI e ML senza confini ti consente di applicare modelli di AI, agenti autonomi e machine learning direttamente ai tuoi dati remoti senza migrarli.

Architettura

Il seguente diagramma illustra l'architettura di accesso ai dati cross-cloud di Lakehouse:

Architettura dell'accesso ai dati cross-cloud di Lakehouse tra Google Cloud, Amazon Web Services (AWS) e partner SaaS.
L'architettura di Lakehouse connette i motori di analisi e AI Google Cloud ai cataloghi cloud esterni, allo spazio di archiviazione degli oggetti e ai partner SaaS.

Il diagramma precedente illustra l'architettura in Google Cloud e ambienti cloud e SaaS esterni:

  • Google Cloud: fornisce AI, governance, analisi e accesso ai dati cross-cloud tra set di dati remoti:
    • Agenti AI ed esperienze: crea agenti autonomi in Conversational Analytics e Gemini Enterprise che cercano dati e significato semantico in Knowledge Catalog ed eseguono query tramite motori di analisi ed elaborazione.
    • Knowledge Catalog: offre governance unificata e derivazione dei dati, oltre a insight sui dati, profilazione e prodotti di dati, sincronizzando i metadati e la derivazione da Lakehouse.
    • Motori di analisi ed elaborazione: esegue i workload di BigQuery SQL, BigQuery AI e Looker o elabora i dati remoti con Managed Service for Apache Spark e i motori aperti (Apache Spark, Apache Flink e Trino) risolvendo i metadati e leggendo le tabelle tramite Lakehouse.
    • Accesso ai dati cross-cloud di Lakehouse: esegue query sui dati remoti in loco senza migrazione dei file o pipeline ETL:
      • Sincronizzazione dei metadati: rileva e sincronizza i metadati delle tabelle su Apache Iceberg REST e Delta Sharing utilizzando il catalogo di runtime Lakehouse, autentica tramite OpenID Connect (OIDC) o Secret Manager e fornisce credenziali temporanee con ambito.
      • Funzionalità cross-cloud (AWS): memorizza nella cache i blocchi di dati letti in Google Cloud utilizzando una cache read-through a livello di blocco (Memorizzazione intelligente nella cache (cache locale)) e instrada il traffico su Dedicated Cross-Cloud Interconnect (CCI), Partner Interconnect o internet (con TLS) utilizzando il trasporto di rete cross-cloud.
  • Origini dati cloud e SaaS esterne: ospita i cataloghi remoti, i cloud di dati SaaS e l'archivio di oggetti:
    • Cataloghi cloud e SaaS esterni: sincronizza i metadati dai cataloghi di dati cloud (AWS Glue Data Catalog su AWS, Databricks Unity Catalog e Snowflake Horizon Catalog su AWS o Google Cloud) e dai cloud di dati SaaS (Salesforce Data Cloud, Workday Data Lake su AWS oGoogle Cloude SAP Business Data Cloud (BDC)) tramite l'API REST Iceberg e Delta Sharing (per SAP BDC).
    • Archiviazione di oggetti cloud esterni (AWS): archivia le tabelle Apache Iceberg (file di dati Parquet) e le tabelle Amazon S3 in Amazon S3 per letture con blocco dirette su CCI o su internet (con TLS).

Come funziona l'accesso ai dati cross-cloud

Lakehouse esegue query sui dati remoti utilizzando il seguente processo:

  1. Rilevamento dei metadati: il Lakehouse di Google Cloud si connette ai cataloghi REST Apache Iceberg remoti, come Databricks Unity Catalog o AWS Glue. Lakehouse rileva i dati senza copiare alcun file. A seconda del provider del catalogo remoto, Lakehouse si autentica in modo sicuro tramite Secret Manager o la federazione di token OIDC con Google come provider di identità.
  2. Trasporto sicuro: la scelta di instradare il traffico su un'interconnessione privata (ad esempio, Dedicated CCI o Partner Interconnect) riduce notevolmente i costi di trasferimento dei dati rispetto alla rete internet pubblica e rende la latenza altamente prevedibile.
  3. Esecuzione ottimizzata: mentre le query leggono i dati dai cloud remoti, Lakehouse memorizza temporaneamente nella cache questi segmenti di dati localmente all'interno di Google Cloud su uno spazio di archiviazione specializzato. Le query successive utilizzano la cache locale, evitando così una parte significativa dei costi di traffico in uscita cross-cloud.

Cataloghi supportati

Lakehouse supporta l'esecuzione di query sui dati dei seguenti provider di cataloghi remoti:

Concetti principali

Questa sezione descrive i componenti chiave essenziali per l'utilizzo della funzionalità di accesso ai dati cross-cloud.

Livello dei metadati

Il livello di metadati si connette agli endpoint del catalogo REST Apache Iceberg remoto per sincronizzare i metadati delle risorse Iceberg (spazio dei nomi, tabella) in base a un intervallo di aggiornamento. Lakehouse si autentica in modo sicuro con le credenziali OAuth archiviate in Secret Manager o con la federazione dei token OIDC.

Livello di trasporto

Il livello di trasporto consente a BigQuery e ai motori open source di eseguire query sui dati utilizzando i metadati sincronizzati dal livello dei metadati. Per alcuni tipi di cataloghi remoti, Lakehouse supporta l'esecuzione di query sui dati tramite la rete internet pubblica o un'interconnessione privata dedicata.

Seleziona il metodo di trasporto che corrisponde ai tuoi requisiti di architettura e sicurezza:

Di proprietà del cliente (CCI)

Puoi configurare BigQuery per eseguire query sui dati archiviati nei bucket AWS Amazon S3 su una connessione Cross-Cloud Interconnect privata utilizzando Dedicated Cross-Cloud Interconnect o Partner Cross-Cloud Interconnect.

L'utilizzo di un'interconnessione privata offre i seguenti vantaggi:

  • Sicurezza avanzata: i dati viaggiano attraverso una connessione di rete privata tra Google Cloud e AWS, evitando la rete internet pubblica.
  • Costi ridotti: potenziali tariffe in uscita da AWS inferiori rispetto al traffico in uscita verso internet, soprattutto se combinate con la capacità di interconnessione privata.
  • Prestazioni costanti: latenza di rete e larghezza di banda più prevedibili rispetto alla rete internet pubblica.

Panoramica dell'architettura

Per abilitare le query private, configura un percorso da BigQuery al tuo bucket Amazon S3 AWS tramite l'interconnessione privata. Un componente chiave del Virtual Private Cloud (VPC) Google Cloudè un bilanciatore del carico interno (ILB). L'ILB distribuisce le richieste da BigQuery agli endpoint privati per Amazon S3 all'interno del tuo VPC AWS, di cui viene eseguito il provisioning utilizzando AWS PrivateLink.

L'utilizzo di un ILB con più interfacce di rete elastiche (ENI) come backend è essenziale per il bilanciamento del carico, la scalabilità e l'alta affidabilità. Questo vale sia che utilizzi Dedicated CCI o Partner Interconnect.

Il flusso di lavoro delle query private segue questa procedura:

  1. BigQuery utilizza una connessione configurata con un servizio Service Directory.
  2. Service Directory risolve il nome del servizio nell'indirizzo IP interno dell'ILB Google Cloud .
  3. L'ILB riceve le richieste da BigQuery e le distribuisce ai backend configurati.
  4. I backend del bilanciatore del carico interno sono gruppi di endpoint di rete (NEG) di connettività ibrida, ciascuno dei quali punta all'indirizzo IP privato di un ENI nel tuo VPC AWS.
  5. Il traffico fluisce dall'ILB, attraverso i NEG, tramite l'interconnessione privata, fino agli ENI AWS.
  6. Le ENI AWS, che fanno parte di un endpoint di interfaccia VPC Amazon S3 (AWS PrivateLink), forniscono l'accesso privato al servizio Amazon S3.

Internet pubblico (senza CCI)

Se non configuri un'interconnessione privata, per impostazione predefinita le query al catalogo remoto vengono inviate tramite l'internet pubblico.

Quando esegui query sui dati tramite l'internet pubblico, tieni presente le seguenti implicazioni:

  • Crittografia standard: le richieste di accesso ai dati e i trasferimenti di dati vengono criptati in transito utilizzando protocolli TLS standard su internet pubblico.
  • Costi di traffico in uscita: il trasferimento di dati comporta addebiti standard per il traffico in uscita verso internet dal tuo provider cloud remoto (ad esempio AWS), che in genere sono superiori alle tariffe per il traffico in uscita di un'interconnessione privata.
  • Latenza variabile: le prestazioni, la larghezza di banda e la latenza della rete dipendono dal routing e dalla congestione di internet pubblico, il che si traduce in tempi di esecuzione delle query meno prevedibili rispetto a un'interconnessione privata dedicata.
  • Configurazione semplificata: non richiede un'infrastruttura di networking aggiuntiva, il peering VPC o la configurazione di Service Directory in Google Cloud o nel tuo provider cloud remoto.

Panoramica dell'architettura

Quando esegui query sui dati tramite internet pubblico, Lakehouse si connette direttamente agli endpoint del catalogo remoto e dell'archivio di oggetti senza richiedere un'infrastruttura di networking cloud privata Google Cloud o remota.

Il flusso di lavoro per le query su internet pubblico segue questo processo:

  1. BigQuery avvia una query su una tabella remota definita nel catalogo Lakehouse.
  2. Lakehouse si autentica in modo sicuro con il tuo catalogo Apache Iceberg remoto utilizzando le credenziali archiviate in Secret Manager o la federazione dei token OIDC.
  3. Lakehouse recupera i metadati della tabella e i file manifest tramite l'internet pubblico per identificare i file di dati sottostanti pertinenti (ad esempio, in AWS Amazon S3).
  4. Le richieste di accesso ai dati per gli oggetti sottostanti vengono inviate direttamente daGoogle Cloud tramite internet pubblico utilizzando la crittografia TLS standard.
  5. Il servizio di archiviazione remota verifica la richiesta utilizzando credenziali temporanee con ambito fornite da Lakehouse e restituisce i blocchi di dati richiesti tramite internet pubblico a Google Cloud.

Memorizzazione nella cache intelligente

Quando esegui query sui dati cloud remoti, Lakehouse memorizza automaticamente nella cache i blocchi di dati recuperati localmente all'interno di Google Cloud. La memorizzazione nella cache viene attivata automaticamente per tutte le query cross-cloud per ridurre al minimo le tariffe per il traffico in uscita dai provider cloud remoti. Le query successive che hanno come target i dati memorizzati nella cache leggono direttamente dallo spazio di archiviazione Google Cloud locale, anziché recuperare nuovamente i dati tra i cloud.

Risparmi sui costi in uscita

Durante l'esecuzione iniziale della query, Lakehouse recupera i data block richiesti dal cloud provider remoto e compila la cache locale. Le query successive che hanno come target gli stessi blocchi di dati leggono direttamente dalla cache locale diGoogle Cloud anziché recuperare nuovamente i dati tra i cloud.

Per i workload con pattern di query ripetuti sullo stesso set di dati, la memorizzazione nella cache riduce le tariffe per il traffico in uscita tra cloud gestendo le richieste di dati dallo spazio di archiviazione locale. I risparmi effettivi sui costi in uscita dipendono da fattori quali i pattern di accesso alle query, i tassi di modifica dei dati e la conservazione della cache nella regione Google Clouddi destinazione.

Verifica dell'utilizzo della cache e dei risparmi sui costi in uscita nelle statistiche dei job

Per verificare le percentuali di successo della cache e i risparmi sui costi in uscita per una query, controlla le statistiche della query nella console o nell'API BigQuery (JobStatistics2). Poiché una query può fare riferimento a dati di più provider, le statistiche del job forniscono un campo object_storage_stats (objectStorageStats) ripetuto con una voce per ogni cloud provider a cui è stato eseguito l'accesso durante l'esecuzione.

Ogni voce object_storage_stats riporta le seguenti metriche:

  • cloud_provider (cloudProvider): il provider cloud che ospita l'archivio di oggetti (ad esempio AWS o AZURE).
  • cache_bytes_read (cacheBytesRead): il totale dei byte letti dalla cache Google Cloud locale, evitando una lettura dello spazio di archiviazione degli oggetti remoto.
  • object_storage_bytes_read (objectStorageBytesRead): i byte totali letti direttamente dall'archivio di oggetti del provider cloud remoto.

Considerazioni sulla residenza dei dati e sulla giurisdizione

La creazione di un catalogo o di una connessione remota in una regione Google Cloud archivia i dati memorizzati nella cache at-rest localmente all'interno della regione di destinazione.

Se la residenza dei dati cloud remoti si trova in una regione geografica o in una giurisdizione diversa (ad esempio, AWS Amazon S3 nell'Unione Europea accoppiato con il computing di BigQuery in us-east4), le query cross-cloud archiviano copie memorizzate nella cache dei dati at-rest dei dati remoti nella regioneGoogle Cloud di destinazione. L'utente o l'amministratore che crea la connessione o il catalogo deve assicurarsi che la memorizzazione nella cache tra giurisdizioni sia conforme ai requisiti di residenza dei dati, sovranità e conformità della propria organizzazione.

Supporto della crittografia e delle CMEK

Le chiavi di crittografia gestite dal cliente (CMEK) non sono supportate per la memorizzazione nella cache di Lakehouse. Tutti i blocchi di dati memorizzati nella cache sono criptati at-rest utilizzando la chiave predefinita diGoogle-owned and Google-managed encryption keys.

Se la tua organizzazione applica il vincolo della policy dell'organizzazione Limita i servizi non CMEK (constraints/gcp.restrictNonCmekServices), Lakehouse disattiva automaticamente la memorizzazione nella cache per le query che accedono alle tabelle con limitazioni. Le query vengono comunque eseguite correttamente, ma non memorizzano nella cache i data block né beneficiano dei risparmi sul traffico in uscita correlati alla cache.

Modalità di identità

Lakehouse supporta due modalità di identità per l'accesso ai dati cross-cloud:

  • Identità del servizio (predefinita): sia l'aggiornamento dei metadati in background sia le query vengono eseguiti utilizzando il account di servizio del catalogo, che può essere configurato con l'autenticazione OIDC (consigliata) o basata su secret.

  • Federazione delle identità utente: l'aggiornamento dei metadati in background viene eseguito utilizzando il account di servizio del catalogo, ma le query vengono eseguite utilizzando l'identità dell'utente finale e vengono propagate al catalogo remoto. In questo modo, il catalogo remoto può attribuire le query di Google Cloud agli utenti finali, consentendo l'applicazione delle autorizzazioni e la generazione di audit log. La federazione delle identità deve essere configurata nel catalogo remoto.

Passaggi successivi