Che cos'è una lakehouse senza confini?

Borderless Lakehouse ti consente di creare data lakehouse aperti suGoogle Cloud combinando il formato di tabella aperta Apache Iceberg con lo spazio di archiviazione gestito. Questa architettura disaccoppia lo spazio di archiviazione dal computing per fornire una base unificata per i workload di analisi e AI.

Per gestire i metadati delle tabelle aperte, Lakehouse utilizza il catalogo di runtime Lakehouse, un servizio di metadati serverless che centralizza il rilevamento ed elimina la sincronizzazione tra repository. Questo design consente a più motori, tra cui Managed Service per Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, di accedere direttamente a una Single Source Of Truth senza duplicazione dei dati.

Vantaggi principali

  • Architettura serverless: il lakehouse di Google Cloud elimina la necessità di gestire server o cluster, riducendo l'overhead operativo e scalando automaticamente in base alla domanda. Per i workload di computing, le sessioni interattive e batch serverless eliminano la contesa delle risorse tra i job e automatizzano la manutenzione dell'infrastruttura.
  • Interoperabilità di lettura e scrittura: i motori open source e BigQuery possono leggere e scrivere le stesse tabelle Apache Iceberg (le scritture di BigQuery sono in anteprima) e la gestione delle tabelle facoltativa (anteprima) automatizza la compattazione, la scadenza degli snapshot e la garbage collection.
  • Gestione e governance dei dati unificate: l'integrazione con Knowledge Catalog ti aiuta a definire e applicare centralmente le policy di governance su più motori e fornisce ricerca semantica, derivazione dei dati e controlli di qualità.
  • Estensioni di archiviazione: il lakehouse di Google Cloud estende le funzionalità di gestione di Cloud Storage per includere funzionalità come il tiering della classe automatica e le chiavi di crittografia gestite dal cliente (CMEK).
  • Esperienza completamente gestita: se integrato con BigQuery, il lakehouse di Google Cloud offre un'esperienza di analisi e AI completamente gestita.
  • Alta affidabilità e ripristino di emergenza: il lakehouse di Google Cloud offre opzioni per la replica tra regioni e ripristino di emergenza (anteprima) per supportare l'alta affidabilità dei tuoi dati.

Casi d'uso

  • Lakehouse aperto: utilizza Cloud Storage come livello di archiviazione e Lakehouse di Google Cloud fornisce l'interfaccia di gestione e governance per i dati Apache Iceberg.
  • Integrazione analitica e transazionale: accedi alle tabelle Apache Iceberg analitiche direttamente in AlloyDB per PostgreSQL (anteprima) per combinare i dati analitici con i workload transazionali.
  • Accesso unificato: consenti a diversi motori (Apache Spark, Apache Flink, BigQuery) di interagire con le stesse tabelle Apache Iceberg con metadati coerenti.
  • Analisi e AI cross-cloud: accedi ai dati cross-cloud in Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake e SAP Business Data Cloud (SAP BDC). I cataloghi federati sincronizzano i metadati di questi provider in modo da poter eseguire query sui dati con BigQuery o motori open source senza eseguirne la migrazione.
  • Esplorazione di set di dati pubblici: esegui query su set di dati pubblici tramite l'endpoint del catalogo REST Apache Iceberg senza gestire l'infrastruttura.
  • Metastore Hive: connetti motori open source come Apache Spark e Apache Hive al catalogo di runtime Lakehouse utilizzando l'endpoint del catalogo Apache Hive. In questo modo, si elimina l'overhead operativo della manutenzione di un Hive Metastore (HMS) in hosting autonomo, consentendoti al contempo di condividere i dati ed eseguire query sulle tabelle direttamente in BigQuery.
  • Modernizzazione del metastore: esegui la migrazione dei metadati da Dataproc Metastore o da altri metastore esterni al catalogo di runtime di Lakehouse senza copiare i file di dati.

Interfacce e strumenti

Puoi interagire con le risorse Lakehouse di Google Cloud utilizzando i seguenti strumenti:

  • ConsoleGoogle Cloud : utilizza la console per creare cataloghi, visualizzare le proprietà dei cataloghi, visualizzare gli audit log e configurare le autorizzazioni.
  • BigQuery SQL: utilizza GoogleSQL per eseguire query sulle tabelle Apache Iceberg nel catalogo di runtime Lakehouse e sulle tabelle esterne, nonché DDL e DML (anteprima) per creare e modificare le tabelle Apache Iceberg nel catalogo di runtime Lakehouse.
  • Google Cloud CLI, API REST e Terraform: crea e gestisci cataloghi, spazi dei nomi, tabelle e policy di accesso in modo programmatico.
  • Motori open source: utilizza motori come Apache Spark, Apache Flink, Trino e Apache Hive con il catalogo di runtime Lakehouse per leggere e scrivere dati.
  • IDE e notebook: utilizza notebook Apache Spark interattivi ed estensioni IDE, come l'estensione Data Agent Kit (DAK) per VS Code, per autenticarti su Google Cloud, creare codice in modo interattivo e gestire le sessioni dei notebook direttamente nel tuo ambiente di sviluppo.
  • Strumenti di orchestrazione e MLOps: integra pipeline batch serverless e operazioni di catalogo con workflow di orchestrazione utilizzando Managed Service for Apache Airflow (in precedenza Cloud Composer) e Kubeflow Pipelines in Vertex AI.
  • API Apache Iceberg REST Catalog: utilizza l'endpoint del catalogo REST Apache Iceberg per interagire con il servizio utilizzando strumenti compatibili con la specifica REST Apache Iceberg aperta.
  • Supporto delle tabelle Apache Iceberg: sono supportate le tabelle Apache Iceberg V2 (disponibilità generale) e V3 (anteprima). Le tabelle Iceberg V1 non sono supportate.

Passaggi successivi