O que é o Lakehouse sem fronteiras?

O Lakehouse sem fronteiras permite criar data lakehouses abertos no Google Cloud combinando o formato de tabela aberta do Apache Iceberg com o armazenamento gerenciado. Essa arquitetura separa o armazenamento da computação para fornecer uma base unificada para cargas de trabalho de análise e IA.

Para gerenciar metadados de tabelas abertas, o Lakehouse usa o catálogo do ambiente de execução do Lakehouse, um serviço de metadados sem servidor que centraliza a descoberta e elimina a sincronização entre repositórios. Esse design permite que vários mecanismos, incluindo o Serviço Gerenciado para Apache Spark, Apache Flink, Apache Hive, Trino e BigQuery, acessem diretamente uma única fonte de verdade sem duplicação de dados.

Principais vantagens

  • Arquitetura sem servidor: o Lakehouse do Google Cloud elimina a necessidade de gerenciamento de servidores ou gerenciador de clusters, reduzindo a sobrecarga operacional e escalonando automaticamente com base na demanda. Para cargas de trabalho de computação, as sessões interativas e em lote sem servidor removem a contenção de recursos entre jobs e automatizam a manutenção da infraestrutura.
  • Interoperabilidade de leitura e gravação: os mecanismos de código aberto e o BigQuery podem ler e gravar as mesmas tabelas do Apache Iceberg (as gravações do BigQuery estão em pré-lançamento), e o gerenciamento de tabelas opcional (pré-lançamento) automatiza a compactação, a expiração de snapshots e a coleta de lixo.
  • Gerenciamento e governança de dados unificados: a integração com o Catálogo de Conhecimento ajuda a definir e aplicar centralmente políticas de governança em vários mecanismos, além de fornecer pesquisa semântica, linhagem de dados e verificações de qualidade.
  • Extensões de armazenamento: o Lakehouse do Google Cloud amplia os recursos de gerenciamento do Cloud Storage para incluir recursos como o nível de classe automática e as chaves de criptografia gerenciadas pelo cliente (CMEK).
  • Experiência totalmente gerenciada: quando integrado ao BigQuery, o Lakehouse do Google Cloud oferece uma experiência de análise e IA totalmente gerenciada.
  • Alta disponibilidade e recuperação de desastres: o Lakehouse do Google Cloud oferece opções de replicação entre regiões e recuperação de desastres (pré-lançamento) para garantir a alta disponibilidade dos seus dados.

Casos de uso

  • Lakehouse aberto: use o Cloud Storage como a camada de armazenamento, e o Lakehouse do Google Cloud fornece a interface de gerenciamento e governança para dados do Apache Iceberg.
  • Integração analítica e transacional: acesse tabelas analíticas do Apache Iceberg diretamente no AlloyDB para PostgreSQL (pré-lançamento) para combinar dados analíticos com cargas de trabalho transacionais.
  • Acesso unificado: permita que diferentes mecanismos (Apache Spark, Apache Flink, BigQuery) interajam com as mesmas tabelas do Apache Iceberg com metadados consistentes.
  • Análise e IA entre nuvens: acesse dados entre nuvens no Databricks Unity Catalog, no AWS Glue Data Catalog, no Snowflake Horizon Catalog, no Workday Data Lake e no SAP Business Data Cloud (SAP BDC). Os catálogos federados sincronizam os metadados desses provedores para que você possa consultar os dados com o BigQuery ou mecanismos de código aberto sem migrá-los.
  • Análise de conjuntos de dados públicos: consulte conjuntos de dados públicos pelo endpoint do catálogo REST do Apache Iceberg sem gerenciar a infraestrutura.
  • Metastore do Hive: conecte mecanismos de código aberto, como o Apache Spark e o Apache Hive, ao catálogo do ambiente de execução do Lakehouse usando o endpoint do catálogo do Apache Hive. Isso elimina a sobrecarga operacional de manter um metastore do Hive (HMS) auto-hospedado, permitindo que você compartilhe dados e consulte tabelas diretamente no BigQuery.
  • Modernização do metastore: migre metadados do Dataproc Metastore ou de outros metastores externos para o catálogo do ambiente de execução do Lakehouse sem copiar arquivos de dados.

Interfaces e ferramentas

É possível interagir com os recursos do Lakehouse do Google Cloud usando as seguintes ferramentas:

  • Console doGoogle Cloud : use o console para criar catálogos, visualizar propriedades de catálogos, visualizar registros de auditoria e configurar permissões.
  • SQL do BigQuery: use o GoogleSQL para consultar tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse e tabelas externas, além de usar DDL e DML (pré-lançamento) para criar e modificar tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse.
  • Google Cloud CLI, API REST e Terraform: crie e gerencie catálogos, namespaces, tabelas e políticas de acesso de maneira programática.
  • Mecanismos de código aberto: use mecanismos como Apache Spark, Apache Flink, Trino e Apache Hive com o catálogo do ambiente de execução do Lakehouse para ler e gravar dados.
  • IDEs e notebooks: use notebooks interativos do Apache Spark e extensões de IDE, como a extensão Data Agent Kit (DAK) para VS Code, para autenticar no Google Cloud, criar códigos de forma interativa e gerenciar sessões de notebook diretamente no seu ambiente de desenvolvimento.
  • Ferramentas de orquestração e MLOps: integre pipelines de lote sem servidor e operações de catálogo com fluxos de trabalho de orquestração usando o Serviço Gerenciado para Apache Airflow (antigo Cloud Composer) e o Kubeflow Pipelines na Vertex AI.
  • API Apache Iceberg REST Catalog: use o endpoint do catálogo REST do Apache Iceberg para interagir com o serviço usando ferramentas compatíveis com a especificação REST aberta do Apache Iceberg.
  • Suporte a tabelas do Apache Iceberg: as tabelas do Apache Iceberg V2 (disponibilidade geral) e V3 (pré-lançamento) são compatíveis. As tabelas do Iceberg V1 não são compatíveis.

A seguir