Qu'est-ce qu'un lakehouse sans frontières ?

Borderless Lakehouse vous permet de créer des data lakehouses ouverts surGoogle Cloud en combinant le format de table ouvert Apache Iceberg avec un stockage géré. Cette architecture dissocie le stockage du calcul pour fournir une base unifiée pour les charges de travail d'analyse et d'IA.

Pour gérer les métadonnées des tables ouvertes, Lakehouse utilise le catalogue d'environnements d'exécution Lakehouse, un service de métadonnées sans serveur qui centralise la découverte et élimine la synchronisation entre les dépôts. Cette conception permet à plusieurs moteurs, y compris Managed Service pour Apache Spark, Apache Flink, Apache Hive, Trino et BigQuery, d'accéder directement à une source unique de vérité sans duplication des données.

Principaux avantages

  • Architecture sans serveur : le lakehouse Google Cloud élimine le besoin de gérer des serveurs ou des clusters, ce qui réduit les frais opérationnels et permet un scaling automatique en fonction de la demande. Pour les charges de travail de calcul, les sessions interactives et par lot sans serveur éliminent les conflits de ressources entre les jobs et automatisent la maintenance de l'infrastructure.
  • Interopérabilité en lecture et en écriture : les moteurs Open Source et BigQuery peuvent lire et écrire les mêmes tables Apache Iceberg (les écritures BigQuery sont en version preview), et la gestion des tables (version preview) facultative automatise la compression, l'expiration des instantanés et la récupération de mémoire.
  • Gestion et gouvernance unifiées des données : l'intégration à Knowledge Catalog vous aide à définir et à appliquer de manière centralisée des règles de gouvernance sur plusieurs moteurs, et fournit des fonctionnalités de recherche sémantique, de traçabilité des données et de contrôle qualité.
  • Extensions de stockage : le lakehouse de Google Cloud étend les fonctionnalités de gestion de Cloud Storage pour inclure des fonctionnalités telles que la hiérarchisation Autoclass et les clés de chiffrement gérées par le client (CMEK).
  • Expérience entièrement gérée : lorsqu'il est intégré à BigQuery, le lakehouse de Google Cloud offre une expérience d'analyse et d'IA entièrement gérée.
  • Haute disponibilité et reprise après sinistre : le lakehouse Google Cloud propose des options de réplication interrégionale et de reprise après sinistre (preview) pour assurer la haute disponibilité de vos données.

Cas d'utilisation

  • Lakehouse ouvert : utilisez Cloud Storage comme couche de stockage. Le Lakehouse de Google Cloud fournit l'interface de gestion et de gouvernance pour les données Apache Iceberg.
  • Intégration analytique et transactionnelle : accédez aux tables Apache Iceberg analytiques directement dans AlloyDB pour PostgreSQL (preview) pour combiner les données analytiques aux charges de travail transactionnelles.
  • Accès unifié : permettez à différents moteurs (Apache Spark, Apache Flink, BigQuery) d'interagir avec les mêmes tables Apache Iceberg avec des métadonnées cohérentes.
  • Analyse et IA cross-cloud : accédez aux données cross-cloud dans Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake et SAP Business Data Cloud (SAP BDC). Les catalogues fédérés synchronisent les métadonnées de ces fournisseurs afin que vous puissiez interroger les données avec BigQuery ou des moteurs Open Source sans les migrer.
  • Exploration d'ensembles de données publics : interrogez des ensembles de données publics via le point de terminaison du catalogue REST Apache Iceberg sans gérer d'infrastructure.
  • Metastore Hive : connectez des moteurs Open Source tels qu'Apache Spark et Apache Hive au catalogue d'environnements d'exécution Lakehouse à l'aide du point de terminaison du catalogue Apache Hive. Cela élimine les frais de fonctionnement liés à la maintenance d'un metastore Hive (HMS) auto-hébergé, tout en vous permettant de partager des données et d'interroger des tables directement dans BigQuery.
  • Modernisation du métastore : migrez les métadonnées de Dataproc Metastore ou d'autres métastores externes vers le catalogue d'environnements d'exécution Lakehouse sans copier les fichiers de données.

Interfaces et outils

Vous pouvez interagir avec les ressources Lakehouse de Google Cloud à l'aide des outils suivants :

  • ConsoleGoogle Cloud  : utilisez la console pour créer des catalogues, afficher leurs propriétés, consulter les journaux d'audit et configurer les autorisations.
  • BigQuery SQL : utilisez GoogleSQL pour interroger les tables Apache Iceberg dans le catalogue d'environnements d'exécution Lakehouse et les tables externes, et utilisez le LDD et le LMD (preview) pour créer et modifier des tables Apache Iceberg dans le catalogue d'environnements d'exécution Lakehouse.
  • Google Cloud CLI, API REST et Terraform : créez et gérez des catalogues, des espaces de noms, des tables et des règles d'accès de manière programmatique.
  • Moteurs Open Source : utilisez des moteurs tels qu'Apache Spark, Apache Flink, Trino et Apache Hive avec le catalogue d'environnements d'exécution Lakehouse pour lire et écrire des données.
  • IDE et notebooks : utilisez des notebooks Apache Spark interactifs et des extensions d'IDE, comme l'extension Data Agent Kit (DAK) pour VS Code, pour vous authentifier auprès de Google Cloud, créer du code de manière interactive et gérer des sessions de notebook directement dans votre environnement de développement.
  • Outils d'orchestration et de MLOps : intégrez des pipelines de traitement par lot sans serveur et des opérations de catalogue à des workflows d'orchestration à l'aide de Managed Service pour Apache Airflow (anciennement Cloud Composer) et de Kubeflow Pipelines dans Vertex AI.
  • API de catalogue REST Apache Iceberg : utilisez le point de terminaison du catalogue REST Apache Iceberg pour interagir avec le service à l'aide d'outils compatibles avec la spécification REST Apache Iceberg ouverte.
  • Compatibilité avec les tables Apache Iceberg : les tables Apache Iceberg V2 (disponibilité générale) et V3 (preview) sont compatibles. Les tables Iceberg V1 ne sont pas acceptées.

Étapes suivantes