Le catalogue d'environnements d'exécution Lakehouse vous permet de modifier les tables Apache Iceberg pour faire évoluer les schémas (par exemple, en ajoutant des colonnes) et de configurer les propriétés des tables. Ces mises à jour vous aident à stocker des métadonnées personnalisées ou à activer des fonctionnalités gérées par BigQuery (preview), y compris le langage de manipulation de données (LMD) BigQuery et la maintenance automatique des tables.
Vous pouvez modifier des tables à l'aide de la console Google Cloud , d'Apache Spark, de Trino, de BigQuery (preview) ou de l'API REST. Pour mettre à jour les propriétés d'une table à partir de la ligne de commande, vous pouvez également utiliser la Google Cloud CLI.
Avant de commencer
-
Vérifiez que la facturation est activée pour votre projet Google Cloud .
-
Activez l'API BigLake si ce n'est pas déjà fait.
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles. - Configurez le catalogue d'environnements d'exécution Lakehouse avec le point de terminaison du catalogue REST Apache Iceberg.
Rôles requis
Pour obtenir les autorisations nécessaires pour modifier une table, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet et votre bucket de stockage :
-
Modifier une table en mode de distribution des identifiants : Éditeur BigLake (
roles/biglake.editor) - le projet -
Modifier la table en mode de distribution sans identifiants :
- Éditeur BigLake (
roles/biglake.editor) : le projet - Utilisateur d'objets Storage (
roles/storage.objectUser) : sur le bucket Cloud Storage.
- Éditeur BigLake (
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
Fonctionnalités et compatibilité des tables
Lorsque vous utilisez des tables dans le catalogue d'environnements d'exécution Lakehouse, il est utile de comprendre les différents types de tables et leurs fonctionnalités d'activation. Pour en savoir plus sur l'utilisation des tables Apache Iceberg, consultez Présentation des tables Apache Iceberg.
Tables Iceberg compatibles
Seules les tables Apache Iceberg V2 (disponibilité générale) et V3 (preview) sont acceptées. Les tables Iceberg V1 ne sont pas compatibles. Pour mettre à niveau des tables V1 existantes, consultez Mettre à niveau des tables Iceberg V1 vers la version V2.
Utiliser les options de table (preview)
Vous pouvez choisir d'utiliser des fonctionnalités gérées par BigQuery, telles que le langage de manipulation de données (LMD) BigQuery et la gestion automatique des tables, en configurant des propriétés de table spécifiques. Ces fonctionnalités sont activées de différentes manières selon l'endroit où la table est créée :
- Depuis BigQuery : le LMD BigQuery et la gestion automatique des tables sont activés par défaut.
- À partir de moteurs Open Source : pour activer cette option, vous devez configurer explicitement les propriétés de la table. Pour en savoir plus, consultez Configurer les options de table.
Pour obtenir des instructions détaillées, consultez Configurer les options de table.
Modifier une table
Sélectionnez l'une des options suivantes :
Console
Dans la console Google Cloud , accédez à la page Lakehouse.
Sélectionnez un catalogue existant ou créez-en un si vous n'en avez pas.
Sélectionnez un espace de noms existant ou créez-en un si vous n'en avez pas.
Sur la page Détails de l'espace de noms, dans l'onglet Tables, cliquez sur le nom de la table que vous souhaitez modifier. La page Détails de la table s'ouvre.
Pour ajouter des colonnes au schéma de la table, procédez comme suit :
- Cliquez sur l'onglet Schéma.
- Cliquez sur Modifier le schéma.
- Dans la section Nouveaux champs, cliquez sur Ajouter un champ. Dans Nom du champ, saisissez un nom de colonne, puis dans la liste Type, sélectionnez un type de données. Pour saisir des champs sous forme de texte, activez l'option Modifier sous forme de texte, puis saisissez des paires
name:typeau format JSON ou séparées par une virgule. - Cliquez sur Enregistrer.
Pour mettre à jour les propriétés d'une table, procédez comme suit :
- Cliquez sur l'onglet Détails.
- Cliquez sur Modifier les détails.
Dans la section Propriétés, modifiez les valeurs des propriétés existantes. Pour ajouter une propriété personnalisée, cliquez sur Ajouter une propriété, puis saisissez la clé et la valeur de la propriété dans les champs Clé et Valeur.
Par exemple, pour activer le LMD BigQuery ou la maintenance automatique des tables, saisissez
truedans le champ Valeur pourgcp.biglake.bigquery-dml.enabledougcp.biglake.table-management.enabled. Pour en savoir plus, consultez Configurer les options de table.Cliquez sur Mettre à jour.
Spark
spark.sql("ALTER TABLE TABLE_NAME ADD COLUMNS ( desc string);")
spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()
Pour activer l'interopérabilité en lecture/écriture et la maintenance des tables, définissez les propriétés à l'aide de la clause SET TBLPROPERTIES :
SET TBLPROPERTIES (
'gcp.biglake.bigquery-dml.enabled' = true,
'gcp.biglake.table-management.enabled' = true
)
Trino
ALTER TABLE TABLE_NAME ADD COLUMN desc varchar;
DESCRIBE SCHEMA_NAME.TABLE_NAME;
Pour activer l'interopérabilité en lecture/écriture et la maintenance des tables, vous pouvez configurer les propriétés de table suivantes :
'gcp.biglake.bigquery-dml.enabled' = true'gcp.biglake.table-management.enabled' = true
gcloud
Pour mettre à jour les propriétés d'une table à l'aide de gcloud, exécutez la commande gcloud biglake iceberg tables update.
gcloud biglake iceberg tables update TABLE_NAME \ --project="PROJECT_ID" \ --catalog="CATALOG_ID" \ --namespace="NAMESPACE_NAME" \ --update-properties="KEY=VALUE,..."
Remplacez les éléments suivants :
TABLE_NAME: nom de votre table Iceberg.PROJECT_ID: ID de votre projet Google Cloud.CATALOG_ID: ID de votre catalogue.NAMESPACE_NAME: nom de l'espace de noms de votre catalogue.KEY=VALUE,...: propriétés de la table à ajouter ou à mettre à jour.
BigQuery
Pour mettre à jour les propriétés d'une table Apache Iceberg dans le catalogue d'environnements d'exécution Lakehouse à partir de BigQuery (par exemple, pour activer le LMD BigQuery ou la maintenance automatique des tables), utilisez l'instruction GoogleSQL ALTER TABLE suivante :
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
SET OPTIONS (`properties.gcp.biglake.table-management` = "enabled");
Pour mettre à jour le schéma et ajouter une colonne dans une table Apache Iceberg du catalogue d'environnements d'exécution Lakehouse à partir de BigQuery, utilisez l'instruction GoogleSQL ALTER TABLE suivante :
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
ADD COLUMN new_column STRING;
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet Google Cloud.CATALOG_ID: identifiant de votre catalogue d'environnements d'exécution Lakehouse.NAMESPACE: nom de votre espace de noms Iceberg.TABLE_NAME: nom de votre table Iceberg.
REST
Pour valider les modifications apportées à une table Iceberg à l'aide de l'API REST, envoyez une requête POST au point de terminaison UpdateIcebergTable (CommitTable) :
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/tables/TABLE_NAME
Le corps de la requête doit contenir une charge utile JSON Iceberg CommitTableRequest valide définissant l'exigence de base et la liste des mises à jour de métadonnées à appliquer.
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet Google Cloud .CATALOG_ID: ID de votre catalogue.NAMESPACE_NAME: nom de l'espace de noms de votre catalogue.TABLE_NAME: nom de votre table Iceberg.
Étapes suivantes
- Découvrez comment supprimer une table.