Il catalogo di runtime Lakehouse ti consente di modificare le tabelle Apache Iceberg per evolvere gli schemi, ad esempio aggiungendo colonne, e configurare le proprietà delle tabelle. Questi aggiornamenti ti consentono di archiviare metadati personalizzati o di attivare le funzionalità gestite da BigQuery (anteprima), tra cui il linguaggio di manipolazione dei dati (DML) di BigQuery e la manutenzione automatica delle tabelle.
Puoi modificare le tabelle utilizzando la console Google Cloud , Apache Spark, Trino, BigQuery (anteprima) o l'API REST. Per aggiornare le proprietà della tabella dalla riga di comando, puoi anche utilizzare Google Cloud CLI.
Prima di iniziare
-
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .
-
Abilita l'API BigLake, se non è già abilitata.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli. - Configura il catalogo di runtime Lakehouse con l'endpoint del catalogo REST Apache Iceberg.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per modificare una tabella, chiedi all'amministratore di concederti i seguenti ruoli IAM sul progetto e sul bucket di archiviazione:
-
Modifica tabella in modalità di distribuzione delle credenziali:
BigLake Editor (
roles/biglake.editor) - il progetto -
Modifica la tabella in modalità di distribuzione non delle credenziali:
- BigLake Editor (
roles/biglake.editor) - il progetto - Storage Object User (
roles/storage.objectUser): il bucket Cloud Storage
- BigLake Editor (
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Funzionalità e supporto delle tabelle
Quando utilizzi le tabelle nel catalogo di runtime di Lakehouse, è utile comprendere i diversi tipi di tabelle e le relative funzionalità di attivazione. Per scoprire di più sull'utilizzo delle tabelle Apache Iceberg, consulta Panoramica delle tabelle Apache Iceberg.
Tabelle Iceberg supportate
Sono supportate solo le tabelle Apache Iceberg V2 (GA) e V3 (anteprima). Le tabelle Iceberg V1 non sono supportate. Per eseguire l'upgrade delle tabelle V1 esistenti, consulta Esegui l'upgrade delle tabelle Iceberg V1 alla versione V2.
Utilizza le opzioni della tabella (anteprima)
Puoi attivare l'utilizzo delle funzionalità gestite da BigQuery, come il linguaggio di manipolazione dei dati (DML) di BigQuery e la gestione automatica delle tabelle, configurando proprietà specifiche delle tabelle. Queste funzionalità vengono attivate in modi diversi a seconda di dove viene creata la tabella:
- Da BigQuery: BigQuery DML e la gestione automatica delle tabelle sono abilitati per impostazione predefinita.
- Dai motori open source: per attivare l'opzione, devi configurare esplicitamente le proprietà della tabella. Per saperne di più, consulta Configura le opzioni della tabella.
Per istruzioni dettagliate, consulta Configura le opzioni della tabella.
Modifica una tabella
Seleziona una delle seguenti opzioni:
Console
Nella console Google Cloud , vai alla pagina Lakehouse.
Seleziona un catalogo esistente o creane uno se non ne hai uno.
Seleziona uno spazio dei nomi esistente o creane uno se non ne hai uno.
Nella pagina Dettagli spazio dei nomi, nella scheda Tabelle, fai clic sul nome della tabella che vuoi modificare. Viene visualizzata la pagina Dettagli tabella.
Per aggiungere colonne allo schema della tabella:
- Fai clic sulla scheda Schema.
- Fai clic su Modifica schema.
- Nella sezione Nuovi campi, fai clic su Aggiungi campo. In Nome campo, inserisci un nome di colonna e nell'elenco Tipo seleziona un tipo di dati. Per inserire i campi come testo, fai clic sull'opzione di attivazione/disattivazione Modifica come testo, quindi inserisci JSON o coppie
name:typeseparate da virgole. - Fai clic su Salva.
Per aggiornare le proprietà della tabella:
- Fai clic sulla scheda Dettagli.
- Fai clic su Modifica dettagli.
Nella sezione Proprietà, aggiorna i valori delle proprietà esistenti. Per aggiungere una proprietà personalizzata, fai clic su Aggiungi proprietà, quindi inserisci la chiave e il valore della proprietà nei campi Chiave e Valore.
Ad esempio, per attivare BigQuery DML o la manutenzione automatica delle tabelle, nel campo Valore per
gcp.biglake.bigquery-dml.enabledogcp.biglake.table-management.enabled, inseriscitrue. Per saperne di più, consulta Configura le opzioni della tabella.Fai clic su Aggiorna.
Spark
spark.sql("ALTER TABLE TABLE_NAME ADD COLUMNS ( desc string);")
spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()
Per attivare l'interoperabilità di lettura/scrittura e la manutenzione delle tabelle, imposta le proprietà utilizzando la clausola SET TBLPROPERTIES:
SET TBLPROPERTIES (
'gcp.biglake.bigquery-dml.enabled' = true,
'gcp.biglake.table-management.enabled' = true
)
Trino
ALTER TABLE TABLE_NAME ADD COLUMN desc varchar;
DESCRIBE SCHEMA_NAME.TABLE_NAME;
Per abilitare l'interoperabilità di lettura/scrittura e la manutenzione delle tabelle, puoi configurare le seguenti proprietà delle tabelle:
'gcp.biglake.bigquery-dml.enabled' = true'gcp.biglake.table-management.enabled' = true
gcloud
Per aggiornare le proprietà della tabella utilizzando gcloud, esegui il
comando gcloud biglake iceberg tables update.
gcloud biglake iceberg tables update TABLE_NAME \ --project="PROJECT_ID" \ --catalog="CATALOG_ID" \ --namespace="NAMESPACE_NAME" \ --update-properties="KEY=VALUE,..."
Sostituisci quanto segue:
TABLE_NAME: il nome della tabella Iceberg.PROJECT_ID: il tuo ID progetto Google Cloud.CATALOG_ID: l'ID del tuo catalogo.NAMESPACE_NAME: il nome dello spazio dei nomi del catalogo.KEY=VALUE,...: le proprietà della tabella da aggiungere o aggiornare.
BigQuery
Per aggiornare le proprietà di una tabella Apache Iceberg nel catalogo di runtime Lakehouse da BigQuery (ad esempio per abilitare BigQuery DML o la manutenzione automatica delle tabelle), utilizza la seguente istruzione GoogleSQL ALTER TABLE:
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
SET OPTIONS (`properties.gcp.biglake.table-management` = "enabled");
Per aggiornare lo schema e aggiungere una colonna in una tabella Apache Iceberg nel catalogo di runtime Lakehouse da BigQuery, utilizza la seguente istruzione GoogleSQL ALTER TABLE:
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
ADD COLUMN new_column STRING;
Sostituisci quanto segue:
PROJECT_ID: il tuo ID progetto Google Cloud.CATALOG_ID: l'ID del tuo catalogo di runtime Lakehouse.NAMESPACE: il nome dello spazio dei nomi Iceberg.TABLE_NAME: il nome della tabella Iceberg.
REST
Per eseguire il commit delle modifiche a una tabella Iceberg utilizzando l'API REST, invia una richiesta POST all'endpoint UpdateIcebergTable (CommitTable):
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/tables/TABLE_NAME
Il corpo della richiesta deve contenere un payload JSON Iceberg CommitTableRequest valido che definisce il requisito di base e l'elenco degli aggiornamenti dei metadati da applicare.
Sostituisci quanto segue:
PROJECT_ID: il tuo ID progetto Google Cloud .CATALOG_ID: l'ID del tuo catalogo.NAMESPACE_NAME: il nome dello spazio dei nomi del catalogo.TABLE_NAME: il nome della tabella Iceberg.
Passaggi successivi
- Scopri come eliminare una tabella.