La modalità di distribuzione delle credenziali nel catalogo di runtime Lakehouse ti consente di delegare l'accesso a Cloud Storage ai motori di query e di applicare policy di Identity and Access Management (IAM) granulari a livello di catalogo, spazio dei nomi e tabella per le tabelle Apache Iceberg. Anziché concedere autorizzazioni dirette per i bucket, configura l'endpoint del catalogo REST Apache Iceberg per vendere token di archiviazione con ambito ridotto e di breve durata per i percorsi delle tabelle autorizzati. Questa modalità è necessaria anche per la gestione automatica delle tabelle.
Quando utilizzare la distribuzione delle credenziali
Ecco alcuni casi d'uso comuni:
- Applica l'accesso a livello di tabella senza ruoli a livello di bucket: concedi ad analisti e workload l'accesso a tabelle Apache Iceberg specifiche, impedendo al contempo l'accesso diretto ai bucket Cloud Storage sottostanti o alle directory delle tabelle di pari livello.
- Centralizza la governance degli accessi su più motori di query: applica policy IAM coerenti su BigQuery, Managed Service for Apache Spark, Apache Spark open source e Trino utilizzando token di breve durata con ambito di percorso.
- Isola i bucket del warehouse all'interno di un perimetro di servizio: archivia i dati delle tabelle in bucket Cloud Storage protetti dai Controlli di servizio VPC, autorizzando al contempo le letture e le scritture dello spazio di archiviazione tramite un singolo account di servizio dell'endpoint del catalogo.
Come funziona la distribuzione delle credenziali
Quando utilizzi la modalità di distribuzione delle credenziali, la sequenza di operazioni applica le policy IAM prima dell'accesso allo spazio di archiviazione. Il seguente diagramma illustra in che modo i motori di query ottengono token di archiviazione con scope ridotto dal catalogo di runtime di Lakehouse per leggere e scrivere dati in modo sicuro direttamente in Cloud Storage:
La sequenza di operazioni mostrata nel diagramma precedente è la seguente:
- Richiesta: un utente invia un'istruzione SQL, ad esempio un'operazione di query, DML o DDL, a un motore supportato, ad esempio Spark o BigQuery.
- Ricerca dei metadati: il motore invia una richiesta al catalogo di runtime Lakehouse per risolvere la tabella.
- Autenticazione e policy: il catalogo di runtime di Lakehouse autentica l'utente e controlla le sue autorizzazioni IAM sulle risorse Lakehouse.
- Risposta: poiché la modalità di distribuzione delle credenziali è abilitata, il catalogo di runtime di Lakehouse restituisce al motore i metadati e un token di archiviazione di breve durata (credenziali di archiviazione con ambito ridotto). Il token ha come ambito i percorsi associati alla tabella e un ambito ridotto alle autorizzazioni minime richieste (ad esempio, accesso di sola lettura per le query che non devono scrivere file).
- Accesso: il motore utilizza questo token per leggere o scrivere i file autorizzati specifici direttamente da Cloud Storage.
- Calcolo: il motore elabora i dati o esegue l'operazione e restituisce i risultati.
Quando è abilitata la gestione automatica delle tabelle (gcp.biglake.table-management.enabled), le attività di manutenzione in background come la compattazione, la scadenza degli snapshot e la garbage collection utilizzano l'account di servizio con provisioning automatico del catalogo per autenticarsi direttamente in Cloud Storage e aggiornare i file di dati sottostanti.
Motori supportati
Per utilizzare la distribuzione delle credenziali con i motori di query, devi configurare l'endpoint del catalogo REST Apache Iceberg nel catalogo di runtime Lakehouse in modalità di distribuzione delle credenziali. La distribuzione delle credenziali non è supportata per gli endpoint del catalogo Apache Hive.
- Motori open source: i motori supportati, come Spark e Trino, utilizzano token di archiviazione di breve durata forniti dal catalogo di runtime Lakehouse. L'applicazione client deve specificare il supporto per la distribuzione delle credenziali nell'intestazione
X-Iceberg-Access-Delegation. - BigQuery: BigQuery utilizza le credenziali vendute per l'accesso a Cloud Storage anziché le credenziali dell'utente finale.
Ruoli obbligatori
Per assicurarti che il account di servizio dell'endpoint del catalogo con provisioning automatico disponga delle autorizzazioni necessarie per leggere e scrivere i dati della tabella in modalità di distribuzione delle credenziali, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio dell'endpoint del catalogo con provisioning automatico:
-
Lettura e scrittura dei dati delle tabelle in Cloud Storage:
Storage Object User (
roles/storage.objectUser) su tutti i bucket Cloud Storage associati
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
L'amministratore potrebbe anche essere in grado di concedere al account di servizio dell'endpoint del catalogo con provisioning automatico le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
Per assicurarti che il account di servizio che esegue i job del motore di query disponga delle autorizzazioni necessarie per ottenere le credenziali vendute con ambito di scrittura, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio che esegue i job del motore di query:
-
Ottenere credenziali vendute con ambito di scrittura dai job del motore di query (come Managed Service for Apache Spark o Dataflow):
BigLake Editor (
roles/biglake.editor) su catalogo, spazio dei nomi, tabella o progetto
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
L'amministratore potrebbe anche assegnare al account di servizio che esegue i job del motore di query le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
Se utilizzi la console Google Cloud , fai clic su Imposta autorizzazioni bucket per verificare il ruolo Storage Object User (roles/storage.objectUser) sui bucket associati. Per Google Cloud CLI, Terraform o l'API REST, devi concedere questo ruolo manualmente al service account dell'endpoint del catalogo con provisioning automatico.
La creazione del account di servizio dell'endpoint del catalogo con provisioning automatico è coerente. La propagazione del account di servizio nel sistema richiede tempo. Se provi a concedere i ruoli al account di servizio immediatamente dopo la creazione, la richiesta potrebbe non riuscire. Per saperne di più sul tempo necessario, in media, per la propagazione delle modifiche di accesso, consulta Propagazione della modifica di accesso.
Guardrail di distribuzione delle credenziali per le tabelle protette da FGAC
Quando la sicurezza a livello di riga o le policy dei dati a livello di colonna (controllo granulare dell'accesso o FGAC) proteggono una tabella Apache Iceberg in un catalogo che utilizza la modalità di distribuzione delle credenziali, l'accesso diretto ai file di Cloud Storage bypassa la valutazione delle policy in fase di query in BigQuery.
Per impedire l'esposizione non autorizzata dei dati, l'endpoint del catalogo REST Apache Iceberg restituisce un codice di stato HTTP 403 Forbidden per le richieste di distribuzione delle credenziali sulle tabelle protette da FGAC, a meno che l'entità chiamante non abbia accesso completo alla tabella:
- Accesso ai dati in chiaro (non elaborati) per tutte le colonne protette: a ogni colonna protetta della tabella deve essere associato anche un
RAW_DATA_ACCESS_POLICY. Concedi all'entità chiamante il privilegioFINE_GRAINED_READsu quella policy dei datiRAW_DATA_ACCESS_POLICYutilizzando il suo identificatore dell'entità IAM v2 (ad esempioprincipal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL). - Accesso alle righe non filtrate (tutte le righe): se alla tabella sono associati criteri di accesso a livello di riga, concedi all'entità chiamante un criterio di accesso a livello di riga con una clausola
FILTER USING (TRUE).
Per configurare un account di servizio per la lettura o la scrittura in una tabella protetta da FGAC da motori open source (come Spark, Trino o Apache Flink), consulta Configura le credenziali del motore open source per le tabelle protette da FGAC.
Utilizza i Controlli di servizio VPC con la distribuzione delle credenziali
Quando utilizzi l'endpoint del catalogo REST di Apache Iceberg in modalità di distribuzione delle credenziali con i bucket Cloud Storage all'interno di un perimetro di servizio Controlli di servizio VPC, puoi supportare i seguenti casi d'uso:
- Crea e modifica tabelle Apache Iceberg in bucket protetti: esegui istruzioni
CREATE TABLEo DML da BigQuery, Managed Service for Apache Spark, Spark o Trino quando i bucket del data warehouse si trovano all'interno di un perimetro di servizio. - Delega le letture granulari delle tabelle all'interno di un perimetro di archiviazione: applica policy IAM a livello di tabella utilizzando token di archiviazione con ambito ridotto e di breve durata senza concedere agli utenti finali o ai runtime delle query ruoli IAM diretti sui bucket protetti dal perimetro.
In modalità di distribuzione delle credenziali, i motori di query e Lakehouse
si autenticano in Cloud Storage utilizzando le credenziali emesse per il account di servizio
con provisioning automatico dell'endpoint del catalogo
(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.).
Poiché questo agente di servizio appartiene a un progetto gestito da Google al di fuori del
perimetro di servizio, Cloud Storage valuta le richieste autenticate con
le sue credenziali come traffico in entrata nel perimetro ogni volta che il perimetro del progetto del bucket
limita storage.googleapis.com. Questa valutazione si applica anche quando l'endpoint del catalogo, il job di query e il bucket si trovano nello stesso progetto e nello stesso perimetro di servizio.
Per consentire l'accesso, configura una regola in entrata in Gestore contesto accesso sul perimetro che protegge il progetto del bucket con le seguenti impostazioni:
- Identità di origine:
serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog. - Progetto di destinazione: il progetto del bucket (
projects/BUCKET_PROJECT_NUMBER) - Servizio:
storage.googleapis.comcon tutti i metodi ('*') o con metodi di servizio supportati specifici
L'esempio ingress.yaml seguente consente al service account dell'endpoint del catalogo di accedere a storage.googleapis.com nel progetto del bucket:
- ingressFrom:
identities:
- serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: '*'
resources:
- projects/BUCKET_PROJECT_NUMBER
Sostituisci quanto segue:
CATALOG_ENDPOINT_SERVICE_ACCOUNT: l'indirizzo email del account di servizio con provisioning automatico dell'endpoint del catalogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Per recuperare questo indirizzo email, descrivi l'endpoint del catalogo:gcloud biglake iceberg catalogs describe CATALOG_ID \ --project=PROJECT_ID \ --format='value(biglake-service-account)'In questo comando,
CATALOG_IDè l'ID dell'endpoint del catalogo ePROJECT_IDè l'ID del progetto che contiene l'endpoint del catalogo.BUCKET_PROJECT_NUMBER: il numero di progetto numerico del progetto che contiene il bucket Cloud Storage.
Se una richiesta di creazione o query di una tabella viene bloccata dai Controlli di servizio VPC, il messaggio di errore include un valore vpcServiceControlsUniqueIdentifier. Cerca gli audit log di policy negata in Cloud Audit Logs abbinando protoPayload.metadata.vpcServiceControlsUniqueId a quell'identificatore e controlla ingressViolations per l'entità blirc-.... Per saperne di più, consulta Recupera gli errori dei Controlli di servizio VPC dagli audit log.
Passaggi successivi
- Crea un endpoint del catalogo in modalità di distribuzione delle credenziali.
- Abilita la distribuzione delle credenziali per un endpoint del catalogo esistente.
- Configura l'applicazione client per la distribuzione delle credenziali.
- Configura la sicurezza a livello di riga e di colonna sulle tabelle Apache Iceberg.