Présentation de la distribution d'identifiants

Le mode de distribution des identifiants dans le catalogue d'environnements d'exécution Lakehouse vous permet de déléguer l'accès à Cloud Storage aux moteurs de requête et d'appliquer des stratégies Identity and Access Management (IAM) précises au niveau du catalogue, de l'espace de noms et de la table pour les tables Apache Iceberg. Au lieu d'accorder des autorisations directes sur les buckets, vous configurez le point de terminaison du catalogue REST Apache Iceberg pour qu'il fournisse des jetons de stockage à courte durée de vie et à champ d'application restreint pour les chemins d'accès aux tables autorisés. Ce mode est également requis pour la gestion automatique des tables.

Quand utiliser la distribution d'identifiants ?

Voici quelques cas d'utilisation courants :

  • Appliquer l'accès au niveau de la table sans rôles au niveau du bucket : accordez aux analystes et aux charges de travail l'accès à des tables Apache Iceberg spécifiques tout en empêchant l'accès direct aux buckets Cloud Storage sous-jacents ou aux répertoires de tables sœurs.
  • Centralisez la gouvernance des accès sur plusieurs moteurs de requête : appliquez des stratégies IAM cohérentes sur BigQuery, Managed Service pour Apache Spark, Apache Spark Open Source et Trino à l'aide de jetons de courte durée limités au chemin d'accès.
  • Isoler les buckets d'entrepôt dans un périmètre de service : stockez les données de table dans des buckets Cloud Storage protégés par VPC Service Controls tout en autorisant les lectures et écritures de stockage via un seul compte de service de point de terminaison de catalogue.

Fonctionnement de la distribution d'identifiants

Lorsque vous utilisez le mode de distribution des identifiants, la séquence d'opérations applique les stratégies IAM avant l'accès au stockage. Le schéma suivant illustre comment les moteurs de requête obtiennent des jetons de stockage à champ d'application restreint à partir du catalogue d'exécution Lakehouse pour lire et écrire des données de manière sécurisée directement dans Cloud Storage :

Les moteurs de requête obtiennent des jetons de stockage à champ d'application réduit à partir du catalogue d'environnements d'exécution Lakehouse pour lire et écrire des données dans Cloud Storage.
Workflow de distribution d'identifiants déléguant l'accès à Cloud Storage.

La séquence d'opérations illustrée dans le schéma précédent est la suivante :

  1. Requête : un utilisateur envoie une instruction SQL, telle qu'une requête, une opération LMD ou une opération LDD, à un moteur compatible, tel que Spark ou BigQuery.
  2. Recherche de métadonnées : le moteur envoie une requête au catalogue d'exécution Lakehouse pour résoudre la table.
  3. Authentification et stratégie : le catalogue d'environnements d'exécution Lakehouse authentifie l'utilisateur et vérifie ses autorisations IAM sur les ressources Lakehouse.
  4. Réponse : Comme le mode de distribution d'identifiants est activé, le catalogue d'environnements d'exécution Lakehouse renvoie les métadonnées et un jeton de stockage de courte durée (identifiants de stockage à champ d'application réduit) au moteur. Le jeton est limité aux chemins d'accès associés à la table et aux autorisations minimales requises (par exemple, l'accès en lecture seule pour les requêtes qui n'ont pas besoin d'écrire des fichiers).
  5. Accès : le moteur utilise ce jeton pour lire ou écrire les fichiers autorisés spécifiques directement depuis Cloud Storage.
  6. Calcul : le moteur traite les données ou exécute l'opération, puis renvoie les résultats.

Lorsque la gestion automatique des tables (gcp.biglake.table-management.enabled) est activée, les tâches de maintenance en arrière-plan telles que le compactage, l'expiration des instantanés et la récupération de mémoire utilisent le compte de service provisionné automatiquement du catalogue pour s'authentifier directement auprès de Cloud Storage et mettre à jour les fichiers de données sous-jacents.

Moteurs compatibles

Pour utiliser la distribution d'identifiants avec des moteurs de requête, vous devez configurer le point de terminaison du catalogue REST Apache Iceberg dans votre catalogue d'environnements d'exécution Lakehouse en mode de distribution d'identifiants. La distribution d'identifiants n'est pas compatible avec les points de terminaison de catalogue Apache Hive.

  • Moteurs Open Source : les moteurs compatibles tels que Spark et Trino utilisent des jetons de stockage de courte durée fournis par le catalogue d'environnements d'exécution Lakehouse. Votre application cliente doit spécifier la compatibilité avec la distribution d'identifiants dans l'en-tête X-Iceberg-Access-Delegation.
  • BigQuery : BigQuery utilise des identifiants vendus pour l'accès à Cloud Storage au lieu des identifiants de l'utilisateur final.

Rôles requis

Pour vous assurer que le compte de service du point de terminaison du catalogue provisionné automatiquement dispose des autorisations nécessaires pour lire et écrire des données de table en mode de distribution des identifiants, demandez à votre administrateur d'accorder les rôles IAM suivants au compte de service du point de terminaison du catalogue provisionné automatiquement :

  • Lire et écrire des données de table dans Cloud Storage : Utilisateur d'objets Storage (roles/storage.objectUser) sur tous les buckets Cloud Storage associés

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Votre administrateur peut également attribuer au compte de service du point de terminaison du catalogue provisionné automatiquement les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour vous assurer que le compte de service qui exécute vos jobs de moteur de requête dispose des autorisations nécessaires pour obtenir des identifiants vendus avec un champ d'application en écriture, demandez à votre administrateur d'accorder les rôles IAM suivants au compte de service qui exécute vos jobs de moteur de requête :

  • Obtenir des identifiants vendus avec un champ d'application en écriture à partir de jobs de moteur de requête (tels que Managed Service pour Apache Spark ou Dataflow) : Éditeur BigLake (roles/biglake.editor) sur le catalogue, l'espace de noms, la table ou le projet

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Votre administrateur peut également attribuer au compte de service qui exécute vos jobs de moteur de requête les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Si vous utilisez la console Google Cloud , cliquer sur Définir les autorisations du bucket permet de vérifier le rôle Utilisateur d'objets Storage (roles/storage.objectUser) sur les buckets associés. Pour Google Cloud CLI, Terraform ou l'API REST, vous devez attribuer manuellement ce rôle au compte de service du point de terminaison du catalogue provisionné automatiquement.

La création du compte de service de point de terminaison de catalogue provisionné automatiquement est cohérente à terme. La propagation du compte de service dans le système prend un certain temps. Si vous essayez d'attribuer des rôles au compte de service immédiatement après sa création, la requête peut échouer. Pour en savoir plus sur le temps moyen nécessaire pour que les modifications d'accès se propagent, consultez Propagation des modifications d'accès.

Règle de distribution d'identifiants pour les tables protégées par un contrôle des accès précis

Lorsque des règles de données de sécurité au niveau des lignes ou des colonnes (contrôle ultraprécis des accès) protègent une table Apache Iceberg dans un catalogue qui utilise le mode de distribution des identifiants, l'accès direct aux fichiers Cloud Storage contourne l'évaluation des règles au moment de la requête dans BigQuery.

Pour éviter toute exposition non autorisée des données, le point de terminaison du catalogue REST Apache Iceberg renvoie un code d'état HTTP 403 Forbidden pour les requêtes de distribution d'identifiants sur les tables protégées par FGAC, sauf si le compte principal appelant dispose d'un accès complet à la table :

  • Accès aux données non masquées (brutes) pour toutes les colonnes protégées : chaque colonne protégée de la table doit également être associée à un RAW_DATA_ACCESS_POLICY. Accordez au compte principal appelant le privilège FINE_GRAINED_READ sur cette stratégie de données RAW_DATA_ACCESS_POLICY à l'aide de son identifiant de compte principal IAM v2 (tel que principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL).
  • Accès aux lignes non filtré (toutes les lignes) : si des règles d'accès au niveau des lignes sont associées à la table, accordez au compte principal appelant une règle d'accès au niveau des lignes comportant une clause FILTER USING (TRUE).

Pour configurer un compte de service afin de lire ou d'écrire dans une table protégée par FGAC à partir de moteurs Open Source (tels que Spark, Trino ou Apache Flink), consultez Configurer les identifiants du moteur Open Source pour les tables protégées par FGAC.

Utiliser VPC Service Controls avec la distribution d'identifiants

Lorsque vous utilisez le point de terminaison du catalogue REST Apache Iceberg en mode de distribution d'identifiants avec des buckets Cloud Storage dans un périmètre de service VPC Service Controls, vous pouvez prendre en charge les cas d'utilisation suivants :

  • Créer et modifier des tables Apache Iceberg dans des buckets protégés : exécutez des instructions CREATE TABLE ou LMD à partir de BigQuery, de Managed Service pour Apache Spark, de Spark ou de Trino lorsque les buckets d'entrepôt résident dans un périmètre de service.
  • Déléguer des lectures de table précises dans un périmètre de stockage : appliquez des stratégies IAM au niveau de la table à l'aide de jetons de stockage de courte durée et à champ d'application réduit, sans accorder aux utilisateurs finaux ni aux environnements d'exécution de requêtes des rôles IAM directs sur les buckets protégés par le périmètre.

En mode de distribution d'identifiants, les moteurs de requête et Lakehouse s'authentifient auprès de Cloud Storage à l'aide des identifiants émis pour le compte de service provisionné automatiquement du point de terminaison du catalogue (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Comme cet agent de service appartient à un projet géré par Google en dehors de votre périmètre de service, Cloud Storage évalue les requêtes authentifiées avec ses identifiants comme une entrée de périmètre chaque fois que le périmètre du projet de bucket limite storage.googleapis.com. Cette évaluation s'applique même lorsque le point de terminaison du catalogue, le job de requête et le bucket se trouvent dans le même projet et le même périmètre de service.

Pour autoriser l'accès, configurez une règle d'entrée dans Access Context Manager sur le périmètre qui protège le projet du bucket avec les paramètres suivants :

  • Identité source : serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.
  • Projet cible : projet du bucket (projects/BUCKET_PROJECT_NUMBER)
  • Service : storage.googleapis.com avec toutes les méthodes ('*') ou des méthodes de service compatibles spécifiques

L'exemple ingress.yaml suivant permet au compte de service du point de terminaison du catalogue d'accéder à storage.googleapis.com dans le projet du bucket :

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

Remplacez les éléments suivants :

  • CATALOG_ENDPOINT_SERVICE_ACCOUNT : adresse e-mail du compte de service provisionné automatiquement de votre point de terminaison de catalogue (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Pour récupérer cette adresse e-mail, décrivez le point de terminaison de catalogue :

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    Dans cette commande, CATALOG_ID est l'ID de votre point de terminaison de catalogue et PROJECT_ID est l'ID du projet qui contient le point de terminaison de catalogue.

  • BUCKET_PROJECT_NUMBER : numéro de projet numérique du projet contenant le bucket Cloud Storage.

Si une requête de création de table ou d'interrogation est bloquée par VPC Service Controls, le message d'erreur inclut une valeur vpcServiceControlsUniqueIdentifier. Recherchez les journaux d'audit des refus de règles dans Cloud Audit Logs en faisant correspondre protoPayload.metadata.vpcServiceControlsUniqueId à cet identifiant, puis inspectez ingressViolations pour le compte principal blirc-.... Pour en savoir plus, consultez Récupérer les erreurs liées à VPC Service Controls à partir des journaux d'audit.

Étapes suivantes