La création d'une vue Apache Iceberg vous permet d'enregistrer une table logique non matérialisée définie par SQL dans un espace de noms du catalogue d'environnements d'exécution Lakehouse afin que les moteurs compatibles avec Iceberg tels que Spark et Trino puissent l'interroger. Le catalogue écrit la définition de la vue dans un fichier metadata.json avec gestion des versions dans Cloud Storage, sous l'emplacement de la vue.
Étant donné que le catalogue valide les schémas des tables référencées lorsque vous créez une vue, l'espace de noms et chaque table référencée par la vue doivent déjà exister. Pour en savoir plus, consultez Présentation des vues Apache Iceberg.
Avant de commencer
-
Vérifiez que la facturation est activée pour votre projet Google Cloud .
-
Activez l'API BigLake si ce n'est pas déjà fait.
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles. - Configurez le catalogue d'environnements d'exécution Lakehouse avec un catalogue à bucket unique ou à buckets multiples. Les vues Iceberg ne sont pas compatibles avec les catalogues BigQuery ni les catalogues fédérés.
- Consultez les limites des vues Iceberg.
Connectez votre moteur Open Source au point de terminaison du catalogue REST Apache Iceberg.
- Spark : utilisez Spark 3.5 ou version ultérieure avec l'environnement d'exécution Iceberg 1.6.0 ou version ultérieure. Utilisez l'environnement d'exécution Iceberg 1.10.0 ou une version ultérieure pour que Spark découvre les points de terminaison de vue compatibles via la réponse
GET /v1/configdu catalogue. Définissezspark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensionspour que Spark délègue la résolution et le LDD de la vue au point de terminaison du catalogue REST Apache Iceberg. - Trino : utilisez Trino 482 ou une version ultérieure, et configurez votre connecteur Trino Iceberg pour utiliser le point de terminaison du catalogue REST Apache Iceberg. Pour en savoir plus, consultez Compatibilité avec Trino.
- Spark : utilisez Spark 3.5 ou version ultérieure avec l'environnement d'exécution Iceberg 1.6.0 ou version ultérieure. Utilisez l'environnement d'exécution Iceberg 1.10.0 ou une version ultérieure pour que Spark découvre les points de terminaison de vue compatibles via la réponse
Rôles requis
Pour obtenir les autorisations nécessaires pour créer une vue, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet et votre bucket de stockage :
-
Créer une vue : Éditeur BigLake (
roles/biglake.editor) - votre projet -
Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final : Utilisateur d'objets Storage (
roles/storage.objectUser) – bucket Cloud Storage
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ces rôles prédéfinis contiennent les autorisations requises pour créer une vue. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour créer une vue :
-
Créez une vue :
-
biglake.views.createsur l'espace de noms -
biglake.tables.getsur chaque table Iceberg référencée par la vue
-
-
Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final :
storage.objects.createsur le bucket Cloud Storage
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Pour obtenir la liste complète des autorisations d'affichage, consultez Rôles et autorisations requis.
Créer des tables de base
Les exemples de ce document font référence à l'espace de noms et aux tables suivants. Si elles n'existent pas déjà, créez-les :
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
Facultatif : insérez des exemples de données pour pouvoir interroger les vues que vous créez :
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
Créer une vue
Créez une vue Iceberg sur une ou plusieurs tables Iceberg.
Spark
Créez une vue avec des alias de colonne explicites, des commentaires au niveau des colonnes, un commentaire au niveau de la vue et des propriétés personnalisées. Le moteur résout les noms de table non qualifiés dans la définition de la vue à l'aide des éléments default-catalog et default-namespace de la vue :
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
Pour créer une vue uniquement si elle n'existe pas déjà, utilisez CREATE VIEW IF NOT EXISTS. Si la vue existe, l'instruction réussit sans la modifier :
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
Par défaut, le catalogue écrit des fichiers de métadonnées compressés au format gzip (.gz.metadata.json). Pour écrire des fichiers de métadonnées non compressés (.metadata.json), définissez la propriété write.metadata.compression-codec sur none :
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
Pour créer une vue Iceberg à l'aide de l'API REST, envoyez une requête POST au point de terminaison CreateIcebergView :
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
Le corps de la requête doit contenir une charge utile JSON Iceberg CreateViewRequest valide qui définit le nom de la vue, le schéma, la version de la vue et les propriétés initiales. Si vous définissez un location personnalisé, il doit respecter les règles d'emplacement de stockage des vues pour votre type de catalogue. L'emplacement est immuable après la création.
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet Google Cloud.CATALOG_ID: ID de votre catalogue.NAMESPACE_NAME: nom de l'espace de noms de votre catalogue.
Créer des vues avec des jointures, des agrégations et des sous-requêtes
Une définition de vue peut inclure des jointures, des agrégations, des expressions CASE, des expressions de table courantes (CTE), des UNION ALL et des sous-requêtes.
Créez une vue qui joint deux tables :
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
Créez une vue qui agrège les données et utilise une expression CASE :
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
Créez une vue qui utilise une CTE, UNION ALL et une sous-requête :
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
Créer une vue imbriquée
Une vue peut interroger une autre vue. L'interrogation de la vue externe nécessite l'autorisation biglake.views.get sur les deux vues et un accès en lecture à chaque table référencée par l'une ou l'autre des vues.
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
Créer une vue avec des fonctionnalités temporelles sur les tables sous-jacentes
Les vues ne conservent pas leurs propres instantanés de données, mais une définition de vue peut interroger une table Iceberg sous-jacente à un code temporel ou un ID d'instantané spécifique. Utilisez ce modèle pour créer des références historiques reproductibles pour la conformité, la création de rapports ou l'entraînement de modèles.
Insérez un enregistrement pour créer une version de la table sous-jacente :
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);Créez une vue épinglée à l'état de la table avant l'insertion. Remplacez l'horodatage par une heure antérieure à votre insertion :
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';Vous pouvez également épingler la vue à un ID d'instantané de table spécifique :
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';Interrogez la vue de l'historique. Le résultat exclut l'enregistrement nouvellement inséré :
SELECT * FROM eng_employees_baseline;
Vous ne pouvez pas appliquer TIMESTAMP AS OF ou VERSION AS OF directement à un identifiant de vue. Exprimez le voyage temporel dans la définition de la vue, par rapport à la table sous-jacente. Pour en savoir plus, consultez Résoudre les problèmes liés aux vues Iceberg.
Étapes suivantes
- Découvrez comment afficher les vues sous forme de liste.
- Découvrez comment interroger une vue.
- Découvrez comment modifier une vue.