Crear una vista de Apache Iceberg te permite registrar una tabla lógica no materializada definida por SQL en un espacio de nombres del catálogo de tiempo de ejecución de Lakehouse para que los motores compatibles con Iceberg, como Spark y Trino, puedan consultarla. El catálogo escribe la definición de la vista en un
archivo metadata.json con control de versiones en Cloud Storage, en la ubicación de la
vista.
Debido a que el catálogo valida los esquemas de las tablas a las que se hace referencia cuando creas una vista, el espacio de nombres y cada tabla a la que hace referencia la vista ya deben existir. Para obtener más información, consulta Descripción general de las vistas de Apache Iceberg.
Antes de comenzar
-
Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .
-
Habilita la API de BigLake si aún no está habilitada.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso
serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles. - Configura el catálogo de tiempo de ejecución de Lakehouse con un catálogo de varios buckets o un catálogo de un solo bucket. Las vistas de Iceberg no se admiten en los catálogos de BigQuery ni en los catálogos federados.
- Revisa las limitaciones de las vistas de Iceberg.
Conecta tu motor de código abierto al extremo del catálogo de REST de Apache Iceberg.
- Spark: Usa Spark 3.5 o una versión posterior con el entorno de ejecución de Iceberg 1.6.0 o
una versión posterior. Usa el entorno de ejecución de Iceberg 1.10.0 o una versión posterior para que Spark descubra los
extremos de vista admitidos a través de la respuesta
GET /v1/configdel catálogo. Establecespark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensionspara que Spark delegue la vista de DDL y la resolución al extremo del catálogo de REST de Apache Iceberg. - Trino: Usa Trino 482 o una versión posterior, y configura tu conector de Trino Iceberg para usar el extremo del catálogo de REST de Apache Iceberg. Para obtener más información, consulta Compatibilidad con Trino.
- Spark: Usa Spark 3.5 o una versión posterior con el entorno de ejecución de Iceberg 1.6.0 o
una versión posterior. Usa el entorno de ejecución de Iceberg 1.10.0 o una versión posterior para que Spark descubra los
extremos de vista admitidos a través de la respuesta
Roles obligatorios
Para obtener los permisos que necesitas para crear una vista, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto y bucket de almacenamiento:
-
Crear una vista:
Editor de BigLake (
roles/biglake.editor): tu proyecto -
Escribe archivos de metadatos de vista en el modo de credenciales del usuario final:
Usuario de objetos de almacenamiento (
roles/storage.objectUser): el bucket de Cloud Storage
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para crear una vista. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear una vista:
-
Crea una vista:
-
biglake.views.createen el espacio de nombres -
biglake.tables.geten cada tabla de Iceberg a la que hace referencia la vista
-
-
Escribe archivos de metadatos de vista en el modo de credenciales del usuario final:
storage.objects.createen el bucket de Cloud Storage
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Para obtener una lista completa de los permisos de lectura, consulta Roles y permisos necesarios.
Crea tablas base
En los ejemplos de este documento, se hace referencia al siguiente espacio de nombres y a las siguientes tablas. Si aún no existen, créalas:
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
Opcional: Inserta datos de muestra para poder consultar las vistas que crees:
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
Crea una vista
Crear una vista de Iceberg en una o más tablas de Iceberg
Spark
Crea una vista con alias de columna explícitos, comentarios a nivel de columna, un
comentario a nivel de vista y propiedades personalizadas. El motor resuelve los nombres de tablas no calificados
en la definición de la vista con el default-catalog
y el default-namespace de la vista:
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
Para crear una vista solo si aún no existe, usa
CREATE VIEW IF NOT EXISTS. Si la vista existe, la sentencia se ejecuta de forma correcta
sin modificarla:
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
De forma predeterminada, el catálogo escribe archivos de metadatos comprimidos con gzip
(.gz.metadata.json). Para escribir archivos de metadatos sin comprimir
(.metadata.json), establece la propiedad write.metadata.compression-codec en
none:
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
Para crear una vista de Iceberg con la API de REST, realiza una solicitud POST al
extremo CreateIcebergView:
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
El cuerpo de la solicitud debe contener una carga útil de JSON CreateViewRequest de Iceberg válida
que defina el nombre de la vista, el esquema, la versión de la vista y las propiedades
iniciales. Si configuras un location personalizado, debe seguir las reglas de ubicación de almacenamiento de vistas para tu tipo de catálogo. La ubicación es inmutable después de la creación.
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto de Google Cloud.CATALOG_ID: Es el ID de tu catálogo.NAMESPACE_NAME: Es el nombre del espacio de nombres del catálogo.
Crear vistas con uniones, agregaciones y subconsultas
La definición de una vista puede incluir uniones, agregaciones, expresiones CASE, expresiones de tabla comunes (CTE), UNION ALL y subconsultas.
Crea una vista que una dos tablas:
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
Crea una vista que agregue datos y use una expresión CASE:
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
Crea una vista que use una CTE, UNION ALL y una subconsulta:
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
Crea una vista anidada
Una vista puede consultar otra vista. Para consultar la vista externa, se requiere
biglake.views.get en ambas vistas y acceso de lectura a cada tabla a la que hace referencia
cualquiera de las vistas.
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
Crea una vista con viaje en el tiempo en las tablas subyacentes
Las vistas no mantienen sus propias instantáneas de datos, pero una definición de vista puede consultar una tabla de Iceberg subyacente en una marca de tiempo o un ID de instantánea específicos. Usa este patrón para crear modelos de referencia históricos reproducibles para el cumplimiento, los informes o el entrenamiento de modelos.
Inserta un registro para crear una versión nueva de la tabla subyacente:
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);Crea una vista fijada al estado de la tabla antes de la inserción. Reemplaza la marca de tiempo por una hora anterior a la inserción:
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';Como alternativa, fija la vista a un ID de instantánea de tabla específico:
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';Consulta la vista histórica. El resultado excluye el registro recién insertado:
SELECT * FROM eng_employees_baseline;
No puedes aplicar TIMESTAMP AS OF ni VERSION AS OF directamente a un identificador de vista. Expresa el viaje en el tiempo dentro de la definición de la vista, en comparación con la
tabla subyacente. Para obtener más información, consulta Soluciona problemas de las vistas de Iceberg.
¿Qué sigue?
- Obtén información para crear vistas de lista.
- Obtén información para consultar una vista.
- Obtén información para modificar una vista.