Apache Iceberg 뷰를 만들면 SQL로 정의된 비구체화 논리 테이블을 Lakehouse 런타임 카탈로그의 네임스페이스에 등록하여 Spark 및 Trino와 같은 Iceberg 호환 엔진에서 쿼리할 수 있습니다. 카탈로그는 뷰 정의를 뷰 위치 아래의 Cloud Storage에 있는 버전이 지정된 metadata.json 파일에 작성합니다.
뷰를 만들 때 카탈로그가 참조된 테이블의 스키마를 검증하므로 뷰가 참조하는 네임스페이스와 모든 테이블이 이미 존재해야 합니다. 자세한 내용은 Apache Iceberg 뷰 개요를 참조하세요.
시작하기 전에
-
BigLake API가 아직 사용 설정되지 않았으면 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면
serviceusage.services.enable권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할(roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할(roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할 부여 방법 알아보기 - 멀티 버킷 카탈로그 또는 단일 버킷 카탈로그를 사용하여 Lakehouse 런타임 카탈로그를 설정합니다. Iceberg 뷰는 BigQuery 카탈로그 또는 페더레이션 카탈로그에서 지원되지 않습니다.
- Iceberg 뷰의 제한사항을 검토합니다.
오픈소스 엔진을 Apache Iceberg REST 카탈로그 엔드포인트에 연결합니다.
- Spark: Iceberg 런타임 1.6.0 이상에서 Spark 3.5 이상을 사용합니다. Spark가 카탈로그의
GET /v1/config응답을 통해 지원되는 뷰 엔드포인트를 검색할 수 있도록 Iceberg 런타임 1.10.0 이상을 사용합니다. Spark가 뷰 DDL 및 확인을 Apache Iceberg REST 카탈로그 엔드포인트에 위임하도록spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions를 설정합니다. - Trino: Trino 482 이상을 사용하고 Apache Iceberg REST 카탈로그 엔드포인트를 사용하도록 Trino Iceberg 커넥터를 구성합니다. 자세한 내용은 Trino 지원을 참조하세요.
- Spark: Iceberg 런타임 1.6.0 이상에서 Spark 3.5 이상을 사용합니다. Spark가 카탈로그의
필요한 역할
뷰를 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 및 스토리지 버킷에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
뷰 만들기: BigLake 편집자(
roles/biglake.editor) - 프로젝트 -
최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 작성: 스토리지 객체 사용자(
roles/storage.objectUser) - Cloud Storage 버킷
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이러한 사전 정의된 역할에는 뷰를 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
뷰를 만들려면 다음 권한이 필요합니다.
-
뷰를 만듭니다.
-
네임스페이스에 대한
biglake.views.create -
뷰에서 참조하는 각 Iceberg 테이블에 대한
biglake.tables.get권한
-
네임스페이스에 대한
-
최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 쓰기: Cloud Storage 버킷의
storage.objects.create
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
전체 보기 권한 목록은 필수 역할 및 권한을 참조하세요.
기본 테이블 만들기
이 문서의 예시에서는 다음 네임스페이스와 테이블을 참조합니다. 아직 없는 경우 만듭니다.
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
선택사항: 만든 뷰를 쿼리할 수 있도록 샘플 데이터를 삽입합니다.
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
뷰 만들기
하나 이상의 Iceberg 테이블에 Iceberg 뷰를 만듭니다.
Spark
명시적 열 별칭, 열 수준 주석, 뷰 수준 주석, 맞춤 속성이 있는 뷰를 만듭니다. 엔진은 뷰의 default-catalog 및 default-namespace를 사용하여 뷰 정의에서 정규화되지 않은 테이블 이름을 확인합니다.
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
뷰가 아직 없는 경우에만 뷰를 만들려면 CREATE VIEW IF NOT EXISTS를 사용합니다. 뷰가 있으면 수정하지 않고 문이 성공합니다.
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
기본적으로 카탈로그는 gzip으로 압축된 메타데이터 파일(.gz.metadata.json)을 작성합니다. 압축되지 않은 메타데이터 파일(.metadata.json)을 작성하려면 write.metadata.compression-codec 속성을 none로 설정합니다.
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
REST API를 사용하여 Iceberg 뷰를 만들려면 CreateIcebergView 엔드포인트에 POST 요청을 보냅니다.
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
요청 본문에는 뷰 이름, 스키마, 뷰 버전, 초기 속성을 정의하는 유효한 Iceberg CreateViewRequest JSON 페이로드가 포함되어야 합니다. 커스텀 location를 설정하는 경우 카탈로그 유형의 뷰 스토리지 위치 규칙을 따라야 합니다. 위치는 생성 후 변경할 수 없습니다.
다음을 바꿉니다.
PROJECT_ID: Google Cloud프로젝트 IDCATALOG_ID: 카탈로그의 ID입니다.NAMESPACE_NAME: 카탈로그 네임스페이스의 이름입니다.
조인, 집계, 하위 쿼리로 뷰 만들기
뷰 정의에는 조인, 집계, CASE 표현식, 공통 테이블 표현식(CTE), UNION ALL, 서브 쿼리가 포함될 수 있습니다.
두 테이블을 조인하는 뷰를 만듭니다.
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
데이터를 집계하고 CASE 표현식을 사용하는 뷰를 만듭니다.
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
CTE, UNION ALL, 서브 쿼리를 사용하는 뷰를 만듭니다.
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
중첩된 뷰 만들기
뷰는 다른 뷰를 쿼리할 수 있습니다. 외부 뷰를 쿼리하려면 두 뷰 모두에 대한 biglake.views.get 권한과 두 뷰 중 하나가 참조하는 모든 테이블에 대한 읽기 액세스 권한이 필요합니다.
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
기본 테이블에서 시간 이동을 사용하여 뷰 만들기
뷰는 자체 데이터 스냅샷을 유지하지 않지만 뷰 정의는 특정 타임스탬프 또는 스냅샷 ID에서 기본 Iceberg 테이블을 쿼리할 수 있습니다. 이 패턴을 사용하여 규정 준수, 보고 또는 모델 학습을 위한 재현 가능한 이전 기준을 만듭니다.
레코드를 삽입하여 기본 테이블의 새 버전을 만듭니다.
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);삽입 전 테이블 상태에 고정된 뷰를 만듭니다. 타임스탬프를 삽입 전 시간으로 바꿉니다.
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';또는 뷰를 특정 테이블 스냅샷 ID에 고정합니다.
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';이전 뷰를 쿼리합니다. 결과에는 새로 삽입된 레코드가 제외됩니다.
SELECT * FROM eng_employees_baseline;
TIMESTAMP AS OF 또는 VERSION AS OF를 뷰 식별자에 직접 적용할 수 없습니다. 기본 테이블에 대해 뷰 정의 내에서 시간 이동을 표현합니다. 자세한 내용은 Iceberg 뷰 문제 해결을 참조하세요.