경계 없는 Lakehouse의 핵심 용어를 이해하면 Lakehouse 아키텍처를 평가하고 Google Cloud에서 카탈로그, 테이블, 쿼리 엔진, 거버넌스를 구성하는 데 도움이 됩니다. 각 항목은 레이크하우스 문서 전체에서 사용되는 핵심 개념을 정의하고 자세한 가이드로 연결됩니다. 이러한 구성요소가 어떻게 결합되는지 엔드 투 엔드로 보려면 경계 없는 레이크하우스 작동 방식을 참조하세요.
레이크하우스 기본사항
다음 개념은 Google Cloud의 레이크하우스 아키텍처의 기반을 형성합니다.
데이터 레이크하우스
데이터 레이크하우스는 데이터 레이크의 비용 절감 및 유연성과 데이터 웨어하우스의 데이터 관리 및 성능을 결합합니다. 이를 통해 Cloud Storage에 개방형 형식으로 데이터를 저장하고 정밀한 보안 제어 및 빠른 쿼리와 같은 BigQuery 기능을 사용할 수 있습니다.
메달리온 아키텍처
데이터 레이크하우스의 일반적인 설계 패턴은 메달리온 아키텍처로, 데이터를 구조와 품질의 점진적인 레이어로 논리적으로 구성합니다.
- 브론즈(원시) 레이어: Cloud Storage에서 Apache Iceberg와 같은 개방형 형식으로 원시 데이터를 수집하고 저장합니다.
- 실버(정리) 레이어: 원시 데이터를 정리, 필터링, 보강하여 표준화된 테이블로 만듭니다.
- 골드(선별) 레이어: 완전히 선별되고 집계된 비즈니스 수준 테이블을 제공합니다. BigQuery는 고성능 소비, 보고, 분석을 위한 골드 레이어를 제공하는 데 자주 사용됩니다.
개방형 상호 운용성
개방형 상호 운용성은 BigQuery, Apache Spark, Apache Flink, Trino와 같은 여러 분석 및 트랜잭션 시스템이 Apache Iceberg와 같은 개방형 형식의 단일 데이터 사본에서 작동할 수 있는 기능입니다. 따라서 데이터 중복이 필요하지 않으며 도구 전반에서 일관된 데이터 뷰를 제공합니다.
Lakehouse 런타임 카탈로그
Lakehouse 런타임 카탈로그는 Google Cloud Lakehouse의 단일 정보 소스 역할을 하는 중앙 집중식 서버리스 메타데이터 서비스입니다. 이를 통해 Apache Spark, Apache Flink, Trino, BigQuery와 같은 여러 엔진이 동일한 테이블을 동시에 검색하고 쿼리할 수 있습니다. 엔진은 카탈로그 엔드포인트를 통해 연결됩니다. 자세한 내용은 Lakehouse 런타임 카탈로그 정보를 참조하세요.
리소스 계층 구조
Lakehouse 런타임 카탈로그는 Apache Iceberg 표준에 부합하는 계층 구조로 메타데이터를 구성하고 논리적 ID를 물리적 스토리지 경로에 매핑합니다.
카탈로그
카탈로그는 Lakehouse 런타임 카탈로그의 최상위 논리적 컨테이너입니다. 테이블 데이터를 저장할 수 있는 위치와 메타데이터를 제공하는 리전을 정의합니다. 자세한 내용은 카탈로그 만들기를 참조하세요.
카탈로그 유형
카탈로그를 만들 때 두 가지 스토리지 모델 중에서 선택합니다.
- 멀티 버킷 카탈로그(권장): 카탈로그 이름을 독립적으로 지정하고 기본 스토리지 위치(
default_location)와restricted_locations의 최대 128개 추가 Cloud Storage 버킷 또는 하위 경로를 구성할 수 있습니다. 클라이언트 쿼리 엔진(예: Spark 또는 Trino)을 구성할 때 웨어하우스 경로를bl://projects/PROJECT_ID/catalogs/CATALOG_ID로 설정합니다. - 단일 버킷 카탈로그: 카탈로그가 단일 Cloud Storage 버킷에 잠겨 있고 버킷 이름을 상속하는 기존 구성입니다.
클라이언트 쿼리 엔진을 구성할 때 웨어하우스 경로를
gs://CLOUD_STORAGE_BUCKET_NAME로 설정합니다.
자세한 내용은 카탈로그 및 스토리지 위치를 참조하세요.
네임스페이스
네임스페이스는 카탈로그 내 테이블의 논리적 그룹입니다. BigQuery에 익숙한 사용자의 경우 네임스페이스는 기능적으로 데이터 세트와 유사합니다. 네임스페이스는 상위 카탈로그의 리전을 상속하며 중첩을 지원하지 않습니다.
테이블
테이블은 Cloud Storage의 데이터를 가리키는 항목입니다. Apache Iceberg 테이블의 경우 테이블 메타데이터에는 스키마, 파티셔닝 정보, metadata.json 파일을 통한 현재 테이블 상태에 대한 포인터가 포함됩니다. Lakehouse에서 지원하는 테이블 유형은 테이블 유형을 참조하세요.
P.C.N.T 이름 지정 규칙
P.C.N.T 이름 지정 규칙은 BigQuery에서 Lakehouse 런타임 카탈로그의 테이블을 고유하게 식별하고 쿼리하는 데 사용되는 4부분으로 구성된 규칙입니다. Project.Catalog.Namespace.Table을 나타냅니다.
- 프로젝트: Google Cloud 프로젝트 ID입니다.
- 카탈로그: Lakehouse 런타임 카탈로그의 카탈로그 이름입니다.
- 네임스페이스: 테이블의 논리적 그룹화입니다(데이터 세트와 유사).
- 테이블: 데이터 테이블의 이름입니다.
카탈로그 엔드포인트
카탈로그 엔드포인트는 쿼리 엔진이 Lakehouse 런타임 카탈로그에 연결하는 데 사용하는 프로토콜 인터페이스입니다. 사용하는 엔드포인트에 따라 작업할 수 있는 테이블 형식과 엔진이 결정됩니다.
Apache Iceberg REST 카탈로그 엔드포인트
Apache Iceberg REST 카탈로그 엔드포인트는 개방형 표준 Iceberg REST Catalog API를 구현합니다. 새 워크로드에 권장되는 엔드포인트이며 오픈소스 엔진과 BigQuery 간의 읽기 및 쓰기 상호 운용성을 제공합니다. 멀티 버킷 카탈로그, 사용자 인증 정보 자동 판매, 리전 간 복제(프리뷰)를 지원합니다. 자세한 내용은 Apache Iceberg REST 카탈로그 엔드포인트 개요를 참조하세요.
Apache Hive 카탈로그 엔드포인트
Apache Hive 카탈로그 엔드포인트는 Apache Hive metastore(HMS) 인터페이스를 사용하는 오픈소스 워크로드에 대한 호환성을 제공합니다. Lakehouse 런타임 카탈로그는 이 엔드포인트를 제공하므로 자체 호스팅 Hive metastore를 유지보수하지 않고도 Apache Hive 또는 Spark 워크로드를 실행할 수 있습니다. 엔드포인트는 Apache Iceberg 테이블이 아닌 표준 Hive 및 Spark 테이블을 관리하고 Cloud Storage의 데이터에 대해 고객 관리 암호화 키(CMEK)를 지원합니다. 자세한 내용은 Hive 카탈로그 엔드포인트 정보를 참조하세요.
BigQuery용 커스텀 Apache Iceberg 카탈로그
BigQuery용 커스텀 Apache Iceberg 카탈로그는 카탈로그 플러그인(BigQueryMetastoreCatalog)을 사용하여 오픈소스 엔진이 Apache Iceberg 테이블 정의를 BigQuery에 저장할 수 있도록 하는 이전 통합입니다. 네임스페이스는 BigQuery 데이터 세트에 매핑되므로 표준 BigQuery 데이터 세트 문법을 사용하여 이러한 테이블을 쿼리합니다. 새 워크로드의 경우 Apache Iceberg REST 카탈로그 엔드포인트를 대신 사용하세요. 자세한 내용은 BigQuery용 커스텀 Apache Iceberg 카탈로그를 참조하세요.
테이블 유형
Google Cloud의 Lakehouse는 데이터를 관리하는 데 사용되는 엔진과 사용하는 카탈로그 엔드포인트에 따라 여러 테이블 유형을 지원합니다. 자세한 비교는 테이블 유형 비교를 참조하세요.
Lakehouse 런타임 카탈로그의 Apache Iceberg 테이블
이는 Lakehouse 런타임 카탈로그가 Apache Iceberg REST 카탈로그 엔드포인트를 통해 관리하고 제공하는 Apache Iceberg 테이블이며, 데이터는 Cloud Storage에 저장됩니다. 오픈소스 엔진에는 이러한 테이블에 대한 읽기 및 쓰기 액세스 권한이 있습니다. BigQuery에는 읽기 액세스 권한이 있으며 BigQuery DML을 사용 설정하면 쓰기 액세스 권한(프리뷰)이 있습니다. 이는 대부분의 개방형 레이크하우스 워크로드에 권장되는 옵션입니다. 자세한 내용은 Apache Iceberg 테이블 관리를 참조하세요.
Apache Hive 테이블
이는 Parquet, ORC, Avro, Delta Lake와 같은 형식의 표준 Apache Hive 및 Spark 테이블로, Lakehouse 런타임 카탈로그가 Apache Hive 카탈로그 엔드포인트를 통해 관리합니다. 오픈소스 엔진에는 읽기 및 쓰기 액세스 권한이 있고 BigQuery에는 읽기 전용 액세스 권한이 있습니다. Delta Lake 테이블을 사용하려면 Apache Spark와 같은 Delta 호환 엔진으로 테이블을 만들고 메타스토어에 등록합니다. 자세한 내용은 지원되는 스토리지 형식 및 유형을 참조하세요.
BigQuery 테이블
이러한 테이블은 BigQuery로 관리됩니다.
Apache Iceberg 관리형 테이블
BigQuery에서 만들고 Cloud Storage에 저장하는 Apache Iceberg 테이블입니다. BigQuery는 모든 데이터 레이아웃과 최적화를 처리합니다. 여러 엔진에서 이러한 테이블을 읽을 수 있지만 BigQuery는 직접 쓰기가 가능한 유일한 엔진입니다. 이러한 테이블은 Lakehouse 런타임 카탈로그의 Apache Iceberg 테이블과 다릅니다. 자세한 내용은 Apache Iceberg 관리형 테이블을 참조하세요.
네이티브 테이블
이러한 테이블은 BigQuery에서 관리되며 BigQuery 스토리지에 데이터를 저장합니다. 이러한 테이블을 Lakehouse 런타임 카탈로그에 연결할 수 있습니다.
외부 테이블
외부 테이블은 Lakehouse 런타임 카탈로그 외부에 있습니다. 데이터 및 메타데이터는 Cloud Storage, Amazon S3, Azure Blob Storage와 같은 스토리지에서 자체 관리되며 BigQuery는 연결을 통해 액세스합니다. BigQuery는 이러한 테이블에서만 읽을 수 있습니다.
표 기능 및 옵션
달리 명시되지 않는 한 다음 기능은 Lakehouse 런타임 카탈로그의 Apache Iceberg 테이블에 적용됩니다.
Apache Iceberg 테이블 버전
Lakehouse 런타임 카탈로그는 Apache Iceberg V2 테이블 및 V3 테이블(프리뷰)을 지원합니다. V3 테이블은 바이너리 삭제 벡터를 지원하므로 전체 데이터 파일을 다시 작성하지 않고도 특정 행을 삭제할 수 있습니다. Iceberg V1 테이블은 지원되지 않습니다. 먼저 V2로 업그레이드해야 합니다. 자세한 내용은 Iceberg V3 테이블에서 바이너리 삭제 벡터 사용을 참조하세요.
테이블 개선
테이블 진화를 사용하면 테이블 데이터를 다시 작성하거나 테이블을 다시 만들지 않고도 시간이 지남에 따라 테이블의 스키마 또는 파티션 사양을 변경할 수 있습니다. Lakehouse 런타임 카탈로그의 Apache Iceberg 테이블은 기본적으로 유연한 열 이름도 지원하므로 열 이름에 공백 및 국제 문자와 같은 문자가 포함될 수 있습니다.
시간 이동
시간 이동을 사용하면 특정 시점 또는 스냅샷 ID에 존재했던 테이블 데이터를 쿼리할 수 있습니다. 이는 감사, 실험 재현 또는 실수로 삭제한 후 데이터 복원에 유용합니다. 오픈소스 엔진은 테이블 속성에 구성된 보관 기간 내에서 시간 이동할 수 있지만 BigQuery 시간 이동은 7일로 제한됩니다.
표 옵션
테이블 옵션은 개별 Apache Iceberg 테이블에 대해 Google 관리 기능을 사용 설정하는 테이블 속성입니다. 자세한 내용은 테이블 옵션 구성을 참조하세요.
BigQuery DML
BigQuery DML은 프리뷰 버전입니다. gcp.biglake.bigquery-dml.enabled 테이블 속성을 설정하면 BigQuery는 GoogleSQL DDL 및 DML 문(INSERT, UPDATE, DELETE, MERGE)을 사용하여 테이블을 만들고, 변경하고, 수정할 수 있으며, 오픈소스 엔진은 동일한 테이블을 계속 읽고 쓸 수 있습니다.
테이블 관리
테이블 관리(프리뷰)는 Apache Iceberg 테이블의 스토리지 유지보수를 자동화합니다. gcp.biglake.table-management.enabled 테이블 속성을 설정하면 Lakehouse는 백그라운드 압축(병합), 스냅샷 만료, 가비지 컬렉션을 실행하여 쿼리 성능과 스토리지 효율성을 유지합니다. 테이블 관리에는 사용자 인증 정보 자동 판매를 사용하는 카탈로그가 필요합니다. 자세한 내용은 테이블 관리 사용 설정을 참조하세요.
변경 내역
변경 내역을 사용하면 GoogleSQL APPENDS 테이블 반환 함수를 사용하여 지정된 기간 동안 Apache Iceberg 관리형 테이블에 추가된 행을 추적할 수 있습니다. 이를 사용하여 전체 테이블 스캔 없이 복제본을 점진적으로 유지보수하거나, 데이터 추가를 감사하거나, 다운스트림 파이프라인을 트리거할 수 있습니다. 자세한 내용은 변경 내역 작업을 참조하세요.
메타데이터 캐싱
메타데이터 캐싱은 BigQuery 외부 테이블의 쿼리 성능을 가속화합니다. 테이블 메타데이터의 사본을 BigQuery 스토리지에 저장하므로 쿼리 실행 중에 Cloud Storage에서 메타데이터 파일을 읽을 필요가 줄어듭니다.
데이터 수집 및 마이그레이션
Lakehouse는 Apache Iceberg 테이블에 데이터를 로드하고 기존 메타스토어에서 메타데이터를 이동하는 여러 경로를 제공합니다.
일괄 테이블 가져오기
Dataflow 작업 빌더 템플릿을 사용하면 코드를 작성하지 않고도 기존 Apache Iceberg, Delta Lake 테이블, Parquet 파일을 Lakehouse에서 관리하는 Apache Iceberg 테이블로 가져올 수 있습니다.
스트리밍 수집
오픈소스 엔진(예: Spark 또는 Kafka), Dataflow 또는 트랜잭션 방식의 단 한 번 쓰기를 제공하는 BigQuery Storage Write API(gRPC)를 사용하여 Apache Iceberg 테이블로 데이터를 스트리밍할 수 있습니다. BigQuery 연속 쿼리의 출력을 Apache Iceberg 관리형 테이블에 직접 쓸 수도 있습니다.
변경 데이터 캡처(CDC)
CDC 수집은 전체 테이블을 새로고침하는 대신 삽입, 업데이트, 삭제를 적용하여 Apache Iceberg 테이블을 소스 시스템과 동기화된 상태로 유지합니다. Apache Iceberg 관리형 테이블은 BigQuery CDC 수집(프리뷰)을 지원하며 Dataflow를 사용하여 Apache Iceberg 및 Delta Lake 테이블(프리뷰)에서 CDC 로그를 마이그레이션할 수 있습니다.
metastore 마이그레이션
Metastore 마이그레이션은 데이터 파일을 복사하지 않고 기존 metastore에서 Lakehouse 런타임 카탈로그로 테이블 메타데이터를 이동합니다. Dataproc Metastore에서 Apache Iceberg REST 카탈로그 엔드포인트 또는 Apache Hive 카탈로그 엔드포인트로 일회성 마이그레이션 또는 드라이 런을 실행하거나 Hive metastore(프리뷰)와 같은 외부 metastore에서 마이그레이션할 수 있습니다.
크로스 클라우드 데이터 액세스
교차 클라우드 데이터 액세스를 사용하면 파일을 마이그레이션하거나 ETL 파이프라인을 빌드하지 않고도 다른 클라우드 및 SaaS 플랫폼에 저장된 데이터를 Google Cloud에서 직접 쿼리할 수 있습니다. 자세한 내용은 크로스 클라우드 데이터 액세스 정보를 참조하세요.
페더레이션 카탈로그
페더레이션 카탈로그는 원격 카탈로그 프로바이더에 연결하고 Apache Iceberg REST 카탈로그 엔드포인트를 통해 테이블을 노출하는 Lakehouse 런타임 카탈로그의 카탈로그입니다. 그런 다음 BigQuery, Managed Service for Apache Spark 또는 Apache Spark를 사용하여 해당 테이블을 쿼리할 수 있습니다. 지원되는 원격 카탈로그 제공업체에는 Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday 데이터 레이크, SAP 비즈니스 데이터 클라우드(SAP BDC)가 포함됩니다. 자세한 내용은 원격 데이터 쿼리를 참조하세요.
백그라운드 메타데이터 새로고침
백그라운드 메타데이터 새로고침은 페더레이션 카탈로그가 새로고침 간격을 기준으로 원격 카탈로그에서 네임스페이스 및 테이블 메타데이터를 주기적으로 동기화하는 프로세스입니다. 레이크하우스는 OIDC 토큰 제휴 또는 Secret Manager에 저장된 사용자 인증 정보를 사용하여 원격 카탈로그에 인증합니다.
크로스 클라우드 전송
크로스 클라우드 데이터 액세스는 백그라운드 메타데이터 새로고침을 쿼리 데이터 전송과 분리합니다. 보안 및 비용 요구사항을 충족하기 위해 공개 인터넷을 통해 또는 Cross-Cloud Interconnect를 통해 비공개로 하나 또는 둘 다를 라우팅할 수 있습니다. 데이터 무단 반출을 제한하기 위해 VPC 서비스 제어를 사용하여 페더레이션 카탈로그 엔드포인트를 보호할 수도 있습니다.
크로스 클라우드 캐싱
크로스 클라우드 캐싱은 원격 객체 스토리지에서 읽은 파일 블록을 쿼리가 실행되는 Google Cloud 리전에 로컬로 저장하므로 반복되는 쿼리는 원격 클라우드 대신 캐시에서 읽습니다. 캐싱은 크로스 클라우드 이그레스 비용을 줄이는 데 도움이 되며 기본적으로 사용 중지되어 있습니다. 페더레이션 카탈로그 또는 BigQuery 크로스 클라우드 연결에서 선택할 수 있습니다. 자세한 내용은 지능형 캐싱을 참조하세요.
ID 모드
ID 모드는 원격 카탈로그에 대해 쿼리를 실행하는 ID를 결정합니다.
- 서비스 ID(기본값): 백그라운드 메타데이터 새로고침 및 쿼리가 카탈로그의 서비스 계정으로 실행됩니다.
- 사용자 ID 제휴: 쿼리는 최종 사용자의 ID로 실행되므로 원격 카탈로그에서 자체 권한을 적용하고 개별 사용자에게 감사 로그를 할당할 수 있습니다. 이 모드는 Databricks Unity Catalog에서 지원됩니다.
SAP BDC 통합
SAP BDC 통합은 양방향으로 작동합니다. 페더레이션은 Delta Sharing 프로토콜을 사용하여 SAP BDC 공유를 Lakehouse에 동기화하므로 BigQuery에서 쿼리할 수 있습니다. 게시하면 데이터를 마이그레이션하지 않고도 Apache Iceberg 테이블 또는 Knowledge Catalog 데이터 제품을 SAP BDC와 공유할 수 있습니다. 자세한 내용은 SAP BDC 통합 정보를 참조하세요.
공개 데이터 세트
Borderless Lakehouse는 Apache Iceberg REST 카탈로그 엔드포인트를 통해 제공되는 공개 데이터 세트를 호스팅하여 인프라를 관리하지 않고도 탐색 및 테스트를 위한 읽기 전용 액세스를 제공합니다. 스토리지 비용은 Google에서 부담하며 사용자는 실행하는 쿼리에 대해서만 비용을 지불합니다. 자세한 내용은 공개 데이터 세트를 참조하세요.
보안 및 거버넌스
레이크하우스는 Identity and Access Management(IAM), 스토리지 액세스 위임, 네트워크 제어를 결합하여 레이크하우스를 보호합니다.
리소스 수준 액세스 제어
카탈로그, 네임스페이스, 테이블에 대한 IAM 정책은 Lakehouse 리소스를 보고 수정할 수 있는 사용자를 제어합니다. 자세한 내용은 카탈로그, 네임스페이스, 테이블 ACL 관리 및 역할 및 권한을 참조하세요.
사용자 인증 정보 벤더 제공
사용자 인증 정보 제공은 Lakehouse 런타임 카탈로그를 사용할 때 액세스 제어를 강화하는 보안 메커니즘입니다. Apache Iceberg REST 카탈로그 엔드포인트는 사용자에게 직접 버킷 권한을 부여하는 대신 쿼리에 필요한 특정 테이블 경로로 액세스가 제한된 단기, 범위 축소 스토리지 사용자 인증 정보를 제공합니다. 테이블 관리에도 사용자 인증 정보 벤더 제공이 필요합니다. 자세한 내용은 사용자 인증 정보 판매를 참조하세요.
연결
연결은 외부 데이터에 액세스하기 위한 사용자 인증 정보를 저장하는 BigQuery 리소스입니다. Google Cloud의 Lakehouse에서 연결은 연결의 서비스 계정이 사용자를 대신하여 스토리지 버킷에 액세스하도록 허용하여 Cloud Storage에 대한 액세스 권한을 위임합니다.
VPC 서비스 제어
VPC 서비스 제어 서비스 경계는 Lakehouse API(biglake.googleapis.com) 및 테이블 데이터를 저장하는 Cloud Storage 버킷에 대한 액세스를 제한하여 데이터 무단 반출을 방지하는 데 도움이 됩니다. 자세한 내용은 사용자 인증 정보 자동 판매와 함께 VPC 서비스 제어 사용을 참조하세요.
리전 엔드포인트
리전 엔드포인트는 대상 카탈로그 리소스가 엔드포인트에서 지정된 위치에 있는 경우에만 요청이 진행되도록 요청을 제한하므로 데이터 레지던시 요구사항을 충족하는 데 도움이 됩니다. 자세한 내용은 리전 엔드포인트를 참조하세요.
감사 로깅
Cloud 감사 로그는 레이크하우스 리소스에 대한 관리 및 데이터 액세스 활동을 기록합니다. 자세한 내용은 감사 로그 보기를 참조하세요.
통합 거버넌스
통합 거버넌스를 사용하면 Knowledge Catalog와의 통합을 통해 보안 및 데이터 관리 정책을 중앙에서 정의하고 적용할 수 있습니다. Lakehouse 런타임 카탈로그에 테이블을 등록하면 시스템이 Knowledge Catalog에 해당 항목을 자동으로 등록합니다. 이를 통해 파일을 이동하거나 복사하지 않고도 여러 엔진에서 검색 및 탐색, 데이터 계보, 데이터 프로파일링, AI 생성 데이터 인사이트(프리뷰)를 사용할 수 있습니다.
쿼리 엔진 및 도구
Google Cloud의 레이크하우스는 스토리지를 컴퓨팅에서 분리하므로 다양한 분석 엔진이 동일한 개방형 테이블을 사용할 수 있습니다.
오픈소스 엔진
오픈소스 엔진은 표준 Apache Iceberg 클라이언트 구성을 사용하여 Apache Iceberg REST 카탈로그 엔드포인트를 통해 Lakehouse 런타임 카탈로그에 연결합니다. 엔진별 설정은 Apache Spark, Apache Flink, Trino를 참조하세요. Terraform을 사용하여 레이크하우스 리소스를 관리할 수도 있습니다.
Managed Service for Apache Spark
Managed Service for Apache Spark(이전 명칭: Dataproc Serverless)는 Apache Iceberg와 같은 개방형 테이블 형식을 처리하기 위한 완전 관리형 런타임을 제공합니다. 두 가지 기본 실행 모드를 지원합니다.
- 서버리스 일괄: 자동화된 비대화형 데이터 처리 파이프라인 및 ETL 워크로드용으로 설계되었습니다. 이 실행당 지불 모델은 클러스터 관리를 없애고, 작업 간의 리소스 경합을 제거하며, 인프라 유지보수를 자동화합니다.
- 서버리스 대화형 세션: 탐색적 데이터 분석, 데이터 엔지니어링, 데이터 과학 실험을 위해 설계되었습니다. 대화형 세션은 Spark Connect 또는 원격 Spark 커널을 사용하여 Apache Spark 노트북을 지원하며 인프라 설정 없이 자동 확장 환경을 제공합니다.
서비스 등급
Managed Service for Apache Spark에서 Apache Spark 워크로드를 실행할 때 서비스 등급 중에서 선택할 수 있습니다.
- 표준 등급: 표준 일괄 처리 워크로드에 적합한 기본 실행 등급입니다.
- 프리미엄 등급: 서버리스 대화형 노트북 세션 지원, Lightning Engine과 같은 성능 가속화 기능을 비롯한 고급 기능을 제공합니다.
세션 템플릿
세션 템플릿은 서버리스 대화형 세션의 구성을 간소화합니다.
관리자는 이를 통해 공통 환경 설정(예: 카탈로그 속성, 네트워크 구성, 런타임 버전)을 정의하고 유지할 수 있으므로 일관성을 높이고 반복적인 설정을 최소화할 수 있습니다. Google Cloud 콘솔, gcloud CLI, REST API 또는 Terraform을 사용하여 세션 템플릿을 만들고 관리할 수 있습니다.
대화형 분석
대화형 분석(프리뷰)을 사용하면 BigQuery에서 자연어 프롬프트를 사용하여 크로스 클라우드 소스를 포함한 Lakehouse 런타임 카탈로그의 테이블을 쿼리할 수 있습니다.
안정성
Lakehouse 런타임 카탈로그는 Apache Iceberg REST 카탈로그 엔드포인트(프리뷰)를 사용하는 카탈로그에 관리형 재해 복구를 제공합니다. 자세한 내용은 리전 간 복제 및 재해 복구 정보를 참조하세요.
리전 간 복제
교차 리전 복제는 카탈로그가 이중 리전 또는 멀티 리전 Cloud Storage 버킷을 사용하는 경우 기본 리전에서 보조 리전으로 카탈로그 메타데이터를 복사하여 리전 서비스 중단 중에도 카탈로그를 사용할 수 있도록 합니다. Cloud Storage는 기본 테이블 데이터를 복제합니다.
장애 조치
장애 조치는 카탈로그와 모든 네임스페이스 및 테이블의 기본 리전과 보조 리전을 전환합니다. 소프트 장애 조치는 새 기본 인스턴스가 쓰기를 수락하기 전에 모든 데이터가 동기화될 때까지 기다리므로 데이터 손실을 방지하고 계획된 테스트에 적합합니다. 하드 장애 조치는 가용성을 우선시하며 이전 기본 인스턴스에 연결할 수 없는 경우에도 새 기본 인스턴스가 인계받을 수 있도록 합니다.