BigQuery 파이프라인 소개

BigQuery 파이프라인을 사용하여 BigQuery 데이터 프로세스를 자동화하고 간소화할 수 있습니다. 파이프라인을 사용하면 코드 애셋을 순서대로 예약하고 실행하여 효율성을 개선하고 수동 작업을 줄일 수 있습니다.

개요

파이프라인은 Dataform을 기반으로 합니다. 코드 애셋을 실행하는 것 외에도 Dataform은 파이프라인 내에서 생성된 테이블의 Knowledge Catalog에서 메타데이터를 자동으로 업데이트합니다.

파이프라인은 다음 코드 애셋 중 하나 이상으로 구성됩니다.

파이프라인을 사용하여 코드 애셋의 실행을 예약할 수 있습니다. 예를 들어 SQL 쿼리를 매일 실행하도록 예약하고 최신 소스 데이터로 테이블을 업데이트하면 대시보드에 사용할 수 있습니다.

코드 애셋이 여러 개인 파이프라인에서는 실행 시퀀스를 정의합니다. 예를 들어 머신러닝 모델을 학습하려면 SQL 쿼리가 데이터를 준비하고 후속 노트북이 해당 데이터를 사용하여 모델을 학습하는 워크플로를 만들 수 있습니다.

파이프라인 실행을 트리거하면 BigQuery는 종속 항목에 의해 정의된 순서대로 작업을 실행합니다. 각 작업에 대해 BigQuery는 다음 단계를 수행합니다.

  1. BigQuery에서 컴파일된 SQL을 실행합니다.
  2. 실행 로그에서 작업 상태를 업데이트합니다.
  3. 작업이 완료되면 Dataform 은 Knowledge Catalog (미리보기)에 대한 메타데이터 동기화를 자동으로 시작합니다. 이 보강 프로세스는 SQLX 구성에 정의된 시맨틱 메타데이터로 Knowledge Catalog를 업데이트합니다. 동기화는 비동기식으로 발생하며 재시도 메커니즘을 활용하여 Dataplex API를 일시적으로 사용할 수 없는 경우 메타데이터 업데이트가 파이프라인 지연 시간에 영향을 미치거나 워크플로 오류를 일으키지 않도록 합니다.

기능

파이프라인에서 다음 작업을 할 수 있습니다.

제한사항

파이프라인에는 다음과 같은 제한사항이 적용됩니다.

  • 파이프라인은 Google Cloud 콘솔에서만 사용할 수 있습니다.
  • 파이프라인을 만든 후에는 파이프라인을 저장할 리전을 변경할 수 없습니다.
  • 사용자 또는 그룹에 선택한 파이프라인에 대한 액세스 권한을 부여할 수 있지만 파이프라인 내의 개별 태스크에 대한 액세스 권한은 부여할 수 없습니다.
  • 예약된 파이프라인 실행이 다음 예약된 실행이 시작되기 전에 완료되지 않으면 다음 예약된 실행이 건너뛰고 오류로 표시됩니다.

코드 애셋의 기본 리전 설정

프로젝트의 Google Cloud 모든 새 코드 애셋은 기본 리전을 사용합니다. 애셋이 생성된 후에는 리전을 변경할 수 없습니다.

새 코드 애셋의 기본 리전을 설정하려면 다음 단계를 따르세요.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 파일 을 클릭하여 파일 브라우저를 엽니다.

    **파일** 을 클릭하여 파일 브라우저를 엽니다.

  3. 프로젝트 이름 옆에 있는 파일 패널 작업 보기 > 코드 리전 전환을 클릭합니다.

  4. 기본값으로 사용할 코드 리전을 선택합니다.

  5. 저장 을 클릭합니다.

지원되는 리전 목록은 BigQuery Studio 위치를 참조하세요.

모든 코드 애셋은 코드 애셋의 기본 리전에 저장됩니다. 기본 리전을 업데이트하면 해당 시점 이후에 생성된 모든 코드 애셋의 리전이 변경됩니다.

할당량 및 한도

BigQuery 파이프라인에는 Dataform 할당량 및 한도가 적용됩니다.

가격 책정

BigQuery 파이프라인 태스크를 실행하면 BigQuery에서 컴퓨팅 및 스토리지 요금이 청구됩니다. 자세한 내용은 BigQuery 가격 책정을 참조하세요.

노트북이 포함된 파이프라인에는 기본 머신 유형에 따라 Colab Enterprise 런타임 요금이 청구됩니다. 가격 책정의 세부정보는 Colab Enterprise 가격 책정을 참조하세요.

각 BigQuery 파이프라인 실행은 Cloud Logging을 사용하여 로깅됩니다. Logging은 BigQuery 파이프라인 실행에 자동으로 사용 설정되며, Cloud Logging 청구 요금이 발생할 수 있습니다. 자세한 내용은 Cloud Logging 가격 책정을 참조하세요.

다음 단계