이 문서에서는 전체 워크플로 실행 또는 워크플로에서 선택한 요소만 실행을 수동으로 트리거하는 방법을 보여줍니다.
워크플로의 다음 요소에 대한 실행을 트리거할 수 있습니다.
- 워크플로의 모든 작업
- 선택한 작업
- 선택한 태그가 있는 작업
시작하기 전에
필요한 역할
실행을 수동으로 트리거하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
- Dataform 저장소에 대한 Dataform 편집자(
roles/dataform.editor) - 프로젝트에 대한 BigQuery 작업 사용자(
roles/bigquery.jobUser) - 커스텀 서비스 계정에 대한 서비스 계정 사용자(
roles/iam.serviceAccountUser) 역할
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
워크플로의 모든 작업을 수동으로 실행
워크플로의 모든 작업 실행을 수동으로 트리거하려면 다음 단계를 따르세요.
- 개발 작업공간으로 이동합니다.
- 실행 시작을 클릭합니다.
- 작업 > 여러 작업을 클릭합니다.
인증 섹션에서 Google 계정 사용자 인증 정보 또는 서비스 계정으로 실행을 승인합니다.
Google 계정 사용자 인증 정보를 사용하려면 사용자 인증 정보로 실행을 선택합니다.
선택사항: 확장 액세스 옵션 섹션에서 워크플로에 필요한 추가 범위를 선택합니다.
- Knowledge Catalog: Google Cloud Knowledge Catalog 메타데이터 업데이트를 허용합니다.
- Google Drive: Google Drive 파일에 대한 읽기 전용 액세스를 허용합니다.
- Bigtable: Google Bigtable 데이터에 대한 읽기 전용 액세스를 허용합니다.
커스텀 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 커스텀 서비스 계정을 선택합니다.
모든 작업을 선택합니다.
선택사항: 모든 테이블을 처음부터 다시 빌드하려면 전체 새로고침으로 실행 옵션을 선택합니다. 이 옵션이 없으면 Dataform은 증분 테이블을 처음부터 다시 빌드하지 않고 업데이트합니다.
선택사항: 우선순위가 높은 대화형 작업으로 실행(기본값) 옵션을 사용하여 BigQuery 쿼리 작업 우선순위를 설정합니다. 기본적으로 BigQuery는 가능한 한 빨리 실행되도록 설계된 대화형 쿼리 작업으로 쿼리를 실행합니다. 이 옵션을 선택 해제하면 쿼리가 우선순위가 낮은 일괄 쿼리 작업으로 실행됩니다.
선택사항: 실행 중에 동시에 실행할 수 있는 작업 수를 제한하려면 동시 작업 제한을 선택하고 최대 동시 작업 수에
1에서5000사이의 정수를 입력합니다.준비된 작업 수가 구성된 한도를 초과하면 Dataform은 동시 실행 슬롯을 사용할 수 있을 때까지 나머지 준비된 작업을 큐에 배치합니다.
단위 테스트를 실행할 때는 동시 작업 한도가 지원되지 않습니다.
실행 시작을 클릭합니다. 인증 방법으로 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인해야 합니다.
선택한 작업 수동 실행
선택한 작업 실행을 수동으로 트리거하려면 다음 단계를 따르세요.
- 개발 작업공간으로 이동합니다.
실행 시작을 클릭한 후 다음 중 하나를 실행합니다.
- 작업을 클릭한 후 실행할 작업을 선택합니다.
- 작업 > 여러 작업을 클릭합니다.
인증 섹션에서 Google 계정 사용자 인증 정보 또는 서비스 계정으로 실행을 승인합니다.
Google 계정 사용자 인증 정보를 사용하려면 사용자 인증 정보로 실행을 선택합니다.
선택사항: 확장 액세스 옵션 섹션에서 워크플로에 필요한 추가 서비스를 선택합니다.
- Knowledge Catalog: Google Cloud Knowledge Catalog 메타데이터 업데이트를 허용합니다.
- Google Drive: Google Drive 파일에 대한 읽기 전용 액세스를 허용합니다.
- Bigtable: Google Bigtable 데이터에 대한 읽기 전용 액세스를 허용합니다.
커스텀 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 커스텀 서비스 계정을 선택합니다.
작업 선택이 선택되어 있는지 확인합니다.
실행할 작업 선택 메뉴에서 실행할 작업을 선택합니다.
선택사항: 선택한 작업과 종속 항목을 실행하려면 종속 항목 포함 옵션을 선택합니다.
선택사항: 선택한 작업과 이 작업에 종속된 작업을 실행하려면 하위 항목 포함 옵션을 선택합니다.
선택사항: 모든 테이블을 처음부터 다시 빌드하려면 전체 새로고침으로 실행 옵션을 선택합니다.
선택사항: 우선순위가 높은 대화형 작업으로 실행(기본값) 옵션을 사용하여 BigQuery 쿼리 작업 우선순위를 설정합니다. 기본적으로 BigQuery는 가능한 한 빨리 실행되도록 설계된 대화형 쿼리 작업으로 쿼리를 실행합니다. 이 옵션을 선택 해제하면 쿼리가 우선순위가 낮은 일괄 쿼리 작업으로 실행됩니다.
선택사항: 실행 중에 동시에 실행할 수 있는 작업 수를 제한하려면 동시 작업 제한을 선택하고 최대 동시 작업 수에
1에서5000사이의 정수를 입력합니다.준비된 작업 수가 구성된 한도를 초과하면 Dataform은 동시 실행 슬롯을 사용할 수 있을 때까지 나머지 준비된 작업을 큐에 배치합니다.
단위 테스트를 실행할 때는 동시 작업 한도가 지원되지 않습니다.
실행 시작을 클릭합니다. 인증 방법으로 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인해야 합니다.
선택한 태그가 있는 작업 수동 실행
선택한 태그가 있는 작업 실행을 수동으로 트리거하려면 다음 단계를 따르세요.
- 개발 작업공간으로 이동합니다.
실행 시작을 클릭한 후 다음 중 하나를 실행합니다.
- 태그를 클릭한 후 실행할 태그를 선택합니다.
- 태그 > 여러 태그를 클릭합니다.
인증 섹션에서 Google 계정 사용자 인증 정보 또는 서비스 계정으로 실행을 승인합니다.
Google 계정 사용자 인증 정보를 사용하려면 사용자 인증 정보로 실행을 선택합니다.
선택사항: 확장 액세스 옵션 섹션에서 워크플로에 필요한 추가 서비스를 선택합니다.
- Knowledge Catalog: Google Cloud Knowledge Catalog 메타데이터 업데이트를 허용합니다.
- Google Drive: Google Drive 파일에 대한 읽기 전용 액세스를 허용합니다.
- Bigtable: Google Bigtable 데이터에 대한 읽기 전용 액세스를 허용합니다.
커스텀 서비스 계정을 사용하려면 선택한 서비스 계정으로 실행을 선택한 후 커스텀 서비스 계정을 선택합니다.
태그 선택이 선택되어 있는지 확인합니다.
실행할 태그 선택 메뉴에서 실행할 태그를 선택합니다.
선택사항: 선택한 태그와 종속 항목이 있는 작업을 실행하려면 종속 항목 포함 옵션을 선택합니다.
선택사항: 선택한 태그가 있는 작업과 이 태그에 종속된 작업을 실행하려면 하위 항목 포함 옵션을 선택합니다.
선택사항: 모든 테이블을 처음부터 다시 빌드하려면 전체 새로고침으로 실행 옵션을 선택합니다. 이 옵션이 없으면 Dataform은 증분 테이블을 처음부터 다시 빌드하지 않고 업데이트합니다.
선택사항: 우선순위가 높은 대화형 작업으로 실행(기본값) 옵션을 사용하여 BigQuery 쿼리 작업 우선순위를 설정합니다. 기본적으로 BigQuery는 가능한 한 빨리 실행되도록 설계된 대화형 쿼리 작업으로 쿼리를 실행합니다. 이 옵션을 선택 해제하면 쿼리가 우선순위가 낮은 일괄 쿼리 작업으로 실행됩니다.
선택사항: 실행 중에 동시에 실행할 수 있는 작업 수를 제한하려면 동시 작업 제한을 선택하고 최대 동시 작업 수에
1에서5000사이의 정수를 입력합니다.준비된 작업 수가 구성된 한도를 초과하면 Dataform은 동시 실행 슬롯을 사용할 수 있을 때까지 나머지 준비된 작업을 큐에 배치합니다.
단위 테스트를 실행할 때는 동시 작업 한도가 지원되지 않습니다.
실행 시작을 클릭합니다. 인증 방법으로 내 사용자 인증 정보로 실행을 선택한 경우 Google 계정을 승인해야 합니다.
Google 계정 승인하기
Google 계정 사용자 인증 정보로 리소스를 인증하려면 Google 계정의 액세스 토큰을 가져오고 사용자를 대신하여 소스 데이터에 액세스할 수 있는 권한을 BigQuery 파이프라인에 수동으로 부여해야 합니다. OAuth 대화상자 인터페이스를 사용하여 수동 승인을 부여할 수 있습니다. 확장 액세스 옵션을 선택하는 경우 해당 서비스(예: Google Drive 또는 Knowledge Catalog)에 대한 액세스 권한을 부여해야 합니다.
BigQuery 파이프라인에 대한 권한을 한 번만 부여하면 됩니다.
부여한 권한을 취소하려면 다음 단계를 수행합니다.
- Google 계정 페이지로 이동합니다.
- BigQuery 파이프라인을 클릭합니다.
- 액세스 권한 삭제를 클릭합니다.
동시 작업 제한
기본적으로 Dataform은 업스트림 종속 항목이 충족되는 모든 작업을 동시에 실행합니다. 워크플로에 독립적인 작업이 많이 포함된 경우 모두 동시에 실행하면 BigQuery 비율 제한 오류가 발생하거나 프로젝트 할당량이 소진되거나 BigQuery 슬롯이 소진될 수 있습니다.
SQLX의 독립적인 작업 간에 인위적인 종속 항목을 도입하지 않고 리소스 경합을 제어하려면 수동 실행 또는 워크플로 구성 일정에서 최대 동시 작업 한도를 구성하면 됩니다.
동시 작업 한도를 구성하면 Dataform은 설정된 한도까지 준비된 작업을 동시에 실행하기 시작합니다. 업스트림 종속 항목이 충족된 추가 작업은 QUEUED 상태로 전환됩니다.
실행 중인 작업이 완료되고 동시 실행 슬롯을 사용할 수 있게 되면 Dataform은 모든 작업이 완료될 때까지 사용 가능한 슬롯에서 큐에 추가된 작업을 시작합니다. 작업이 큐에 추가된 동안 워크플로 실행이 실패하거나 취소되면 큐에 추가된 작업은 건너뜁니다.
이 한도는 워크플로 호출당 적용됩니다. 각 실행은 자체 실행 작업을 독립적으로 추적합니다.
단위 테스트를 실행할 때는 동시 작업 한도가 지원되지 않습니다.
다음 단계
- Dataform에서 증분 테이블을 실행하는 방법과 증분 테이블을 구성하는 방법은 증분 테이블 구성을 참조하세요.
- 실행 로그를 보는 방법은 실행 로그 모니터링을 참조하세요.
- Workflows 및 Cloud Scheduler로 실행을 예약하는 방법을 알아보려면 Workflows 및 Cloud Scheduler로 실행 예약을 참조하세요.
- Managed Service for Apache Airflow로 실행을 예약하는 방법은 Managed Service for Apache Airflow로 실행 예약을 참조하세요.