マネージド Airflow サービスを有効または無効にする

Managed Airflow(Gen 3) | Managed Airflow(Gen 2) | Managed Airflow(レガシー Gen 1)

このページでは、 Google Cloud プロジェクトで Managed Service for Apache Airflow サービスを有効または無効にする方法について説明します。

Google Cloudでのサービスの管理については、サービスの有効化と無効化をご覧ください。

VPC Service Controls 構成の Managed Airflow で必要なサービスのリストについては、VPC Service Controls の構成をご覧ください。

Managed Service for Apache Airflow に必要なサービス

このセクションでは、Managed Airflow(第 3 世代)で必要なサービスについて説明します。組織管理者やプロジェクト管理者は、プロジェクトで使用できる Google サービスを制限できる場合があります。

Managed Airflow(第 3 世代)には、次のサービスが必要です。

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com
  • cloudkms.googleapis.com、KMS 鍵または CMEK 鍵を使用している場合
  • secretmanager.googleapis.com、Secret Manager をシークレットのバックエンドとして使用している場合

Cloud DNS や IAM などの Google サービスは、ほとんどのプロジェクトですでにデフォルトで許可されています。

Managed Airflow サービスを有効にする

このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを有効にする方法について説明します。

サービスを有効にする前に

Cloud Composer API を有効にする

コンソール

Cloud Composer API を有効にします。

API を有効にするために必要なロール

API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

API の有効化

gcloud

composer.googleapis.com API を有効にします。

API を有効にするために必要なロール

API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

gcloud services enable composer.googleapis.com

API

services.enable メソッドを使用して composer.googleapis.com API を有効にします。

Terraform

google_project_service リソースを使用して composer.googleapis.com API を構成します。

DAG に必要なサービスを有効にする

Managed Airflow に必要なサービスに加えて、DAG が使用するすべてのサービスを有効にします。次に例を示します。

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

サービスの名前 *.googleapis.com は、API Explorer ページからリンクされた API ページで確認できます。

Managed Airflow サービスを無効にする

このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを無効にする方法について説明します。

サービスを無効にする前に

  • Managed Airflow サービスを無効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページをご覧ください。

  • プロジェクト内の Managed Airflow 環境がすべて削除されていることを確認してください。API を無効にすると、アクティブな Managed Airflow 環境のテナント プロジェクト部分が削除されます。この削除は元に戻すことができず、これらの環境が使用できなくなります。

  • 追加料金の発生を回避するには、Cloud Composer API を無効にする前に、各環境で次の手順を行います。

    1. DAG を一時停止します。
    2. 必要に応じて、環境のデータを DAG などの環境のバケットからエクスポートします。
    3. 自動的に削除されないリソースを含む環境を削除します。

Cloud Composer API を無効にする

Managed Airflow サービスを無効にするには:

コンソール

  1. Google Cloud コンソールで、[Cloud Composer API] ページに移動します。

    Cloud Composer API に移動

  2. [管理] をクリックします。

  3. [API を無効にする] をクリックします。

gcloud

gcloud services disable コマンドを実行します。

gcloud services disable composer.googleapis.com

API

services.disable メソッドを使用して、composer.googleapis.com API を無効にします。

Terraform

composer.googleapis.com API の構成を削除します。 Google Cloud サービスを構成するには、通常 google_project_service リソースを使用します。

Managed Airflow(第 3 世代)で不要なサービスのサポート終了

Managed Airflow(第 3 世代)で必要のない API は段階的に廃止されます。

次の API 依存関係はまだ切り離されていません。今後、Cloud Composer API から切り離される予定です。

  • sqladmin.googleapis.com
  • pubsub.googleapis.com

次の API が完全にデタッチ可能になりました。これらの API を無効にしても、Cloud Composer API は無効になりません。

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com

Cloud Composer API を有効にしても、デタッチ済みとしてリストされているすべての API は自動的に有効になりません。新しいプロジェクトに Managed Airflow(Gen 2)環境を作成するには、Cloud Composer API に加えて、デタッチされた API のグループを有効にします。

Cloud Composer API がすでに有効になっているプロジェクトの既存の Managed Airflow(Gen 3)環境と Managed Airflow(Gen 2)環境は、この変更の影響を受けません。以下の操作を行うことができます。

  • プロジェクトに Managed Airflow(第 3 世代)環境のみがある場合は、デタッチされた API を手動で無効にできます。

  • プロジェクトに Managed Airflow(Gen 2)環境がある場合は、これらの API を無効にすると環境が正常に機能しなくなる可能性があるため、有効にしておくことをおすすめします。

  • 自動化スクリプトを使用して Managed Airflow(第 2 世代)環境をプロビジョニングする場合は、Cloud Composer API に加えて、リストされている API が有効になっていることを確認してください。手動で有効にすることも、gcloud CLI コマンドを使用して有効にすることもできます。

次のステップ