Verwalteten Airflow-Dienst aktivieren und deaktivieren

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird beschrieben, wie Sie den Managed Service for Apache Airflow-Dienst in Ihrem Google Cloud -Projekt aktivieren und deaktivieren.

Informationen zur Dienstverwaltung in Google Cloudfinden Sie unter Dienste aktivieren und deaktivieren.

Eine Liste der Dienste, die von Managed Airflow in VPC Service Controls-Konfigurationen benötigt werden, finden Sie unter VPC Service Controls konfigurieren.

Für Managed Service for Apache Airflow erforderliche Dienste

Bald nicht mehr unterstützt: Wir stellen die APIs ein, die für Managed Airflow (Gen 3) nicht erforderlich sind.

In diesem Abschnitt werden Dienste beschrieben, die für Managed Airflow (Version 3) erforderlich sind. In einigen Fällen können Organisations- oder Projektadministratoren einschränken, welche Google-Dienste in ihren Projekten verwendet werden dürfen.

Die folgenden Dienste sind für Managed Airflow (Version 3) erforderlich:

• composer.googleapis.com
• compute.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• storage.googleapis.com
• cloudresourcemanager.googleapis.com
• servicedirectory.googleapis.com
• pubsub.googleapis.com
• sqladmin.googleapis.com
• cloudkms.googleapis.com, wenn Sie Cloud KMS- oder CMEK-Schlüssel verwenden

• secretmanager.googleapis.com, wenn Sie Secret Manager als Secret-Backend verwenden

Google-Dienste wie Cloud DNS oder IAM sind in den meisten Projekten bereits standardmäßig zulässig.

Managed Airflow-Dienst aktivieren

In diesem Abschnitt wird beschrieben, wie Sie den Managed Airflow-Dienst in Ihrem Google Cloud -Projekt aktivieren.

Bevor Sie den Dienst aktivieren

• Zum Aktivieren des Managed Airflow-Dienstes benötigen Sie die entsprechenden Identity and Access Management-Berechtigungen, die in der Rolle Service Usage Admin verfügbar sind.

• Achten Sie darauf, dass für Ihr Projekt die Abrechnung aktiviert ist.

Cloud Composer API aktivieren

Console

Aktivieren Sie die Cloud Composer API:

Rollen, die zum Aktivieren von APIs erforderlich sind

Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

API aktivieren

gcloud

Aktivieren Sie die composer.googleapis.com API:

Rollen, die zum Aktivieren von APIs erforderlich sind

Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

gcloud services enable composer.googleapis.com

API

Verwenden Sie die Methode services.enable, um die composer.googleapis.com API zu aktivieren.

Terraform

Verwenden Sie die Ressource google_project_service, um die composer.googleapis.com API zu konfigurieren.

Wichtig: Wenn Sie die BigQuery API deaktivieren, funktioniert Ihre Managed Airflow-Umgebung nicht mehr. Dies liegt daran, dass Google Kubernetes Engine von BigQuery abhängt und Managed Service for Apache Airflow diese Abhängigkeit von der Kubernetes Engine API übernimmt.

Für Ihre DAGs erforderliche Dienste aktivieren

Aktivieren Sie zusätzlich zu den von Managed Airflow benötigten Diensten alle Dienste, die von Ihren DAGs verwendet werden, z. B.:

• bigquery.googleapis.com
• dataflow.googleapis.com
• datacatalog.googleapis.com

Die *.googleapis.com-Namen der Dienste finden Sie auf den API-Seiten, die auf der API Explorer-Seite verlinkt sind.

Managed Airflow-Dienst deaktivieren

In diesem Abschnitt wird beschrieben, wie Sie den Managed Airflow-Dienst in Ihrem Google Cloud -Projekt deaktivieren.

Bevor Sie den Dienst deaktivieren

Warnung: Sie können keine Umgebungen in Ihrem Projekt wiederherstellen, nachdem Sie die Cloud Composer API deaktiviert haben. Nachdem die API deaktiviert wurde, können Sie weiterhin auf Daten in den Buckets Ihrer Umgebung zugreifen. Die Umgebungen selbst können jedoch nicht mehr verwendet werden.

• Zum Deaktivieren des Managed Airflow-Dienstes benötigen Sie die entsprechenden Identity and Access Management-Berechtigungen. Informationen zu den IAM-Anforderungen für Service Usage finden Sie auf der Service Usage-Seite unter Zugriffssteuerung.

• Achten Sie darauf, dass alle Managed Airflow-Umgebungen in Ihrem Projekt gelöscht sind. Wenn Sie die API deaktivieren, werden die Mandantenprojektteile von Managed Airflow-Umgebungen unwiderruflich gelöscht und diese Umgebungen werden unbrauchbar.

• Bevor Sie die Cloud Composer API deaktivieren, führen Sie für jede Umgebung die folgenden Schritte aus, um zusätzliche Gebühren zu vermeiden.

  1. Pausieren Sie die DAGs.
  2. Exportieren Sie bei Bedarf die Daten der Umgebung, z. B. DAGs aus dem Bucket der Umgebung.
  3. Löschen Sie Ihre Umgebung, einschließlich der Ressourcen, die nicht automatisch gelöscht werden.

Cloud Composer API deaktivieren

So deaktivieren Sie den Managed Airflow-Dienst:

Console

1. Rufen Sie in der Google Cloud Console die Seite Cloud Composer API auf.

   Zur Cloud Composer API

2. Klicken Sie auf Verwalten.

3. Klicken Sie auf API deaktivieren.

gcloud

Führen Sie den Befehl gcloud services disable aus:

gcloud services disable composer.googleapis.com

API

Verwenden Sie die Methode services.disable, um die composer.googleapis.com API zu deaktivieren.

Terraform

Entfernen Sie die Konfiguration für die composer.googleapis.com API. In der Regel verwenden Sie die Ressource google_project_service, um Google Cloud -Dienste zu konfigurieren.

Einstellung von Diensten, die für Managed Airflow (Gen 3) nicht erforderlich sind

Wir stellen die APIs ein, die für Managed Airflow (Gen 3) nicht erforderlich sind.

Die folgenden API-Abhängigkeiten sind noch nicht getrennt und werden in Zukunft von der Cloud Composer API getrennt:

• sqladmin.googleapis.com
• pubsub.googleapis.com

Die folgenden APIs sind vollständig trennbar. Durch die Deaktivierung dieser APIs wird die Cloud Composer API nicht deaktiviert:

Achtung: Wenn Sie diese APIs deaktivieren, funktionieren Managed Airflow-Umgebungen (Gen 2) und Managed Airflow-Umgebungen (Legacy Gen 1) nicht mehr und können nicht wiederhergestellt werden.

• artifactregistry.googleapis.com
• cloudbuild.googleapis.com
• container.googleapis.com

Alle APIs, die als getrennt aufgeführt sind, werden nicht mehr automatisch aktiviert, wenn Sie die Cloud Composer API aktivieren. Wenn Sie Managed Airflow-Umgebungen (Gen 2) in neuen Projekten erstellen möchten, müssen Sie zusätzlich zur Cloud Composer API die Gruppe der getrennten APIs aktivieren.

Vorhandene Managed Airflow-Umgebungen (Gen 3) und Managed Airflow-Umgebungen (Gen 2) in Projekten, in denen die Cloud Composer API bereits aktiviert ist, sind von dieser Änderung nicht betroffen. In diesem Fall können Sie folgende Aktionen ausführen:

• Wenn Ihr Projekt nur Managed Airflow-Umgebungen (Version 3) enthält, können Sie die getrennten APIs manuell deaktivieren.

• Wenn Ihr Projekt Managed Airflow-Umgebungen (Gen 2) enthält, empfehlen wir, diese APIs aktiviert zu lassen, da das Deaktivieren zu Fehlfunktionen der Umgebung führen kann.

• Wenn Sie Automatisierungsskripts zum Bereitstellen von Managed Airflow-Umgebungen (Gen 2) verwenden, müssen die aufgeführten APIs zusätzlich zur Cloud Composer API aktiviert sein. Sie können sie manuell oder mit einem gcloud CLI-Befehl aktivieren.

Nächste Schritte

• Umgebungen erstellen
• Zugriffssteuerung