Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Auf dieser Seite werden verschiedene Mechanismen der Zugriffssteuerung für die Airflow-UI und die DAG-UI beschrieben. Zusätzlich zur Zugriffssteuerung durch IAM können Sie diese Mechanismen verwenden, um Nutzer in der Airflow-UI und der DAG-UI Ihrer Umgebung zu trennen.
Übersicht über die Zugriffssteuerung für die Airflow-Benutzeroberfläche in Managed Airflow
Der Zugriff auf die Airflow-Benutzeroberfläche und die DAG-Benutzeroberfläche sowie die Sichtbarkeit von Daten und Vorgängen in diesen Benutzeroberflächen werden in Managed Airflow auf zwei Ebenen gesteuert:
Der Zugriff auf die Airflow-UI und die DAG-UI in Managed Airflow wird über IAM gesteuert.
Wenn ein Konto keine Rolle hat, mit der Managed Airflow-Umgebungen in Ihrem Projekt angezeigt werden können, sind die Airflow-UI und die DAG-UI nicht verfügbar.
IAM bietet keine zusätzliche detaillierte Berechtigungssteuerung in der Airflow- oder DAG-UI.
Mit dem Apache Airflow-Zugriffssteuerungsmodell können Sie die Sichtbarkeit in der Airflow-UI und der DAG-UI basierend auf der Nutzerrolle reduzieren.
Die Apache Airflow-Zugriffssteuerung ist ein Feature von Airflow mit einem eigenen Modell für Nutzer, Rollen und Berechtigungen, das sich von IAM unterscheidet.
Die Zugriffssteuerung von Apache Airflow verwendet ressourcenbasierte Berechtigungen. Alle Airflow-Nutzer mit einer bestimmten Airflow-Rolle erhalten die Berechtigungen dieser Rolle. Beispielsweise können Airflow-Nutzer, die eine Rolle mit der Berechtigung can delete on Connections haben, Verbindungen auf der Seite „Verbindungen“ in der Airflow-Benutzeroberfläche löschen.
Sie können auch Berechtigungen auf DAG-Ebene für einzelne DAGs zuweisen. Beispielsweise können Sie festlegen, dass nur Nutzer mit einer bestimmten Airflow-Rolle einen bestimmten DAG in der Airflow-UI sehen können. In Managed Airflow können Sie Berechtigungen auf DAG-Ebene automatisch zuweisen, basierend auf dem Unterordner, in dem sich die DAG-Datei im Bucket der Umgebung befindet.
Wenn Sie den Zugriff für externe Identitäten über die Mitarbeiteridentitätsföderation einrichten möchten, gewähren Sie zuerst Zugriff auf Ihre Umgebung in IAM, wie im Abschnitt IAM-Rollen für externe Identitäten gewähren beschrieben. Anschließend können Sie die Zugriffssteuerung der Airflow-Benutzeroberfläche wie gewohnt verwenden. Airflow-Nutzer für externe Identitäten verwenden anstelle der E-Mail-Adresse ihre Haupt-ID und haben andere Werte in anderen Nutzerdatensatzfeldern als Google-Konten.
Hinweis
- Die Registrierung von Rollen pro Ordner ist in Managed Airflow 2.0.16 und höher verfügbar.
Airflow-Rollen und Einstellungen für die Zugriffssteuerung verwalten
Nutzer mit der Rolle „Admin“ (oder einer entsprechenden Rolle) können die Einstellungen für die Zugriffssteuerung in der Airflow-UI aufrufen und ändern.
In der Airflow-Benutzeroberfläche können Sie die Einstellungen für die Zugriffssteuerung im Menü Sicherheit konfigurieren. Weitere Informationen zum Airflow-Zugriffssteuerungsmodell, zu den verfügbaren Berechtigungen und zu den Standardrollen finden Sie in der Dokumentation zur Zugriffssteuerung für die Airflow-Benutzeroberfläche.
Airflow verwaltet eine eigene Liste von Nutzern. Nutzer mit der Rolle „Admin“ (oder einer entsprechenden Rolle) können die Liste der Nutzer aufrufen, die die Airflow-Benutzeroberfläche einer Umgebung geöffnet haben und in Airflow registriert wurden. Diese Liste enthält auch Nutzer, die von einem Administrator manuell vorregistriert wurden, wie im folgenden Abschnitt beschrieben.
Nutzer in der Airflow-Benutzeroberfläche registrieren
Neue Nutzer werden automatisch registriert, wenn sie die Airflow-Benutzeroberfläche einer Managed Airflow-Umgebung zum ersten Mal öffnen.
Bei der Registrierung wird Nutzern die Rolle zugewiesen, die in der Airflow-Konfigurationsoption [webserver]rbac_user_registration_role angegeben ist. Sie können die Rolle neu registrierter Nutzer steuern, indem Sie diese Airflow-Konfigurationsoption mit einem anderen Wert überschreiben.
Wenn keine Angabe erfolgt, ist die Standardregistrierungsrolle in Umgebungen mit Airflow 2 und 3 Op.
Die folgenden Schritte werden empfohlen, um eine grundlegende Rollenkonfiguration für die Airflow-Benutzeroberfläche zu erstellen:
Umgebungsadministratoren öffnen die Airflow-UI für die neu erstellte Umgebung.
Gewähren Sie den Administratorkonten die Rolle
Admin. Die Standardrolle für neue Konten istOp. Führen Sie den folgenden Airflow-CLI-Befehl mit der gcloud CLI aus, um die RolleAdminzuzuweisen:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r AdminErsetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.USER_EMAILdurch die E-Mail-Adresse eines Nutzerkontos.
Administratoren können jetzt die Zugriffssteuerung für neue Nutzer konfigurieren und beispielsweise die Rolle
Adminanderen Nutzern zuweisen.
Nutzer vorregistrieren
Nutzer werden automatisch mit numerischen IDs von Google-Nutzerkonten (nicht mit E-Mail-Adressen) als Nutzernamen registriert. Sie können einen Nutzer auch manuell vorregistrieren und ihm eine Rolle zuweisen, indem Sie einen Nutzereintrag hinzufügen, bei dem das Feld für den Nutzernamen auf die primäre E-Mail-Adresse des Nutzers festgelegt ist. Wenn sich ein Nutzer mit einer E-Mail-Adresse, die mit einem vorregistrierten Nutzereintrag übereinstimmt, zum ersten Mal in der Airflow-UI anmeldet, wird sein Nutzername durch die Nutzer-ID ersetzt, die derzeit (zum Zeitpunkt der ersten Anmeldung) durch seine E-Mail-Adresse identifiziert wird. Die Beziehung zwischen Google-Identitäten (E-Mail-Adressen) und Nutzerkonten (Nutzer-IDs) ist nicht fest. Google-Gruppen können nicht vorregistriert werden.
Wenn Sie Nutzer vorab registrieren möchten, können Sie die Airflow-Benutzeroberfläche verwenden oder einen Airflow-Befehlszeilenbefehl über die Google Cloud CLI ausführen.
Führen Sie den folgenden Airflow CLI-Befehl aus, um einen Nutzer mit einer benutzerdefinierten Rolle über die Google Cloud CLI vorab zu registrieren:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
Ersetzen Sie Folgendes:
ENVIRONMENT_NAME: der Name der UmgebungLOCATION: die Region, in der sich die Umgebung befindetROLE: eine Airflow-Rolle für den Nutzer, z. B.OpUSER_EMAIL: die E-Mail-Adresse des NutzersFIRST_NAMEundLAST_NAME: Vor- und Nachname des Nutzers
Beispiel:
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
Nutzer entfernen
Wenn Sie einen Nutzer aus Airflow löschen, wird der Zugriff für diesen Nutzer nicht widerrufen, da er beim nächsten Zugriff auf die Airflow-UI automatisch wieder registriert wird. Wenn Sie den Zugriff auf die gesamte Airflow-Benutzeroberfläche widerrufen möchten, entfernen Sie die Berechtigung composer.environments.get aus der Zulassungsrichtlinie für Ihr Projekt.
Sie können die Rolle des Nutzers auch in „Öffentlich“ ändern. Dadurch bleibt die Registrierung des Nutzers erhalten, aber alle Berechtigungen für die Airflow-UI werden entfernt.
Berechtigungen auf DAG-Ebene automatisch konfigurieren
Mit der Funktion „Registrierung von Rollen pro Ordner“ wird automatisch eine benutzerdefinierte Airflow-Rolle für jeden Unterordner direkt im Ordner /dags erstellt. Diese Rolle erhält Zugriff auf DAG-Ebene auf alle DAGs, deren Quelldatei in diesem Unterordner gespeichert ist. Dies vereinfacht die Verwaltung benutzerdefinierter Airflow-Rollen und deren Zugriff auf DAGs.
So funktioniert die Registrierung von Rollen pro Ordner
Die Registrierung von Rollen pro Ordner ist eine automatisierte Methode zum Konfigurieren von Rollen und ihren Berechtigungen auf DAG-Ebene. Daher kann es zu Konflikten mit anderen Airflow-Mechanismen kommen, die Berechtigungen auf DAG-Ebene gewähren:
- DAG-Berechtigungen manuell Rollen zuweisen
- DAGs über das Attribut
access_controlin einem DAG Rollen zuweisen.
Um solche Konflikte zu vermeiden, wird durch die Aktivierung der Registrierung von ordnerspezifischen Rollen auch das Verhalten dieser Mechanismen geändert.
In Airflow 2 und 3:
- Sie können Rollen Zugriff auf DAGs gewähren, indem Sie das Attribut
access_controlim DAG-Quellcode definieren. - Das manuelle Gewähren von DAG-Berechtigungen (über die Airflow-Benutzeroberfläche oder die gcloud CLI) kann zu Konflikten führen. Wenn Sie beispielsweise einer Rolle pro Ordner manuell Berechtigungen auf DAG-Ebene gewähren, können diese Berechtigungen entfernt oder überschrieben werden, wenn der DAG-Prozessor einen DAG synchronisiert. Wir empfehlen, DAG-Berechtigungen nicht manuell zu gewähren.
- Rollen haben eine Kombination von DAG-Zugriffsberechtigungen, die über die Rollenregistrierung pro Ordner registriert und im Attribut
access_controldes DAG definiert sind.
DAGs, die sich direkt im /dags-Ordner der obersten Ebene befinden, werden keiner ordnerspezifischen Rolle automatisch zugewiesen. Auf sie kann nicht mit einer ordnerspezifischen Rolle zugegriffen werden. Andere Rollen wie „Admin“, „Op“, „User“ oder benutzerdefinierte Rollen, denen Berechtigungen gewährt wurden, können über die Airflow-UI und die DAG-UI darauf zugreifen.
Wenn Sie DAGs in Unterordner mit Namen hochladen, die mit integrierten Airflow-Rollen und von Managed Airflow erstellten Rollen übereinstimmen, werden die Berechtigungen für DAGs in diesen Unterordnern weiterhin diesen Rollen zugewiesen. Wenn Sie beispielsweise einen DAG in den Ordner /dags/Admin hochladen, werden der Rolle „Admin“ Berechtigungen für diesen DAG gewährt. Zu den integrierten Airflow-Rollen gehören Admin, Op, User, Viewer und Public.
Managed Airflow erstellt „UserNoDags“, nachdem die Funktion zur Registrierung von Rollen pro Ordner aktiviert wurde.
Airflow führt die Registrierung von Rollen pro Ordner durch, wenn DAGs im Airflow-Planer verarbeitet werden. Wenn Ihre Umgebung mehr als 100 DAGs enthält, kann sich die DAG-Parsing-Zeit erhöhen.
In diesem Fall empfehlen wir, mehr Arbeitsspeicher und CPU für Planer zu verwenden.
Sie können auch den Wert der Airflow-Konfigurationsoption [scheduler]parsing_processes erhöhen.
DAGs automatisch ordnerspezifischen Rollen zuweisen
So weisen Sie DAGs automatisch ordnerspezifischen Rollen zu:
Überschreiben Sie die folgende Airflow-Konfigurationsoption:
Bereich Schlüssel Wert webserverrbac_autoregister_per_folder_rolesTrueÄndern Sie die Rolle für die Registrierung neuer Nutzer in eine Rolle ohne Zugriff auf DAGs. Auf diese Weise haben neue Nutzer erst dann Zugriff auf DAGs, wenn ein Administrator ihren Konten eine Rolle mit Berechtigungen für bestimmte DAGs zuweist.
UserNoDags ist eine Rolle, die von Managed Airflow nur erstellt wird, wenn die Funktion „Registrierung von Rollen pro Ordner“ aktiviert ist. Sie entspricht der Nutzerrolle, bietet aber keinen Zugriff auf DAGs.
Überschreiben Sie die folgende Airflow-Konfigurationsoption:
Bereich Schlüssel Wert webserverrbac_user_registration_roleUserNoDagsAchten Sie darauf, dass Nutzer in Airflow registriert sind.
Weisen Sie Nutzern Rollen mit einem der folgenden Ansätze zu:
- Lassen Sie Airflow automatisch Rollen basierend auf den DAG-Unterordnern erstellen und weisen Sie diese Rollen dann Nutzern zu.
- Erstellen Sie leere Rollen für die DAG-Unterordner vor, wobei die Rollennamen mit dem Namen eines Unterordners übereinstimmen, und weisen Sie diesen Rollen dann Nutzer zu. Erstellen Sie beispielsweise für den Ordner
/dags/CustomFoldereine Rolle mit dem NamenCustomFolder.
Laden Sie DAGs in Unterordner hoch, deren Namen den Rollen entsprechen, die Nutzern zugewiesen sind. Diese Unterordner müssen sich im Ordner
/dagsim Bucket der Umgebung befinden. Airflow fügt DAGs in einem solchen Unterordner Berechtigungen hinzu, sodass nur Nutzer mit der entsprechenden Rolle über die Airflow-UI und die DAG-UI darauf zugreifen können.
Berechtigungen auf DAG-Ebene manuell konfigurieren
Sie können Berechtigungen auf DAG-Ebene für benutzerdefinierte Rollen konfigurieren, um festzulegen, welche DAGs für bestimmte Nutzergruppen sichtbar sind.
So konfigurieren Sie Berechtigungen auf DAG-Ebene in der Airflow-Benutzeroberfläche:
- Der Administrator erstellt leere Rollen zum Gruppieren von DAGs.
- Der Administrator weist Nutzern die entsprechenden Rollen zu.
- Der Administrator oder die Nutzer weisen DAGs Rollen zu.
- In der Airflow-Benutzeroberfläche können Nutzer nur DAGs sehen, die ihrer Gruppe zugewiesen sind.
DAGs können Rollen entweder über DAG-Attribute oder über die Airflow-Benutzeroberfläche zugewiesen werden.
DAGs Rollen in der Airflow-Benutzeroberfläche zuweisen
Ein Administrator kann die erforderlichen Berechtigungen auf DAG-Ebene den entsprechenden Rollen in der Airflow-Benutzeroberfläche zuweisen.
Dieser Vorgang wird in der DAG-Benutzeroberfläche nicht unterstützt.
DAGs Rollen in DAG-Attributen zuweisen
Sie können den DAG-Parameter access_control für einen DAG festlegen und die DAG-Gruppierungsrollen angeben, denen der DAG zugewiesen ist.
In Airflow 2-Versionen vor 2.1.0 muss der Administrator, der DAG-Entwickler oder ein automatisierter Prozess den Airflow-Befehl sync-perm ausführen, um die neuen Einstellungen für die Zugriffssteuerung anzuwenden.
In Airflow 2.1.0 und höher ist die Ausführung dieses Befehls nicht mehr erforderlich, da der Planer beim Parsen eines DAG Berechtigungen auf DAG-Ebene anwendet.
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Audit-Logs in der Airflow-Benutzeroberfläche Nutzern zuordnen
Audit-Logs in der Airflow-Benutzeroberfläche werden numerischen IDs von Google-Nutzerkonten zugeordnet. Wenn ein Nutzer beispielsweise einen DAG pausiert, wird den Logs ein Eintrag hinzugefügt.
Sie können Audit-Logs auf der Seite Durchsuchen > Audit-Logs in der Airflow-Benutzeroberfläche aufrufen.
In einem typischen Eintrag wird im Feld Inhaber eine numerische ID aufgeführt:
accounts.google.com:NUMERIC_ID. Auf der Seite Sicherheit > Nutzer auflisten können Sie numerische IDs den E-Mail-Adressen von Nutzern zuordnen. Diese Seite ist für Nutzer mit der Rolle Admin verfügbar.
Beachten Sie, dass die Beziehung zwischen Google-Identitäten (E-Mail-Adressen) und Nutzerkonten (Nutzer-IDs) nicht fest ist.