Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מתוארים מנגנונים שונים של בקרת גישה לממשק המשתמש של Airflow ולממשק המשתמש של DAG. אתם יכולים להשתמש במנגנונים האלה, בנוסף לבקרת הגישה שניתנת על ידי IAM, כדי להפריד בין משתמשים בממשק המשתמש של Airflow ובממשק המשתמש של DAG בסביבה שלכם.
סקירה כללית על בקרת הגישה לממשק המשתמש של Airflow ב-Managed Airflow
הגישה לממשק המשתמש של Airflow ולממשק המשתמש של DAG, והחשיפה של הנתונים והפעולות בממשקי המשתמש האלה, נשלטות בשתי רמות ב-Managed Airflow:
הגישה לממשק המשתמש של Airflow ולממשק המשתמש של DAG ב-Managed Airflow נשלטת על ידי IAM.
אם לחשבון אין תפקיד שמאפשר לצפות בסביבות Managed Airflow בפרויקט, ממשק המשתמש של Airflow וממשק המשתמש של DAG לא זמינים.
ב-IAM אין אמצעי בקרה נוספים להרשאות מפורטות בממשק המשתמש של Airflow או בממשק המשתמש של DAG.
מודל בקרת הגישה של Apache Airflow מאפשר לצמצם את החשיפה בממשק המשתמש של Airflow ובממשק המשתמש של DAG על סמך תפקיד המשתמש.
בקרת הגישה של Apache Airflow היא תכונה של Airflow, עם מודל משלה של משתמשים, תפקידים והרשאות, ששונה מ-IAM.
בקרת הגישה של Apache Airflow משתמשת בהרשאות שמבוססות על משאבים. כל משתמשי Airflow עם תפקיד Airflow ספציפי מקבלים את ההרשאות של התפקיד הזה. לדוגמה, משתמשי Airflow שיש להם תפקיד עם ההרשאה can delete on Connections יכולים למחוק חיבורים בדף Connections בממשק המשתמש של Airflow.
אפשר גם להקצות הרשאות ברמת ה-DAG ל-DAGs ספציפיים. לדוגמה, כדי שרק משתמשים עם תפקיד Airflow ספציפי יוכלו לראות DAG מסוים בממשק המשתמש של Airflow. ב-Managed Airflow, אתם יכולים להקצות באופן אוטומטי הרשאות ברמת ה-DAG, על סמך תת-התיקייה שבה נמצא קובץ ה-DAG בקטגוריה של הסביבה.
אם אתם רוצים להגדיר גישה לזהויות חיצוניות באמצעות איחוד שירותי אימות הזהות של כוח עבודה, קודם צריך לתת גישה לסביבה שלכם ב-IAM, כמו שמתואר בקטע הקצאת תפקידי IAM לזהויות חיצוניות. לאחר מכן, תוכלו להשתמש בבקרת הגישה של ממשק המשתמש של Airflow כרגיל. משתמשי Airflow עם זהויות חיצוניות משתמשים במזהה הראשי שלהם במקום בכתובת האימייל, ובשדות אחרים של רשומות המשתמשים מאוכלסים ערכים שונים מאלה של חשבונות Google.
לפני שמתחילים
- התכונה Per-folder Roles Registration זמינה ב-Managed Airflow מגרסה 2.0.16 ואילך.
ניהול התפקידים והגדרות בקרת הגישה ב-Managed Airflow
משתמשים עם הרשאת אדמין (או הרשאה מקבילה) יכולים לראות ולשנות את הגדרות בקרת הגישה בממשק המשתמש של Airflow.
בממשק המשתמש של Airflow, אפשר להגדיר את הגדרות בקרת הגישה בתפריט Security. למידע נוסף על מודל בקרת הגישה של Airflow, ההרשאות הזמינות ותפקידי ברירת המחדל, קראו את המסמכים בנושא בקרת גישה לממשק המשתמש של Airflow.
ל-Airflow יש רשימת משתמשים משלו. משתמשים עם התפקיד Admin (או תפקיד מקביל) יכולים לראות את רשימת המשתמשים שפתחו את ממשק המשתמש של Airflow בסביבה, ונרשמו ב-Airflow. הרשימה הזו כוללת גם משתמשים שאדמין רשם מראש באופן ידני, כמו שמתואר בקטע הבא.
רישום משתמשים בממשק המשתמש של Airflow
משתמשים חדשים נרשמים באופן אוטומטי כשהם פותחים בפעם הראשונה את ממשק המשתמש של Airflow בסביבת Managed Airflow.
במהלך הרישום, המשתמשים מקבלים את התפקיד שצוין באפשרות ההגדרה [webserver]rbac_user_registration_role של Airflow. כדי לשלוט בתפקיד של משתמשים חדשים שנרשמו, אפשר להחליף את אפשרות ההגדרה הזו של Airflow בערך אחר.
אם לא מציינים תפקיד, ברירת המחדל של תפקיד הרישום היא Op בסביבות עם Airflow 2 ו-3.
כדי ליצור הגדרת תפקיד בסיסית לממשק המשתמש של Airflow, מומלץ לבצע את השלבים הבאים:
מנהלי הסביבה פותחים את ממשק המשתמש של Airflow בסביבה החדשה שנוצרה.
מקצים לחשבונות האדמין את התפקיד
Admin. תפקיד ברירת המחדל לחשבונות חדשים הואOp. כדי להקצות את התפקידAdmin, מריצים את הפקודה הבאה ב-Airflow CLI באמצעות ה-CLI של gcloud:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r Adminמחליפים את:
-
ENVIRONMENT_NAMEבשם הסביבה. -
LOCATIONבאזור שבו נמצאת הסביבה. -
USER_EMAILעם כתובת האימייל של חשבון המשתמש.
-
אדמינים יכולים עכשיו להגדיר בקרת גישה למשתמשים חדשים, כולל הענקת התפקיד
Adminלמשתמשים אחרים.
משתמשים שנרשמו מראש
המשתמשים נרשמים באופן אוטומטי עם מזהים מספריים של חשבונות משתמשים ב-Google (לא כתובות אימייל) בתור שמות המשתמשים שלהם. אפשר גם לרשום משתמש מראש באופן ידני ולהקצות לו תפקיד על ידי הוספת רשומת משתמש, שבה שדה שם המשתמש מוגדר לכתובת האימייל הראשית של המשתמש. כשמשתמש עם כתובת אימייל שתואמת לרשומת משתמש רשומה מראש נכנס לממשק המשתמש של Airflow בפעם הראשונה, שם המשתמש שלו מוחלף במזהה המשתמש שמזוהה כרגע (בזמן ההתחברות הראשונה) לפי כתובת האימייל שלו. הקשר בין Google identities (כתובות אימייל) לבין חשבונות משתמשים (מזהי משתמשים) הוא לא קבוע. אי אפשר לרשום מראש קבוצות ב-Google.
כדי לרשום משתמשים מראש, אתם יכולים להשתמש בממשק המשתמש של Airflow או להריץ פקודת CLI של Airflow דרך Google Cloud CLI.
כדי לרשום מראש משתמש עם תפקיד בהתאמה אישית באמצעות Google Cloud CLI, מריצים את הפקודה הבאה של Airflow CLI:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
מחליפים את מה שכתוב בשדות הבאים:
-
ENVIRONMENT_NAME: שם הסביבה -
LOCATION: האזור שבו נמצאת הסביבה -
ROLE: תפקיד Airflow של המשתמש, לדוגמהOp USER_EMAIL: כתובת האימייל של המשתמש-
FIRST_NAMEו-LAST_NAME: השם הפרטי ושם המשפחה של המשתמש
דוגמה:
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
הסרת משתמשים
מחיקת משתמש מ-Airflow לא מבטלת את הגישה של אותו משתמש, כי הוא נרשם מחדש באופן אוטומטי בפעם הבאה שהוא ניגש לממשק המשתמש של Airflow. כדי לבטל את הגישה לכל ממשק המשתמש של Airflow, צריך להסיר את ההרשאה composer.environments.get ממדיניות ההרשאות של הפרויקט.
אפשר גם לשנות את התפקיד של המשתמש ל-Public, כדי לשמור על הרישום של המשתמש אבל להסיר את כל ההרשאות לממשק המשתמש של Airflow.
הגדרה אוטומטית של הרשאות ברמת ה-DAG
התכונה "רישום תפקידים לכל תיקייה" יוצרת באופן אוטומטי תפקיד Airflow מותאם אישית לכל תת-תיקייה ישירות בתיקייה /dags, ומעניקה לתפקיד הזה גישה ברמת ה-DAG לכל ה-DAG-ים שקובץ המקור שלהם מאוחסן בתת-התיקייה המתאימה. כך קל יותר לנהל את התפקידים בהתאמה אישית ב-Airflow ואת הגישה שלהם ל-DAG.
איך פועל רישום התפקידים לכל תיקייה
רישום תפקידים לכל תיקייה הוא דרך אוטומטית להגדיר תפקידים והרשאות ברמת ה-DAG. לכן, יכולות להיות התנגשויות עם מנגנונים אחרים של Airflow שנותנים הרשאות ברמת ה-DAG:
כדי למנוע התנגשויות כאלה, הפעלת רישום תפקידים לכל תיקייה משנה גם את ההתנהגות של המנגנונים האלה.
ב-Airflow 2 ו-3:
- אפשר להעניק גישה ל-DAG לתפקידים באמצעות המאפיין
access_controlשמוגדר בקוד המקור של ה-DAG. - הענקת הרשאות DAG באופן ידני (דרך ממשק המשתמש של Airflow או ה-CLI של gcloud) עלולה לגרום להתנגשויות. לדוגמה, אם מקצים באופן ידני הרשאות ברמת ה-DAG לתפקיד ברמת התיקייה, יכול להיות שההרשאות האלה יוסרו או יוחלפו כשמעבד ה-DAG יסנכרן DAG. מומלץ לא להעניק הרשאות DAG באופן ידני.
- התפקידים כוללים איחוד של הרשאות גישה ל-DAG, שרשומות באמצעות רישום תפקידים לכל תיקייה ומוגדרות במאפיין
access_controlשל ה-DAG.
DAGs שנמצאים ישירות בתיקייה /dags ברמה העליונה לא מוקצים אוטומטית לאף תפקיד לכל תיקייה. אי אפשר לגשת אליהם באמצעות תפקיד ברמת התיקייה. תפקידים אחרים כמו אדמין, מפעיל, משתמש או כל תפקיד בהתאמה אישית שקיבל הרשאות, יכולים לגשת אליהם דרך ממשק המשתמש של Airflow וממשק המשתמש של DAG.
אם תעלו קובצי DAG לתיקיות משנה עם שמות שתואמים לתפקידים מובְנים של Airflow ולתפקידים שנוצרו על ידי Managed Airflow, ההרשאות לקובצי DAG בתיקיות המשנה האלה עדיין יוקצו לתפקידים האלה. לדוגמה, העלאת DAG לתיקייה /dags/Admin מעניקה הרשאות ל-DAG הזה לתפקיד Admin. תפקידי Airflow מובנים כוללים את Admin, Op, User, Viewer ו-Public.
Managed Airflow יוצר את UserNoDags אחרי שמפעילים את התכונה Per-folder Roles Registration.
בזמן עיבוד ה-DAG בתזמון של Airflow, מתבצע רישום של תפקידים לכל תיקייה. אם יש יותר מ-100 DAGs בסביבה, יכול להיות שתראו עלייה בזמן הניתוח של ה-DAG.
במקרה כזה, מומלץ להשתמש ביותר זיכרון ו-CPU לתזמונים.
אפשר גם להגדיל את הערך של אפשרות ההגדרה [scheduler]parsing_processes ב-Airflow.
הקצאה אוטומטית של DAG לתפקידים בכל תיקייה
כדי להקצות באופן אוטומטי קבוצות DAG לתפקידים בכל תיקייה:
משנים את אפשרות ההגדרה הבאה של Airflow:
קטע מפתח ערך webserverrbac_autoregister_per_folder_rolesTrueמשנים את תפקיד הרישום של המשתמש החדש לתפקיד ללא גישה ל-DAG. כך למשתמשים חדשים אין גישה ל-DAG, עד שהאדמין מקצה לחשבונות שלהם תפקיד עם הרשאות ל-DAG ספציפיים.
UserNoDags הוא תפקיד שנוצר על ידי Managed Airflow רק כשהתכונה "רישום תפקידים לכל תיקייה" מופעלת. הוא מקביל לתפקיד User, אבל בלי גישה ל-DAG.
משנים את אפשרות ההגדרה הבאה של Airflow:
קטע מפתח ערך webserverrbac_user_registration_roleUserNoDagsמוודאים שהמשתמשים רשומים ב-Airflow.
מקצים תפקידים למשתמשים באחת מהדרכים הבאות:
- מאפשרים ל-Airflow ליצור תפקידים באופן אוטומטי על סמך תיקיות המשנה של ה-DAG, ואז מקצים משתמשים לתפקידים האלה.
- ליצור מראש תפקידים ריקים לתיקיות המשנה של ה-DAG, עם שמות תפקידים שתואמים לשם של תיקיית משנה, ואז להקצות משתמשים לתפקידים האלה. לדוגמה, לתיקייה
/dags/CustomFolder, יוצרים תפקיד בשםCustomFolder.
מעלים קובצי DAG לתיקיות משנה עם שמות שתואמים לתפקידים שהוקצו למשתמשים. תיקיות המשנה האלה חייבות להיות בתוך התיקייה
/dagsבקטגוריה של הסביבה. Airflow מוסיף הרשאות ל-DAG בתיקיית משנה כזו, כך שרק משתמשים עם התפקיד המתאים יכולים לגשת אליהם דרך ממשק המשתמש של Airflow וממשק המשתמש של DAG.
הגדרה ידנית של הרשאות ברמת ה-DAG
אתם יכולים להגדיר הרשאות ברמת ה-DAG לתפקידים בהתאמה אישית, כדי לציין אילו DAGs יהיו גלויים לקבוצות משתמשים ספציפיות.
כדי להגדיר הרשאות ברמת ה-DAG בממשק המשתמש של Airflow:
- האדמין יוצר תפקידים ריקים לקיבוץ DAG.
- האדמין מקצה למשתמשים את התפקידים המתאימים.
- האדמין או המשתמשים מקצים קבוצות DAG לתפקידים.
- בממשק המשתמש של Airflow, המשתמשים יכולים לראות רק את ה-DAGs שהוקצו לקבוצה שלהם.
אפשר להקצות DAG לתפקידים באמצעות מאפייני DAG או מממשק המשתמש של Airflow.
הקצאת DAG לתפקידים בממשק המשתמש של Airflow
אדמין יכול להקצות את ההרשאות הנדרשות ברמת ה-DAG לתפקידים המתאימים בממשק המשתמש של Airflow.
אי אפשר לבצע את הפעולה הזו בממשק המשתמש של DAG.
הקצאת DAG לתפקידים במאפייני DAG
אפשר להגדיר את הפרמטר access_control של ה-DAG ב-DAG, ולציין את התפקידים של קיבוץ ה-DAG שאליהם ה-DAG מוקצה.
בגרסאות Airflow 2 שקודמות ל-2.1.0, האדמין, מפתח ה-DAG או תהליך אוטומטי צריכים להריץ את sync-perm הפקודה של Airflow כדי להחיל את ההגדרות החדשות של בקרת הגישה.
בגרסאות Airflow 2.1.0 ואילך, כבר לא צריך להריץ את הפקודה הזו כי המתזמן מחיל הרשאות ברמת ה-DAG כשהוא מנתח DAG.
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
מיפוי יומני ביקורת בממשק המשתמש של Airflow למשתמשים
יומני הביקורת בממשק המשתמש של Airflow ממופים למזהים מספריים של חשבונות משתמשים ב-Google. לדוגמה, אם משתמש משהה DAG, נוספת רשומה ליומנים.
אפשר לראות את יומני הביקורת בדף Browse > Audit Logs בממשק המשתמש של Airflow.
ברשומה אופיינית מופיע מזהה מספרי בשדה Owner:
accounts.google.com:NUMERIC_ID. אפשר למפות מזהים מספריים לכתובות אימייל של משתמשים בדף Security > List Users. הדף הזה זמין למשתמשים עם התפקיד Admin.
חשוב לזכור שהקשר בין זהויות Google (כתובות אימייל) לבין חשבונות משתמשים (מזהי משתמשים) הוא לא קבוע.