הפעלה והשבתה של שירות Managed Airflow

Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך להפעיל ולהשבית את Managed Service for Apache Airflow בפרויקט ב- Google Cloud .

במאמר הפעלה והשבתה של שירותים מוסבר איך לנהל את השירותים ב- Google Cloud.

רשימה של השירותים שנדרשים ל-Managed Airflow בהגדרות של VPC Service Controls מופיעה במאמר הגדרת VPC Service Controls.

השירותים שנדרשים ל-Managed Service for Apache Airflow

בקטע הזה מתוארים השירותים שנדרשים ל-Managed Airflow (דור 3). במקרים מסוימים, אדמינים של ארגונים או פרויקטים יכולים להגביל את שירותי Google שאפשר להשתמש בהם בפרויקטים שלהם.

אלה השירותים שנדרשים ל-Managed Airflow (דור 3):

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com
  • ‫cloudkms.googleapis.com, אם אתם משתמשים במפתחות Cloud KMS או CMEK

  • ‫secretmanager.googleapis.com, אם אתם משתמשים ב-Secret Manager כ-secret backend

שירותי Google כמו Cloud DNS או IAM כבר מורשים כברירת מחדל ברוב הפרויקטים.

הפעלת השירות Managed Airflow

בקטע הזה מוסבר איך להפעיל את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמפעילים את השירות

הפעלת Cloud Composer API

המסוף

מפעילים את Cloud Composer API:

התפקידים שנדרשים כדי להפעיל ממשקי API

כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

להפעלת ה-API

gcloud

מפעילים את ה-API של composer.googleapis.com:

התפקידים שנדרשים כדי להפעיל ממשקי API

כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים. 

gcloud services enable composer.googleapis.com

API

משתמשים ב-method ‏services.enable כדי להפעיל את ה-API של composer.googleapis.com.

Terraform

משתמשים במשאב google_project_service כדי להגדיר את ה-API של composer.googleapis.com.

הפעלת השירותים שנדרשים ל-DAGs

בנוסף לשירותים שנדרשים ל-Managed Airflow, צריך להפעיל את כל השירותים שבהם משתמשים ה-DAG, לדוגמה:

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

אתם יכולים למצוא את השמות של השירותים בפורמט ‎ *.googleapis.com בדפי ה-API שמקושרים מדף API Explorer.

השבתת השירות Managed Airflow

בקטע הזה מוסבר איך להשבית את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמשביתים את השירות

  • כדי להשבית את שירות Managed Airflow, צריך לוודא שיש לכם את ההרשאות המתאימות בניהול זהויות והרשאות גישה (IAM). למידע על דרישות ה-IAM לשימוש בשירות, קראו את הדף בקרת גישה לשימוש בשירות.

  • מוודאים שכל סביבות Managed Airflow בפרויקט נמחקו. השבתת ה-API מוחקת באופן בלתי הפיך את חלקי פרויקט הדייר (tenant) של סביבות Managed Airflow, ולא ניתן להשתמש בסביבות האלה.

  • כדי להימנע מחיובים נוספים, בצעו את הפעולות הבאות בכל סביבה לפני שאתם משביתים את Cloud Composer API:

    1. משהים את ה-DAG.
    2. אם צריך, מייצאים את נתוני הסביבה, כמו DAGs מהקטגוריה של הסביבה.
    3. מוחקים את הסביבה, כולל המשאבים שלא נמחקים באופן אוטומטי.

השבתת Cloud Composer API

כדי להשבית את שירות Managed Airflow:

המסוף

  1. נכנסים לדף Cloud Composer API במסוף Google Cloud .

    כניסה ל-Cloud Composer API

  2. לוחצים על ניהול.

  3. לוחצים על השבתת ה-API.

gcloud

מריצים את הפקודה gcloud services disable:

gcloud services disable composer.googleapis.com

API

משתמשים ב-method ‏services.disable כדי להשבית את ה-API של composer.googleapis.com.

Terraform

מסירים את ההגדרה של ה-API של composer.googleapis.com. בדרך כלל משתמשים במשאב google_project_service כדי להגדיר את שירותי Google Cloud .

הוצאה משימוש של שירותים שלא נדרשים ל-Managed Airflow (דור 3)

אנחנו מוציאים משימוש את ממשקי ה-API שלא נדרשים ל-Managed Airflow (דור 3).

יחסי התלות הבאים ב-API עדיין לא נותקו, והם מתוזמנים להתנתק מ-Cloud Composer API בעתיד:

  • sqladmin.googleapis.com
  • pubsub.googleapis.com

ממשקי ה-API הבאים הפכו לניתנים להסרה באופן מלא. השבתת ממשקי ה-API האלה לא תגרום להשבתת Cloud Composer API:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com

כל ממשקי ה-API שמופיעים כמנותקים לא מופעלים יותר באופן אוטומטי כשמפעילים את Cloud Composer API. כדי ליצור סביבות Managed Airflow (דור 2) בפרויקטים חדשים, צריך להפעיל את קבוצת ממשקי ה-API המנותקים בנוסף ל-Cloud Composer API.

השינוי הזה לא משפיע על סביבות קיימות של Managed Airflow (דור 3) ו-Managed Airflow (דור 2) בפרויקטים שבהם Cloud Composer API כבר מופעל. אתם יכולים לבצע את הפעולות הבאות:

  • אם בפרויקט יש רק סביבות Managed Airflow (דור 3), אתם יכולים להשבית ידנית את ממשקי ה-API המנותקים.

  • אם בפרויקט שלכם יש סביבות של Managed Airflow (דור שני), מומלץ להשאיר את ממשקי ה-API האלה מופעלים, כי השבתה שלהם עלולה לגרום לתקלה בסביבה.

  • אם אתם משתמשים בסקריפטים של אוטומציה כדי להקצות סביבות של Managed Airflow (דור שני), ודאו שממשקי ה-API שברשימה מופעלים בנוסף ל-Cloud Composer API. אפשר להפעיל אותם ידנית או באמצעות פקודה ב-CLI של gcloud.

המאמרים הבאים