פתרון בעיות בהתקנת חבילות PyPI

Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לפתור בעיות של התנגשויות בין יחסי תלות כשמתקינים חבילות PyPI בהתאמה אישית.

הבעיה הכי נפוצה בחבילות PyPI שאתם עלולים להיתקל בה ב-Managed Airflow היא התנגשויות בין יחסי תלות.

כשמציינים חבילת PyPI חדשה בהתאמה אישית להתקנה, החבילה הזו או הגרסה שלה עלולות לגרום להתנגשויות של יחסי תלות עם חבילות PyPI אחרות בהתאמה אישית או עם חבילות שהותקנו מראש בסביבה שלכם. במקרה כזה, פעולת העדכון של הסביבה תיכשל ותופיע שגיאה.

שגיאות ב-Cloud Build וב-build בתוך האשכול

אם יש בעיה בחבילות, הודעת השגיאה תופיע באחת משתי דרכים, בהתאם לאופן הפריסה של הסביבה:

  • Cloud Build. הודעת שגיאה וקישור ליומן של Cloud Build. לדוגמה:

    UPDATE operation on this environment failed 25 minutes ago with the
    following error message:
    Failed to install PyPI packages.  Check the Cloud Build log at ...
    
  • In-cluster builds. הודעת שגיאה והמיקום של יומני ה-build. לדוגמה:

    UPDATE operation on this environment failed 17 minutes ago with the
    following error message:
    Failed to install PyPI packages.  Check the in-cluster build logs for
    details. They can be found in the Environment logs under the build-log-*
    log name.
    

לראות את הודעת השגיאה המפורטת

אם התקנת החבילה נכשלת, pip מדווח על הודעת השגיאה המפורטת. הודעת השגיאה הזו מופיעה ביומני ה-build.

איתור השגיאה pip ביומני Cloud Build

אתם יכולים ללחוץ על הקישור שבהודעת השגיאה של Cloud Build או לאתר את יומני ה-build:

  1. מאתרים את יומני ה-build:

    1. נכנסים לדף Build history במסוף Google Cloud .

      כניסה לדף Build history

    2. בוחרים את ה-build שנכשל כדי לראות את היומנים שלו.

  2. ביומן ה-build, מחפשים את הודעת השגיאה מ-pip. לדוגמה:

    ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement
    google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging
    1.15.0 which is incompatible.
    

איתור השגיאה pip ביומני ה-build בתוך האשכול

  1. מאתרים את יומני ה-build:

    1. במסוף Google Cloud , נכנסים לדף Environments.

      כניסה לדף Environments

    2. בוחרים את הסביבה.

    3. פותחים את הכרטיסייה יומנים.

    4. בוחרים באפשרות All logs ‏> Composer logs ‏> Builds ‏> Worker & Scheduler image.

    5. ברשימה הנפתחת Severity, בוחרים באפשרות Info.

  2. ביומנים שמוצגים:

    1. מאתרים את הודעת השגיאה installer.sh. לדוגמה:

      The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION
      fail' returned a non-zero code: 1
      
    2. הודעות המידע הקודמות כוללות את השגיאה המפורטת של pip. לדוגמה:

      apache-airflow-backport-providers-google 2021.2.5 has requirement
      google-cloud-logging<3.0.0,>=2.1.1, but you have
      google-cloud-logging 1.15.0.
      

זמן קצוב לתפוגה במהלך התקנת חבילת Python

בגרסאות האחרונות, ההתנהגות של הכלי pip השתנתה כשמנסים לפתור יחסי תלות. אם אי אפשר למלא את יחסי התלות שצוינו, pip עובר על כל הגרסאות הזמינות של החבילה.

כשמתקינים חבילה, קורים הדברים הבאים:

  1. אם החבילה כבר מותקנת מראש בסביבה שלכם, ויחסי התלות של Python שציינתם לא דורשים שינויים, החבילה נשארת כמו שהיא.

    לדוגמה: aiodebug==2.3.0 מותקן ואתם מציינים את aiodebug או את aiodebug>=2.

  2. אם החבילה לא מותקנת בסביבה שלכם או שהיא לא עומדת בדרישות של יחסי התלות של Python שציינתם, pip מנסה להשתמש בגרסה העדכנית שעומדת בדרישות של יחסי התלות. אם לא ציינתם גרסה, זו הגרסה האחרונה של החבילה. אם ציינתם גרסה, זו הגרסה האחרונה של החבילה שעומדת במגבלות שצוינו.

    לדוגמה: אם מציינים את הערך aiodebug, תותקן הגרסה האחרונה (‎2.*.*‎). אם מציינים את הערך aiodebug<2, תותקן הגרסה 1.*.*.

    אם הגרסה הזו גורמת להתנגשויות של יחסי תלות עם חבילות שכבר מותקנות, pip עובר על כל הגרסאות הזמינות של החבילה כדי לנסות לעמוד ביחס התלות שצוין. במקרה כזה, ההודעות הבאות יופיעו ביומן ה-build:

    INFO: pip is looking at multiple versions of PYTHON_PACKAGE_NAME
    to determine which version is compatible with other requirements.
    This could take a while.
    

    לפני השינוי, pip נכשל עם התנגשות תלות בלי לבדוק גרסאות אחרות.

המעבר על כל הגרסאות הזמינות יכול לקחת הרבה זמן ולהוביל לשדרוג לאחור של חבילות או לזמן קצוב לתפוגה במהלך ההתקנה של חבילת Python.

מטעמי אבטחה, החבילות שמותקנות מראש ב-Managed Airflow מתעדכנות באופן קבוע לגרסאות העדכניות. לכן, יכול להיות שתתרחש חריגה מהזמן הקצוב גם כשמשדרגים סביבה לגרסה מאוחרת יותר של Managed Airflow.

פתרונות אפשריים:

  • מעדכנים באופן קבוע את יחסי התלות המותאמים אישית של Python.

  • משתמשים ב-PythonVirtualenvOperator כדי לבודד קטעי קוד שדורשים חבילות שמתנגשות.

התנגשויות עם חבילות PyPI שמותקנות מראש

חלק מההתנגשויות בין חבילות מתרחשות בין חבילות PyPI בהתאמה אישית שאתם מתקינים לבין החבילות שמותקנות מראש.

הרשימה המלאה של החבילות שמותקנות מראש בגרסה של Managed Airflow מופיעה בדף הגרסאות של Managed Airflow.

כדי לפתור את הבעיה, אתם יכולים:

שרת המטא-נתונים לא זמין כשמתקינים חבילות PyPI

אם בסביבה שלכם אתם משתמשים בקובץ pip.conf בהתאמה אישית, יכול להיות שתיתקלו בבעיה שבה אי אפשר להתקין חבילות PyPI חדשות בסביבה. ביומנים של Cloud Build שקשורים לשגיאה בהתקנת החבילה, מופיעה הודעת האזהרה הבאה:

WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.

הבעיה הזו נגרמת בגלל קובץ pip.conf שלא מאפשר גישה לאינדקס החבילות שמוגדר כברירת מחדל בכתובת https://pypi.org/simple. לדוגמה, אם הקובץ pip.conf מאפשר להתקין חבילות רק ממאגר מותאם אישית של Artifact Registry בגלל הפרמטר index-url שהוגדר מחדש, אי אפשר להתקין חבילות מאינדקס החבילות שמוגדר כברירת מחדל.

כדי לפתור את הבעיה, ודאו שאינדקס החבילות של https://pypi.org/simple נוסף לקובץ pip.conf. לדוגמה, אם אינדקס החבילות הראשי מוגדר בפרמטר index-url, מוסיפים את האינדקס https://pypi.org/simple בפרמטר extra-index-url.

המאמרים הבאים