Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מוסבר איך לפתור בעיות של התנגשויות בין יחסי תלות כשמתקינים חבילות PyPI בהתאמה אישית.
הבעיה הכי נפוצה בחבילות PyPI שאתם עלולים להיתקל בה ב-Managed Airflow היא התנגשויות בין יחסי תלות.
כשמציינים חבילת PyPI חדשה בהתאמה אישית להתקנה, החבילה הזו או הגרסה שלה עלולות לגרום להתנגשויות של יחסי תלות עם חבילות PyPI אחרות בהתאמה אישית או עם חבילות שהותקנו מראש בסביבה שלכם. במקרה כזה, פעולת העדכון של הסביבה תיכשל ותופיע שגיאה.
שגיאות ב-Cloud Build וב-build בתוך האשכול
אם יש בעיה בחבילות, הודעת השגיאה תופיע באחת משתי דרכים, בהתאם לאופן הפריסה של הסביבה:
Cloud Build. הודעת שגיאה וקישור ליומן של Cloud Build. לדוגמה:
UPDATE operation on this environment failed 25 minutes ago with the following error message: Failed to install PyPI packages. Check the Cloud Build log at ...In-cluster builds. הודעת שגיאה והמיקום של יומני ה-build. לדוגמה:
UPDATE operation on this environment failed 17 minutes ago with the following error message: Failed to install PyPI packages. Check the in-cluster build logs for details. They can be found in the Environment logs under the build-log-* log name.
לראות את הודעת השגיאה המפורטת
אם התקנת החבילה נכשלת, pip מדווח על הודעת השגיאה המפורטת.
הודעת השגיאה הזו מופיעה ביומני ה-build.
איתור השגיאה pip ביומני Cloud Build
אתם יכולים ללחוץ על הקישור שבהודעת השגיאה של Cloud Build או לאתר את יומני ה-build:
מאתרים את יומני ה-build:
נכנסים לדף Build history במסוף Google Cloud .
בוחרים את ה-build שנכשל כדי לראות את היומנים שלו.
ביומן ה-build, מחפשים את הודעת השגיאה מ-
pip. לדוגמה:ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging 1.15.0 which is incompatible.
איתור השגיאה pip ביומני ה-build בתוך האשכול
מאתרים את יומני ה-build:
במסוף Google Cloud , נכנסים לדף Environments.
בוחרים את הסביבה.
פותחים את הכרטיסייה יומנים.
בוחרים באפשרות All logs > Composer logs > Builds > Worker & Scheduler image.
ברשימה הנפתחת Severity, בוחרים באפשרות Info.
ביומנים שמוצגים:
מאתרים את הודעת השגיאה
installer.sh. לדוגמה:The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION fail' returned a non-zero code: 1הודעות המידע הקודמות כוללות את השגיאה המפורטת של
pip. לדוגמה:apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you have google-cloud-logging 1.15.0.
זמן קצוב לתפוגה במהלך התקנת חבילת Python
בגרסאות האחרונות, ההתנהגות של הכלי pip השתנתה כשמנסים לפתור יחסי תלות. אם אי אפשר למלא את יחסי התלות שצוינו, pip עובר על כל הגרסאות הזמינות של החבילה.
כשמתקינים חבילה, קורים הדברים הבאים:
אם החבילה כבר מותקנת מראש בסביבה שלכם, ויחסי התלות של Python שציינתם לא דורשים שינויים, החבילה נשארת כמו שהיא.
לדוגמה:
aiodebug==2.3.0מותקן ואתם מציינים אתaiodebugאו אתaiodebug>=2.אם החבילה לא מותקנת בסביבה שלכם או שהיא לא עומדת בדרישות של יחסי התלות של Python שציינתם,
pipמנסה להשתמש בגרסה העדכנית שעומדת בדרישות של יחסי התלות. אם לא ציינתם גרסה, זו הגרסה האחרונה של החבילה. אם ציינתם גרסה, זו הגרסה האחרונה של החבילה שעומדת במגבלות שצוינו.לדוגמה: אם מציינים את הערך
aiodebug, תותקן הגרסה האחרונה (2.*.*). אם מציינים את הערךaiodebug<2, תותקן הגרסה 1.*.*.אם הגרסה הזו גורמת להתנגשויות של יחסי תלות עם חבילות שכבר מותקנות,
pipעובר על כל הגרסאות הזמינות של החבילה כדי לנסות לעמוד ביחס התלות שצוין. במקרה כזה, ההודעות הבאות יופיעו ביומן ה-build:INFO: pip is looking at multiple versions of PYTHON_PACKAGE_NAME to determine which version is compatible with other requirements. This could take a while.לפני השינוי,
pipנכשל עם התנגשות תלות בלי לבדוק גרסאות אחרות.
המעבר על כל הגרסאות הזמינות יכול לקחת הרבה זמן ולהוביל לשדרוג לאחור של חבילות או לזמן קצוב לתפוגה במהלך ההתקנה של חבילת Python.
מטעמי אבטחה, החבילות שמותקנות מראש ב-Managed Airflow מתעדכנות באופן קבוע לגרסאות העדכניות. לכן, יכול להיות שתתרחש חריגה מהזמן הקצוב גם כשמשדרגים סביבה לגרסה מאוחרת יותר של Managed Airflow.
פתרונות אפשריים:
מעדכנים באופן קבוע את יחסי התלות המותאמים אישית של Python.
משתמשים ב-PythonVirtualenvOperator כדי לבודד קטעי קוד שדורשים חבילות שמתנגשות.
התנגשויות עם חבילות PyPI שמותקנות מראש
חלק מההתנגשויות בין חבילות מתרחשות בין חבילות PyPI בהתאמה אישית שאתם מתקינים לבין החבילות שמותקנות מראש.
הרשימה המלאה של החבילות שמותקנות מראש בגרסה של Managed Airflow מופיעה בדף הגרסאות של Managed Airflow.
כדי לפתור את הבעיה, אתם יכולים:
מתקינים גרסה אחרת של חבילת PyPI בהתאמה אישית.
להתקין גרסה אחרת של החבילה שהותקנה מראש. כדי לעשות את זה, מתקינים חבילת PyPI בהתאמה אישית עם השם של החבילה שהותקנה מראש ומציינים את הגרסה הנדרשת. אנחנו לא ממליצים לשדרג לאחור חבילות שהותקנו מראש.
בודקים אם בגרסאות מאוחרות יותר של Managed Airflow נעשה שימוש בגרסה אחרת של החבילה שהותקנה מראש. אתם יכולים לבדוק אם יש התנגשויות פוטנציאליות בחבילות PyPI לפני שאתם משדרגים את הסביבה לגרסה מאוחרת יותר של Managed Airflow.
משתמשים ב-PythonVirtualenvOperator כדי לבודד קטעי קוד שדורשים חבילות שמתנגשות.
שרת המטא-נתונים לא זמין כשמתקינים חבילות PyPI
אם בסביבה שלכם אתם משתמשים בקובץ pip.conf בהתאמה אישית, יכול להיות שתיתקלו בבעיה שבה אי אפשר להתקין חבילות PyPI חדשות בסביבה. ביומנים של Cloud Build שקשורים לשגיאה בהתקנת החבילה, מופיעה הודעת האזהרה הבאה:
WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.
הבעיה הזו נגרמת בגלל קובץ pip.conf שלא מאפשר גישה לאינדקס החבילות שמוגדר כברירת מחדל בכתובת https://pypi.org/simple. לדוגמה, אם הקובץ pip.conf מאפשר להתקין חבילות רק ממאגר מותאם אישית של Artifact Registry בגלל הפרמטר index-url שהוגדר מחדש, אי אפשר להתקין חבילות מאינדקס החבילות שמוגדר כברירת מחדל.
כדי לפתור את הבעיה, ודאו שאינדקס החבילות של https://pypi.org/simple נוסף לקובץ pip.conf. לדוגמה, אם אינדקס החבילות הראשי מוגדר בפרמטר index-url, מוסיפים את האינדקס https://pypi.org/simple בפרמטר extra-index-url.