בצינורות להזרמת נתונים, שלב או טרנספורמציה איטיים יכולים להגביל את התפוקה ולגרום להצטברות של נתונים שלא עברו עיבוד, וכך להגדיל את זמן האחזור הכולל של העבודה. הכלי לזיהוי צווארי בקבוק ב-Dataflow מזהה ומדגיש באופן אוטומטי את השלבים הספציפיים שגורמים להצטברות של בקשות ממתינות ב Google Cloud Console, ועוזר לכם לאבחן ולפתור במהירות עיכובים בהרצה בלי שתצטרכו לבצע ניפוי באגים בשיטת הניסוי והטעייה.
סקירה כללית של האופן שבו Dataflow מזהה צווארי בקבוק ומפיץ עומסים מופיעה במאמר מידע על הכלי לזיהוי צווארי בקבוק ב-Dataflow.
לפני שמתחילים
לפני שמשתמשים בכלי לזיהוי צווארי בקבוק כדי לפתור בעיות, צריך לוודא שהעבודה והפרויקט עומדים בדרישות הבאות:
- יש לכם משימת סטרימינג פעילה של Dataflow.
- העבודה שלכם מופעלת באמצעות Streaming Engine. אין תמיכה בזיהוי צווארי בקבוק בעבודות שלא מופעלות ב-Streaming Engine.
- יש לכם את ההרשאות לניהול זהויות והרשאות גישה (IAM) שנדרשות כדי להציג משימות Dataflow. מידע נוסף זמין במאמר בנושא תפקידי IAM ב-Dataflow.
הצגת צווארי בקבוק פעילים במסוף Google Cloud
אפשר לראות התראות והודעות על צווארי בקבוק פעילים ישירות בממשק המעקב של Dataflow.
נכנסים לדף Dataflow במסוף Google Cloud .
ברשימת המשימות, בוחרים את משימת הסטרימינג כדי לפתוח את דף פרטי המשימה.
בכרטיסייה תרשים המשימות, בודקים את תרשים ההפעלה:
- בשלבים שבהם יש צווארי בקבוק פעילים מוצג סמל אזהרה או התראה צבעוני.
- התראה מציינת שהתרחש עיכוב בעיבוד של יותר מחמש דקות בשלב הזה.
לוחצים על השלב שבו מוצג סמל האזהרה.
בחלונית Step Info בצד שמאל של המסך, מאתרים את הקטע Bottlenecks. בקטע הזה מוצגים:
- סוג צוואר הבקבוק. לדוגמה, אם יש לכם פיגור, אם העומס בעבודה יציב או אם אתם תקועים.
- הסיבה הסבירה, אם היא זוהתה על ידי מנוע האבחון.
- משך הזמן ופרטים רלוונטיים של ניתוח הביצועים.
פתרון בעיות שגורמות לצוואר בקבוק
כדי לפתור צוואר בקבוק, צריך לזהות את הסיבה האפשרית בחלונית Step Info ולפעול לפי ההנחיות המפורטות לסיבה שמופיעות במאמר Troubleshoot bottlenecks.
מעקב אחרי צווארי בקבוק באמצעות Monitoring
אם רוצים להגדיר התראות באופן פרוגרמטי או לראות פעילות של צווארי בקבוק לאורך זמן, צריך להשתמש ב-Monitoring. הגלאי של צווארי בקבוק מייצא את המדדים הבאים:
-
dataflow.googleapis.com/job/is_bottleneck: ערך בוליאני שמציין אם השלב הוא צוואר בקבוק פעיל, יחד עם תוויות שמציינות את סוג צוואר הבקבוק והסיבה האפשרית. -
dataflow.googleapis.com/job/backlogged_keys: מספר המפתחות שגובו בשלב שבו נוצר צוואר בקבוק. -
dataflow.googleapis.com/job/recommended_parallelism: ערך המקביליות המומלץ כדי להקל על צוואר הבקבוק בשלב המושפע.
מידע על יצירת תרשימים והתראות באמצעות המדדים האלה זמין במאמר שימוש ב-Monitoring ל-Dataflow.
המאמרים הבאים
- מידע נוסף על מושגים שקשורים לכלי לאיתור צווארי בקבוק ב-Dataflow
- פועלים לפי המדריך הכללי בנושא פתרון בעיות וניפוי באגים בצינורות עיבוד נתונים ב-Dataflow.