כשמפעילים את Cloud Logging באשכולות של Managed Service for Apache Spark ב-Cloud Data Fusion, אפשר לגשת לרשומות ביצוע מפורטות מעבר למדדים הרגילים של צינור עיבוד הנתונים. אתם יכולים להשתמש ביומנים המתקדמים האלה כדי לפתור בעיות בהרצה, לבדוק את ההתנהגות של הדרייבר וה-executor ולנפות באגים בטרנספורמציות מורכבות של נתונים.
הפעלת Cloud Logging ב-Managed Service for Apache Spark
כדי לראות בעיות בצינורות עיבוד נתונים ובאשכולות ב-Cloud Logging, צריך להפעיל יומנים מתקדמים במכונות חדשות או קיימות של Cloud Data Fusion. כדי להפעיל יומנים מתקדמים במכונה קיימת:
נכנסים לדף Instances של Cloud Data Fusion במסוף Google Cloud .
לוחצים על שם המכונה.
בקטע Advanced monitoring and logging, לוחצים על Edit ליד Dataproc Cloud Logging.
בחלון Cloud Logging, מסמנים את התיבה Enable Cloud Logging.
לוחצים על Save.
צפייה ביומנים
לכל הפעלה של צינור עיבוד נתונים ב-Cloud Data Fusion מוקצה RunID ייחודי.
אחרי שפורסים ומריצים את צינור עיבוד הנתונים, מאתרים את ה-RunID שלו. לאחר מכן, ב-Logging, משתמשים ב-RunID כדי להציג את יומני הצינור.
קבלת ה-RunID של צינור עיבוד הנתונים
- עוברים למכונה:
במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.
כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).
- לוחצים על רשימה.
- לוחצים על הצינור שרוצים לקבל את מזהה ההרצה שלו.
- לוחצים על סיכום.
- בקטע Run history, לוחצים על Table.
- כדי להעתיק את מזהה ההרצה, לוחצים לחיצה ימנית על RunID ואז על Copy.
הצגת היומנים ב-Logs Explorer
במסוף Google Cloud , נכנסים לדף Cloud Logging > Logs Explorer:
בתפריט הנפתח All resources, בוחרים באפשרות Cloud Dataproc Cluster >
cdap-PIPELINE_NAME-YOUR_RUNID.
אופציונלי: סינון היומנים
משתמשים בתפריטי הסינון כדי לסנן את היומנים. אפשר לסנן לפי רמות חומרה שונות של יומנים או לפי רכיבים כמו datafusion-pipeline-logs.
אופציונלי: הורדת היומנים
לוחצים על הורדת יומנים.
למידע נוסף, קראו את המאמר הורדת רשומות ביומן.