אתם יכולים להציג מידע ברמה גבוהה ומפורט על הסטרימינג ב-Datastream כדי לעקוב אחרי סטטוס השכפול ולאמת את הגדרות התצורה. במסוף Google Cloud מוצגים פרופילי החיבור שהוקצו, אובייקטי המקור שנכללו, הגדרות היעד, התקדמות המילוי, תפוקת האירועים ועדכניות הנתונים של כל זרם.
כדי לראות מידע כללי ומפורט על מקור נתונים:
נכנסים לדף Streams במסוף Google Cloud .
לוחצים על מקור הנתונים שרוצים לראות מידע מפורט לגביו. המידע הזה מופיע בדף פרטי מקור הנתונים.
הצגת מידע ברמה גבוהה
המידע הכללי על מקור הנתונים כולל:
- השם והסטטוס של השידור.
- פרופילי החיבור של המקור והיעד שבהם ה-stream משתמש כדי להעביר נתונים ממסד נתונים של מקור ליעד.
- סוגי הפרופילים של פרופילי החיבור.
הצגת מידע מפורט
בנוסף למידע הכללי על מקור נתונים, אתם יכולים ללחוץ על מקור נתונים כדי לראות מידע נוסף, כולל:
- האזור שבו הסטרימינג מאוחסן. כמו כל המשאבים, גם הסטרימינג נשמר באזור. בסטרימים אפשר להשתמש רק בפרופילי חיבור ובהגדרות של קישוריות פרטית שנמצאים באותו אזור.
- מתי מקור הנתונים נוצר, עודכן לאחרונה או שוחזר.
- כל התוויות שנוספו לשידור. התוויות האלה משמשות לארגון הסטרימינג.
- שיטת ה-CDC שבחרתם לסטרים, בהתאם למסד הנתונים של המקור.
- הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream צריך לכלול כשהוא מעבד את הסטרימינג.
- הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream צריך להחריג בזמן עיבוד הסטרים.
- בכל המקורות מלבד PostgreSQL, שיטת ה-CDC שמוגדרת לסטרימינג.
- למקורות של Oracle: שיטת הגישה לקובץ היומן.
- אם מילוי היסטורי מופעל או מושבת בסטרימינג.
- אם האפשרות מופעלת, כמה סכימות וטבלאות במסד הנתונים של המקור לא נכללות במילוי החוסרים.
ליעדים ב-BigQuery:
- אם מערך הנתונים של היעד הוא מערך נתונים דינמי או מערך נתונים שמוגדר כברירת מחדל.
- אם מצב הכתיבה של הסטרימינג מוגדר ל-Merge או ל-Append-only.
- אם בחרתם באפשרות Merge mode, הגדרת מגבלת העדכניות חלה על הטבלאות החדשות ב-BigQuery שנוצרו על ידי Datastream.
בנוסף, ביעדים של טבלאות Apache Iceberg:
- המזהה של החיבור ל-BigQuery שבו אתם משתמשים בסטרימינג.
- מזהה המשאבים האחיד (URI) של הקטגוריה של Cloud Storage שבה אתם מאחסנים את הנתונים.
ליעדים ב-Cloud Storage:
- המיקום של היעד שאליו ה-stream מעביר סכימות, טבלאות ונתונים ממסד נתונים של מקור.
- הפורמט של הקבצים שנכתבים ביעד. Datastream תומך בשני פורמטים של פלט: Avro ו-JSON.
אם הנתונים מוצפנים באמצעות מפתח שמנוהל על ידי Google (בניהול Google) או על ידכם (בניהול הלקוח).
קישור והנתיב למפתח ההצפנה בניהול הלקוח (אם אתם מנהלים את ההצפנה).
קישור ליצירת מדיניות התראות לסטרימינג.
סטטוס שמציין כמה מילויים חוזרים נמצאים בתהליך, בהמתנה או נכשלו.
מספר האירועים שעובדו ונטענו ליעד על ידי Datastream ב-7 הימים האחרונים.
מספר האירועים ש-Datastream לא הצליח לעבד ב-7 הימים האחרונים.
- התרשים "עדכניות הנתונים". בתרשים הזה מוצג פער הזמן בין הנתונים שנמצאים במקור לבין הנתונים שמועברים ליעד על ידי הסטרימינג. הערך הזה מחושב לפי הזמן שחלף מאז ש-Datastream בדק בפעם האחרונה אם יש נתונים חדשים במקור.
למידע נוסף על התרשים הזה, ראו מעקב אחרי שידור.
המאמרים הבאים
- למידע נוסף על שידורים, ראו מחזור החיים של שידור.
- במאמר שינוי של מקור נתונים מוסבר איך לשנות את מקורות הנתונים.
- במאמר מעקב אחרי שידור מוסבר איך לעקוב אחרי שידור.
- כדי ללמוד איך למחוק שידור קיים, ראו מחיקת שידור.