טעינת נתונים של בעלי תוכן ב-YouTube ל-BigQuery
אתם יכולים לטעון נתונים מבעלי התוכן ב-YouTube ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery, דרך המחבר של בעלי התוכן ב-YouTube. בעזרת שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים ביותר מבעלי התוכן ב-YouTube ל-BigQuery.
סקירה כללית על המחבר
שירות העברת הנתונים ל-BigQuery עבור המחבר של בעלי התוכן ב-YouTube תומך באפשרויות הבאות להעברת הנתונים.
| אפשרויות להעברת נתונים | תמיכה |
|---|---|
| דוחות נתמכים | המחבר של בעלי התוכן ב-YouTube תומך בהעברת נתונים מהדוחות הבאים:
המחבר של בעלי התוכן ב-YouTube תומך בגרסת ה-API מ-18 ביוני 2018. במאמר טרנספורמציה של דוחות בעלי תוכן ב-YouTube מוסבר איך הדוחות האלה הופכים לטבלאות ולתצוגות ב-BigQuery. |
| תדירות החזרה | המחבר של בעלי התוכן ב-YouTube תומך בהעברות נתונים יומיות. כברירת מחדל, העברות הנתונים מתוזמנות למועד שבו הן נוצרות. אפשר להגדיר את מועד העברת הנתונים כשמגדירים את העברת הנתונים. |
| רענון החלון | המחבר של בעלי התוכן ב-YouTube מאחזר נתונים של בעלי התוכן ב-YouTube מיום אחד לכל היותר בזמן הפעלת העברת הנתונים.
מידע נוסף זמין במאמר חלונות רענון. |
| זמינות הנתונים למילוי חוסרים | בכל הפעלה מתוזמנת של העברה, המחבר של בעלי התוכן ב-YouTube ממלא באופן אוטומטי דוחות חדשים שנוצרו או עודכנו עד 60 יום לפני תאריך ההפעלה של ההעברה. מידע נוסף זמין במאמר מילויים חוזרים אוטומטיים. אפשר גם להפעיל השלמת חוסר בנתונים (data backfill) כדי לאחזר נתונים באופן ידני מחוץ להעברת הנתונים המתוזמנת. אפשר לאחזר נתונים עד לתאריך הכי מוקדם שמדיניות שמירת הנתונים במקור הנתונים מאפשרת. דוחות של YouTube שמכילים נתונים היסטוריים זמינים למשך 30 יום מהמועד שבו הם נוצרו. (דוחות שמכילים נתונים לא היסטוריים זמינים למשך 60 יום). מידע נוסף זמין במאמר נתונים היסטוריים. |
הטמעת נתונים מהעברות של בעלי תוכן ב-YouTube
כשמעבירים נתונים מדוחות של בעלי תוכן ב-YouTube ל-BigQuery, הנתונים נטענים בטבלאות ב-BigQuery שמחולקות למחיצות לפי תאריך. המחיצה בטבלה שאליה נטענים הנתונים תואמת לתאריך ממקור הנתונים. אם תזמנתם כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery יחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. אם מבצעים כמה העברות באותו יום או מפעילים מילויים חוזרים, הנתונים לא משוכפלים והמחיצות של תאריכים אחרים לא מושפעות.רענון החלונות
חלון הרענון הוא מספר הימים שבהם העברת נתונים מאחזרת נתונים כשהיא מתרחשת. לדוגמה, אם חלון הרענון הוא שלושה ימים ומתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור משלושת הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל באופן אוטומטי הרצות של מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מהיומיים האחרונים. הפעלות מילוי החוסרים שמופעלות באופן אוטומטי יחליפו את טבלת היעד ב-BigQuery או יעדכנו אותה באופן מצטבר, בהתאם לתמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.כשמפעילים העברת נתונים בפעם הראשונה, המערכת מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מפעילים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור בתוך שלושה ימים.
המחבר הזה ממלא באופן אוטומטי דוחות מעודכנים או דוחות שהתעכבו מ-60 הימים האחרונים. כדי לאחזר נתונים אחרים מחוץ לחלון הרענון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אתם יכולים להפעיל או לתזמן באופן ידני הרצה של מילוי פערים.מילוי חוסרים אוטומטי
אם הדוחות של בעלי התוכן ב-YouTube מתעכבים או נוצרים מחדש לתאריך קודם, שירות העברת הנתונים ל-BigQuery ממלא את הדוחות באופן אוטומטי. בכל הפעלה מתוזמנת של העברה, שירות העברת הנתונים ל-BigQuery בודק אם יש דוחות שכוללים תאריכים ב-60 הימים האחרונים, ושנוצרו אחרי ההפעלה המתוזמנת הקודמת של ההעברה. בכל תאריך שבו יש דוחות חדשים, שירות העברת הנתונים ל-BigQuery מתזמן באופן אוטומטי הפעלה של העברת מילוי חוסרים כדי לטעון את הנתונים המעודכנים למחיצת הטבלה המתאימה. אין צורך להפעיל מילוי חוסרים באופן ידני כשהדוחות של YouTube מתעכבים או מתעדכנים בתוך חלון הזמן הזה של 60 יום.
מגבלות
- התדירות המינימלית שאפשר לתזמן בה העברת נתונים היא פעם אחת בכל 24 שעות. כברירת מחדל, העברת הנתונים מתחילה בזמן שבו אתם יוצרים את העברת הנתונים. עם זאת, אפשר להגדיר את שעת ההתחלה של ההעברה כשמגדירים את ההעברה.
- שירות העברת הנתונים ל-BigQuery לא תומך בהעברות נתונים מצטברות במהלך העברה של בעלי תוכן ב-YouTube. כשמציינים תאריך להעברת נתונים, כל הנתונים שזמינים לתאריך הזה מועברים.
לפני שמתחילים
לפני שיוצרים העברת נתונים של בעלי תוכן ב-YouTube:
- מוודאים שביצעתם את כל הפעולות הנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
- יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים מ-YouTube.
- מוודאים שיש לכם חשבון בעלי תוכן ב-YouTube. בעלי תוכן ב-YouTube הם לא אותו דבר כמו ערוץ YouTube. בדרך כלל, יש לכם חשבון של בעלי תוכן ב-YouTube רק אם אתם מנהלים הרבה ערוצים שונים.
- אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, אתם צריכים את ההרשאות של
pubsub.topics.setIamPolicy. אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. למידע נוסף, קראו את המאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.
ההרשאות הנדרשות
מוודאים שנתתם את ההרשאות הבאות:
התפקידים הנדרשים ב-BigQuery
כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור העברת נתונים בשירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:
-
הרשאות לשירות העברת נתונים ל-BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
הרשאות ב-BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.
התפקידים הנדרשים ב-YouTube
מערכת ניהול התוכן ב-YouTube או בעלי התוכן ב-YouTube.
מנהל תוכן מקבל זכויות לנהל תוכן ב-YouTube בשביל בעלי התוכן. בעלי התוכן הוא חשבון גג שבבעלותו ערוץ YouTube אחד או יותר והסרטונים בערוצים האלה.
האפשרות
Hide revenue dataלא מסומנת בהגדרות הדוחות של בעלי התוכן ב-YouTube.כדי להעביר דוחות שקשורים להכנסות, צריך לבטל את הסימון של הגדרת ההרשאה
Hide revenue dataבדוחות של YouTube למשתמש שיוצר את ההעברה.
הגדרת העברה של בעלי תוכן ב-YouTube
כדי להגדיר העברת נתונים של בעלי תוכן ב-YouTube, צריך:
- מזהה בעלי התוכן: מסופק על ידי YouTube. כשאתם נכנסים ל-YouTube כבעלי תוכן או כמנהלים, המזהה שלכם מופיע בכתובת ה-URL אחרי
o=. לדוגמה, אם כתובת ה-URL היאhttps://studio.youtube.com/owner/AbCDE_8FghIjK?o=AbCDE_8FghIjK, מזהה בעלי התוכן הואAbCDE_8FghIjK. כדי לבחור חשבון אחר במערכת ניהול התוכן, עיינו במאמר כניסה לחשבון במערכת ניהול התוכן או בורר הערוצים של YouTube. מידע נוסף על יצירה וניהול של חשבון במערכת ניהול התוכן זמין במאמר קביעת ההגדרות של חשבון במערכת ניהול התוכן. - סיומת הטבלה: שם ידידותי למשתמש של הערוץ שסיפקתם כשהגדרתם את ההעברה. הסיומת מצורפת למזהה המשימה כדי ליצור את שם הטבלה, לדוגמה reportTypeId_suffix. הסיומת משמשת כדי למנוע מהעברות נתונים נפרדות לכתוב לאותן טבלאות. הסיומת של הטבלה צריכה להיות ייחודית בכל ההעברות שטוענות נתונים לאותה קבוצת נתונים, והיא צריכה להיות קצרה כדי לצמצם את האורך של שם הטבלה שנוצר.
אם אתם משתמשים ב-YouTube Reporting API ויש לכם משימות דיווח קיימות, שירות העברת הנתונים ל-BigQuery טוען את נתוני הדוחות. אם אין לכם משימות דיווח קיימות, הגדרת העברת הנתונים מפעילה באופן אוטומטי את משימות הדיווח של YouTube.
כדי להגדיר העברת נתונים של בעלי תוכן ב-YouTube:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud . מוודאים שאתם מחוברים לחשבון בתפקיד "בעלי התוכן" או "מנהל תוכן".
לוחצים על העברות.
לוחצים על Create Transfer.
בדף Create Transfer:
בקטע Source type, בוחרים באפשרות YouTube Content Owner בשדה Source.
בקטע Transfer config name, בשדה השם המוצג מזינים שם להעברת הנתונים, למשל
My Transfer. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
בקטע אפשרויות תזמון:
- בקטע Repeat frequency, בוחרים באיזו תדירות להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה ב-UTC.
- אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.
בקטע Destination settings, בשדה Destination dataset בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.
בקטע פרטי מקור הנתונים:
- בשדה מזהה בעלי התוכן, מזינים את המזהה של בעלי התוכן.
- בשדה Table suffix, מזינים סיומת, למשל
MT.
בתפריט Service Account, בוחרים חשבון שירות מתוך חשבונות השירות שמשויכים לפרויקט ב- Google Cloud . אתם יכולים לשייך חשבון שירות להעברת הנתונים במקום להשתמש בפרטי הכניסה של המשתמש. מידע נוסף על שימוש בחשבונות שירות להעברות נתונים זמין במאמר שימוש בחשבונות שירות.
אם נכנסתם באמצעות זהות מאוחדת, תצטרכו חשבון שירות כדי ליצור העברת נתונים. אם נכנסתם באמצעות חשבון Google, אתם לא חייבים להשתמש בחשבון שירות להעברת הנתונים. לחשבון השירות צריכות להיות ההרשאות הנדרשות.
(אופציונלי) בקטע אפשרויות להתראות:
לוחצים על Save.
אם זו הפעם הראשונה שאתם נכנסים לחשבון, בוחרים חשבון ולוחצים על אישור. בוחרים את אותו החשבון שבו אתם בעלי התוכן או מנהלי התוכן.
BQ
מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה – --transfer_config. צריך גם את הדגלים הבאים:
--data_source--target_dataset--display_name--params
דגלים אופציונליים:
-
--service_account_name– מציין חשבון שירות שבו צריך להשתמש לאימות ההעברה של בעלי התוכן במקום חשבון המשתמש שלכם.
bq mk \ --transfer_config \ --project_id=project_id \ --target_dataset=dataset \ --display_name=name \ --params='parameters' \ --data_source=data_source \ --service_account_name=service_account_name
כאשר:
- project_id הוא מזהה הפרויקט.
- dataset הוא מערך הנתונים של היעד להגדרות ההעברה.
- name הוא השם המוצג של הגדרת ההעברה. אפשר לתת להעברת הנתונים כל שם שיאפשר לכם לזהות אותה אם תצטרכו לשנות אותה בהמשך.
- parameters מכיל את הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה:
--params='{"param":"param_value"}'. בהעברות נתונים של בעלי תוכן ב-YouTube, צריך לספק את הפרמטריםcontent_owner_idו-table_suffix. אפשר להגדיר את הפרמטרconfigure_jobsלערךtrueכדי לאפשר לשירות העברת הנתונים ל-BigQuery לנהל בשבילכם את משימות הדיווח ב-YouTube. אם יש דוחות של YouTube שלא קיימים בחשבון, נוצרות משימות דיווח חדשות כדי להפעיל אותם. - data_source הוא מקור הנתונים –
youtube_content_owner. - service_account_name הוא השם של חשבון השירות שמשמש לאימות של העברת הנתונים. חשבון השירות צריך להיות בבעלות של אותו
project_idששימש ליצירת ההעברה, וצריכות להיות לו כל ההרשאות הנדרשות.
אפשר גם להוסיף את הדגל --project_id כדי לציין פרויקט מסוים. אם לא מציינים את --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
לדוגמה, הפקודה הבאה יוצרת העברת נתונים של בעלי תוכן ב-YouTube בשם My Transfer באמצעות מזהה בעלי התוכן AbCDE_8FghIjK, הסיומת של הטבלה MT ומערך נתוני היעד mydataset. העברת הנתונים נוצרת בפרויקט שמוגדר כברירת מחדל:
bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner
API
משתמשים ב-method projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
שליחת שאילתות לגבי הנתונים
כשמעבירים את הנתונים ל-BigQuery, הם נכתבים בטבלאות שמחולקות למחיצות (Partitions) לפי זמני כתיבת הנתונים. מידע נוסף זמין במאמר טבלאות מחולקות למחיצות.
אם אתם שולחים שאילתות ישירות לטבלאות במקום להשתמש בתצוגות שנוצרו אוטומטית, אתם צריכים להשתמש בעמודה המדומה _PARTITIONTIME בשאילתה. למידע נוסף, קראו את המאמר שליחת שאילתות לטבלאות מחולקות למחיצות.
פתרון בעיות בהגדרת ההעברה של בעלי התוכן ב-YouTube
אם נתקלתם בבעיות בהגדרת העברת הנתונים, תוכלו לקרוא את המאמר בעיות בהעברת נתונים מ-YouTube בקטע פתרון בעיות בהגדרות של העברות.