טעינת נתונים של בעלי תוכן ב-YouTube ל-BigQuery

אתם יכולים לטעון נתונים מבעלי התוכן ב-YouTube ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery, דרך המחבר של בעלי התוכן ב-YouTube. בעזרת שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים ביותר מבעלי התוכן ב-YouTube ל-BigQuery.

סקירה כללית על המחבר

שירות העברת הנתונים ל-BigQuery עבור המחבר של בעלי התוכן ב-YouTube תומך באפשרויות הבאות להעברת הנתונים.

אפשרויות להעברת נתונים תמיכה
דוחות נתמכים המחבר של בעלי התוכן ב-YouTube תומך בהעברת נתונים מהדוחות הבאים:

המחבר של בעלי התוכן ב-YouTube תומך בגרסת ה-API מ-18 ביוני 2018.

במאמר טרנספורמציה של דוחות בעלי תוכן ב-YouTube מוסבר איך הדוחות האלה הופכים לטבלאות ולתצוגות ב-BigQuery.

תדירות החזרה המחבר של בעלי התוכן ב-YouTube תומך בהעברות נתונים יומיות.

כברירת מחדל, העברות הנתונים מתוזמנות למועד שבו הן נוצרות. אפשר להגדיר את מועד העברת הנתונים כשמגדירים את העברת הנתונים.
רענון החלון המחבר של בעלי התוכן ב-YouTube מאחזר נתונים של בעלי התוכן ב-YouTube מיום אחד לכל היותר בזמן הפעלת העברת הנתונים.

מידע נוסף זמין במאמר חלונות רענון.
זמינות הנתונים למילוי חוסרים בכל הפעלה מתוזמנת של העברה, המחבר של בעלי התוכן ב-YouTube ממלא באופן אוטומטי דוחות חדשים שנוצרו או עודכנו עד 60 יום לפני תאריך ההפעלה של ההעברה. מידע נוסף זמין במאמר מילויים חוזרים אוטומטיים.

אפשר גם להפעיל השלמת חוסר בנתונים (data backfill) כדי לאחזר נתונים באופן ידני מחוץ להעברת הנתונים המתוזמנת. אפשר לאחזר נתונים עד לתאריך הכי מוקדם שמדיניות שמירת הנתונים במקור הנתונים מאפשרת.

דוחות של YouTube שמכילים נתונים היסטוריים זמינים למשך 30 יום מהמועד שבו הם נוצרו. (דוחות שמכילים נתונים לא היסטוריים זמינים למשך 60 יום). מידע נוסף זמין במאמר נתונים היסטוריים.

הטמעת נתונים מהעברות של בעלי תוכן ב-YouTube

כשמעבירים נתונים מדוחות של בעלי תוכן ב-YouTube ל-BigQuery, הנתונים נטענים בטבלאות ב-BigQuery שמחולקות למחיצות לפי תאריך. המחיצה בטבלה שאליה נטענים הנתונים תואמת לתאריך ממקור הנתונים. אם תזמנתם כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery יחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. אם מבצעים כמה העברות באותו יום או מפעילים מילויים חוזרים, הנתונים לא משוכפלים והמחיצות של תאריכים אחרים לא מושפעות.

רענון החלונות

חלון הרענון הוא מספר הימים שבהם העברת נתונים מאחזרת נתונים כשהיא מתרחשת. לדוגמה, אם חלון הרענון הוא שלושה ימים ומתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור משלושת הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל באופן אוטומטי הרצות של מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מהיומיים האחרונים. הפעלות מילוי החוסרים שמופעלות באופן אוטומטי יחליפו את טבלת היעד ב-BigQuery או יעדכנו אותה באופן מצטבר, בהתאם לתמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.

כשמפעילים העברת נתונים בפעם הראשונה, המערכת מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מפעילים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור בתוך שלושה ימים.

המחבר הזה ממלא באופן אוטומטי דוחות מעודכנים או דוחות שהתעכבו מ-60 הימים האחרונים. כדי לאחזר נתונים אחרים מחוץ לחלון הרענון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אתם יכולים להפעיל או לתזמן באופן ידני הרצה של מילוי פערים.

מילוי חוסרים אוטומטי

אם הדוחות של בעלי התוכן ב-YouTube מתעכבים או נוצרים מחדש לתאריך קודם, שירות העברת הנתונים ל-BigQuery ממלא את הדוחות באופן אוטומטי. בכל הפעלה מתוזמנת של העברה, שירות העברת הנתונים ל-BigQuery בודק אם יש דוחות שכוללים תאריכים ב-60 הימים האחרונים, ושנוצרו אחרי ההפעלה המתוזמנת הקודמת של ההעברה. בכל תאריך שבו יש דוחות חדשים, שירות העברת הנתונים ל-BigQuery מתזמן באופן אוטומטי הפעלה של העברת מילוי חוסרים כדי לטעון את הנתונים המעודכנים למחיצת הטבלה המתאימה. אין צורך להפעיל מילוי חוסרים באופן ידני כשהדוחות של YouTube מתעכבים או מתעדכנים בתוך חלון הזמן הזה של 60 יום.

מגבלות

  • התדירות המינימלית שאפשר לתזמן בה העברת נתונים היא פעם אחת בכל 24 שעות. כברירת מחדל, העברת הנתונים מתחילה בזמן שבו אתם יוצרים את העברת הנתונים. עם זאת, אפשר להגדיר את שעת ההתחלה של ההעברה כשמגדירים את ההעברה.
  • שירות העברת הנתונים ל-BigQuery לא תומך בהעברות נתונים מצטברות במהלך העברה של בעלי תוכן ב-YouTube. כשמציינים תאריך להעברת נתונים, כל הנתונים שזמינים לתאריך הזה מועברים.

לפני שמתחילים

לפני שיוצרים העברת נתונים של בעלי תוכן ב-YouTube:

ההרשאות הנדרשות

מוודאים שנתתם את ההרשאות הבאות:

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים בשירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות לשירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.

התפקידים הנדרשים ב-YouTube

  • מערכת ניהול התוכן ב-YouTube או בעלי התוכן ב-YouTube.

    מנהל תוכן מקבל זכויות לנהל תוכן ב-YouTube בשביל בעלי התוכן. בעלי התוכן הוא חשבון גג שבבעלותו ערוץ YouTube אחד או יותר והסרטונים בערוצים האלה.

  • האפשרות Hide revenue data לא מסומנת בהגדרות הדוחות של בעלי התוכן ב-YouTube.

    כדי להעביר דוחות שקשורים להכנסות, צריך לבטל את הסימון של הגדרת ההרשאה Hide revenue data בדוחות של YouTube למשתמש שיוצר את ההעברה.

    youtube-content-owner-reports-uncheck-hide-revenue

הגדרת העברה של בעלי תוכן ב-YouTube

כדי להגדיר העברת נתונים של בעלי תוכן ב-YouTube, צריך:

  • מזהה בעלי התוכן: מסופק על ידי YouTube. כשאתם נכנסים ל-YouTube כבעלי תוכן או כמנהלים, המזהה שלכם מופיע בכתובת ה-URL אחרי o=. לדוגמה, אם כתובת ה-URL היא https://studio.youtube.com/owner/AbCDE_8FghIjK?o=AbCDE_8FghIjK, מזהה בעלי התוכן הוא AbCDE_8FghIjK. כדי לבחור חשבון אחר במערכת ניהול התוכן, עיינו במאמר כניסה לחשבון במערכת ניהול התוכן או בורר הערוצים של YouTube. מידע נוסף על יצירה וניהול של חשבון במערכת ניהול התוכן זמין במאמר קביעת ההגדרות של חשבון במערכת ניהול התוכן.
  • סיומת הטבלה: שם ידידותי למשתמש של הערוץ שסיפקתם כשהגדרתם את ההעברה. הסיומת מצורפת למזהה המשימה כדי ליצור את שם הטבלה, לדוגמה reportTypeId_suffix. הסיומת משמשת כדי למנוע מהעברות נתונים נפרדות לכתוב לאותן טבלאות. הסיומת של הטבלה צריכה להיות ייחודית בכל ההעברות שטוענות נתונים לאותה קבוצת נתונים, והיא צריכה להיות קצרה כדי לצמצם את האורך של שם הטבלה שנוצר.

אם אתם משתמשים ב-YouTube Reporting API ויש לכם משימות דיווח קיימות, שירות העברת הנתונים ל-BigQuery טוען את נתוני הדוחות. אם אין לכם משימות דיווח קיימות, הגדרת העברת הנתונים מפעילה באופן אוטומטי את משימות הדיווח של YouTube.

כדי להגדיר העברת נתונים של בעלי תוכן ב-YouTube:

המסוף

  1. נכנסים לדף BigQuery במסוף Google Cloud . מוודאים שאתם מחוברים לחשבון בתפקיד "בעלי התוכן" או "מנהל תוכן".

    כניסה לדף BigQuery

  2. לוחצים על העברות.

  3. לוחצים על Create Transfer.

  4. בדף Create Transfer:

    • בקטע Source type, בוחרים באפשרות YouTube Content Owner בשדה Source.

      מקור ההעברה

    • בקטע Transfer config name, בשדה השם המוצג מזינים שם להעברת הנתונים, למשל My Transfer. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

      שם ההעברה

    • בקטע אפשרויות תזמון:

      • בקטע Repeat frequency, בוחרים באיזו תדירות להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה ב-UTC.
      • אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.
    • בקטע Destination settings, בשדה Destination dataset בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

      העברת מערך נתונים

    • בקטע פרטי מקור הנתונים:

      • בשדה מזהה בעלי התוכן, מזינים את המזהה של בעלי התוכן.
      • בשדה Table suffix, מזינים סיומת, למשל MT.

      פרטי המקור של בעלי התוכן ב-YouTube

    • בתפריט Service Account, בוחרים חשבון שירות מתוך חשבונות השירות שמשויכים לפרויקט ב- Google Cloud . אתם יכולים לשייך חשבון שירות להעברת הנתונים במקום להשתמש בפרטי הכניסה של המשתמש. מידע נוסף על שימוש בחשבונות שירות להעברות נתונים זמין במאמר שימוש בחשבונות שירות.

      אם נכנסתם באמצעות זהות מאוחדת, תצטרכו חשבון שירות כדי ליצור העברת נתונים. אם נכנסתם באמצעות חשבון Google, אתם לא חייבים להשתמש בחשבון שירות להעברת הנתונים. לחשבון השירות צריכות להיות ההרשאות הנדרשות.

    • (אופציונלי) בקטע אפשרויות להתראות:

      • לוחצים על המתג כדי להפעיל את ההתראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הרצת העברת הנתונים נכשלת.
      • בקטע Select a Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. האפשרות הזו מגדירה התראות על הפעלת Pub/Sub להעברה.
  5. לוחצים על Save.

  6. אם זו הפעם הראשונה שאתם נכנסים לחשבון, בוחרים חשבון ולוחצים על אישור. בוחרים את אותו החשבון שבו אתם בעלי התוכן או מנהלי התוכן.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה – --transfer_config. צריך גם את הדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

דגלים אופציונליים:

  • ‫--service_account_name – מציין חשבון שירות שבו צריך להשתמש לאימות ההעברה של בעלי התוכן במקום חשבון המשתמש שלכם.
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

כאשר:

  • ‫project_id הוא מזהה הפרויקט.
  • ‫dataset הוא מערך הנתונים של היעד להגדרות ההעברה.
  • ‫name הוא השם המוצג של הגדרת ההעברה. אפשר לתת להעברת הנתונים כל שם שיאפשר לכם לזהות אותה אם תצטרכו לשנות אותה בהמשך.
  • ‫parameters מכיל את הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. בהעברות נתונים של בעלי תוכן ב-YouTube, צריך לספק את הפרמטרים content_owner_id ו-table_suffix. אפשר להגדיר את הפרמטר configure_jobs לערך true כדי לאפשר לשירות העברת הנתונים ל-BigQuery לנהל בשבילכם את משימות הדיווח ב-YouTube. אם יש דוחות של YouTube שלא קיימים בחשבון, נוצרות משימות דיווח חדשות כדי להפעיל אותם.
  • ‫data_source הוא מקור הנתונים – youtube_content_owner.
  • ‫service_account_name הוא השם של חשבון השירות שמשמש לאימות של העברת הנתונים. חשבון השירות צריך להיות בבעלות של אותו project_id ששימש ליצירת ההעברה, וצריכות להיות לו כל ההרשאות הנדרשות.

אפשר גם להוסיף את הדגל --project_id כדי לציין פרויקט מסוים. אם לא מציינים את --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של בעלי תוכן ב-YouTube בשם My Transfer באמצעות מזהה בעלי התוכן AbCDE_8FghIjK, הסיומת של הטבלה MT ומערך נתוני היעד mydataset. העברת הנתונים נוצרת בפרויקט שמוגדר כברירת מחדל:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

API

משתמשים ב-method‏ projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

שליחת שאילתות לגבי הנתונים

כשמעבירים את הנתונים ל-BigQuery, הם נכתבים בטבלאות שמחולקות למחיצות (Partitions) לפי זמני כתיבת הנתונים. מידע נוסף זמין במאמר טבלאות מחולקות למחיצות.

אם אתם שולחים שאילתות ישירות לטבלאות במקום להשתמש בתצוגות שנוצרו אוטומטית, אתם צריכים להשתמש בעמודה המדומה _PARTITIONTIME בשאילתה. למידע נוסף, קראו את המאמר שליחת שאילתות לטבלאות מחולקות למחיצות.

פתרון בעיות בהגדרת ההעברה של בעלי התוכן ב-YouTube

אם נתקלתם בבעיות בהגדרת העברת הנתונים, תוכלו לקרוא את המאמר בעיות בהעברת נתונים מ-YouTube בקטע פתרון בעיות בהגדרות של העברות.