טעינת נתונים מ-Klaviyo ל-BigQuery

כדי לתזמן העברות נתונים חוזרות מ-Klaviyo ל-BigQuery, צריך ליצור הגדרת העברה שבה מציינים אילו אובייקטים של נתונים רוצים להעביר ובאיזו תדירות לתזמן את העברת הנתונים. אפשר ליצור הגדרות העברה באמצעות מסוף Google Cloud או כלי שורת הפקודה bq. אחרי שמגדירים את ההעברה, שירות העברת הנתונים ל-BigQuery מעביר את הנתונים העדכניים לטבלה ב-BigQuery לפי לוח הזמנים שצוין.

במבוא להעברות נתונים מ-Klaviyo מוסבר איך פועלת העברה מ-Klaviyo.

מגבלות

  • אם חיבור הרשת נוצר בפרויקט ב- Google Cloud ששונה מהפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים, צריך לתת את ההרשאות compute.networkAttachments.get ו-compute.networkAttachments.update לסוכן השירות ששייך לפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים.

מגבלות על העברות מצטברות

העברות מצטברות מ-Klaviyo כפופות למגבלות הבאות:

  • אפשר לבחור רק TIMESTAMP עמודות כעמודות של סימני מים.
  • הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
  • הערכים בעמודת סימן המים חייבים להיות בסדר עולה מונוטוני.
  • העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
  • הגדרת העברה אחת יכולה לתמוך רק בהטמעה מצטברת או בהטמעה מלאה.
  • אי אפשר לעדכן אובייקטים ברשימה asset אחרי ההפעלה הראשונה של הטמעה מצטברת.
  • אי אפשר לשנות את מצב הכתיבה בהגדרות ההעברה אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
  • אי אפשר לשנות את עמודת סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
  • טבלת היעד ב-BigQuery מסודרת באשכולות באמצעות המפתח הראשי שסופק, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
  • כשמעדכנים הגדרת העברה קיימת למצב הטמעה מצטברת בפעם הראשונה, העברת הנתונים הראשונה אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. בכל העברת נתונים מצטברת שתתבצע לאחר מכן, יועברו רק השורות החדשות והמעודכנות ממקור הנתונים.

לפני שמתחילים

בקטעים הבאים מתוארות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים מ-Klaviyo.

דרישות מוקדמות לשימוש ב-Klaviyo

כדי לאפשר למחבר של Klaviyo להעביר נתונים ל-BigQuery, צריך מפתח API פרטי לקריאה בלבד. מידע נוסף זמין במאמר יצירת מפתח פרטי.

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, צריך את ההרשאות הבאות:

  • הרשאות לשירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicy ב-IAM. אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. מידע נוסף זמין במאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.

הגדרת העברת נתונים מ-Klaviyo

כדי להוסיף נתונים מ-Klaviyo ל-BigQuery, צריך להגדיר העברה באחת מהדרכים הבאות:

המסוף

  1. נכנסים לדף Data transfers במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. ‫ Create transfer.

  3. בקטע סוג המקור, בוחרים באפשרות Klaviyo – תצוגה מקדימה בשדה מקור.

  4. בקטע פרטי מקור הנתונים, מבצעים את הפעולות הבאות:

    • בשדה Private API Key (מפתח API פרטי), מזינים את מפתח ה-API הפרטי. מידע נוסף מופיע במאמר דרישות מוקדמות של Klaviyo.
    • אופציונלי: בשדה Start Date, מציינים את תאריך ההתחלה של הרשומות החדשות שייכללו בהעברת הנתונים. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההפעלה של ההעברה.
    • בקטע Klaviyo objects to transfer, לוחצים על Browse כדי לבחור את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין ידנית בשדה הזה את האובייקטים שרוצים לכלול בהעברת הנתונים.
  5. בקטע Destination settings, בשדה Dataset בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה Repeat frequency, בוחרים אפשרות כדי לציין את תדירות ההפעלה של העברת הנתונים. כדי להגדיר תדירות חזרה מותאמת אישית, לוחצים על בהתאמה אישית. אם בוחרים באפשרות On-demand, ההעברה תתבצע כשמפעילים אותה ידנית.
    • אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.
  8. אופציונלי: בקטע Notification options, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברות ב-Pub/Sub, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על Create a topic כדי ליצור נושא.
  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים פרויקט מסוים באמצעות --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
  • DATA_SOURCE: מקור הנתונים – klaviyo.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • DATASET: קבוצת הנתונים של היעד להגדרות ההעברה.
  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו, בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-Klaviyo:

    • ‫assets: הנתיב לאובייקטים של Klaviyo שיועברו ל-BigQuery.
    • ‫connector.authentication.privateApiKey: מפתח ה-API הפרטי של החשבון ב-Klaviyo.
    • ‫connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמט YYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההרצה של ההעברה.
    • ‫ingestionType: (אופציונלי) מציין את שיטת טעינת הנתונים. הערכים המותרים הם full (מחליף את כל הנתונים בטבלת היעד) או incremental (טוען רק נתונים חדשים או נתונים שהשתנו מאז ההעברה האחרונה).
    • ‫writeMode: (אופציונלי) כש-ingestionType מוגדר ל-incremental, מציין איך הנתונים נכתבים בטבלת היעד. הערכים המותרים הם WRITE_MODE_APPEND (מוסיף רשומות חדשות) או WRITE_MODE_UPSERT (מעדכן רשומות קיימות ומוסיף רשומות חדשות).

הפקודה הבאה יוצרת העברת נתונים מ-Klaviyo בפרויקט ברירת המחדל.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=klaviyo
        --display_name='My Transfer'
        --params= ' {
            "assets": [ "Events" , "Flows"] ,
            "connector.authentication.privateApiKey" : "pk_123456789123",
            "connector.startDate": "2025-10-20"
            }'
כששומרים את הגדרות ההעברה, המחבר של Klaviyo מפעיל באופן אוטומטי את הרצת ההעברה לפי אפשרות התזמון שבחרתם. בכל הפעלה של העברה, המחבר של Klaviyo מעביר את כל הנתונים הזמינים מ-Klaviyo ל-BigQuery.

כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.

רשימה של הנתונים שנכללים בהעברת נתונים מ-Klaviyo מופיעה בהפניה למודל הנתונים של Klaviyo.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, עיינו במאמר בעיות בהעברת נתונים מ-Klaviyo.

המאמרים הבאים

  • לסקירה כללית על שירות העברת הנתונים ל-BigQuery, קראו את המאמר מהו שירות העברת הנתונים ל-BigQuery.
  • במאמר ניהול העברות מוסבר איך משתמשים בהעברות, כולל איך מקבלים מידע על הגדרת העברה, איך מציגים רשימה של הגדרות העברה ואיך מציגים את היסטוריית ההרצה של העברה.