טעינת נתונים מ-Klaviyo ל-BigQuery
כדי לתזמן העברות נתונים חוזרות מ-Klaviyo ל-BigQuery, צריך ליצור הגדרת העברה שבה מציינים אילו אובייקטים של נתונים רוצים להעביר ובאיזו תדירות לתזמן את העברת הנתונים. אפשר ליצור הגדרות העברה באמצעות מסוף Google Cloud או כלי שורת הפקודה bq. אחרי שמגדירים את ההעברה, שירות העברת הנתונים ל-BigQuery מעביר את הנתונים העדכניים לטבלה ב-BigQuery לפי לוח הזמנים שצוין.
במבוא להעברות נתונים מ-Klaviyo מוסבר איך פועלת העברה מ-Klaviyo.
מגבלות
- אם חיבור הרשת נוצר בפרויקט ב- Google Cloud ששונה מהפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים, צריך לתת את ההרשאות
compute.networkAttachments.getו-compute.networkAttachments.updateלסוכן השירות ששייך לפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים.
מגבלות על העברות מצטברות
העברות מצטברות מ-Klaviyo כפופות למגבלות הבאות:- אפשר לבחור רק
TIMESTAMPעמודות כעמודות של סימני מים. - הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
- הערכים בעמודת סימן המים חייבים להיות בסדר עולה מונוטוני.
- העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
- הגדרת העברה אחת יכולה לתמוך רק בהטמעה מצטברת או בהטמעה מלאה.
- אי אפשר לעדכן אובייקטים ברשימה
assetאחרי ההפעלה הראשונה של הטמעה מצטברת. - אי אפשר לשנות את מצב הכתיבה בהגדרות ההעברה אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
- אי אפשר לשנות את עמודת סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
- טבלת היעד ב-BigQuery מסודרת באשכולות באמצעות המפתח הראשי שסופק, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
- כשמעדכנים הגדרת העברה קיימת למצב הטמעה מצטברת בפעם הראשונה, העברת הנתונים הראשונה אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. בכל העברת נתונים מצטברת שתתבצע לאחר מכן, יועברו רק השורות החדשות והמעודכנות ממקור הנתונים.
לפני שמתחילים
בקטעים הבאים מתוארות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים מ-Klaviyo.
דרישות מוקדמות לשימוש ב-Klaviyo
כדי לאפשר למחבר של Klaviyo להעביר נתונים ל-BigQuery, צריך מפתח API פרטי לקריאה בלבד. מידע נוסף זמין במאמר יצירת מפתח פרטי.
דרישות מוקדמות ל-BigQuery
- מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
- יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים.
התפקידים הנדרשים ב-BigQuery
כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, צריך את ההרשאות הבאות:
-
הרשאות לשירות העברת נתונים ל-BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
הרשאות ב-BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.
אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicy ב-IAM. אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. מידע נוסף זמין במאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.
הגדרת העברת נתונים מ-Klaviyo
כדי להוסיף נתונים מ-Klaviyo ל-BigQuery, צריך להגדיר העברה באחת מהדרכים הבאות:
המסוף
נכנסים לדף Data transfers במסוף Google Cloud .
Create transfer.
בקטע סוג המקור, בוחרים באפשרות Klaviyo – תצוגה מקדימה בשדה מקור.
בקטע פרטי מקור הנתונים, מבצעים את הפעולות הבאות:
- בשדה Private API Key (מפתח API פרטי), מזינים את מפתח ה-API הפרטי. מידע נוסף מופיע במאמר דרישות מוקדמות של Klaviyo.
- אופציונלי: בשדה Start Date, מציינים את תאריך ההתחלה של הרשומות החדשות שייכללו בהעברת הנתונים. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההפעלה של ההעברה.
- בקטע Klaviyo objects to transfer, לוחצים על Browse כדי לבחור את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין ידנית בשדה הזה את האובייקטים שרוצים לכלול בהעברת הנתונים.
בקטע Destination settings, בשדה Dataset בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.
בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברת הנתונים.
בקטע אפשרויות תזמון:
- ברשימה Repeat frequency, בוחרים אפשרות כדי לציין את תדירות ההפעלה של העברת הנתונים. כדי להגדיר תדירות חזרה מותאמת אישית, לוחצים על בהתאמה אישית. אם בוחרים באפשרות On-demand, ההעברה תתבצע כשמפעילים אותה ידנית.
- אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.
אופציונלי: בקטע Notification options, מבצעים את הפעולות הבאות:
- כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת ההעברה נכשלת.
- כדי להפעיל התראות על הפעלת העברות ב-Pub/Sub, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על Create a topic כדי ליצור נושא.
לוחצים על Save.
BQ
מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה --transfer_config:
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=NAME --target_dataset=DATASET --params='PARAMETERS'
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID(אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים פרויקט מסוים באמצעות--project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל. DATA_SOURCE: מקור הנתונים –klaviyo.-
NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך. DATASET: קבוצת הנתונים של היעד להגדרות ההעברה.
PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו, בפורמט JSON. לדוגמה:--params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-Klaviyo:-
assets: הנתיב לאובייקטים של Klaviyo שיועברו ל-BigQuery. -
connector.authentication.privateApiKey: מפתח ה-API הפרטי של החשבון ב-Klaviyo. -
connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמטYYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההרצה של ההעברה. -
ingestionType: (אופציונלי) מציין את שיטת טעינת הנתונים. הערכים המותרים הםfull(מחליף את כל הנתונים בטבלת היעד) אוincremental(טוען רק נתונים חדשים או נתונים שהשתנו מאז ההעברה האחרונה). -
writeMode: (אופציונלי) כש-ingestionTypeמוגדר ל-incremental, מציין איך הנתונים נכתבים בטבלת היעד. הערכים המותרים הםWRITE_MODE_APPEND(מוסיף רשומות חדשות) אוWRITE_MODE_UPSERT(מעדכן רשומות קיימות ומוסיף רשומות חדשות).
-
הפקודה הבאה יוצרת העברת נתונים מ-Klaviyo בפרויקט ברירת המחדל.
bq mk --transfer_config --target_dataset=mydataset --data_source=klaviyo --display_name='My Transfer' --params= ' { "assets": [ "Events" , "Flows"] , "connector.authentication.privateApiKey" : "pk_123456789123", "connector.startDate": "2025-10-20" }'
כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.
רשימה של הנתונים שנכללים בהעברת נתונים מ-Klaviyo מופיעה בהפניה למודל הנתונים של Klaviyo.
פתרון בעיות בהגדרת ההעברה
אם נתקלתם בבעיות בהגדרת העברת הנתונים, עיינו במאמר בעיות בהעברת נתונים מ-Klaviyo.
המאמרים הבאים
- לסקירה כללית על שירות העברת הנתונים ל-BigQuery, קראו את המאמר מהו שירות העברת הנתונים ל-BigQuery.
- במאמר ניהול העברות מוסבר איך משתמשים בהעברות, כולל איך מקבלים מידע על הגדרת העברה, איך מציגים רשימה של הגדרות העברה ואיך מציגים את היסטוריית ההרצה של העברה.