טעינת נתונים מ-ServiceNow ל-BigQuery

אתם יכולים לטעון נתונים מ-ServiceNow ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-ServiceNow. בעזרת שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-ServiceNow ל-BigQuery.

מגבלות

העברות נתונים מ-ServiceNow כפופות למגבלות הבאות:

  • המחבר של ServiceNow תומך רק ב-ServiceNow table API.
  • לא מומלץ להפעיל כמה העברות נתונים בו-זמנית באותו מופע של ServiceNow. זה עלול לגרום לעיכובים או לכשלים בגלל עומס על המכונה של ServiceNow.
    • מומלץ לתזמן את שעות ההתחלה של ההעברות כך שלא תהיה חפיפה בין הפעלות ההעברות.
  • כדי לשפר את הביצועים של העברת הנתונים, מומלץ להגביל את מספר הנכסים ל-20 פריטים בכל העברת נתונים.
  • מרווח הזמן המינימלי בין העברות נתונים חוזרות הוא 15 דקות. מרווח הזמן שמוגדר כברירת מחדל להעברה חוזרת הוא 24 שעות.
  • הגדרת העברה אחת יכולה לתמוך רק בהרצה אחת של העברת נתונים בזמן נתון. אם העברת נתונים שנייה מתוזמנת לפעול לפני שההעברה הראשונה מסתיימת, רק העברת הנתונים הראשונה תושלם, וכל העברת נתונים אחרת שחופפת להעברה הראשונה תבוטל.
    • כדי למנוע דילוג על העברות בהגדרת העברה אחת, מומלץ להגדיל את משך הזמן בין העברות נתונים גדולות על ידי הגדרת תדירות החזרה.
  • כדי להשתמש בחיבור לרשת בהעברת הנתונים הזו, קודם צריך ליצור חיבור לרשת על ידי הגדרת כתובת IP סטטית.
  • אם חיבור הרשת נוצר בפרויקט ב- Google Cloud ששונה מהפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים, צריך לתת את ההרשאות compute.networkAttachments.get ו-compute.networkAttachments.update לסוכן השירות ששייך לפרויקט ב- Google Cloud שבו נוצרה העברת הנתונים.

מגבלות על העברות מצטברות

העברות מצטברות מ-ServiceNow כפופות למגבלות הבאות:

  • אפשר לבחור רק DATETIME עמודות כעמודות של סימני מים.
  • הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
  • הערכים בעמודת סימן המים חייבים להיות בסדר עולה מונוטוני.
  • העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
  • הגדרת העברה אחת יכולה לתמוך רק בהטמעה מצטברת או בהטמעה מלאה.
  • אי אפשר לעדכן אובייקטים ברשימה asset אחרי ההפעלה הראשונה של הטמעה מצטברת.
  • אי אפשר לשנות את מצב הכתיבה בהגדרות ההעברה אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
  • אי אפשר לשנות את עמודת סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
  • טבלת היעד ב-BigQuery מסודרת באשכולות באמצעות המפתח הראשי שסופק, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
  • כשמעדכנים הגדרת העברה קיימת למצב הטמעה מצטברת בפעם הראשונה, העברת הנתונים הראשונה אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. בכל העברת נתונים מצטברת שתתבצע לאחר מכן, יועברו רק השורות החדשות והמעודכנות ממקור הנתונים.

אפשרויות להטמעת נתונים

בקטעים הבאים מתוארות האפשרויות להטמעת נתונים לצורך הגדרת העברת נתונים מ-ServiceNow.

העברות מלאות או מצטברות

כדי לציין איך הנתונים ייטענו ב-BigQuery, בוחרים את העדפת הכתיבה Full או Incremental בהגדרות ההעברה כשמגדירים העברה מ-ServiceNow.

אתם יכולים להגדיר העברת נתונים מלאה כדי להעביר את כל הנתונים ממערכי הנתונים של ServiceNow בכל העברת נתונים.

לחלופין, אתם יכולים להגדיר העברת נתונים מצטברת כדי להעביר רק את הנתונים שהשתנו מאז העברת הנתונים האחרונה, במקום לטעון את כל מערך הנתונים בכל העברת נתונים. אם בוחרים באפשרות Incremental להעברת הנתונים, צריך לציין את מצבי הכתיבה Append או Upsert כדי להגדיר איך הנתונים ייכתבו ב-BigQuery במהלך העברת נתונים מצטברת. בקטעים הבאים מתוארים מצבי הכתיבה הזמינים.

מצב כתיבה של עדכון או הוספה (upsert)

במצב הכתיבה "עדכון או הוספה" (upsert), המערכת בודקת אם יש מפתח ראשי, ואז מעדכנת שורה או מוסיפה שורה חדשה בטבלת היעד. אתם יכולים לציין מפתח ראשי כדי לאפשר למחבר של ServiceNow לקבוע אילו שינויים נדרשים כדי לעדכן את טבלת היעד בהתאם לטבלת המקור. אם המפתח הראשי שצוין נמצא בטבלה ב-BigQuery במהלך העברת נתונים, המחבר של ServiceNow מעדכן את השורה הזו בנתונים חדשים מטבלת המקור. אם המפתח הראשי לא קיים במהלך העברת הנתונים, המחבר של ServiceNow מוסיף שורה חדשה.

כשבוחרים במצב "לעדכן או להוסיף (upsert)", צריך לבחור עמודת סימן מים ומפתח ראשי:

  • כדי שהמחבר של ServiceNow יעקוב אחרי שינויים בטבלת המקור, צריך עמודת סימן מים.

    בוחרים עמודת סימן מים שמתעדכנת בכל פעם ששורה משתנה. אנחנו ממליצים על עמודות שדומות לעמודה UPDATED_AT או LAST_MODIFIED.

  • המפתח הראשי יכול להיות עמודה אחת או יותר בטבלה, שנדרשות למחבר של ServiceNow כדי לקבוע אם צריך להוסיף או לעדכן שורה.

    בוחרים עמודות שמכילות ערכים שאינם null, שהם ייחודיים בכל שורות הטבלה. מומלץ להשתמש בעמודות שכוללות מזהים שנוצרו על ידי המערכת, קודי עזר ייחודיים (לדוגמה, מזהים עם הגדלה אוטומטית) או מזהי רצף שלא ניתנים לשינוי ומבוססים על זמן.

    כדי למנוע אובדן או פגיעה בנתונים, הערכים בעמודות של המפתח הראשי שאתם בוחרים צריכים להיות ייחודיים. אם אתם לא בטוחים שהערכים בעמודת המפתח הראשי שבחרתם הם ייחודיים, מומלץ להשתמש בהטמעה מלאה.

התנהגות של הטמעה מצטברת

כשאתם משנים את הסכימה של הטבלה במקור הנתונים, השינויים בנתונים שמועברים באופן מצטבר מהטבלאות האלה משתקפים ב-BigQuery בדרכים הבאות:

שינויים במקור הנתונים התנהגות של הטמעה מצטברת
הוספת עמודה חדשה עמודה חדשה נוספת לטבלת היעד ב-BigQuery. כל הרשומות הקודמות בעמודה הזו יכילו ערכי null.
מחיקת עמודה העמודה שנמחקה נשארת בטבלת היעד ב-BigQuery. רשומות חדשות בעמודה שנמחקה מאוכלסות בערכי null.
שינוי סוג הנתונים בעמודה המחבר תומך רק בהמרות של סוגי נתונים שנתמכות על ידי ALTER COLUMN הצהרת DDL. כל המרה אחרת של סוג נתונים תגרום לכך שהעברת הנתונים תיכשל.

אם נתקלים בבעיות, מומלץ ליצור הגדרת העברה חדשה.

שינוי שם של עמודה העמודה המקורית נשארת כמו שהיא בטבלת היעד ב-BigQuery, ונוספת לטבלת היעד עמודה חדשה עם השם המעודכן.

לפני שמתחילים

לפני שיוצרים העברת נתונים מ-ServiceNow, צריך לבצע את הפעולות הבאות ב-ServiceNow וב-BigQuery.

דרישות מוקדמות של ServiceNow

  • כדי לגשת לממשקי ה-API של ServiceNow, צריך ליצור פרטי כניסה ל-OAuth.
  • צריך להפעיל את כל האפליקציות הבאות של ServiceNow במכונה של ServiceNow:

  • כדי להתחיל העברה מ-ServiceNow, צריך את פרטי הכניסה הנכונים כדי להתחבר למכונה של ServiceNow.

    • כדי לקבל את פרטי הכניסה למכונה של מפתח ServiceNow, נכנסים לפורטל המפתחים של ServiceNow. אתם יכולים להשתמש בשם המשתמש ובסיסמה שמופיעים בדף Manage instance password. במאמר Password Reset מוסבר איך מאפסים את הסיסמה ב-ServiceNow.
    • כדי לקבל את פרטי הכניסה למופע ייצור או למופע משני של ServiceNow, פנו לאדמין של הלקוח ב-ServiceNow ובקשו את שם המשתמש והסיסמה.

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, צריך את ההרשאות הבאות:

  • הרשאות לשירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.

הגדרת העברת נתונים מ-ServiceNow

כדי להוסיף נתונים מ-ServiceNow ל-BigQuery, צריך להגדיר העברה באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף Data transfers במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. ‫ Create transfer.

  3. בקטע Source type, בשדה Source בוחרים באפשרות ServiceNow.

  4. בקטע פרטי מקור הנתונים, מבצעים את הפעולות הבאות:

    • (אופציונלי) בשדה Network attachment, בוחרים חיבור רשת מהתפריט הנפתח או לוחצים על Create Network Attachment.
    • בשדה Instance ID, מזינים את מזהה המכונה של ServiceNow. אפשר לקבל את זה מכתובת ה-URL של ServiceNow, לדוגמה https://INSTANCE_ID.service-now.com.
    • (אופציונלי) בשדה ServiceNow Cloud Type, בוחרים את סוג הענן של חשבון ServiceNow:
      • אם כתובת ה-URL של המכונה של ServiceNow היא בפורמט https://INSTANCE_ID.service-now.com, בוחרים באפשרות Commercial. זה ערך ברירת המחדל.
      • בוחרים באפשרות Government Community Cloud (GCC)‎ אם כתובת ה-URL של המכונה ב-ServiceNow היא בפורמט https://INSTANCE_ID.servicenowservices.com.
    • בשדה Username, מזינים את שם המשתמש ב-ServiceNow שבו רוצים להשתמש כדי להתחבר.
    • בשדה Password, מזינים את הסיסמה של ServiceNow.
    • בשדה Client ID, מזינים את מזהה הלקוח מפרטי הכניסה של OAuth. כדי ליצור פרטי כניסה, קראו את המאמר יצירת פרטי כניסה ל-OAuth.
    • בשדה Client secret, מזינים את סוד הלקוח מפרטי הכניסה ל-OAuth.
    • בשדה Enable legacy mapping, בוחרים באפשרות true (ברירת המחדל) כדי להשתמש במיפוי סוגי הנתונים הקודם. בוחרים באפשרות false כדי להשתמש במיפוי המעודכן של סוגי הנתונים. מידע נוסף על העדכונים במיפוי של סוגי הנתונים זמין בקטע 16 במרץ 2027.
    • בקטע סוג ההטמעה, בוחרים באפשרות מלאה או מצטברת.
    • בשדה ServiceNow tables to transfer, לוחצים על Browse:
      • בוחרים את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין ידנית בשדה הזה אובייקטים שרוצים לכלול בהעברת הנתונים.
      • אם בחרתם באפשרות עדכון או הוספה (upsert) כמצב הכתיבה המצטברת, אתם צריכים לבחור עמודה שתשמש כעמודת סימן המים, ואז לבחור עמודה אחת או יותר שתשמש כמפתח הראשי.
    • בקטע Value type, בוחרים אחת מהאפשרויות הבאות:
      • כדי להעביר את הערכים ששמורים במסד הנתונים, בוחרים באפשרות בפועל.
      • כדי להעביר את הערכים שמוצגים בעמודות, בוחרים באפשרות תצוגה.
  5. בקטע Destination settings, בשדה Dataset בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברת הנתונים.

  7. בקטע Schedule options:

    • ברשימה Repeat frequency, בוחרים אפשרות כדי לציין את התדירות שבה העברת הנתונים הזו תפעל. כדי להגדיר תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות On-demand, העברת הנתונים תתבצע כשמפעילים את ההעברה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.
  8. אופציונלי: בקטע Notification options, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברות ב-Pub/Sub להעברת הנתונים הזו, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על Create a topic כדי ליצור נושא.
  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה, --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים מזהה פרויקט, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
  • DATA_SOURCE: מקור הנתונים (לדוגמה, servicenow).
  • ‫DISPLAY_NAME: השם המוצג של הגדרת ההעברה. שם העברת הנתונים יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה מאוחר יותר.
  • DATASET: מערך הנתונים המטורגט להגדרות ההעברה.
  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו, בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-ServiceNow:

    פרמטר של ServiceNow חובה או אופציונלי תיאור
    connector.networkAttachment אופציונלי שם חיבור הרשת שמשמש כדי להבטיח קישוריות למכונה של ServiceNow.
    connector.instanceId חובה מזהה המופע של ServiceNow
    connector.authentication.username חובה שם המשתמש של המשתמש במופע של ServiceNow.
    connector.authentication.password חובה הסיסמה למופע של ServiceNow של המשתמש.
    connector.authentication.oauth.clientId חובה מזהה הלקוח לאימות OAuth עם המכונה של ServiceNow.
    connector.authentication.oauth.clientSecret חובה סוד הלקוח לאימות OAuth עם המכונה של ServiceNow.
    connector.instanceCloudType אופציונלי מציינים את סוג הענן של חשבון ServiceNow. הערכים הנתמכים הם:
    • COMMERCIAL_CLOUD, אם כתובת ה-URL של המופע של ServiceNow תואמת לתבנית https://INSTANCE_ID.service-now.com
    • GOVERNMENT_COMMUNITY_CLOUD אם כתובת ה-URL של המכונה של ServiceNow היא בפורמט https://INSTANCE_ID.servicenowservices.com
    ingestionType אופציונלי מגדירה את השיטה להעברת נתונים ממקור ServiceNow ליעד, וקובעת אם מתבצעת טעינה מחדש של מערך נתונים מלא או עדכון מצטבר יעיל.
    writeMode אופציונלי אם משתמשים בהטמעה מצטברת, קובעים את אסטרטגיית הסנכרון להטמעה מצטברת. השדה הזה נדרש להעברות מצטברות. הערך הנתמך הוא WRITE_MODE_UPSERT.
    assets חובה רשימת השמות של טבלאות ServiceNow שיועברו מ-ServiceNow כחלק מההעברה.
    watermarkColumns אופציונלי אם משתמשים בהטמעה מצטברת, שדה טבלת המקור (בדרך כלל datetime) משמש למעקב אחרי נקודת הסנכרון האחרונה שהצליחה, וכך מאפשר למחבר לשלוח שאילתות ביעילות ולהעביר רק את הרשומות שנוצרו או שונו מאז אותו זמן ספציפי. השדה הזה נדרש להעברות מצטברות.
    primaryKeys אופציונלי אם משתמשים בהטמעה מצטברת, העמודה הייחודית או שילוב העמודות שמשמשים לזיהוי ייחודי של כל שורה בטבלת המקור. השדה הזה נדרש להעברות מצטברות.
    valueType אופציונלי קובע איך סוגי נתונים ספציפיים מ-ServiceNow ממופים לסוגי נתונים ב-BigQuery.
    connector.legacyMapping חובה מגדירים את הערך true (ברירת המחדל) כדי להשתמש במיפוי סוגי הנתונים הקודם. כדי להשתמש במיפוי המעודכן של סוגי הנתונים, מגדירים את הערך false. אם מבצעים העברה מצטברת, הערך הזה חייב להיות false. מידע נוסף על העדכונים במיפוי סוגי הנתונים זמין בקטע 16 במרץ 2027.

    כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים של השדות watermarkColumns ו-primaryKeys תואמים למיקום של הערכים בשדה assets. חשוב לוודא שהסדר של הטבלאות והעמודות שלהן נשמר באופן עקבי בכל רשימות ההגדרות הקשורות.

    לדוגמה, הפקודה הבאה יוצרת העברת נתונים של ServiceNow בפרויקט ברירת המחדל עם כל הפרמטרים הנדרשים:

      bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=servicenow
        --display_name='My Transfer'
        --params='{"connector.authentication.oauth.clientId": "1234567890",
            "connector.authentication.oauth.clientSecret":"ABC12345",
            "connector.authentication.username":"user1",
            "connector.authentication.password":"abcdef1234",
            "connector.instanceId":"dev-instance",
            "connector.networkAttachment": "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
    

    הפקודה הבאה יוצרת העברת נתונים מצטברת של ServiceNow בפרויקט ברירת המחדל, ומשתמשת במצב הכתיבה UPSERT.

      bq mk
          --transfer_config
          --target_dataset=mydataset
          --data_source=servicenow
          --display_name='My Transfer'
          --params='{"assets": ["incident", "change_request"],
              "connector.authentication.oauth.clientId": "1234567890",
              "connector.authentication.oauth.clientSecret":"ABC12345",
              "connector.authentication.username":"user1",
              "connector.authentication.password":"abcdef1234",
              "connector.instanceId":"dev-instance",
              "ingestionType":"incremental",
              "writeMode":"WRITE_MODE_UPSERT",
              "watermarkColumns":["sys_updated_on","sys_updated_on"],
              "primaryKeys":[["sys_id"], ["sys_id"]]}'
    

API

משתמשים ב-method‏ projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

כששומרים את הגדרות ההעברה, המחבר של ServiceNow מפעיל באופן אוטומטי את הרצת ההעברה בהתאם לאפשרות התזמון שבחרתם. בכל הפעלה של העברה, המחבר של ServiceNow מעביר את כל הנתונים הזמינים מ-ServiceNow ל-BigQuery.

כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מוצג המיפוי של סוגי הנתונים בהעברת נתונים מ-ServiceNow:

סוג הנתונים ב-ServiceNow סוג הנתונים ב-BigQuery סוג נתונים מעודכן ב-BigQuery
decimal FLOAT64
integer INTEGER
boolean BOOLEAN
glide_date DATE
glide_date_time DATETIME
glide_list STRING ARRAY
glide_time INT64
reference STRING
currency STRING
sys_class_name STRING
domain_id STRING
domain_path STRING
guid STRING
translated_html STRING
journal STRING
string STRING
list STRING ARRAY

פתרון בעיות בהעברה

בקטעים הבאים מפורטות בעיות נפוצות שעלולות לקרות כשמגדירים העברת נתונים מ-ServiceNow.

מידע נוסף זמין במאמר פתרון בעיות בהגדרות ההעברה.

ההעברה נכשלת בגלל הפעלת ServiceNow

אם האפליקציות Procurement, ‏ Product Catalog או Contract Management לא מופעלות ב-ServiceNow, העברת הנתונים נכשלת. כדי לפתור את הבעיה, צריך להפעיל את שלוש האפליקציות:

הבעיה מתרחשת במהלך הפעלת ההעברה

מתרחשת בעיה שמונעת את יצירת הרצת ההעברה כמתוכנן. כדי לפתור את הבעיה:

  • מוודאים שפרטי הכניסה לחשבון ServiceNow תקינים, כמו הערכים של Username,‏ Password,‏ Client ID ו-Client secret.
  • מוודאים שמזהה המכונה הוא המזהה התקין של מכונת ServiceNow.

שגיאות אחרות

למידע על שגיאות אחרות שמתרחשות במהלך העברת נתונים מ-ServiceNow, קראו את המאמר בעיות בהעברה מ-ServiceNow.

תמחור

מידע על מחירי ההעברות מ-ServiceNow זמין במאמר התמחור של שירות העברת הנתונים.

המאמרים הבאים