טעינת נתונים מ-Microsoft SQL Server ל-BigQuery

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לקבל תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות לכתובת [e-mail].

כדי לתזמן העברות נתונים חוזרות מ-Microsoft SQL Server ל-BigQuery, אתם יכולים ליצור הגדרת העברה ולציין אילו אובייקטים של נתונים להעביר ובאיזו תדירות לתזמן את העברת הנתונים. אחרי שמגדירים את ההעברה, שירות העברת הנתונים ל-BigQuery מעביר את הנתונים העדכניים לטבלה ב-BigQuery לפי לוח הזמנים שצוין.

במאמר מבוא להעברות נתונים מ-Microsoft SQL Server מוסבר איך פועלת העברה מ-Microsoft SQL Server.

מגבלות

משרות להעברת נתונים מ-Microsoft SQL Server כפופות למגבלות הבאות:

• יש מספר מוגבל של חיבורים בו-זמניים למסד נתונים של Microsoft SQL Server. לכן, גם מספר ההפעלות של העברות בו-זמניות למסד נתונים אחד של Microsoft SQL Server מוגבל. חשוב לוודא שמספר משימות ההעברה שפועלות בו-זמנית קטן ממספר החיבורים המקסימלי שנתמך במסד הנתונים של Microsoft SQL Server.
• כדי למנוע אובדן נתונים, יכול להיות שסוגי נתונים מסוימים של Microsoft SQL Server ימופו לסוג STRING ב-BigQuery. לדוגמה, סוגים מסוימים של מספרים ב-Microsoft SQL Server שלא מוגדרים להם דיוק וקנה מידה, יכולים להיות ממופים ל-STRING ב-BigQuery. מידע נוסף זמין במאמר מיפוי סוגי נתונים.

מגבלות על העברות מצטברות

העברות מצטברות של Microsoft SQL Server כפופות למגבלות הבאות:

• אפשר לבחור רק TIMESTAMP עמודות כעמודות של סימני מים.
• הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
• הערכים בעמודת סימן המים חייבים להיות בעלייה מונוטונית.
• העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
• הגדרת העברה אחת יכולה לתמוך רק בהטמעה מצטברת או בהטמעה מלאה.
• אי אפשר לעדכן אובייקטים ברשימה asset אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
• אי אפשר לשנות את מצב הכתיבה בהגדרות ההעברה אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
• אי אפשר לשנות את עמודת סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
• טבלת היעד ב-BigQuery מסודרת באשכולות באמצעות המפתח הראשי שסופק, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
• כשמעדכנים הגדרת העברה קיימת למצב הטמעה מצטברת בפעם הראשונה, העברת הנתונים הראשונה אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. בכל העברת נתונים מצטברת שתתבצע לאחר מכן, יועברו רק השורות החדשות והמעודכנות ממקור הנתונים.
• מומלץ ליצור אינדקסים בעמודת סימן המים. המחבר הזה משתמש בעמודות של סימני מים בשביל מסננים בהעברות מצטברות, ולכן הוספת אינדקס לעמודות האלה יכולה לשפר את הביצועים.
• כשמבצעים העברה מצטברת, צריך להשתמש במיפוי המעודכן של סוגי הנתונים.

לפני שמתחילים

כדי לתזמן העברת נתונים מ-Microsoft SQL Server, צריך לעמוד בדרישות המוקדמות הבאות.

דרישות מוקדמות ל-Microsoft SQL Server

צריך ליצור חשבון משתמש במסד הנתונים של Microsoft SQL Server. מידע נוסף זמין במאמר יצירת משתמש עם פרטי התחברות.

דרישות מוקדמות ל-BigQuery

• מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
• יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים מ-Microsoft SQL Server, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש עם ההרשאות שנדרשות כדי ליצור העברת נתונים מ-Microsoft SQL Server. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים מ-Microsoft SQL Server, צריך את ההרשאות הבאות:

• bigquery.transfers.update
• bigquery.datasets.get

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הגדרת רשת

אם אין כתובת IP ציבורית זמינה לחיבור למסד הנתונים של Microsoft SQL Server, צריך להגדיר הגדרות רשת ספציפיות. למידע נוסף, קראו את המאמרים הבאים:

• הגדרת חיבור למכונה של Google Cloud
• הגדרת חיבור ל-AWS
• הגדרת חיבור ל-Azure

הגדרת העברת נתונים מ-Microsoft SQL Server

בוחרים באחת מהאפשרויות הבאות:

המסוף

1. נכנסים לדף העברות נתונים.

   מעבר אל "העברות נתונים"

2. לוחצים על Create transfer.

3. בקטע Source type, בוחרים באפשרות Microsoft SQL Server בשדה Source.

4. בקטע Data source details:

   • בשדה Network attachment, בוחרים חיבור רשת קיים או לוחצים על Create Network Attachment.
   • בשדה Host, מזינים את שם המארח או את כתובת ה-IP של מסד הנתונים של Microsoft SQL Server.
   • בשדה Port number, מזינים את מספר היציאה של מסד הנתונים ב-Microsoft SQL Server.
   • בשדה Database name, מזינים את השם של מסד הנתונים ב-Microsoft SQL Server.
   • בשדה Username, מזינים את שם המשתמש של Microsoft SQL Server שיוזם את החיבור למסד הנתונים של Microsoft SQL Server.
   • בשדה Password, מזינים את הסיסמה של המשתמש ב-Microsoft SQL Server שיוזם את החיבור למסד הנתונים של Microsoft SQL Server.
   • בקטע מצב TLS, בוחרים אפשרות מהתפריט. מידע נוסף על מצבי TLS זמין במאמר הגדרת TLS.
   • בשדה Trusted PEM Certificate, מזינים את האישור הציבורי של רשות האישורים (CA) שהנפיקה את אישור ה-TLS של שרת מסד הנתונים. מידע נוסף זמין במאמר אישור שרת מהימן (PEM).
   • כדי להשתמש במיפוי סוגי הנתונים הקודם, בוחרים באפשרות true (ברירת המחדל) בשדה Enable legacy mapping. בוחרים באפשרות false כדי להשתמש במיפוי המעודכן של סוגי הנתונים. אם אתם מבצעים העברה מצטברת, הערך הזה חייב להיות false. למידע נוסף על העדכונים במיפוי של סוגי הנתונים, ראו 16 במרץ 2027.
   • בקטע סוג ההטמעה, בוחרים באפשרות מלאה או מצטברת.
     • אם בוחרים באפשרות Incremental (תצוגה מקדימה), בשדה Write mode בוחרים באפשרות Append או Upsert. מידע נוסף על מצבי הכתיבה השונים מופיע במאמר העברות מלאות או מצטברות.
   • בשדה Microsoft SQL Server objects to transfer, מחפשים את הטבלה של Microsoft SQL Server או מזינים ידנית את שמות הטבלאות שנדרשות להעברה.

5. בקטע Destination settings, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים בשדה Dataset, או לוחצים על Create new dataset ויוצרים מערך נתונים חדש שישמש כמערך הנתונים של היעד.

6. בקטע Transfer config name, בשדה השם המוצג, מזינים שם להעברה. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

7. בקטע Schedule options:

   • בוחרים את תדירות החזרה. אם בוחרים באפשרות שעות, ימים (ברירת המחדל), שבועות או חודשים, צריך גם לציין תדירות. אתם יכולים גם לבחור באפשרות בהתאמה אישית כדי ליצור תדירות חזרה ספציפית יותר. אם בוחרים באפשרות On-demand, העברת הנתונים תתבצע רק כשמפעילים את ההעברה באופן ידני.
   • אם רלוונטי, בוחרים באפשרות התחלה עכשיו או התחלה בזמן מוגדר ומציינים תאריך התחלה וזמן ריצה.

8. אופציונלי: בקטע אפשרויות התראה, מבצעים את הפעולות הבאות:

   • כדי להפעיל התראות באימייל, מעבירים את המתג Email notifications למצב מופעל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הפעלת ההעברה נכשלת.
   • כדי להגדיר התראות על הפעלת Pub/Sub להעברה, לוחצים על המתג Pub/Sub notifications כדי להפעיל אותו. אפשר לבחור את שם הנושא או ללחוץ על Create a topic כדי ליצור נושא.

9. אופציונלי: בקטע Advanced options, בוחרים את סוג ההצפנה של ההעברה. אתם יכולים לבחור מפתח של Google-owned and Google-managed encryption keyאו מפתח של Cloud Key Management Service שבבעלות הלקוח. מידע נוסף על מפתחות הצפנה זמין במאמר מפתחות הצפנה בניהול הלקוח (CMEK).

10. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה --transfer_config:

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=DISPLAY_NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים פרויקט מסוים באמצעות הדגל --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
• ‫DATA_SOURCE: מקור הנתונים, שהוא sqlserver.
• ‫DISPLAY_NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
• ‫DATASET: קבוצת הנתונים שאליה רוצים להעביר את הנתונים בהגדרות ההעברה.

• ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו, בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברה מ-Microsoft SQL Server:

  • ‫connector.networkAttachment (אופציונלי): השם של חיבור הרשת כדי להתחבר למסד הנתונים של Microsoft SQL Server.
  • ‫connector.database: השם של מסד הנתונים ב-Microsoft SQL Server.
  • ‫connector.endpoint.host: שם המארח או כתובת ה-IP של מסד הנתונים.
  • ‫connector.endpoint.port: מספר היציאה של מסד הנתונים.
  • ‫connector.authentication.username: שם המשתמש של המשתמש במסד הנתונים.
  • ‫connector.authentication.password: הסיסמה של המשתמש במסד הנתונים.
  • ‫connector.legacyMapping: מגדירים את הערך true (ברירת המחדל) כדי להשתמש במיפוי סוגי הנתונים הקודם. כדי להשתמש במיפוי המעודכן של סוגי הנתונים, מגדירים את הערך false. אם מבצעים העברה מצטברת, הערך הזה חייב להיות false. מידע נוסף על העדכונים במיפוי סוגי הנתונים זמין בקטע 16 במרץ 2027.
  • ‫connector.tls.mode: מציינים הגדרת TLS לשימוש בהעברה הזו:
    • ‫ENCRYPT_VERIFY_CA_AND_HOST כדי להצפין נתונים, ולאמת את רשות האישורים ואת שם המארח
    • ‫ENCRYPT_VERIFY_CA כדי להצפין נתונים, ולאמת את רשות האישורים בלבד
    • ‫ENCRYPT_VERIFY_NONE להצפנת נתונים בלבד
    • DISABLE ללא הצפנה או אימות
  • ‫connector.tls.trustedServerCertificate: (אופציונלי) מספקים אישור אחד או יותר בקידוד PEM. חובה רק אם הערך של connector.tls.mode הוא ENCRYPT_VERIFY_CA_AND_HOST או ENCRYPT_VERIFY_CA.
  • ‫ingestionType: מציינים full או incremental. העברות מצטברות נתמכות בגרסת טרום-השקה (Preview). למידע נוסף, קראו את המאמר העברות מלאות או מצטברות.
  • ‫writeMode: מציינים WRITE_MODE_APPEND או WRITE_MODE_UPSERT.
  • ‫watermarkColumns: מציינים עמודות בטבלה כעמודות של סימני מים. השדה הזה נדרש להעברות מצטברות.
  • ‫primaryKeys: מציינים עמודות בטבלה כמפתחות ראשיים. השדה הזה נדרש להעברות מצטברות.
  • ‫assets: רשימה של שמות הטבלאות של Microsoft SQL Server שיועברו ממסד הנתונים של Microsoft SQL Server כחלק מההעברה.

לדוגמה, הפקודה הבאה יוצרת העברה של Microsoft SQL Server בשם My Transfer:

bq mk \
    --transfer_config
    --target_dataset=mydataset
    --data_source=sqlserver
    --display_name='My Transfer'
    --params='{"assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":"1520",
        "connector.networkAttachment":"projects/dev-project1/regions/us-central1/networkattachments/na1",
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_APPEND",
        "watermarkColumns":["createdAt","createdAt"],
        "primaryKeys":[['dep_id'], ['report_by','report_title']],
        "connector.tls.mode": "ENCRYPT_VERIFY_CA_AND_HOST",
        "connector.tls.trustedServerCertificate": "PEM-encoded certificate"}'

כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים של השדות watermarkColumns ו-primaryKeys תואמים למיקום של הערכים בשדה assets. בדוגמה הבאה, dep_id תואם לטבלה DB1/DEPARTMENT, ו-report_by ו-report_title תואמים לטבלה DB1/EMPLOYEES.

      "primaryKeys":[['dep_id'], ['report_by','report_title']],
      "assets":["DB1/DEPARTMENT","DB1/EMPLOYEES"],
  

כששומרים את הגדרות ההעברה, המחבר של Microsoft SQL Server מפעיל באופן אוטומטי את הרצת ההעברה בהתאם לאפשרות התזמון שבחרתם. בכל הפעלה של העברה, המחבר של Microsoft SQL Server מעביר את כל הנתונים הזמינים מ-Microsoft SQL Server אל BigQuery.

כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי נתונים.

פתרון בעיות

כדי לפתור בעיות בהעברת הנתונים, קראו את המאמר בעיות בהעברה מ-Microsoft SQL Server.

העברת מטא-נתונים

אתם יכולים גם להשתמש במחבר של Microsoft SQL Server כדי להעביר מטא-נתונים ל-Knowledge Catalog. למידע נוסף, קראו את המאמר טעינת מטא-נתונים של Microsoft SQL Server ל-Knowledge Catalog.

המאמרים הבאים

• סקירה כללית על שירות העברת הנתונים ל-BigQuery
• מידע ולמידה על ניהול העברות, כולל קבלת מידע על הגדרת העברה, הצגת רשימה של הגדרות העברה וצפייה בהיסטוריית ההרצה של העברה.
• איך טוענים נתונים באמצעות פעולות של BigQuery Omni