העברה מ-Snowflake ל-BigQuery
במאמר הזה נסביר איך עוברים מ-Snowflake ל-BigQuery. בקטעים הבאים נציג את כלי ההעברה שיעזרו לכם לבצע העברה ל-BigQuery, ונסביר על כמה הבדלים בין Snowflake לבין BigQuery כדי לעזור לכם לתכנן את ההעברה.
העברת תהליכי עבודה מ-Snowflake ל-BigQuery
כשמתכננים העברה ל-BigQuery, חשוב להביא בחשבון את תהליכי העבודה השונים ב-Snowflake ואת האופן שבו אפשר להעביר כל אחד מהם בנפרד. כדי למזער את ההשפעה על הפעולות הקיימות, מומלץ להעביר את שאילתות ה-SQL ל-BigQuery, ואז להעביר את הסכימה והקוד.
העברת שאילתות SQL
כדי להעביר את שאילתות ה-SQL, שירות ההעברה ל-BigQuery מציע תכונות שונות לתרגום SQL, שמאפשרות להמיר באופן אוטומטי את שאילתות ה-SQL של Snowflake ל-GoogleSQL SQL. למשל, הכלי לתרגום SQL באצווה לתרגום שאילתות בכמות גדולה, הכלי האינטראקטיבי לתרגום SQL לתרגום שאילתות ספציפיות ו-SQL translation API. שירותי התרגום האלה כוללים גם פונקציונליות משופרת של Gemini, כדי לפשט עוד יותר את תהליך ההעברה של שאילתות SQL.
כשאתם מתרגמים את שאילתות ה-SQL, חשוב לבדוק אותן בקפידה כדי לוודא שסוגי הנתונים ומבני הטבלאות מטופלים בצורה נכונה. כדי לעשות את זה, מומלץ ליצור מגוון רחב של מקרי בדיקה עם תרחישים ונתונים שונים. אחר כך מריצים את מקרי הבדיקה האלה ב-BigQuery כדי להשוות את התוצאות לתוצאות המקוריות ב-Snowflake. אם יש הבדלים, צריך לנתח ולתקן את השאילתות שהומרו.
העברת סכימה וקוד
כדי להעביר סכימה ונתונים מ-Snowflake, משתמשים במחבר של Snowflake בשירות העברת הנתונים ל-BigQuery כדי להגדיר העברת נתונים. כשמגדירים את העברת הנתונים, אפשר לציין טבלאות ספציפיות ב-Snowflake שרוצים לכלול, וגם להגדיר שהמחבר יזהה באופן אוטומטי את סוגי הנתונים והסכימה של הטבלה במהלך ההעברה.
מידע נוסף על הגדרת העברת נתונים מ-Snowflake זמין במאמר תזמון העברה מ-Snowflake.
העברה מצטברת
כשאתם מעבירים נתונים מ-Snowflake באמצעות המחבר של Snowflake, אתם יכולים להגדיר העברה מצטברת שמעבירה רק את הנתונים שהשתנו מאז העברת הנתונים האחרונה, במקום לטעון את כל מערך הנתונים בכל העברת נתונים. מידע נוסף מופיע במאמר תזמון העברה מ-Snowflake.
העברת תכונות אחרות של Snowflake
כשאתם מתכננים את ההעברה ל-BigQuery, כדאי להביא בחשבון את התכונות הבאות של Snowflake.
| תרחיש לדוגמה | תכונה של Snowflake | תכונה של BigQuery |
|---|---|---|
| הכנת קובצי נתונים גולמיים לטעינה ולייצוא | אפשר להעלות נתונים לסביבת ה-staging ולהוריד אותם ממנה באמצעות הפקודות GET ו-PUT. שאילתות ופקודות `COPY` יכולות לקרוא ולכתוב לשלבים. | BigQuery מסתמך על Cloud Storage לצורך אחסון זמני של נתוני קבצים, ותומך בקריאה ממספר מקורות ושירותים אחרים ובכתיבה אליהם. Google Cloud אתם יכולים להשתמש ב-Cloud Storage כדי להעלות ולהוריד קובצי נתונים גולמיים. במאמר מבוא לטעינת נתונים מפורטות דרכים שונות לטעינת נתונים מ-Cloud Storage וממקורות אחרים, ובמאמר מבוא לייצוא נתונים מפורטות דרכים שונות לייצוא נתונים ל-Cloud Storage ולמקורות אחרים. |
| חישוב מראש של תוצאות שאילתות נפוצות | אפשר להגדיר טבלאות דינמיות באמצעות שאילתה ולרענן אותן לפי לוח זמנים. | אפשר להגדיר תצוגות מהותיות כדי לשמור ולרענן באופן אוטומטי את החישוב של שאילתת SQL. |
| פעולות DML קטנות | טבלאות היברידיות של Snowflake מאפשרות כתיבה של DML קטן. | אפשר להשתמש ב-DML ברמת פירוט גבוהה ב-BigQuery כדי לשפר את זמן האחזור ואת קצב הנתונים של כתיבות קטנות. לתרחישי שימוש מתקדמים של עיבוד טרנזקציות/ניתוח היברידי (HTAP), כדאי להשתמש במערכי נתונים חיצוניים של Spanner. |
| Notebooks והצגה חזותית | אפליקציות Streamlit של Snowflake יכולות להמחיש נתונים באמצעות קוד Python. | אפשר להשתמש בnotebooks של BigQuery ובספריית Python של BigFrames כדי לחקור נתונים ולהציג אותם באופן חזותי ב-Python. מידע על שילובים עם Looker וכלים אחרים לניתוח ולהצגה חזותית זמין במאמר מבוא לכלים לניתוח ולבינה עסקית. |
| פריסת נתונים פיזית | Snowflake תומך באשכולות ובחלוקה למחיצות קטנות כדי לארגן את הנתונים בדיסק. | ב-BigQuery יש תמיכה בחלוקה למחיצות ובסידור באשכולות, כדי לתת למשתמשים שליטה מדויקת על אופן ההפצה והארגון של הנתונים, וכך לשפר את העלויות ואת ביצועי זמן הריצה. שירות התרגום של SQL מטפל באופן אוטומטי בתרגום של אשכולות טבלאות, ואפשר להגדיר אותו כך שיתאים אישית את החלוקה למחיצות ואת האשכולות כשמעבירים DDL. |
| פונקציות ופרוצדורות חיצוניות | Snowflake תומך בפונקציות ובפרוצדורות מאוחסנות שמוטמעות בכמה שפות חיצוניות. | ב-BigQuery אפשר להפעיל פונקציות חיצוניות באמצעות פונקציות Cloud Run. אפשר גם להשתמש ב[פונקציות בהגדרת המשתמש](/bigquery/docs/user-defined-functions) (UDF) כמו SQL UDF, שמופעלות ב-BigQuery. ב-BigQuery יש תמיכה ב-SQL לפרוצדורות מאוחסנות. בשפות אחרות, מומלץ להשתמש בפונקציות חיצוניות או בלוגיקה של אפליקציה בצד הלקוח. |
אמצעי האבטחה של BigQuery
כשעוברים מ-Snowflake ל-BigQuery, חשוב להבין איךGoogle Cloud מטפל באבטחה בצורה שונה מ-Snowflake.
האבטחה ב-BigQuery קשורה באופן מהותי לניהול הזהויות והרשאות הגישה (IAM) ב- Google Cloud. הרשאות IAM מגדירות את הפעולות שמותר לבצע במשאב, והן נאכפות ברמת ה- Google Cloud . כך אפשר לנהל את האבטחה באופן עקבי ומרוכז. אלה כמה מאמצעי האבטחה העיקריים של Google Cloud:
- אבטחה משולבת: BigQuery משתמש באמצעי האבטחה של Google Cloud. זה כולל את IAM לבקרת גישה פרטנית, לשילוב אבטחה חזק וחלק.
- אבטחה ברמת המשאב: IAM מתמקד בבקרת גישה ברמת המשאב, ומעניק הרשאות למשתמשים ולקבוצות למשאבים ולשירותים שונים של BigQuery. הגישה הזו מאפשרת לנהל ביעילות את זכויות הגישה, כך שלמשתמשים יש רק את ההרשאות שנדרשות לביצוע המשימות שלהם.
- אבטחת רשת: BigQuery נהנה מתכונות אבטחת הרשת החזקות של Google Cloud, כמו ענן וירטואלי פרטי וחיבורים פרטיים.
כשעוברים מ-Snowflake ל-BigQuery, חשוב להביא בחשבון את הדרישות הבאות שקשורות לאבטחה:
- הגדרת IAM: צריך להגדיר תפקידים והרשאות של IAM ב-BigQuery כך שיתאימו למדיניות בקרת הגישה הקיימת ב-Snowflake. לשם כך, צריך למפות את התפקידים ב-Snowflake לתפקידים ולהרשאות המתאימים של IAM ב-BigQuery.
- בקרת גישה ברמת פירוט גבוהה: אם אתם משתמשים באבטחה ברמת השורה או ברמת העמודה ב-Snowflake, תצטרכו להטמיע אמצעי בקרה מקבילים ב-BigQuery באמצעות תצוגות מורשות או תגי מדיניות.
- העברת תצוגות ופונקציות UDF: כשמעבירים תצוגות ופונקציות UDF, צריך לוודא שאמצעי הבקרה המשויכים לאבטחה מתורגמים כמו שצריך לתצוגות מורשות ולפונקציות UDF מורשות ב-BigQuery.
הצפנה
כברירת מחדל, הנתונים מוצפנים ב-BigQuery במצב מנוחה ובזמן העברה. אם אתם צריכים יותר שליטה במפתחות ההצפנה, BigQuery תומך במפתחות הצפנה בניהול הלקוח ב-Cloud Key Management Service. אפשר גם להשתמש בהצפנה ברמת העמודה.
כדי לשמור על אבטחת המידע במהלך ההעברה ל-BigQuery ואחריה, כדאי להביא בחשבון את הדברים הבאים:
- ניהול מפתחות: אם אתם צריכים מפתחות בניהול הלקוח, אתם צריכים להגדיר אסטרטגיה לניהול מפתחות ב-Cloud Key Management Service ולהגדיר את BigQuery כך שישתמש במפתחות האלה.
- הסתרת נתונים או שימוש באסימונים: אם מדובר בנתונים רגישים, צריך לבדוק אם נדרשת הסתרת נתונים או שימוש באסימונים כדי להגן עליהם.
- אבטחה ברמת השורה: מטמיעים אבטחה ברמת השורה באמצעות תצוגות מורשות, מסנני אבטחה ברמת השורה או שיטות מתאימות אחרות.
- סריקת נקודות חולשה ובדיקות חדירה: בצעו באופן קבוע סריקת נקודות חולשה ובדיקות חדירה כדי לבדוק את מצב האבטחה של סביבת BigQuery.
תפקידים
תפקידים הם הישויות שאפשר להעניק להן הרשאות לאובייקטים שניתן לאבטח, או לבטל את ההרשאות האלה.
ב-IAM, ההרשאות מקובצות לתפקידים. ב-IAM יש שלושה סוגים של תפקידים:
- תפקידים בסיסיים:
התפקידים האלה כוללים את התפקידים "בעלים", "עריכה" ו"צפייה". אפשר להחיל את התפקידים האלה ברמת הפרויקט או ברמת המשאב של השירות באמצעות מסוףGoogle Cloud , Management API לניהול זהויות והרשאות גישה או
gcloud CLI. באופן כללי, כדי להשיג את רמת האבטחה הגבוהה ביותר, מומלץ להשתמש בתפקידים מוגדרים מראש בהתאם לעקרון של הרשאות מינימליות. - תפקידים מוגדרים מראש: התפקידים האלה מספקים גישה פרטנית יותר לתכונות במוצר (כמו BigQuery), והם נועדו לתמוך בתרחישים נפוצים ובדפוסי בקרת גישה.
- תפקידים בהתאמה אישית: התפקידים האלה מורכבים מהרשאות שהמשתמשים מציינים.
בקרת גישה
ב-Snowflake אפשר להקצות תפקידים לתפקידים אחרים, וכך ליצור היררכיה של תפקידים. ב-IAM אין היררכיית תפקידים, אלא היררכיית משאבים. ההיררכיה של IAM כוללת את רמת הארגון, רמת התיקייה, רמת הפרויקט ורמת המשאב. אפשר להגדיר תפקידי IAM בכל רמה בהיררכיה, והמשאבים יורשים את כל כללי המדיניות של המשאבים ההורים שלהם.
ב-BigQuery יש תמיכה בבקרת גישה ברמת הטבלה. הרשאות ברמת הטבלה קובעות אילו משתמשים, קבוצות וחשבונות שירות יכולים לגשת לטבלה או לתצוגה. אתם יכולים לתת למשתמש גישה לטבלאות או לתצוגות ספציפיות בלי לתת לו גישה לכל מערך הנתונים.
כדי להגדיר גישה ברמה מפורטת יותר, אפשר גם להשתמש בבקרת גישה ברמת העמודה או באבטחה ברמת השורה. סוג הבקרה הזה מאפשר גישה פרטנית לעמודות עם נתונים רגישים באמצעות תגי מדיניות או סיווגי נתונים מבוססי-סוג.
אתם יכולים גם ליצור תצוגות מורשות כדי להגביל את הגישה לנתונים, וכך להשיג בקרת גישה מפורטת (FGAC). כך משתמשים מסוימים יוכלו לשלוח שאילתות לתצוגה בלי שתהיה להם גישת קריאה לטבלאות הבסיסיות.
סוגי נתונים, מאפיינים ופורמטים נתמכים של קבצים
ב-Snowflake וב-BigQuery יש תמיכה ברוב סוגי הנתונים, אבל לפעמים הם נקראים בשמות שונים. לרשימה המלאה של סוגי הנתונים שנתמכים ב-Snowflake וב-BigQuery, קראו את המאמר סוגי נתונים. אתם יכולים גם להשתמש בכלים לתרגום SQL, כמו המתרגם האינטראקטיבי של SQL, SQL translation API או המתרגם של SQL באצווה, כדי לתרגם ניבים שונים של SQL ל-GoogleSQL.
למידע נוסף על סוגי הנתונים שנתמכים ב-BigQuery, קראו את המאמר סוגי נתונים ב-GoogleSQL.
אפשר לייצא נתונים מ-Snowflake בפורמטים הבאים של קבצים. אפשר לטעון את הפורמטים הבאים ישירות ל-BigQuery:
- טעינת נתוני CSV מ-Cloud Storage.
- טעינת נתוני Parquet מ-Cloud Storage
- טעינת נתוני JSON מ-Cloud Storage.
- שאילתות על נתונים מ-Apache Iceberg.
כלי העברה
ברשימה הבאה מתוארים הכלים שבהם אפשר להשתמש כדי להעביר נתונים מ-Snowflake ל-BigQuery. במאמר דוגמאות לצינור עיבוד נתונים להעברה מ-Snowflake תוכלו לקרוא דוגמאות לאופן שבו אפשר להשתמש בכלים האלה ביחד בצינור עיבוד נתונים להעברה מ-Snowflake.
- הפקודה
COPY INTO <location>: משתמשים בפקודה הזו ב-Snowflake כדי לחלץ נתונים מטבלה ב-Snowflake ישירות לקטגוריה ספציפית של Cloud Storage. דוגמה מקיפה מופיעה במאמר Snowflake to BigQuery (snowflake2bq) ב-GitHub. - Apache Sqoop: כדי לחלץ נתונים מ-Snowflake ל-HDFS או ל-Cloud Storage, שולחים משימות Hadoop עם מנהל ההתקן של JDBC מ-Sqoop ומ-Snowflake. Sqoop פועל בסביבת Managed Service for Apache Spark.
- Snowflake JDBC: משתמשים במנהל ההתקן הזה עם רוב הכלים או האפליקציות של הלקוח שתומכים ב-JDBC.
אתם יכולים להשתמש בכלים הגנריים הבאים כדי להעביר נתונים מ-Snowflake ל-BigQuery:
- המחבר של שירות העברת הנתונים ל-BigQuery בשביל Snowflake: העברה אוטומטית של נתונים באצווה מ-Cloud Storage ל-BigQuery.
- Google Cloud CLI: כלי שורת הפקודה שמאפשר להעתיק קובצי Snowflake שהורדתם אל Cloud Storage.
- כלי שורת הפקודה של BigQuery: כלי שורת הפקודה שמאפשר לכם לעבוד עם BigQuery. תרחישים נפוצים לדוגמה כוללים יצירת סכימות של טבלאות ב-BigQuery, טעינת נתונים מ-Cloud Storage לטבלאות והרצת שאילתות.
- ספריות הלקוח של Cloud Storage: מעתיקים את קובצי Snowflake שהורדתם ל-Cloud Storage באמצעות כלי בהתאמה אישית שמשתמש בספריות הלקוח של Cloud Storage.
- ספריות לקוח של BigQuery: אינטראקציה עם BigQuery באמצעות כלי בהתאמה אישית שמבוסס על ספריית הלקוח של BigQuery.
- מתזמן השאילתות של BigQuery: תזמון שאילתות SQL חוזרות באמצעות התכונה המובנית הזו של BigQuery.
- Managed Service for Apache Airflow: סביבת Apache Airflow מנוהלת לחלוטין, שמשמשת לתזמור של משימות טעינה וטרנספורמציות ב-BigQuery.
למידע נוסף על טעינת נתונים ל-BigQuery, קראו את המאמר טעינת נתונים ל-BigQuery.
תמחור
כשמתכננים את ההעברה מ-Snowflake, חשוב להביא בחשבון את עלות העברת הנתונים, אחסון הנתונים והשימוש בשירותים ב-BigQuery. מידע נוסף זמין במאמר תמחור.
יכול להיות שתחויבו בעלויות על תעבורת נתונים יוצאת (egress) כשתעבירו נתונים מ-Snowflake או מ-AWS. יכולות להיות גם עלויות נוספות כשמעבירים נתונים בין אזורים או בין ספקי שירותי ענן שונים.
קדימה, מתחילים
בקטעים הבאים מפורט תהליך ההעברה מ-Snowflake ל-BigQuery:
הרצת הערכת העברה
כשמעבירים את הנתונים מ-Snowflake ל-BigQuery, מומלץ להתחיל בהרצת כלי ההערכה להעברה ל-BigQuery כדי לבדוק את ההיתכנות ואת היתרונות הפוטנציאליים של העברת מחסן הנתונים מ-Snowflake ל-BigQuery. הכלי הזה מספק גישה מובנית להבנת סביבת Snowflake הנוכחית שלכם, ולהערכת המאמץ הכרוך בהעברה מוצלחת.
כשמריצים את כלי ההערכה להעברה ל-BigQuery, נוצר דוח הערכה שכולל את הקטעים הבאים:
- דוח מערכת קיים: תמונת מצב של מערכת Snowflake הקיימת והשימוש בה, כולל מספר מסדי הנתונים, הסכימות, הטבלאות והגודל הכולל ב-TB. בנוסף, מפורטות הסכימות לפי גודל, ומוצגות אפשרויות לניצול לא אופטימלי של משאבים, כמו טבלאות ללא כתיבה או עם מעט קריאות.
- הצעות לטרנספורמציה של מצב יציב ב-BigQuery: איך המערכת תיראה ב-BigQuery אחרי ההעברה. הוא כולל הצעות לאופטימיזציה של עומסי העבודה ב-BigQuery ולמניעת בזבוז.
- תוכנית העברה: מידע על מאמץ ההעברה עצמו. לדוגמה, מעבר מהמערכת הקיימת למצב יציב ב-BigQuery. בקטע הזה מופיעים מספר השאילתות שתורגמו אוטומטית והזמן הצפוי להעברת כל טבלה ל-BigQuery.
מידע נוסף על התוצאות של הערכת ההעברה זמין במאמר עיון בדוח של Data Studio.
אימות ההעברה
אחרי שמעבירים את הנתונים מ-Snowflake ל-BigQuery, מריצים את הכלי לאימות נתונים (DVT) כדי לאמת את הנתונים שהועברו ל-BigQuery. הכלי DVT מאמת פונקציות שונות, מרמת הטבלה ועד לרמת השורה, כדי לוודא שהנתונים שהועברו פועלים כמצופה.