מבוא לפתרון בעיות

במאמר הזה מפורטת סקירה כללית של כלי האבחון, ממשקי הטלמטריה ומקורות המידע שזמינים כדי לעזור לכם לפתור בעיות ב-BigQuery.

אם נתקלתם בכשלים בשאילתות, בצווארי בקבוק בביצועים, בשגיאות הרשאה, במגבלות מכסת נפח או בבעיות בהעברת נתונים, BigQuery מספק כלים מובנים שיעזרו לכם לזהות את הסיבות העיקריות ולפתור את הבעיות במהירות.

פתרון בעיות בתהליך העבודה

כדי לפתור בעיה ב-BigQuery בצורה יעילה, כדאי להביא בחשבון את קריטריוני האבחון הבאים:

  1. מזהים את הסימפטום ואת מצב הכשל. בודקים את התוצאות של המשימה כדי לראות אם הבעיה היא כשל חמור (למשל קוד שגיאה או כשל במשימה), ירידה בביצועים (למשל שאילתה איטית או חוסר משבצות), דחיית הרשאה או פער לא צפוי בעלויות.
  2. בדיקת פרטי הביצוע של המשימה. אפשר להשתמש ב Google Cloud מסוף כלי לבדיקת עבודות, בתרשים של ביצוע שאילתות או בכלי שורת פקודה כדי לבדוק את התזמון ברמת השלב, את הקצאת המשבצות ואת פרטי השגיאה. אפשר גם לבקש מ-Gemini Cloud Assist לחקור את הבעיה.
  3. ניתוח טלמטריה ומטא-נתונים. אפשר להריץ שאילתות על תצוגות של סכימת מידע או לבדוק את יומני הביקורת של Cloud כדי לקשר בין התנהגות של משימות לבין מחלוקת על משאבים, מגבלות על הזמנות או שינויים אדמיניסטרטיביים.
  4. החלת אמצעי מניעה ממוקדים. כדי לפתור את הבעיה הבסיסית, אפשר להיעזר במדריכים לפתרון בעיות שספציפיים לקטגוריות או בפונקציות SQL הגנתיות.

ההבדל בין פתרון בעיות לבין אופטימיזציה

כשעובדים עם BigQuery, חשוב להבחין בין פתרון בעיות, אופטימיזציה של הביצועים ושיטות מומלצות:

  • פתרון בעיות התמיכה מתמקדת באבחון ובפתרון של כשלים לא צפויים, שגיאות בזמן ריצה, צינורות שבורים, חריגה ממכסת השימוש או התנהגות לא מכוונת שמונעת את השלמת המשימות בהצלחה.
  • אופטימיזציה של הביצועים. התכונה מתמקדת בשיפור מהירות הביצוע, זמן האחזור או יעילות המשאבים של שאילתות ועומסי עבודה שכבר פועלים בהצלחה. מידע נוסף זמין במאמר בנושא אופטימיזציה של ביצועי שאילתות.
  • שיטות מומלצות המאמר מתמקד בדפוסי ארכיטקטורה ועיצוב של מידול נתונים, אחסון, אבטחה וניהול עלויות. מידע נוסף זמין במאמר בנושא הקדמה לשיטות מומלצות.

כלי אבחון

בקטעים הבאים מתוארים כמה ממשקי BigQuery וכלים אוטומטיים שיעזרו לכם לאבחן בעיות בעומסי העבודה.

כלים חזותיים וכלים למסוף

הכלים הבאים עוזרים לפתור בעיות ב-BigQuery מתוךGoogle Cloud המסוף.

  • דף Jobs Explorer אפשר לחפש, לסנן ולבדוק משימות קודמות ופעילות בפרויקטים או בארגונים בלי לכתוב שאילתות SQL. אפשר לראות הודעות שגיאה, שימוש במשבצות, ציר זמן של ביצוע ומטא-נתונים של עבודות. מידע נוסף זמין במאמר מעקב אחרי משימות ב-Jobs Explorer.
  • תרשים של ביצוע שאילתה. בדיקה של תוכנית הביצוע של שאילתה, שלב אחר שלב, בתצוגה חזותית. תרשים הביצוע עוזר לכם לזהות צווארי בקבוק כמו העברה של נתונים לדיסק, שלבים שמוגבלים על ידי יכולת החישוב, חלוקת נתונים לא מאוזנת או עיכובים בקלט/פלט. מידע נוסף זמין במאמר בנושא קבלת תובנות לגבי ביצועי שאילתות.
  • תובנות לגבי שאילתות ותרשימי משאבים. אפשר לראות גרפים היסטוריים וגרפים בזמן אמת של ניצול משבצות, מקבילות של משימות והקצאות של הזמנות כדי לאבחן מגבלות קיבולת. מידע נוסף זמין במאמר שימוש בתרשימים של משאבים אדמיניסטרטיביים.
  • ‫Gemini Cloud Assist ב-BigQuery קבלת ניתוח הקשרי של שאילתות שנכשלו וצווארי בקבוק בביצועים, בעזרת AI. ‫Gemini Cloud Assist מסביר קודי שגיאה, מדגיש תחביר בעייתי של SQL ומציע שלבים לתיקון ישירות במסוףGoogle Cloud . מידע נוסף מופיע במאמר פתרון בעיות בשאילתות באמצעות Gemini Cloud Assist.

כלי אבחון אוטומטיים וכלי שורת פקודה

הכלים הבאים יכולים לעזור לכם לאבחן בעיות ב-BigQuery מממשק שורת פקודה.

  • כלי שורת הפקודה של BigQuery. כדי לבדוק את מבני השגיאות המפורטים, את מזהי הבקשות ואת המטא-נתונים של העבודות, משתמשים בפקודה bq show -j <var>JOB_ID</var> או מוסיפים את הדגל --format=prettyjson לפקודות השאילתה. מידע נוסף זמין במאמר פתרון בעיות בפקודות CLI.
  • gcpdiag. מריצים אבחון אוטומטי משורת הפקודה כדי לזהות בעיות נפוצות Google Cloud בהגדרות, כולל פערים בהרשאות IAM, הגבלות ברשת ושגיאות בחשבון שירות. מידע נוסף זמין במאמר פתרון בעיות בשאילתות באמצעות gcpdiag.

תצוגות של מטא-נתונים וטלמטריה

תצוגות של סכימת מידע מאפשרות לכם לשאול שאילתות SQL סטנדרטיות לגבי מטא-נתונים היסטוריים ומטא-נתונים בזמן אמת על משימות, קיבולת, הטמעה של נתוני סטרימינג ומערכי נתונים. התצוגות האלה כוללות את:

  • טלמטריה של ביצוע משימות. שאילתה INFORMATION_SCHEMA.JOBS ו- INFORMATION_SCHEMA.JOBS_TIMELINE כדי לנתח את צריכת המילישניות של משבצות, את הבייטים שנשפכו, את זמני ההמתנה בתור ואת קודי השגיאה בעבודות.
  • הזמנות וקיבולת. שאילתה INFORMATION_SCHEMA.RESERVATIONS וINFORMATION_SCHEMA.CAPACITY_COMMITMENTS כדי לאבחן את הקצאת המשבצות, מגבלות ההזמנה והתנהגויות של שינוי גודל אוטומטי.
  • סטרימינג והטמעה. שאילתה INFORMATION_SCHEMA.STREAMING_TIMELINE לזיהוי זמן האחזור של ההטמעה ומגבלות קצב הסטרימינג.
  • תקינות האחסון והמחיצות. שאילתה INFORMATION_SCHEMA.TABLE_STORAGE כדי לבדוק את הגדלים של הטבלאות הפיזיות, את האחסון הפעיל לעומת האחסון לטווח ארוך ואת חלוקת המחיצות.

מידע נוסף זמין במאמר מבוא ל-BigQuery INFORMATION_SCHEMA.

‫Cloud Monitoring ויומני ביקורת של Cloud

  • יומני ביקורת של Cloud. בודקים את יומני הביקורת של פעילות אדמין וגישה לנתונים כדי לעקוב אחרי מי התחיל פעולות ספציפיות, לבדוק את זהויות המתקשרים ולאבחן שגיאות של PERMISSION_DENIED. מידע נוסף זמין במאמר בנושא שימוש ביומני ביקורת ב-BigQuery.
  • ‫Cloud Monitoring. אפשר לעקוב אחרי מדדים כמו שימוש במשבצות, משך ביצוע שאילתות ובתים שהועלו, ולהגדיר מדיניות התראות כדי להודיע לצוות שלכם כשחורגים מספי או ממכסות. מידע נוסף זמין במאמר בנושא מעקב אחרי BigQuery באמצעות Cloud Monitoring.

פונקציות SQL הגנתיות והצהרות ניפוי באגים

כדי למנוע מצב שבו שאילתות נכשלות באופן בלתי צפוי בגלל שגיאות בנתוני זמן הריצה, אפשר להשתמש באפשרויות הבאות:

  • ביטויים בטוחים. משתמשים ב-SAFE_CAST(), ב-SAFE_DIVIDE(), ב-SAFE_OFFSET() וב-SAFE_ORDINAL() כדי להחזיר את NULL במקום ליצור שגיאות בזמן ריצה כשסוגי הנתונים או גבולות המערך לא תואמים. רוב הפונקציות הסקלריות תומכות בקידומת SAFE.. מידע נוסף זמין במאמרים ניפוי באגים בפונקציות וSAFE. prefix.
  • טענות SQL. אפשר להשתמש בהצהרת ASSERT בעסקאות או בסקריפטים עם כמה הצהרות כדי לאכוף תנאי אימות נתונים ולגרום לכשל עם הודעות שגיאה מותאמות אישית לפני הפעלת פעולות במורד הזרם. מידע נוסף זמין במאמר בנושא הצהרות על ניפוי באגים.

פתרון בעיות לפי קטגוריית בעיה

בוחרים קטגוריה מהקטעים הבאים כדי לראות קודי שגיאה מפורטים, את שורש הבעיה ומדריכים מפורטים לפתרון בעיות.

ביצועים והרצה של שאילתות

אבחון של שאילתות שלא מופעלות, שזמן ההמתנה שלהן חלף, שנתקלו במגבלות משאבים או שחוו עיכובים לא צפויים.

ניהול זהויות והרשאות גישה (IAM) ואבטחה

אבחון של כשלים בבקרת גישה, הקצאות תפקידים חסרות וחסימות של מדיניות משילות מידע.

מכסות, מגבלות קצב והזמנות

פתרון בעיות שמתרחשות כשעומסי העבודה חורגים ממגבלות השירות של BigQuery או מהקצאות הקיבולת.

הטמעת נתונים, סטרימינג והעברה

אבחון כשלים בטעינת נתונים, בהעברת רשומות בסטרימינג או בסנכרון מקורות חיצוניים.

  • פתרון בעיות בהעברות נתונים. אבחון בעיות בשירות העברת נתונים ל-BigQuery, קישוריות לרשת להעברות פרטיות ושגיאות בטעינת נתוני CSV.
  • פתרון בעיות בהגדרות של העברה. פתרון שגיאות בהגדרת שירות העברת נתונים ל-BigQuery במקורות כמו Amazon Simple Storage Service‏ (Amazon S3),‏ Salesforce,‏ Google Ads ו-Cloud Storage.
  • פתרון בעיות ב-BigQuery Storage API ניפוי באגים ב-BigQuery Storage Read API, ב-BigQuery Storage Write API ‏ (gRPC) וב-BigQuery Storage Write API ‏ (REST) בנוגע לכשלים בהטמעת עדכונים בזמן אמת, שגיאות בהוספה ברמת השורה ומכסות של תפוקה.

העברה של מחסן נתונים

אבחון בעיות בהערכה, בתרגום או בהעברה של מחסני נתונים חיצוניים ל-BigQuery.

  • פתרון בעיות בהעברה. פתרון שגיאות בהערכת ההעברה, בעיות בתרגום אינטראקטיבי ובאצווה של SQL, ובעיות בחילוץ מטא-נתונים.

מקורות נתונים חיצוניים ושאילתות מאוחדות

אבחון שגיאות בחיבור, באימות ובביצוע כשמריצים שאילתות על נתונים מחוץ ל-BigQuery.

חוסר התאמה בין חיובים לעלויות

בודקים חיובים לא צפויים ואי התאמות בחיובים של שירותי מחשוב ואחסון.

צמצום הסיכון לאובדן נתונים

כדי לשחזר נתונים היסטוריים ששונו או נמחקו, או כדי לשמור על המשכיות עסקית במהלך הפסקת חשמל אזורית, אפשר להשתמש בכלים הבאים לשחזור נתונים ולשמירת נתונים:

  • שחזור נתונים שאילתה או שחזור של נתוני טבלה שהשתנו או נמחקו בחלון הזמן של Time Travel. מידע נוסף מופיע במאמר שחזור נתונים.
  • מסע בזמן. שמירה של נתונים מעודכנים או נתונים שנמחקו במערך נתונים למשך תקופת שמירה מוגדרת, כדי להגן מפני שינויים מקריים. מידע נוסף זמין במאמר בנושא הצגת נתונים היסטוריים.
  • יתירות כשל אזורית. קידום רפליקה משנית לתפקיד הראשי במהלך הפסקת חשמל אזורית כשמשתמשים בשחזור אחרי אסון שמנוהל על ידי BigQuery. מידע נוסף מופיע במאמר בנושא מעבר לגיבוי ומעבר חזרה לאחר כשל באזור.

שימוש בממשקי API

כשאתם מבצעים אינטראקציה עם BigQuery באופן פרוגרמטי, אתם יכולים להשתמש במשאבים הבאים כדי לבצע אופטימיזציה של זמן האחזור של הבקשות ולנהל את תהליכי העבודה של ההעלאות:

  • טיפים לשיפור הביצועים של API שימוש בשיטות מומלצות ליצירת קריאות ל-API, כמו ניהול מאגרי חיבורים, שימוש בפעולות באצווה וטיפול בניסיונות חוזרים. מידע נוסף זמין במאמר בנושא טיפים לשיפור הביצועים של API.
  • העלאות דרך API. פתרון בעיות וניהול של הכנסת נתונים באמצעות בקשות העלאה שניתן להמשיך ושל בקשות העלאה מרובות חלקים ב-API בארכיטקטורת REST. מידע נוסף זמין במאמר בנושא העלאות באמצעות API.

המאמרים הבאים