BigQuery הוא מחסן נתונים (data warehouse) מנוהל של Google לניתוח נתונים, בעלות נמוכה ובקנה מידה של פטה-בייט. המחבר של BigQuery ל-Data Studio מאפשר לכם לגשת לנתונים מהטבלאות, מהתצוגות, מהתרשימים ומשאילתות ה-SQL בהתאמה אישית ב-BigQuery, ולהמחיש אותם ישירות ב-Data Studio.
לפני שמתחילים
כדי לגשת לנתוני BigQuery ב-Data Studio, צריך לספק פרויקט ב- Google Cloud שמשויך לחשבון לחיוב ב-Google Cloud.
BigQuery היא פלטפורמת ניתוח נתונים בתשלום. יכול להיות שתחויבו בעלויות של עיבוד שאילתות או אחסון כשתגשו לנתוני BigQuery דרך דוחות של Data Studio. לפרטים על תמחור של שאילתות וקיבולת, ראו תמחור ב-BigQuery.
התפקידים הנדרשים
כדי להריץ שאילתות על נתוני BigQuery ב-Data Studio, אתם צריכים הרשאה לקרוא נתונים ולהריץ משימות של שאילתות. מקצים את תפקידי ה-IAM הבאים בפרויקט או במערך הנתונים ב- Google Cloud :
- צפייה בנתוני BigQuery (
roles/bigquery.dataViewer): מאפשרת לקרוא נתונים ומטא-נתונים מטבלאות, מתצוגות או מתרשימים. - BigQuery Job User (
roles/bigquery.jobUser): מאפשר להריץ משימות של שאילתות בפרויקט לחיוב.
התפקידים הנדרשים תלויים במצב של פרטי הכניסה לצפייה בנתונים שבחרתם למקור הנתונים:
- פרטי הכניסה של הבעלים (ברירת מחדל): רק הבעלים של מקור הנתונים צריך את התפקידים האלה. משתמשים עם הרשאת צפייה בדוח יכולים לראות תרשימים בלי שתהיה להם גישה ל-BigQuery.
- פרטי הכניסה של הצופה: כל משתמש עם הרשאת צפייה בדוח חייב להיות בעל התפקידים האלה כדי לצפות בנתונים בדוח.
- פרטי כניסה לחשבון שירות: רק חשבון השירות צריך את התפקידים האלה. כדי להגדיר חשבון שירות, קראו את המאמר הגדרת חשבון שירות של Google Cloud ל-Data Studio.
מפתחות הצפנה בניהול הלקוח (CMEK)
ב-Data Studio אפשר לשלוח שאילתות לטבלאות ב-BigQuery שמוגנות באמצעות מפתחות הצפנה בניהול הלקוח (CMEK) בלי הגדרות נוספות ב-Data Studio. עם זאת, כש-Data Studio מריץ משימת שאילתה, BigQuery כותב את תוצאות השאילתה בטבלה זמנית בפרויקט לחיוב. המחבר של BigQuery ב-Data Studio לא מעביר מפתח של Cloud Key Management Service בבקשות של משימות שאילתה.
אם בפרויקט לחיוב נאכף האילוץ constraints/gcp.restrictNonCmekServices של מדיניות הארגון ב-BigQuery, צריך להגדיר מפתח Cloud KMS כברירת מחדל לפרויקט ב-BigQuery למיקום של מערך הנתונים. הגדרת מפתח ברירת מחדל לפרויקט מאפשרת ל-BigQuery להצפין באופן אוטומטי טבלאות זמניות של תוצאות שאילתות, ומונעת שגיאות CONDITION_NOT_MET.
איך מתחברים ל-BigQuery
כדי לקשר את הנתונים של BigQuery לדוח ב-Data Studio:
שלבים לקישור
- נכנסים ל-Data Studio.
- לוחצים על
יצירה ואז על דוח. - כלי הדוחות נפתח יחד עם החלונית הוספת נתונים לדוח.
- כדי ליצור מקור נתונים מוטמע חדש, בוחרים במחבר של BigQuery.
- אפשרות אחרת: כדי להשתמש במקור נתונים קיים שניתן לשימוש חוזר, לוחצים על הכרטיסייה מקורות הנתונים שלי ובוחרים מקור נתונים מכל סוג שיצרתם בעבר או ששותף איתכם.
- מגדירים את הגישה למסד הנתונים באמצעות אחת מאפשרויות החיבור.
- לוחצים על הוספה.
תוך כמה רגעים, טבלה שמחוברת למקור הנתונים תופיע באזור הדוח.
אפשרויות חיבור
מקור נתונים ב-BigQuery יכול לאחזר נתונים מטבלה, תצוגה או תרשים, או משאילתת SQL בהתאמה אישית.
קישור לטבלה, לתצוגה או לתרשים ב-BigQuery
טבלה ב-BigQuery מאחסנת נתונים בשורות ובעמודות (שדות). תצוגה ב-BigQuery היא טבלה וירטואלית שמוגדרת על ידי שאילתת SQL שפועלת באופן דינמי בתוך מסוף BigQuery או באמצעות BigQuery API. תרשים BigQuery מאפשר ליצור מודלים של קשרים בנתונים על ידי הגדרת צמתים וקצוות על סמך טבלאות קיימות.
כדי להתחבר לטבלה, לתצוגה או לתרשים, צריך לציין את הפרמטרים הבאים של החיבור:
- פרויקט ב-BigQuery
- קבוצת נתונים
- טבלה, תצוגה או תרשים ספציפיים. ב-Data Studio אפשר גם להתחבר לטבלאות עם חלוקה למחיצות לפי תאריך ולטבלאות של כמה ימים.
בחירת פרויקט
הפרויקטים מארגנים את המשאבים ב- Google Cloud וקובעים לאן יחויבו עלויות השאילתות כשהדוחות חורגים מהמגבלות של BigQuery בחינם. אתם יכולים לשלוח שאילתות על נתונים בפרויקט אחד ולחייב את העלויות בפרויקט אחר. מידע נוסף על פרויקטים ב-Google Cloud
בוחרים אחת מהאפשרויות הבאות בחלונית ההגדרות של המחבר:
- RECENT PROJECTS: פרויקטים שפתחתם לאחרונה במסוף Google Cloud . אפשר גם להזין את מזהה הפרויקט באופן ידני. הפרויקט שנבחר משמש גם לחיוב וגם לגישה לנתונים.
- MY PROJECTS: הצגת כל הפרויקטים שיש לכם גישה אליהם. אם פרויקט מסוים חסר ברשימה, מקלידים את מזהה הפרויקט המדויק בשדה הקלט.
- SHARED PROJECTS: פרויקטים שמשותפים בין מחלקות או ארגונים. אתם יכולים להגדיר פרויקטים שונים לבחירת נתונים ולביצוע חיוב.
בחירת קבוצת נתונים
מערכי נתונים מארגנים את הגישה לקבוצות של טבלאות, תצוגות ותרשימים, ומאפשרים לשלוט בה. בוחרים קבוצת נתונים מהרשימה או מחפשים לפי מזהה קבוצת הנתונים.
מערכי נתונים ציבוריים של BigQuery הם מערכי נתונים לדוגמה שמשותפים באופן גלובלי ב-Google. כדי לשלוח שאילתות לנתונים ציבוריים, צריך לבחור פרויקט לחיוב כדי לשלם על עלויות העיבוד של השאילתות.
בוחרים טבלה, תצוגה או תרשים
אפשר לקשר מקור נתונים של Data Studio לטבלה, לתצוגה או לתרשים יחידים. ברשימה Table או Table / Graph, בוחרים משאב או מחפשים משאב לפי שם. כשקבוצת נתונים מכילה תרשימים, הטבלאות והתרשימים מוצגים עם סמלים שונים כדי שתוכלו להבדיל ביניהם.
אם בוחרים תרשים, אפשר גם לבחור צומת התחלה ברשימה Start Node. צומת ההתחלה קובע את נקודת ההתחלה של מעבר הגרף ומשפיע על הסכימה של הטבלה השטוחה. בהתאם להגדרת התרשים, יכול להיות שתצטרכו לבחור צומת התחלה.
איך משתמשים בקבוצת נתונים ציבורית של תרשימים
אתם יכולים לנסות את המחבר של BigQuery Graph באמצעות התרשים Look Ecommerce שזמין לכולם. כדי להתחבר לתרשים הזה, פועלים לפי השלבים הבאים:
- לוחצים על SHARED PROJECTS.
- בוחרים את הפרויקט לחיוב.
- מזינים את
bigquery-public-dataבתור שם הפרויקט המשותף. - בוחרים באפשרות
thelook_ecommerceבתור מערך הנתונים. - בוחרים באפשרות
graphברשימה טבלה / תרשים. - אופציונלי: בוחרים צומת התחלה ברשימה צומת התחלה.
עבודה עם מדדים ב-BigQuery Graph
כשמתחברים לתרשים ב-BigQuery, כל המדדים שמוגדרים בתרשים מיובאים כמדדים במקור הנתונים. אתם יכולים להשתמש במדדים האלה בתרשימים, בשדות מחושבים, במשתנים של תוצאות שאילתות ובאמצעי בקרה במקורות נתונים.
כשעובדים עם מדדי תרשים, חשוב לשים לב לנקודות הבאות:
- צבירת נתונים קבועה: אי אפשר לשנות את סוג הצבירה של מדד בתרשים ב-Data Studio. הצבירה נקבעת לפי הגדרת התרשים ב-BigQuery.
- מאפיינים שניתנים לעריכה: אתם יכולים לערוך את סוג הנתונים ואת התיאור של מדד התרשים במקור הנתונים של Data Studio.
קישור לטבלאות מחולקות למחיצות (Partitions) לפי תאריך
ב-Data Studio יש תמיכה בטבלאות מחולקות למחיצות לפי תאריך ב-BigQuery (DATE, DATETIME או TIMESTAMP). כשבוחרים טבלה שמחולקת למחיצות לפי DATE, DATETIME או TIMESTAMP, אפשר להגדיר את עמודת המחיצה כמסנן התאריכים הראשי של התרשימים. שימוש בטבלאות מחולקות למחיצות עוזר להציג את התרשימים מהר יותר, תוך צמצום עלויות השאילתות.
מידע נוסף על התחברות לטבלאות מחולקות למחיצות לפי תאריך ב-BigQuery
חיבור לטבלאות של כמה ימים (קידומת YYYYMMDD)
ב-BigQuery אפשר להריץ שאילתות על כמה טבלאות מפוצלות, שכל אחת מהן מאחסנת נתונים של יום אחד ומסתיימת ב-YYYYMMDD (לדוגמה, [prefix]_YYYYMMDD).
כש-Data Studio נתקל בטבלאות בפורמט עם הסיומת YYYYMMDD במהלך בחירת הטבלה, הוא מקבץ את הטבלאות היומיות תחת שמות קידומת נקיים ([prefix]_YYYYMMDD). כשיוצרים תרשים מטבלה של כמה ימים, Data Studio שולח באופן אוטומטי שאילתה רק לגבי נתונים של 28 הימים האחרונים. אפשר לשנות את חלון התאריכים הזה בכל שלב על ידי עריכת המאפיינים של טווח התאריכים בכרטיסייה הגדרה של התרשים.
התחברות ל-BigQuery באמצעות שאילתת SQL בהתאמה אישית
האפשרות CUSTOM QUERY מאפשרת לכם להתחבר לנתונים שלכם על ידי כתיבת SQL, כולל שאילתות על BigQuery Graph. תחביר השאילתה בהתאמה אישית תואם לדיאלקט SQL סטנדרטי. כדי להשתמש בתחביר של SQL מדור קודם, בוחרים באפשרות Use Legacy SQL.
מומלץ קודם ליצור ולבדוק את השאילתה ישירות במסוף BigQuery, ואז להעתיק ולהדביק את סקריפט ה-SQL המאומת בתיבת עורך השאילתות בהתאמה אישית ב-Data Studio.
שינוי הפרויקט לחיוב
ההגדרה Billing Project מאפשרת לציין איזה פרויקט ב- Google Cloud משלם על עלויות הביצוע של שאילתות בהתאמה אישית. אם הארגון שלכם פועל בכמה פרויקטים, אתם יכולים להזין ידנית את מזהה הפרויקט לחיוב בשדה.
כדי לשלוח שאילתה על נתונים בפרויקט אחד ולחייב פרויקט אחר, מציינים את הפרויקט לחיוב בשדה הזה ומפנים באופן מפורש לפרויקט הנתונים בסעיף FROM של השאילתה (FROM project_id.dataset_id.table_id).
שימוש בפרמטרים של שאילתה
פרמטרים מאפשרים לכם ליצור דוחות רספונסיביים יותר שניתנים להתאמה אישית. אתם יכולים להעביר פרמטרים במקור נתונים של BigQuery בחזרה לשאילתה הבסיסית. כדי להשתמש בפרמטר בשאילתה המותאמת אישית, צריך לפעול לפי הנחיות התחביר להרצת שאילתות עם פרמטרים ב-BigQuery.
הוראות הגדרה מלאות, כללי תחביר של פרמטרים והגדרת אבטחה ברמת השורה באמצעות פרמטרים (@DS_START_DATE, @DS_END_DATE, @DS_USER_EMAIL) מפורטות במאמר שימוש בפרמטרים בשאילתה בהתאמה אישית.
הערות וטיפים
ריכזנו כאן כמה הערות וטיפים שיעזרו לכם להפיק את המקסימום ממקורות הנתונים של BigQuery.
חדשים ב-Data Studio?
כדי לקבל מידע נוסף על יכולות הדיווח העיקריות ב-Data Studio, אפשר להיעזר במקורות המידע הבאים:
שילובים עם BigQuery
מוצרים מסוימים של Google וכלים חיצוניים מייצאים נתונים ישירות לטבלאות ב-BigQuery. כשמקשרים את Data Studio ל-BigQuery, המערכת מחשבת באופן אוטומטי מדדים סטנדרטיים ומגדירה את הפורמט של שמות השדות:
- ניתוח נתוני BigQuery ב-Data Studio: מנתחי נתונים יכולים לנתח נתוני BigQuery באמצעות Data Studio ישירות מתוך מסוף BigQuery. מריצים את השאילתה או בוחרים טבלה, ואז בוחרים באפשרות Explore in Data Studio כדי להציג את הנתונים בדוח אינטראקטיבי. מידע נוסף זמין במאמר ניתוח נתונים באמצעות Data Studio.
- ייצוא של Google Analytics ל-BigQuery: כש-Data Studio נתקל בטבלה שנוצרה על ידי ייצוא של Google Analytics ל-BigQuery, הטבלה מציגה סמל של Google Analytics לידה. כשמחברים טבלה, מערכת Data Studio יוצרת באופן אוטומטי רבים מהמדדים הרגילים שנמצאים ב-Google Analytics כשדות מחושבים.
המדד "מספר הרשומות"
כל מקור נתונים של BigQuery כולל באופן אוטומטי את המדד ספירת רשומות ברשימת השדות. אפשר להשתמש ב-Record Count בתוך תרשימים כדי לספור רשומות או לאמת את סך כל השורות שהוחזרו על ידי השאילתה.
הצגה חזותית של פוליגונים מסוג GEOGRAPHY ב-BigQuery
אתם יכולים להציג גבולות גיאו-מרחביים (נתונים מרחביים של פוליגונים מסוג GEOGRAPHY) מ-BigQuery באמצעות מפות Google בדוח. במדריך המחשה חזותית של פוליגונים מסוג GEOGRAPHY ב-BigQuery באמצעות Data Studio מוסבר שלב אחרי שלב איך להשתמש בנתונים ציבוריים של אזורים מוגדרים למפקד אוכלוסין.
פתרון בעיות ובדיקת המגבלות
אם התרשימים לא נטענים או שמופיעות אזהרות לגבי ההגדרות, כדאי לעיין במדריך פתרון בעיות שקשורות לשגיאות ולמגבלות של המחבר ל-BigQuery.