BigQuery הוא מחסן נתונים (data warehouse) מנוהל של Google לניתוח נתונים בעלות נמוכה ובקנה מידה של פטה-בייט. המחבר ל-BigQuery ב-Data Studio מאפשר לכם לגשת לנתונים מהטבלאות ב-BigQuery, התצוגות, התרשימים ושאילתות ה-SQL בהתאמה אישית, ולהמחיש אותם ישירות ב-Data Studio.
לפני שמתחילים
כדי לגשת לנתוני BigQuery ב-Data Studio, צריך לספק פרויקט ב- Google Cloud שמשויך לחשבון לחיוב ב-Google Cloud.
BigQuery היא פלטפורמת ניתוח נתונים בתשלום. יכול להיות שתחויבו בעלויות של עיבוד שאילתות או אחסון כשתגשו לנתוני BigQuery דרך דוחות של Data Studio. לפרטים על תמחור שאילתות וקיבולת, ראו תמחור ב-BigQuery.
התפקידים הנדרשים
כדי לשלוח שאילתות לנתוני BigQuery ב-Data Studio, אתם צריכים הרשאה לקרוא נתונים ולהריץ משימות של שאילתות. מקצים את תפקידי ה-IAM הבאים בפרויקט או במערך הנתונים ב- Google Cloud :
- צפייה בנתוני BigQuery (
roles/bigquery.dataViewer): מאפשרת לקרוא נתונים ומטא-נתונים מטבלאות, מתצוגות או מתרשימים. - BigQuery Job User (
roles/bigquery.jobUser): מאפשר להריץ משימות של שאילתות בפרויקט לחיוב.
התפקידים הנדרשים תלויים במצב של פרטי הכניסה לצפייה בנתונים שבחרתם למקור הנתונים:
- פרטי הכניסה של הבעלים (ברירת מחדל): רק הבעלים של מקור הנתונים צריך את התפקידים האלה. משתמשים עם הרשאת צפייה בדוח יכולים לראות תרשימים בלי שתהיה להם גישה משלהם ל-BigQuery.
- פרטי הכניסה של הצופה: כל משתמש עם הרשאת צפייה בדוח חייב להיות בעל התפקידים האלה כדי לצפות בנתונים בדוח.
- פרטי כניסה לחשבון שירות: רק חשבון השירות צריך את התפקידים האלה. כדי להגדיר חשבון שירות, קראו את המאמר הגדרת חשבון שירות של Google Cloud ל-Data Studio.
איך מתחברים ל-BigQuery
כדי לקשר את נתוני BigQuery לדוח ב-Data Studio:
שלבים לקישור
- נכנסים ל-Data Studio.
- לוחצים על
יצירה ואז על דוח. - כלי הדוחות נפתח יחד עם החלונית הוספת נתונים לדוח.
- כדי ליצור מקור נתונים מוטמע חדש, בוחרים במחבר של BigQuery.
- אפשרות אחרת: כדי להשתמש במקור נתונים קיים שניתן לשימוש חוזר, לוחצים על הכרטיסייה מקורות הנתונים שלי ובוחרים מקור נתונים מכל סוג שיצרתם בעבר או ששותף איתכם.
- מגדירים את הגישה למסד הנתונים באמצעות אחת מאפשרויות החיבור.
- לוחצים על הוספה.
אחרי כמה רגעים, טבלה שמקושרת למקור הנתונים תופיע באזור העריכה של הדוח.
אפשרויות חיבור
מקור נתונים ב-BigQuery יכול לאחזר נתונים מטבלה, תצוגה או תרשים, או משאילתת SQL בהתאמה אישית.
קישור לטבלה, לתצוגה או לתרשים ב-BigQuery
טבלה ב-BigQuery מאחסנת נתונים בשורות ובעמודות (שדות). תצוגה ב-BigQuery היא טבלה וירטואלית שמוגדרת על ידי שאילתת SQL שפועלת באופן דינמי בתוך מסוף BigQuery או באמצעות BigQuery API. תרשים BigQuery מאפשר ליצור מודלים של קשרים בנתונים על ידי הגדרת צמתים וקצוות על סמך טבלאות קיימות.
כדי להתחבר לטבלה, לתצוגה או לתרשים, צריך לציין את הפרמטרים הבאים של החיבור:
- פרויקט ב-BigQuery
- מערך נתונים
- טבלה, תצוגה או תרשים ספציפיים. ב-Data Studio אפשר גם להתחבר לטבלאות שמחולקות לפי תאריכים ולטבלאות של כמה ימים.
בחירת פרויקט
הפרויקטים מארגנים את המשאבים ב- Google Cloud וקובעים לאן יחויבו עלויות השאילתות כשהדוחות חורגים מהמגבלות של התוכנית החינמית של BigQuery. אתם יכולים לשלוח שאילתות על נתונים בפרויקט אחד ולחייב את העלויות בפרויקט אחר. מידע נוסף על פרויקטים ב-Google Cloud
בוחרים אחת מהאפשרויות הבאות בחלונית ההגדרות של המחבר:
- RECENT PROJECTS: פרויקטים שפתחתם לאחרונה במסוף Google Cloud . אפשר גם להזין את מזהה הפרויקט באופן ידני. הפרויקט שנבחר משמש גם לחיוב וגם לגישה לנתונים.
- MY PROJECTS: הצגת כל הפרויקטים שיש לכם גישה אליהם. אם פרויקט מסוים לא מופיע ברשימה, מקלידים את מזהה הפרויקט המדויק בשדה הקלט.
- SHARED PROJECTS: פרויקטים שמשותפים בין מחלקות או ארגונים. אתם יכולים להגדיר פרויקטים שונים לבחירת נתונים ולביצוע חיוב.
בחירת קבוצת נתונים
מערכי נתונים מארגנים את הגישה לקבוצות של טבלאות, תצוגות ותרשימים, ומאפשרים לשלוט בה. בוחרים קבוצת נתונים מהרשימה או מחפשים לפי מזהה קבוצת הנתונים.
מערכי נתונים ציבוריים של BigQuery הם מערכי נתונים לדוגמה שמשותפים באופן גלובלי ב-Google. כדי לשלוח שאילתות לנתונים ציבוריים, צריך לבחור פרויקט לחיוב כדי לשלם על עלויות עיבוד השאילתות.
בוחרים טבלה, תצוגה או תרשים
אפשר לקשר מקור נתונים של Data Studio לטבלה, לתצוגה או לתרשים בודדים. ברשימה Table או Table / Graph, בוחרים משאב או מחפשים משאב לפי שם. אם קבוצת הנתונים מכילה תרשימים, הטבלאות והתרשימים מוצגים עם סמלים שונים כדי שתוכלו להבדיל ביניהם.
אם בוחרים תרשים, אפשר גם לבחור צומת התחלה ברשימה Start Node. צומת ההתחלה קובע את נקודת ההתחלה של מעבר הגרף ומשפיע על הסכימה של הטבלה השטוחה. בהתאם להגדרת התרשים, יכול להיות שתצטרכו לבחור צומת התחלה.
שימוש בקבוצת נתונים ציבורית של תרשימים
כדי לנסות את המחבר של BigQuery Graph, אתם יכולים להשתמש בתרשים Look Ecommerce שזמין לכולם. כדי להתחבר לתרשים הזה, פועלים לפי השלבים הבאים:
- בוחרים באפשרות פרויקטים משותפים.
- בוחרים את הפרויקט לחיוב.
- מזינים את
bigquery-public-dataבתור שם הפרויקט המשותף. - בוחרים באפשרות
thelook_ecommerceבתור מערך הנתונים. - ברשימה טבלה / תרשים, בוחרים באפשרות
graph. - אופציונלי: בוחרים צומת התחלה ברשימה צומת התחלה.
עבודה עם מדדים ב-BigQuery Graph
כשמתחברים לתרשים ב-BigQuery, כל המדדים שמוגדרים בתרשים מיובאים כמדדים במקור הנתונים. אתם יכולים להשתמש במדדים האלה בתרשימים, בשדות מחושבים, במשתנים של תוצאות שאילתה ובאמצעי בקרה במקורות נתונים.
כשעובדים עם מדדי תרשים, חשוב לשים לב לנקודות הבאות:
- צבירת נתונים קבועה: אי אפשר לשנות את סוג צבירת הנתונים של מדד בתרשים ב-Data Studio. הצבירה נקבעת לפי הגדרת התרשים ב-BigQuery.
- מאפיינים שניתנים לעריכה: אתם יכולים לערוך את סוג הנתונים ואת התיאור של מדד התרשים במקור הנתונים של Data Studio.
קישור לטבלאות מחולקות למחיצות (Partitions) לפי תאריך
ב-Data Studio יש תמיכה בטבלאות מחולקות למחיצות לפי תאריך ב-BigQuery (DATE, DATETIME או TIMESTAMP). כשבוחרים טבלה שמחולקת למחיצות לפי DATE, DATETIME או TIMESTAMP, אפשר להגדיר את עמודת המחיצה כמסנן התאריכים הראשי של התרשימים. שימוש בטבלאות מחולקות למחיצות עוזר להציג את התרשימים מהר יותר, תוך צמצום עלויות השאילתות.
מידע נוסף על התחברות לטבלאות מחולקות למחיצות לפי תאריך ב-BigQuery
חיבור לטבלאות של כמה ימים (קידומת YYYYMMDD)
ב-BigQuery אפשר להריץ שאילתות על כמה טבלאות מפוצלות, שכל אחת מהן מאחסנת נתונים של יום אחד ומסתיימת ב-YYYYMMDD (לדוגמה, [prefix]_YYYYMMDD).
כש-Data Studio נתקל בטבלאות בפורמט עם הסיומת YYYYMMDD במהלך בחירת הטבלה, הוא מקבץ את הטבלאות היומיות תחת שמות קידומת נקיים ([prefix]_YYYYMMDD). כשיוצרים תרשים מטבלה של כמה ימים, Data Studio שולח באופן אוטומטי שאילתה רק לגבי נתונים מ-28 הימים האחרונים. אפשר לשנות את חלון התאריכים הזה בכל שלב על ידי עריכת המאפיינים של טווח התאריכים בכרטיסייה הגדרה של התרשים.
התחברות ל-BigQuery באמצעות שאילתת SQL מותאמת אישית
האפשרות CUSTOM QUERY מאפשרת לכם להתחבר לנתונים שלכם על ידי כתיבת SQL, כולל שאילתות על BigQuery Graph. התחביר של שאילתות בהתאמה אישית תואם לדיאלקט SQL סטנדרטי. כדי להשתמש בתחביר של SQL מדור קודם, בוחרים באפשרות Use Legacy SQL.
מומלץ קודם ליצור ולבדוק את השאילתה ישירות במסוף BigQuery, ואז להעתיק ולהדביק את סקריפט ה-SQL המאומת בתיבת עורך השאילתות בהתאמה אישית ב-Data Studio.
שינוי הפרויקט לחיוב
ההגדרה Billing Project מאפשרת לציין איזה פרויקט ב- Google Cloud משלם על עלויות הביצוע של שאילתות בהתאמה אישית. אם הארגון שלכם פועל בכמה פרויקטים, אתם יכולים להזין ידנית בשדה את מזהה הפרויקט לחיוב.
כדי לשלוח שאילתה על נתונים בפרויקט אחד ולחייב פרויקט אחר, מציינים את הפרויקט לחיוב בשדה הזה ומפנים באופן מפורש לפרויקט הנתונים בסעיף FROM של השאילתה (FROM project_id.dataset_id.table_id).
שימוש בפרמטרים של שאילתה
פרמטרים מאפשרים לכם ליצור דוחות רספונסיביים יותר שניתנים להתאמה אישית. אתם יכולים להעביר פרמטרים במקור נתונים של BigQuery בחזרה לשאילתה הבסיסית. כדי להשתמש בפרמטר בשאילתה המותאמת אישית, צריך לפעול לפי הנחיות התחביר להרצת שאילתות עם פרמטרים ב-BigQuery.
הוראות הגדרה מלאות, כללי תחביר של פרמטרים והגדרת אבטחה ברמת השורה באמצעות פרמטרים (@DS_START_DATE, @DS_END_DATE, @DS_USER_EMAIL) מפורטות במאמר שימוש בפרמטרים בשאילתה בהתאמה אישית.
הערות וטיפים
ריכזנו כאן כמה הערות וטיפים שיעזרו לכם להפיק את המקסימום ממקורות הנתונים של BigQuery.
חדשים ב-Data Studio?
כדי לקבל מידע נוסף על יכולות הדיווח העיקריות ב-Data Studio, אפשר להיעזר במקורות המידע הבאים:
שילובים עם BigQuery
מוצרים מסוימים של Google וכלים חיצוניים מייצאים נתונים ישירות לטבלאות ב-BigQuery. כשמקשרים את Data Studio ל-BigQuery, המערכת של Data Studio מחשבת באופן אוטומטי מדדים סטנדרטיים ומגדירה את הפורמט של שמות השדות:
- ניתוח נתוני BigQuery ב-Data Studio: מנתחי נתונים יכולים לנתח נתוני BigQuery באמצעות Data Studio ישירות מתוך מסוף BigQuery. מריצים את השאילתה או בוחרים טבלה, ואז בוחרים באפשרות Explore in Data Studio כדי להציג את הנתונים בדוח אינטראקטיבי. מידע נוסף זמין במאמר ניתוח נתונים באמצעות Data Studio.
- ייצוא של Google Analytics ל-BigQuery: כש-Data Studio נתקל בטבלה שנוצרה על ידי ייצוא של Google Analytics ל-BigQuery, הטבלה מציגה סמל של Google Analytics לידה. כשמחברים טבלה, מערכת Data Studio יוצרת באופן אוטומטי רבים מהמדדים הרגילים שנמצאים ב-Google Analytics כשדות מחושבים.
המדד "מספר הרשומות"
כל מקור נתונים של BigQuery כולל באופן אוטומטי את המדד ספירת רשומות ברשימת השדות. אפשר להשתמש ב-Record Count בתוך תרשימים כדי לספור רשומות או לאמת את סך כל השורות שהוחזרו על ידי השאילתה.
הצגה חזותית של פוליגונים מסוג GEOGRAPHY ב-BigQuery
אתם יכולים להציג גבולות גיאו-מרחביים (נתונים מרחביים של פוליגונים מסוג GEOGRAPHY) מ-BigQuery באמצעות מפות Google בדוח. במדריך המפורט המחשה חזותית של פוליגונים מסוג GEOGRAPHY ב-BigQuery באמצעות Data Studio מוסבר איך להשתמש בנתונים ציבוריים של אזורים מוגדרים למפקד אוכלוסין.
פתרון שגיאות ובדיקת המגבלות
אם התרשימים לא נטענים או שמופיעות אזהרות לגבי ההגדרות, כדאי לעיין במדריך פתרון בעיות שקשורות לשגיאות ולהגבלות של המחבר ל-BigQuery.