ניתוח נתונים באמצעות BI Engine ו-Looker

שילוב של BigQuery עם Looker מאפשר לכם ליצור ביעילות מרכזי בקרה אינטראקטיביים של בינה עסקית (BI) ואפליקציות נתונים. אתם יכולים להאיץ את השאילתות ב-BigQuery באמצעות הקצאת BI Engine, כדי לחקור, לשתף ולהציג באופן חזותי את נתוני החברה שלכם ולקבל החלטות עסקיות טובות יותר.

איך Looker פועל

Looker מאפשר למומחי נתונים בכל ארגון לתאר את הנתונים שלהם באמצעות שפת מודלים קלה שנקראת LookML. LookML אומר ל-Looker איך לשלוח שאילתות לגבי נתונים, כדי שכל מי שבארגון יוכל ליצור דוחות ומרכזי בקרה שקל לקרוא, כדי לבחון דפוסים של נתונים. ב-Looker יש תכונות נוספות ליצירת אפליקציות וחוויות מותאמות אישית של נתונים.

הפלטפורמה של Looker פועלת עם מסדי נתונים טרנזקציוניים כמו Oracle ו-MySQL, וגם עם מאגרי נתונים אנליטיים כמו BigQuery, ‏ Snowflake,‏ Redshift ועוד. בעזרת Looker אפשר ליצור מודלים עקביים של נתונים על סמך כל הנתונים, במהירות ובדיוק. ב-Looker יש ממשק אחיד שדרכו אפשר לגשת לכל הנתונים של הארגון.

שילוב של Looker עם BigQuery

אפשר לארח את Looker ב- Google Cloud. מכיוון ש-Looker לא תלוי בפלטפורמה, הוא מתחבר לנתונים ב-BigQuery וגם בעננים ציבוריים אחרים.

לא צריך את Looker כדי להשתמש ב-BigQuery. עם זאת, אם תרחיש השימוש שלכם ב-BigQuery כולל בינה עסקית, אפליקציות נתונים או ניתוח נתונים מוטמע, כדאי לבדוק את Looker כספק של השירותים האלה.

אם כבר יש לכם מכונה של Looker, תוכלו לקרוא את ההוראות לחיבור של Looker ל-BigQuery.

איך מתחילים לעבוד עם Looker ו-BigQuery

‫BI Engine משתלב בצורה חלקה עם כל כלי הבינה העסקית (BI), כולל Looker. מידע נוסף מופיע בסקירה הכללית על BI Engine.

יצירת מערך נתונים ב-BigQuery

השלב הראשון הוא ליצור קבוצת נתונים ב-BigQuery כדי לאחסן את הטבלה שמנוהלת על ידי BI Engine. כדי ליצור את קבוצת הנתונים, יש לבצע את השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על הפרויקט.

4. בחלונית הפרטים, לוחצים על View actions ואז על Create dataset.

5. בדף Create dataset, מבצעים את הפעולות הבאות:

   • בשדה Dataset ID, מזינים biengine_tutorial.

   • בקטע Data location, בוחרים באפשרות us (multiple regions in United States), המיקום במספר אזורים שבו מאוחסנים מערכי הנתונים שגלויים לכולם.

   • במדריך הזה, תוכלו לבחור באפשרות Enable table expiration ואז לציין את מספר הימים עד שתוקף הטבלה יפוג.

     

6. משאירים את כל שאר הגדרות ברירת המחדל ולוחצים על Create dataset.

יצירת טבלה על ידי העתקת נתונים ממערך נתונים שגלוי לכולם

במדריך הזה אנחנו משתמשים במערך נתונים שזמין דרך תוכנית מערכי הנתונים הציבוריים של Google Cloud. מערכי נתונים ציבוריים הם מערכי נתונים שמתארחים ב-BigQuery, ואתם יכולים לגשת אליהם ולשלב אותם באפליקציות שלכם.

בקטע הזה יוצרים טבלה על ידי העתקת נתונים ממערך הנתונים San Francisco 311 בקשות שירות. אפשר לעיין במערך הנתונים באמצעות מסוףGoogle Cloud .

יוצרים את הטבלה

כדי ליצור את הטבלה:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

3. בחלונית Explorer, מחפשים את מערך הנתונים san_francisco_311.

4. לוחצים על מערך הנתונים ואז על סקירה כללית > טבלאות.

5. לוחצים על הטבלה 311_service_requests.

6. בחלונית הפרטים, לוחצים על סמל האפשרויות הנוספות > יצירת עותק של הטבלה.

7. בתיבת הדו-שיח Copy table, בקטע Destination:

   • בקטע Project, לוחצים על Browse ובוחרים את הפרויקט.
   • בשדה Dataset, בוחרים באפשרות biengine_tutorial.

   • בשדה Table, מזינים 311_service_requests_copy.

     

8. לוחצים על Copy.

9. אופציונלי: אחרי שפעולת ההעתקה מסתיימת, מאמתים את תוכן הטבלה על ידי הרחבת PROJECT_NAME > biengine_tutorial ולחיצה על 311_service_requests_copy > Preview. מחליפים את PROJECT_NAME בשם הפרויקט ב- Google Cloud במדריך הזה.

יצירת הזמנה ב-BI Engine

1. במסוף Google Cloud , בקטע Administration נכנסים לדף BI Engine.

   כניסה לדף BI Engine

   הערה: אם מוצגת בקשה להפעיל את BigQuery Reservation API, לוחצים על Enable.

2. לוחצים על Create reservation.

3. בדף Create Reservation, מגדירים את ההזמנה של BI Engine:

   • ברשימה Project, מוודאים שהפרויקט הוא Google Cloud .
   • ברשימה Location, בוחרים מיקום. המיקום צריך להתאים למיקום של מערכי הנתונים שאתם שולחים אליהם שאילתות.

   • מזיזים את פס ההזזה GiB of Capacity לנפח הזיכרון שרוצים לשמור. בדוגמה הבאה הקיבולת מוגדרת ל-2GiB. הגודל המקסימלי הוא 250GiB.

     

4. לוחצים על הבא.

5. בקטע Preferred Tables, מציינים את הטבלאות שרוצים להאיץ באמצעות BI Engine. כדי למצוא שמות של טבלאות:

   1. בשדה Table Id, מקלידים חלק מהשם של הטבלה שרוצים להאיץ באמצעות BI Engine, לדוגמה 311.

   2. בוחרים את שמות הטבלאות מתוך רשימת השמות המוצעים.

      רק טבלאות מסוימות מתאימות להאצה. אם לא צוינו טבלאות מועדפות, כל השאילתות בפרויקט יכולות לעבור האצה.

6. לוחצים על הבא.

7. בקטע אישור ושליחה, קוראים את ההסכם.

8. אם אתם מסכימים לתנאי ההסכם, לחצו על יצירה.

אחרי שמאשרים את ההזמנה, הפרטים שלה מופיעים בדף Reservations.

התחברות באמצעות Looker

קיצור דרך: אם כבר יש לכם מודל Looker שמשתמש במערך נתונים של BigQuery עם חשבון שירות, בפרויקט שבו BI Engine מופעל, לא נדרשת הגדרה נוספת.

כאן מוסבר איך להגדיר את Looker עם BigQuery.

1. מתחברים ל-Looker כאדמינים.

2. במסמכי העזרה של Looker בנושא BigQuery, משלימים את הקטעים הבאים:

   1. יצירת חשבון שירות
   2. הגדרת OAuth לחיבור BigQuery ב-Looker.
   הערה: חשוב לוודא שחשבון השירות שאתם יוצרים משתמש באותו פרויקט לחיוב כמו הפרויקט שבו הפעלתם את ההזמנה של BI Engine.

3. לוחצים על הכרטיסייה Develop ובוחרים באפשרות מצב פיתוח.

4. יוצרים מודל ופרויקט LookML למערך הנתונים. למידע נוסף, קראו את ההוראות לחיבור Looker למסד הנתונים.

5. בתפריט Explore, עוברים ל-Explore שמשויך לשם הקובץ של המודל החדש Explore 311_service_requests_copy (או השם שנתתם ל-Explore).

קישרתם בהצלחה את Looker ל-BigQuery. אתם יכולים להשתמש בתכונה System Activity ב-Looker כדי ליצור דוח שימוש ב-Looker ולנתח את ביצועי השאילתות שלכם בהשוואה למדדי ביצועים ספציפיים ל-BigQuery. במאמר מדדי BigQuery BI Engine מפורטים מדדים שונים לבדיקת ביצועים של שאילתות ב-BigQuery BI Engine.

הסרת המשאבים

כדי להימנע מצבירת חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם במדריך למתחילים, אתם יכולים למחוק את הפרויקט, למחוק את ההזמנה של BI Engine או למחוק את שניהם.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיוצרים פרויקט, אפשר ליצור מזהה פרויקט בהתאמה אישית שרוצים להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו. אם אתם מתכננים להיעזר בכמה מדריכים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף BI Engine

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.

3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת ההזמנה

לחלופין, אם אתם מתכוונים להשאיר את הפרויקט, אתם יכולים למחוק את הזמנת הקיבולת כדי להימנע מעלויות נוספות של BI Engine.

כדי למחוק את ההזמנה:

1. במסוף Google Cloud , בקטע Administration נכנסים לדף BI Engine.

   כניסה לדף BI Engine

   הערה: אם מוצגת בקשה להפעיל את BigQuery Reservation API, לוחצים על Enable.

2. בקטע הזמנות, מאתרים את ההזמנה.

3. בעמודה Actions, לוחצים על הסמל שמשמאל להזמנה ובוחרים באפשרות Delete.

4. בתיבת הדו-שיח Delete reservation?‎, כותבים Delete ולוחצים על DELETE.

המאמרים הבאים

יש עוד הרבה אפשרויות נוספות שקשורות לניהול Looker, להתאמה אישית של מודל הנתונים שלו ולחשיפת הנתונים למשתמשים. מידע נוסף זמין במקורות המידע הבאים:

• מסמכי התיעוד של Looker
• שיטות מומלצות ל-Looker
• הדרכה על Looker