Apache Spark

בדף הזה מוסבר איך לחבר את Looker ל-Apache Spark 3.

‫Looker מתחבר ל-Apache Spark 3 ומעלה דרך חיבור JDBC ל-Spark Thrift Server.

הצפנה של תנועה ברשת

מומלץ להצפין את תעבורת הנתונים ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.

יצירת החיבור של Looker למסד הנתונים

בקטע ניהול ב-Looker, בוחרים באפשרות חיבורים ואז לוחצים על הוספת חיבור.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף חיבור Looker למסד הנתונים. בהמשך מפורטות חלק מההגדרות:

  • שם: שם החיבור. כך יתייחסו לחיבור במודל LookML.
  • thought ‫Dialect: בוחרים באפשרות Apache Spark 3+‎.
  • מארח: המארח של שרת Thrift.
  • ‫Port: היציאה של שרת Thrift (ברירת המחדל היא 10000).
  • מסד נתונים: סכימת ברירת המחדל או מסד הנתונים שייבנה עבורם מודל. אם לא צוין מסד נתונים לטבלה, זו תהיה ההנחה.
  • שם משתמש: המשתמש ש-Looker יאמת.
  • סיסמה: הסיסמה האופציונלית של משתמש Looker.
  • הפעלת טבלאות נגזרות מתמידות (PDT): המתג הזה משמש להפעלת טבלאות נגזרות מתמידות (PDT). כשהטבלאות הנגזרות הקבועות מופעלות, בחלון Connection מופיעות הגדרות נוספות של טבלאות נגזרות קבועות והקטע PDT Overrides.
  • ‫Temp Database: סכימה או מסד נתונים זמניים לאחסון טבלאות PDT. צריך ליצור אותו מראש, עם הצהרה כמו CREATE SCHEMA looker_scratch;.
  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC. רשימת הפרמטרים הנתמכים מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.
  • ‫SSL: משאירים את התיבה הזו לא מסומנת.
  • אזור הזמן של מסד הנתונים: אזור הזמן של הנתונים שמאוחסנים ב-Spark. בדרך כלל אפשר להשאיר את השדה הזה ריק או להגדיר אותו כ-UTC.
  • אזור הזמן של השאילתות: אזור הזמן שבו יוצגו הנתונים שנשלחו לגביהם שאילתות ב-Looker.

כדי לוודא שהחיבור הצליח, לוחצים על הכפתור בדיקת החיבור בקטע פרטי הסטטוס בתחתית הדף הגדרות החיבור.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

פרמטרים נתמכים של JDBC

ב-Apache Spark, ‏Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, הניב של מסד הנתונים צריך לתמוך בהן גם כן.

‫Apache Spark מגרסה 3 ומעלה

החל מגרסה 26.20 של Looker, ‏Apache Spark 3+‎ תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
מאגר חיבורים (connection pooling)
HLL sketches
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים אנליטיים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שיוצרים את החיבור, מגדירים את אפשרויות האימות.