Apache Spark

בדף הזה מוסבר איך לחבר את Looker ל-Apache Spark 3.

Looker מתחבר ל-Apache Spark 3+‎ באמצעות חיבור JDBC ל-Spark Thrift Server.

הצפנת התנועה ברשת

מומלץ להצפין את התנועה ברשת בין אפליקציית Looker למסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.

יצירת החיבור של Looker למסד הנתונים

בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים. הנה תיאור של חלק מההגדרות:

  • שם: שם החיבור. כך החיבור יופיע במודל LookML.
  • thought ‫Dialect: בוחרים באפשרות Apache Spark 3+‎.
  • מארח: המארח של שרת Thrift.
  • ‫Port: היציאה של שרת Thrift (ברירת המחדל היא 10000).
  • מסד נתונים: הסכימה או מסד הנתונים שיוצגו כברירת מחדל. אם לא צוין מסד נתונים לטבלה, זו תהיה ההנחה.
  • שם משתמש: המשתמש ש-Looker יאמת.
  • סיסמה: הסיסמה האופציונלית של המשתמש ב-Looker.
  • Enable PDTs: מתג להפעלה של טבלאות נגזרות מתמידות (PDT). כשהאפשרות PDTs מופעלת, בחלון Connection מופיעות הגדרות נוספות של PDT והקטע PDT Overrides.
  • מסד נתונים זמני: סכימה או מסד נתונים זמניים לאחסון טבלאות PDT. צריך ליצור אותו מראש, באמצעות הצהרה כמו CREATE SCHEMA looker_scratch;.
  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC. רשימת הפרמטרים הנתמכים מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.
  • SSL: לא מסמנים את האפשרות הזו.
  • אזור הזמן של מסד הנתונים: אזור הזמן של הנתונים שמאוחסנים ב-Spark. בדרך כלל אפשר להשאיר את השדה הזה ריק או להגדיר אותו ל-UTC.
  • אזור הזמן של השאילתות: אזור הזמן שבו יוצגו הנתונים שנשלפו בשאילתות ב-Looker.

כדי לוודא שהחיבור הצליח, לוחצים על הכפתור בדיקת החיבור בקטע פרטי הסטטוס שבתחתית הדף הגדרות החיבור.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

פרמטרים נתמכים של JDBC

ב-Apache Spark, ‏Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, גם הניב של מסד הנתונים צריך לתמוך בהן.

‫Apache Spark מגרסה 3 ומעלה

החל מגרסה 26.22 של Looker, ‏Apache Spark 3+‎ תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות של SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר השאילתות ב-SQL Runner
הסבר על קוד SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
שרטוטי HLL
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים להשוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שיוצרים את החיבור, מגדירים את אפשרויות האימות.