‫Apache Druid

הצפנת התנועה ברשת

מומלץ להצפין את התנועה ברשת בין אפליקציית Looker למסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.

הגדרת אשכול Apache Druid

‫<DRUID_BASE_DIR> מתייחס לספריית הבסיס שבה מותקן אשכול Apache Druid בשרת.

הפעלת SQL

כדי להפעיל SQL במסד הנתונים של Druid, מוסיפים את השורה הזו לקובץ התצורה broker/runtime.properties:

<DRUID_BASE_DIR>/conf/druid/broker/runtime.properties

druid.sql.enable=true

השבתת הקירוב של COUNT DISTINCT (אופציונלי)

כברירת מחדל, Druid מבצע הערכה של COUNT DISTINCT. כדי לקבל תוצאות מדויקות, מוסיפים את השורה הזו לקובץ התצורה של broker/runtime.properties:

<DRUID_BASE_DIR>/conf/druid/broker/runtime.properties

`druid.sql.planner.useApproximateCountDistinct=false`

יצירת החיבור של Looker למסד הנתונים

בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים. הנה תיאור של חלק מההגדרות:

  • שם: שם החיבור.

  • ‫Dialect:‏ Apache Druid,‏ Apache Druid 0.13+‎ (Apache Druide 0.13.x - 0.17.x) או Apache Druid 0.18+‎.

  • מארח: כתובת ה-DNS או כתובת ה-IP של ה-Broker באשכול. אפשר למצוא את זה בקובץ broker/runtime.properties.

  • ‫Port: היציאה של ה-Broker. יציאת ברירת המחדל היא 8082. אם האשכול מאובטח באמצעות SSL, יציאת ברירת המחדל היא 8182.

  • ‫Database: השם של מסד הנתונים. ערך ברירת המחדל הוא druid.

  • שם משתמש: שם המשתמש של מסד הנתונים, אם אשכול Apache Druid מוגדר להשתמש ב-Druid Basic Security. אם לא, אפשר לציין כל מחרוזת.

  • סיסמה: סיסמת המשתמש. אם האשכול לא מוגדר לשימוש ב-Druid Basic Security, אפשר לציין כל מחרוזת.

  • סכימה: סכימת ברירת המחדל שבה משתמשים כשלא צוינה סכימה. הזנת סכימה היא אופציונלית.

  • פרמטרים נוספים של JDBC: פרמטרים של Avatica JDBC מופרדים בנקודה-פסיק. בקטע פרמטרים נתמכים של JDBC שבדף הזה מפורטים הפרמטרים שנתמכים ב-Looker.

    • אפשר להגדיר את המאפיינים הבאים כמאפייני חיבור:
      • useApproximateCountDistinct
      • useApproximateTopN
      • useFallback
      • sqlTimeZone

    לדוגמה: none useApproximateCountDistinct=false;truststore=/path/to/truststore.jks;truststore_password=changeit

  • לוח זמנים לתחזוקה: ביטוי cron שמציין מתי Looker צריך לבדוק קבוצות נתונים וטבלאות נגזרות מתמידות. מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד של לוח הזמנים לתחזוקה.

  • ‫SSL: בודקים אם אשכול Apache Druid מוגדר לשימוש ב-Druid TLS.

  • אימות SSL: מסמנים את התיבה כדי לאכוף אימות קפדני של שם המארח.

  • מספר החיבורים המקסימלי לכל צומת: ברירת המחדל היא 25. בהתחלה אפשר להשאיר את ההגדרה הזו בערך ברירת המחדל. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים.

  • Connection Pool Timeout (זמן קצוב לתפוגה של מאגר החיבורים): ברירת המחדל היא 120 שניות.

  • ‫SQL Runner Precache: כדי ש-SQL Runner לא יטען מראש את פרטי הטבלה, אלא רק כשבוחרים טבלה, מבטלים את הבחירה באפשרות הזו. מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד של SQL Runner Precache.

  • ‫Database Time Zone: אזור הזמן של מסד הנתונים. נתמך ב-Apache Druid מגרסה 0.13 ואילך וב-Apache Druid מגרסה 0.18 ואילך.

כדי לוודא שהחיבור הצליח, לוחצים על הכפתור בדיקת החיבור בקטע פרטי הסטטוס בתחתית הדף הגדרות החיבור.

‫Looker מריץ שאילתת SELECT 1 כדי לאמת חיבור בסיסי ולבצע בדיקת שאילתה. הוא לא מאמת ששילוב הקטלוג והסכימה קיים, או שלמשתמש יש את הגישה הנדרשת לסכימה הזו.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

בודקים את החיבור ב-SQL Runner. עוברים אל SQL Runner, בוחרים את החיבור והסכימה, ואז בודקים אם אפשר לראות את הטבלאות של מסד הנתונים.

פרמטרים נתמכים של JDBC

ב-Apache Druid, ‏Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.

  • authentication
  • avatica_password
  • avatica_user
  • serialization
  • sqlTimeZone
  • timeZone
  • useApproximateCountDistinct
  • useApproximateTopN
  • useFallback
  • url

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, גם הניב של מסד הנתונים צריך לתמוך בהן.

Apache Druid

החל מגרסה 26.22 של Looker, ‏Apache Druid תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות של SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר השאילתות ב-SQL Runner
הסבר על קוד SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
שרטוטי HLL
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים להשוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

‫Apache Druid 0.13.x עד 0.17.x

‫Apache Druid 0.13.x - 0.17.x תומך בתכונות הבאות החל מגרסה 26.22 של Looker:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות של SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר השאילתות ב-SQL Runner
הסבר על קוד SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
שרטוטי HLL
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים להשוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

‫Apache Druid מגרסה 0.18 ואילך

החל מגרסה 26.22 של Looker, גרסה 0.18 ואילך של Apache Druid תומכת בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות של SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר השאילתות ב-SQL Runner
הסבר על קוד SQL
פרטי כניסה של OAuth 2.0
הערות להוספת הקשר
מאגר חיבורים (connection pooling)
שרטוטי HLL
מודעות מצטברת
טבלאות PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים להשוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שמסיימים את החיבור למסד הנתונים, מגדירים את אפשרויות האימות.