Apache Hive

Questa pagina contiene informazioni sulla connessione di Looker ad Apache Hive 2.3+ e Apache Hive 3.1.2+.

Tieni presente quanto segue in merito al supporto di Looker per le diverse versioni di Apache Hive:

  • Looker supporta le connessioni ad Apache Hive 2.3+ e Apache Hive 3.1.2+:
    • Per Apache Hive 2.3+, Looker offre un supporto a livello di integrazione.
    • Per Apache Hive 3.1.2+, Looker può integrarsi completamente con i database Apache Hive 3 solo nelle versioni successive alla 3.1.2. Ciò è dovuto a un problema di analisi delle query dalle versioni di Hive 2.4.0 - 3.1.2 che ha comportato tempi di analisi estremamente lunghi per l'SQL generato da Looker.
  • Looker non supporta le connessioni ad Apache Hive 2. Le query sulle connessioni ad Apache Hive 2 restituiranno un errore.

Crittografia del traffico di rete

È una best practice criptare il traffico di rete tra l'applicazione Looker e il tuo database. Valuta una delle opzioni descritte nella pagina della documentazione Abilita l'accesso sicuro ai database.

Introduzione

Looker è progettato per connettersi a un server di database utilizzando JDBC. Nel caso di Hive, si tratta del server Thrift (HiveServer2). Per saperne di più, consulta la documentazione di Apache.

Per impostazione predefinita, questo server rimarrà in ascolto sulla porta 10000.

Looker è uno strumento di query interattivo, quindi si aspetta di funzionare con un motore SQL interattivo. Se Hive è in esecuzione su MapReduce, hive.execution.engine è impostato su mr, Hive restituirà i risultati delle query troppo lentamente per essere pratico.

Looker è stato testato con Hive su Tez (hive.execution.engine=tez), anche se è possibile eseguire Looker su Hive su Spark. Il supporto di Spark è stato aggiunto nella versione 1.1 di Hive. (Looker supporta Hive 1.2.1 e versioni successive).

Tabelle derivate permanenti (PDT)

Per abilitare le tabelle derivate permanenti (PDT) in Looker utilizzando una connessione Hive, crea uno schema temporaneo che Looker possa utilizzare. Di seguito è riportato un esempio di comando che puoi utilizzare per creare uno schema looker_scratch:

 CREATE SCHEMA looker_scratch;

L'account utente utilizzato da Looker per connettersi a Hive (che può essere anonimo se non viene utilizzata l'autenticazione) deve avere le seguenti autorizzazioni nello schema temporaneo:

  • Crea tabelle
  • Modifica tabelle
  • Elimina tabelle

Esegui un test con un client JDBC prima di tentare di creare PDT con Hive.

Code

Se vuoi che le query di Looker vengano inserite in una coda specifica, inserisci il parametro del nome della coda nel campo Parametri JDBC aggiuntivi nella pagina Impostazioni di connessione:

?tez.queue.name=the_bi_queue

Altri parametri Hive possono essere impostati in questo modo nel campo Parametri JDBC aggiuntivi della pagina Impostazioni di connessione.

Utilizzando gli attributi utente, è possibile che le query di utenti diversi o di gruppi di utenti diversi vengano inserite in code diverse. Per farlo, crea un attributo utente con un nome simile a queue_name, quindi aggiungi quanto segue nel campo Parametri JDBC aggiuntivi:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Puoi utilizzarlo anche per personalizzare altri parametri hive-site.xml per utente o per gruppo.

Creazione della connessione di Looker al tuo database

Segui questi passaggi per creare la connessione da Looker al tuo database:

  1. Nella sezione Admin (Amministratore) di Looker, seleziona Connections (Connessioni) e poi fai clic su Add Connection (Aggiungi connessione).

  2. Seleziona Apache Hive 2.3+ o Apache Hive 3.1.2+ dal menu a discesa Dialetto.

  3. Compila i dettagli della connessione. La maggior parte delle impostazioni è comune alla maggioranza dei dialetti di database. Per informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database. Alcune delle impostazioni sono descritte di seguito:

    • Nome: specifica il nome della connessione. Questo è il modo in cui farai riferimento alla connessione nei progetti LookML.
    • Host: specifica il nome host.
    • Porta: specifica la porta del database.
    • Database: specifica il nome del database.
    • Nome utente: specifica il nome utente del database.
    • Password: specifica la password dell'utente del database.
    • Abilita PDT: utilizza questo pulsante di attivazione/disattivazione per abilitare le tabelle derivate permanenti. Quando le PDT sono abilitate, la finestra Connessione mostra impostazioni PDT aggiuntive e la sezione Override PDT.
    • Database temporaneo: specifica il nome dello schema temporaneo creato nella sezione Tabelle derivate permanenti (PDT) di questa pagina della documentazione.
    • Numero massimo di connessioni del builder di PDT: specifica il numero di possibili build di PDT simultanee su questa connessione. L'impostazione di un valore troppo alto potrebbe influire negativamente sui tempi di query. Per saperne di più, consulta la pagina della documentazione Connessione di Looker al database.
    • Parametri JDBC aggiuntivi: aggiungi eventuali parametri JDBC aggiuntivi. Per un elenco dei parametri supportati, consulta la sezione Parametri JDBC supportati in questa pagina.
    • Pianificazione della manutenzione: specifica un'espressione cron che indica quando Looker deve controllare i gruppi di dati e le tabelle derivate permanenti. Scopri di più su questa impostazione nella documentazione relativa alla pianificazione della manutenzione.
    • SSL: seleziona questa opzione per utilizzare le connessioni SSL.
    • Verifica SSL: controlla la verifica del nome host.
    • Max connessioni per nodo: inizialmente, questa impostazione può essere lasciata al valore predefinito. Per ulteriori informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database.
    • Timeout del pool di connessioni: inizialmente questa impostazione può essere lasciata al valore predefinito. Scopri di più su questa impostazione nella sezione Timeout del pool di connessioni della pagina della documentazione Connessione di Looker al database.
    • Pre-memorizzazione nella cache di SQL Runner: per fare in modo che SQL Runner non precarichi le informazioni sulle tabelle e le carichi solo quando viene selezionata una tabella, deseleziona questa opzione. Scopri di più su questa impostazione nella sezione SQL Runner Precache della pagina di documentazione Connessione di Looker al database.
    • Fuso orario database: specifica il fuso orario utilizzato nel database. Lascia vuoto questo campo se non vuoi convertire il fuso orario. Per ulteriori informazioni, consulta la pagina della documentazione dedicata all'uso delle impostazioni relative al fuso orario.

  4. Per verificare che la connessione sia riuscita, fai clic sul pulsante Test Connection (Verifica connessione) nella sezione Status details (Dettagli stato) in fondo alla pagina Connections Settings (Impostazioni connessioni).

  5. Se Looker visualizza Can Connect (Connessione possibile), premi Connect (Connetti) per creare la connessione.

La connessione al tuo database viene quindi aggiunta all'elenco della pagina Connections (Connessioni) di Admin (Amministrazione) di Looker.

Parametri JDBC supportati

Per Apache Hive, Looker supporta i seguenti parametri JDBC nel campo Parametri JDBC aggiuntivi per la connessione. Per informazioni su questi parametri, consulta la documentazione del tuo database.

  • fetchSize
  • httpPath
  • keyStorePassword
  • password
  • principal
  • serviceDiscoveryMode
  • ssl
  • tez.queue.name
  • transportMode
  • twoWay
  • user
  • zooKeeperNamespace

Funzionalità supportate

Affinché Looker supporti alcune funzionalità, anche il dialetto del database deve supportarle.

Apache Hive 2.3+

Apache Hive 2.3+ supporta le seguenti funzionalità a partire da Looker 26.22:

Funzionalità Supportata?
Looker (Google Cloud core)
Aggregati simmetrici
Tabelle derivate
Tabelle derivate SQL permanenti
Tabelle derivate permanenti native
Visualizzazioni stabili
Interruzione delle query
Pivot basati su SQL
Fusi orari
SSL
Subtotali
Parametri JDBC aggiuntivi
Sensibile alle maiuscole
Tipo di località
Tipo di elenco
Percentile
Percentile valori distinti
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
SQL Runner Count
Spiegazione SQL
Credenziali OAuth 2.0
Commenti sul contesto
Pool di connessioni
Sketch HLL
Riconoscimento degli aggregati
PDT incrementali
Millisecondi
Microsecondi
Viste materializzate
Misure in base al periodo
Conteggio approssimato valori distinti
Modelli di analisi nel database
Calendari personalizzati

Apache Hive 3.1.2+

A partire da Looker 26.22, Apache Hive 3.1.2+ supporta le seguenti funzionalità:

Funzionalità Supportata?
Looker (Google Cloud core)
Aggregati simmetrici
Tabelle derivate
Tabelle derivate SQL permanenti
Tabelle derivate permanenti native
Visualizzazioni stabili
Interruzione delle query
Pivot basati su SQL
Fusi orari
SSL
Subtotali
Parametri JDBC aggiuntivi
Sensibile alle maiuscole
Tipo di località
Tipo di elenco
Percentile
Percentile valori distinti
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
SQL Runner Count
Spiegazione SQL
Credenziali OAuth 2.0
Commenti sul contesto
Pool di connessioni
Sketch HLL
Riconoscimento degli aggregati
PDT incrementali
Millisecondi
Microsecondi
Viste materializzate
Misure in base al periodo
Conteggio approssimato valori distinti
Modelli di analisi nel database
Calendari personalizzati

Passaggi successivi

Dopo aver connesso il database a Looker, configura le opzioni di accesso per gli utenti.