Apache Hive

Esta página contém informações sobre como conectar o Looker ao Apache Hive 2.3+ e ao Apache Hive 3.1.2+.

Observe o seguinte sobre o suporte do Looker para as diferentes versões do Apache Hive:

  • O Looker é compatível com conexões com o Apache Hive 2.3+ e o Apache Hive 3.1.2+:
    • Para o Apache Hive 2.3+, o Looker tem suporte no nível de integração.
    • Para o Apache Hive 3.1.2+, o Looker pode ser totalmente integrado aos bancos de dados do Apache Hive 3 apenas em versões posteriores à 3.1.2. Isso ocorre devido a um problema de análise de consulta das versões 2.4.0 a 3.1.2 do Hive, que resultou em tempos de análise extremamente longos para o SQL gerado pelo Looker.
  • O Looker não é compatível com conexões com o Apache Hive 2. As consultas em conexões com o Apache Hive 2 vão retornar um erro.

Criptografia do tráfego de rede

É uma prática recomendada criptografar o tráfego de rede entre o aplicativo do Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.

Introdução

O Looker foi projetado para se conectar a um servidor de banco de dados usando JDBC. No caso do Hive, esse é o servidor Thrift (HiveServer2). Consulte a documentação do Apache para mais informações.

Por padrão, esse servidor detecta a porta 10000.

O Looker é uma ferramenta de consulta interativa, então ele precisa funcionar com um mecanismo SQL interativo. Se o Hive estiver em execução no MapReduce (hive.execution.engine definido como mr), ele vai retornar os resultados da consulta de forma muito lenta para ser prático.

O Looker foi testado com o Hive no Tez (hive.execution.engine=tez), mas também é possível executar o Looker no Hive no Spark. O suporte ao Spark foi adicionado na versão 1.1 do Hive. O Looker é compatível com o Hive 1.2.1+.

Tabelas derivadas persistentes (TDPs)

Para ativar tabelas derivadas persistentes (TDPs) no Looker usando uma conexão do Hive, crie um esquema de rascunho para o Looker usar. Veja a seguir um exemplo de comando que pode ser usado para criar um esquema looker_scratch:

 CREATE SCHEMA looker_scratch;

A conta de usuário que o Looker usa para se conectar ao Hive (que pode ser anônima se nenhuma autenticação for usada) precisa ter as seguintes habilidades no esquema de rascunho:

  • crie tabelas
  • Alterar tabelas
  • Remover tabelas

Teste isso com um cliente JDBC antes de tentar criar TDPs com o Hive.

Filas

Se você quiser que as consultas do Looker entrem em uma fila específica, insira o parâmetro de nome da fila no campo Parâmetros JDBC adicionais na página Configurações de conexão:

?tez.queue.name=the_bi_queue

Outros parâmetros do Hive podem ser definidos dessa forma no campo Parâmetros JDBC adicionais na página Configurações de conexão.

Com os atributos do usuário, é possível que consultas de diferentes usuários ou grupos de usuários entrem em filas diferentes. Para fazer isso, crie um atributo do usuário com um nome como queue_name. Em seguida, no campo Outros parâmetros JDBC, adicione o seguinte:

?tez.queue.name={{ _user_attributes['queue_name'] }}

Você também pode usar isso para personalizar outros parâmetros de hive-site.xml por usuário ou por grupo.

Criar a conexão do Looker com seu banco de dados

Siga estas etapas para criar a conexão do Looker com seu banco de dados:

  1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

  2. Selecione Apache Hive 2.3+ ou Apache Hive 3.1.2+ no menu suspenso Dialeto.

  3. Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:

    • Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
    • Host: especifique o nome do host.
    • Porta: especifique a porta do banco de dados.
    • Banco de dados: especifique o nome do banco de dados.
    • Nome de usuário: especifique o nome de usuário do banco de dados.
    • Senha: especifique a senha do usuário do banco de dados.
    • Ativar TDPs: use essa opção para ativar tabelas derivadas persistentes. Quando as TDPs estão ativadas, a janela Conexão mostra outras configurações de TDP e a seção Substituições de TDP.
    • Banco de dados temporário: especifique o nome do esquema de rascunho criado na seção Tabelas derivadas persistentes (TDPs) desta página de documentação.
    • Número máximo de conexões do builder da TDP: especifique o número de possíveis builds simultâneos de TDP nessa conexão. Definir um valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
    • Parâmetros JDBC adicionais: adicione outros parâmetros JDBC. Consulte a seção Parâmetros JDBC compatíveis nesta página para ver uma lista de parâmetros compatíveis.
    • Programação de manutenção: especifique uma expressão cron que indica quando o Looker deve verificar datagroups e tabelas derivadas persistentes. Leia mais sobre essa configuração na documentação Programação de manutenção.
    • SSL: marque para usar conexões SSL.
    • Verificar SSL: confira a verificação do nome do host.
    • Máximo de conexões por nó: essa configuração pode ser deixada no valor padrão inicialmente. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
    • Tempo limite do pool de conexões: essa configuração pode ser deixada no valor padrão inicialmente. Leia mais sobre essa configuração na seção Tempo limite do pool de conexões da página de documentação Como conectar o Looker ao banco de dados.
    • Pré-cache do SQL Runner: para que o SQL Runner não pré-carregue as informações da tabela e as carregue apenas quando uma tabela for selecionada, desmarque essa opção. Leia mais sobre essa configuração na seção Pré-cache do SQL Runner da página de documentação Como conectar o Looker ao seu banco de dados.
    • Fuso horário do banco de dados: especifique o fuso horário usado no banco de dados. Deixe este campo em branco se não quiser a conversão de fuso horário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

  4. Para verificar se a conexão foi bem-sucedida, clique no botão Testar conexão na seção Detalhes do status na parte de baixo da página Configurações de conexões.

  5. Se o Looker exibir Pode se conectar, pressione Conectar para criar a conexão.

A conexão do banco de dados é adicionada à lista na página Administrador de Conexões do Looker.

Parâmetros JDBC compatíveis

Para o Apache Hive, o Looker é compatível com os seguintes parâmetros JDBC no campo Parâmetros JDBC adicionais da conexão. Consulte a documentação do seu banco de dados para mais informações sobre esses parâmetros.

  • fetchSize
  • httpPath
  • keyStorePassword
  • password
  • principal
  • serviceDiscoveryMode
  • ssl
  • tez.queue.name
  • transportMode
  • twoWay
  • user
  • zooKeeperNamespace

Suporte a recursos

Para que o Looker seja compatível com alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.

Apache Hive 2.3+

O Apache Hive 2.3+ é compatível com os seguintes recursos a partir do Looker 26.22:

Recurso Compatível?
Looker (Google Cloud Core)
Conjuntos simétricos
Tabelas derivadas
Tabelas derivadas persistentes em SQL
Tabelas derivadas nativas persistentes
Visualizações estáveis
Encerramento de consultas
Tabelas dinâmicas baseadas em SQL
Fusos horários
SSL
Subtotais
Parâmetros adicionais da JDBC
Diferencia maiúsculas de minúsculas
Tipo de local
Tipo de lista
Percentil
Percentil distinto
Mostrar processos do SQL Runner
Tabela de descrição do SQL Runner
Mostrar índices do SQL Runner
SQL Runner Select 10
Contagem do SQL Runner
Explicação do SQL
Credenciais do OAuth 2.0
Comentários de contexto
Pooling de conexão
Esboços HLL
Reconhecimento agregado
TDPs incrementais
Milissegundos
Microssegundos
Visualizações materializadas
Medidas de comparação de períodos
Contagem aproximada aproximada
Modelos analíticos no banco de dados
Agendas personalizadas

Apache Hive 3.1.2+

O Apache Hive 3.1.2+ é compatível com os seguintes recursos a partir do Looker 26.22:

Recurso Compatível?
Looker (Google Cloud Core)
Conjuntos simétricos
Tabelas derivadas
Tabelas derivadas persistentes em SQL
Tabelas derivadas nativas persistentes
Visualizações estáveis
Encerramento de consultas
Tabelas dinâmicas baseadas em SQL
Fusos horários
SSL
Subtotais
Parâmetros adicionais da JDBC
Diferencia maiúsculas de minúsculas
Tipo de local
Tipo de lista
Percentil
Percentil distinto
Mostrar processos do SQL Runner
Tabela de descrição do SQL Runner
Mostrar índices do SQL Runner
SQL Runner Select 10
Contagem do SQL Runner
Explicação do SQL
Credenciais do OAuth 2.0
Comentários de contexto
Pooling de conexão
Esboços HLL
Reconhecimento agregado
TDPs incrementais
Milissegundos
Microssegundos
Visualizações materializadas
Medidas de comparação de períodos
Contagem aproximada aproximada
Modelos analíticos no banco de dados
Agendas personalizadas

Próximas etapas

Depois de conectar o banco de dados ao Looker, configure as opções de login para os usuários.