Databricks

É possível configurar sua instância do Databricks para funcionar com o Looker para analisar e visualizar seus dados para relatórios operacionais. O Looker se conecta ao Databricks somente quando o Unity Catalog está ativado. A configuração requer a criptografia do tráfego de rede, a criação de um usuário dedicado do Looker e a configuração das permissões do usuário.

Criptografia do tráfego de rede

É uma prática recomendada criptografar o tráfego de rede entre o aplicativo do Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.

Criar um usuário do Looker

O Looker se autentica no Databricks por tokens de acesso pessoal. Siga a documentação do Databricks para criar um token de acesso pessoal para um usuário do Databricks usar no Looker.

Adicione permissões a esse usuário com GRANT.

No mínimo, o usuário do Looker precisa ter as permissões SELECT e READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

Informações do servidor

Siga a documentação do Databricks para encontrar o caminho HTTP do cluster do Databricks. Ela será chamada de <YOUR_HTTP_PATH> nesta página.

Como configurar tabelas derivadas persistentes

Para usar tabelas derivadas persistentes, crie um banco de dados separado.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

Isso também vai exigir que outras permissões do usuário baseadas em gravação sejam concedidas.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

Criar a conexão do Looker com seu banco de dados

Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.

Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:

  • Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
  • Dialeto: especifique o dialeto Databricks.
  • Host: especifique o URL do espaço de trabalho do Databricks. Por exemplo, dbc-yyyyyyyy.cloud.databricks.com/.
  • Porta: especifique a porta do banco de dados. O padrão é 443.
  • Banco de dados: especifique o nome do banco de dados a ser usado para as consultas do Looker. O valor padrão é default.
  • Catálogo: para bancos de dados do Databricks com o Unity Catalog ativado, especifique o nome do catálogo a ser usado nas consultas do Looker. Se você não especificar um catálogo, o Looker vai acessar apenas os esquemas do catálogo padrão. Consulte Funcionalidade do Looker com o Databricks Unity Catalog para mais informações.
  • Autenticação: selecione Conta do banco de dados ou OAuth:
    • Use Conta do banco de dados para especificar um token de acesso pessoal do Databricks que será usado para se conectar ao Looker. Consulte a seção Criar um usuário do Looker para ver instruções.
      • Em Nome de usuário, insira o valor token (não insira o e-mail do usuário do Databricks nesse campo).
      • Em Senha, insira o token de acesso pessoal do Databricks.
    • Use OAuth para configurar o OAuth para a conexão. Consulte a seção Como configurar o OAuth para conexões do Databricks para mais informações.
  • Ativar TDPs: use essa opção para ativar tabelas derivadas persistentes. Quando as TDPs estão ativadas, a janela Conexão mostra outras configurações de TDP e a seção Substituições de TDP. Observação: as TDPs não são compatíveis com conexões do Databricks que usam OAuth.
  • Banco de dados temporário: insira o banco de dados que você quer usar para armazenar TDPs.
  • Número máximo de conexões do builder da TDP: especifique o número de possíveis builds simultâneos de TDP nessa conexão. Definir um valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.

  • Parâmetros JDBC adicionais: adicione outros parâmetros JDBC. Consulte a seção Parâmetros JDBC compatíveis nesta página para ver a lista de parâmetros compatíveis com o Looker.

  • Programação de manutenção: uma expressão cron que indica quando o Looker deve verificar os grupos de dados e as tabelas derivadas persistentes. Leia mais sobre essa configuração na documentação Programação de manutenção.

  • SSL: marque para usar conexões SSL.

  • Verificar SSL: marque para aplicar a verificação rigorosa do certificado SSL.

  • Máximo de conexões por nó: inicialmente, você pode deixar essa configuração no valor padrão. Leia mais sobre essa configuração na seção Máximo de conexões por nó da página de documentação Como conectar o Looker ao banco de dados.

  • Tempo limite do pool de conexões: inicialmente, você pode deixar essa configuração no valor padrão. Leia mais sobre essa configuração na seção Tempo limite do pool de conexões da página de documentação Como conectar o Looker ao banco de dados.

  • Pré-cache do SQL Runner: para que o SQL Runner não pré-carregue as informações da tabela e as carregue apenas quando uma tabela for selecionada, desmarque essa caixa de seleção. Leia mais sobre essa configuração na seção Pré-cache do SQL Runner da página de documentação Como conectar o Looker ao seu banco de dados.

  • Buscar esquema de informações para escrita em SQL: quando essa configuração está ativada, o Looker usa o esquema de informações do banco de dados para otimizar a escrita em SQL. Leia mais sobre essa configuração na seção Buscar esquema de informações para gravação em SQL da página de documentação Como conectar o Looker ao seu banco de dados.

  • Fuso horário do banco de dados: especifique o fuso horário a ser usado no banco de dados. Deixe este campo em branco se não quiser a conversão de fuso horário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.

Para verificar se a conexão foi bem-sucedida, clique no botão Testar conexão na seção Detalhes do status na parte de baixo da página Configurações de conexões.

Se o Looker exibir Pode se conectar, pressione Conectar para criar a conexão.

A conexão do banco de dados é adicionada à lista na página Administrador de Conexões do Looker.

Funcionalidade do Looker com o Databricks Unity Catalog

O Looker é compatível com conexões com bancos de dados do Databricks com o Unity Catalog ativado. É possível especificar o nome do catálogo no campo Catálogo da janela Conexão do Looker ao criar uma conexão do Looker com seu banco de dados ou ao editar uma conexão do Looker com um banco de dados do Databricks.

Se o banco de dados do Databricks estiver ativado para o Unity Catalog, especifique um catálogo do Databricks no campo Catálogo da conexão do Looker. Quando você especifica um catálogo do Databricks, o Looker o usa nos seguintes cenários:

  • Ao gerar um novo projeto do LookML com base no seu banco de dados, o Looker vai criar os arquivos do projeto com base nas tabelas do catálogo configurado da sua conexão.
  • Em projetos atuais, ao usar o ambiente de desenvolvimento integrado do Looker para criar uma visualização com base em uma tabela, o Looker vai criar arquivos de visualização apenas com base nas tabelas do catálogo configurado da sua conexão.
  • Ao usar o SQL Runner, só é possível selecionar esquemas do catálogo configurado da sua conexão.

Se o banco de dados do Databricks estiver ativado para o Unity Catalog e a conexão do Looker não tiver um valor no campo Catálogo, a maioria das funcionalidades do Looker vai acessar esquemas apenas do catálogo padrão, como nos seguintes cenários:

  • Ao gerar um novo projeto do LookML com base no seu banco de dados, o Looker vai criar os arquivos do projeto com base nas tabelas do catálogo padrão do Unity Catalog.
  • Para projetos atuais, ao usar o ambiente de desenvolvimento integrado do Looker para criar uma visualização com base em uma tabela, o Looker só pode criar arquivos de visualização com base nas tabelas do catálogo padrão do Unity Catalog.
  • Ao usar o SQL Runner, só é possível selecionar esquemas do catálogo padrão do Unity Catalog.

Como configurar o OAuth para conexões do Databricks

O Looker é compatível com o OAuth para conexões do Databricks, o que significa que cada usuário do Looker se autentica no banco de dados e autoriza o Looker a executar consultas no banco de dados com a própria conta de usuário do OAuth.

O OAuth permite que os administradores de banco de dados realizem as seguintes tarefas:

  • Auditar quais usuários do Looker estão executando consultas no banco de dados
  • Aplicar controles de acesso baseados em papéis usando permissões no nível do banco de dados
  • Usar tokens OAuth para todos os processos e ações que acessam o banco de dados, em vez de incorporar IDs e senhas do banco de dados em vários lugares
  • Revogar a autorização de um usuário diretamente pelo banco de dados

Com as conexões do Databricks que usam OAuth, os usuários precisam fazer login novamente de forma periódica quando os tokens OAuth expiram.

Observe o seguinte para conexões OAuth no nível do banco de dados:

  • Se um usuário deixar o token OAuth expirar, todas as programações ou alertas do Looker que ele possui serão afetados. Para evitar isso, o Looker vai enviar um e-mail de notificação ao proprietário de cada programação e alerta antes que o token OAuth ativo expire. O Looker envia esses e-mails de notificação 14 dias, 7 dias e 1 dia antes da expiração do token. O usuário pode acessar a página de usuário do Looker para autorizar novamente o Looker no banco de dados e evitar interrupções nas programações e nos alertas. Consulte a página de documentação Personalizar as configurações da conta de usuário para mais detalhes.
  • Como as conexões de banco de dados que usam o OAuth são "por usuário", as políticas de armazenamento em cache também são por usuário, não apenas por consulta. Isso significa que, em vez de usar resultados em cache sempre que a mesma consulta for executada no período de armazenamento em cache, o Looker vai usar resultados em cache somente se o mesmo usuário tiver executado a mesma consulta no período de armazenamento em cache. Para mais informações sobre armazenamento em cache, consulte a página de documentação Como armazenar consultas em cache.
  • As tabelas derivadas persistentes (PDTs) não são compatíveis com conexões do Databricks com OAuth.
  • Quando um administrador do Looker usa o comando sudo como outro usuário, ele usa o token de acesso OAuth desse usuário. Se o token de acesso do usuário estiver expirado, o administrador não poderá criar um novo token em nome do usuário sudo. Consulte a página de documentação Usuários para saber como usar o comando sudo.
  • Quando um usuário inicia um fluxo de autorização do OAuth para uma conexão do Databricks no Looker, o Looker exibe uma caixa de diálogo Autorizar conexão do OAuth notificando o usuário de que a autorização da conexão permite que a instância do Looker acesse dados em nome dele e que usuários privilegiados do Looker, como administradores ou desenvolvedores, podem ter visibilidade dos dados. O usuário precisa selecionar Autorizar antes de fazer login no Databricks. Essas informações de consentimento são armazenadas no armazenamento local do navegador do usuário, e a caixa de diálogo aparece novamente se o armazenamento local for limpo. Depois que o usuário seleciona Autorizar, o Databricks não mostra outra caixa de diálogo de consentimento do usuário.
  • Para usar o OAuth em uma conexão do Databricks, é necessário ter usuários ou principais de serviço do Databricks que possam ser usados para consultas do Looker. Além disso, é preciso fornecer aos usuários e principais de serviço as permissões do Databricks que o Looker vai precisar para acessar as fontes de dados e realizar as ações necessárias no Databricks.

Para criar uma conexão do Databricks com o Looker usando o OAuth, siga estas etapas gerais, que são detalhadas nas seções a seguir:

  1. Ativar um aplicativo OAuth personalizado no Databricks
  2. Configurar a conexão no Looker

Ativar um aplicativo OAuth personalizado no Databricks

Para usar o OAuth em uma conexão do Looker com o Databricks, ative o Looker como um aplicativo OAuth personalizado para seu banco de dados do Databricks seguindo estas etapas:

  1. Faça login no console da conta do Databricks.
  2. Clique no ícone Configurações no painel lateral.
  3. Clique na guia Conexões de apps na janela Configurações.
  4. Na guia Conexões de apps, clique em Adicionar conexão.

  5. Insira os seguintes valores na caixa de diálogo Adicionar conexão do Databricks:

    • Nome do aplicativo: forneça um nome descritivo, como "Integração do Looker".

    • URLs de redirecionamento: insira o URL do Looker para onde o Databricks vai redirecionar os usuários após a autorização, usando este formato (substitua example.looker.com pelo URL da sua instância do Looker):

      https://example.looker.com/external_oauth/redirect

    • Escopos de acesso: selecione SQL para permitir que o Looker consulte dados usando SQL.

    • Gerar uma chave secreta do cliente: ative essa opção.

  6. Clique em Adicionar na caixa de diálogo Adicionar conexão do Databricks.

  7. Copie e armazene com segurança o ID do cliente e a chave secreta do cliente gerados pelo Databricks.

O registro de um aplicativo OAuth pode levar até 30 minutos para ser processado no banco de dados do Databricks. Para mais informações, consulte a documentação oficial do Databricks.

Configurar a conexão no Looker

Depois de configurar o Looker como um aplicativo OAuth personalizado no banco de dados do Databricks, é possível configurar uma conexão do Looker com o Databricks que use o OAuth.

  1. Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.
  2. Preencha os detalhes da conexão, conforme descrito na seção Como criar a conexão do Looker com seu banco de dados desta página.
  3. Selecione a opção OAuth no campo Autenticação.
  4. Ao selecionar a opção OAuth, o Looker exibe os campos ID do cliente OAuth e Chave secreta do cliente OAuth. Para esses valores, insira o ID do cliente e a chave secreta do cliente que foram gerados pelo Databricks quando você ativou o Looker como um aplicativo OAuth personalizado no Databricks.
  5. Selecione o botão Testar na parte de baixo da página Configurações de conexões para garantir que o Looker possa estabelecer o fluxo do OAuth e se conectar à instância do Databricks.

Parâmetros JDBC compatíveis

Para o Databricks, o Looker é compatível com os seguintes parâmetros JDBC no campo Parâmetros JDBC adicionais da conexão. Consulte a documentação do seu banco de dados para mais informações sobre esses parâmetros.

  • Auth_Flow
  • AuthMech
  • catalogSchemaSwitch
  • ConnSchema
  • httpPath
  • LogLevel
  • OAuth2ClientId
  • OAuth2Secret
  • PWD
  • SocketTimeout
  • ssl
  • transportMode
  • UID
  • UserAgentEntry

Suporte a recursos

Para que o Looker seja compatível com alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.

O Databricks é compatível com os seguintes recursos a partir do Looker 26.22:

Recurso Compatível?
Looker (Google Cloud Core)
Conjuntos simétricos
Tabelas derivadas
Tabelas derivadas persistentes em SQL
Tabelas derivadas nativas persistentes
Visualizações estáveis
Encerramento de consultas
Tabelas dinâmicas baseadas em SQL
Fusos horários
SSL
Subtotais
Parâmetros adicionais da JDBC
Diferencia maiúsculas de minúsculas
Tipo de local
Tipo de lista
Percentil
Percentil distinto
Mostrar processos do SQL Runner
Tabela de descrição do SQL Runner
Mostrar índices do SQL Runner
SQL Runner Select 10
Contagem do SQL Runner
Explicação do SQL
Credenciais do OAuth 2.0
Comentários de contexto
Pooling de conexão
Esboços HLL
Reconhecimento agregado
TDPs incrementais
Milissegundos
Microssegundos
Visualizações materializadas
Medidas de comparação de períodos
Contagem aproximada aproximada
Modelos analíticos no banco de dados
Agendas personalizadas