Nesta página, você encontra informações sobre como conectar o Looker ao Apache Spark 3.
O Looker se conecta ao Apache Spark 3+ por uma conexão JDBC com o Spark Thrift Server.
Criptografia do tráfego de rede
É uma prática recomendada criptografar o tráfego de rede entre o aplicativo do Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.
Criar a conexão do Looker com seu banco de dados
Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.
Preencher os detalhes de conexão. A maioria das configurações é comum para a maioria dos dialetos de banco de dados. Consulte a página de documentação Como conectar o Looker ao seu banco de dados para mais informações. Algumas das configurações são descritas a seguir:
- Nome: o nome da conexão. É assim que a conexão será chamada no modelo do LookML.
- Dialeto: selecione Apache Spark 3+.
- Host: o host do servidor Thrift.
- Porta: a porta do servidor Thrift (10000 por padrão).
- Banco de dados: o esquema ou banco de dados padrão que será modelado. Quando nenhum banco de dados é especificado para uma tabela, esse é o padrão.
- Nome de usuário: o usuário que o Looker vai autenticar.
- Senha: a senha opcional para o usuário do Looker.
- Ativar TDPs: use essa opção para ativar tabelas derivadas persistentes. Quando as TDPs estão ativadas, a janela Conexão mostra outras configurações de TDP e a seção Substituições de TDP.
- Banco de dados temporário: um esquema ou banco de dados temporário para armazenar TDPs. Ele precisa ser criado com antecedência, com uma instrução como
CREATE SCHEMA looker_scratch;. - Parâmetros JDBC adicionais: adicione outros parâmetros JDBC. Consulte a seção Parâmetros JDBC compatíveis nesta página para ver uma lista de parâmetros compatíveis.
- SSL: deixe esta opção desmarcada.
- Fuso horário do banco de dados: o fuso horário dos dados armazenados no Spark. Normalmente, ele pode ser deixado em branco ou definido como UTC.
- Fuso horário de consultas: o fuso horário para exibir os dados consultados no Looker.
Para verificar se a conexão foi bem-sucedida, clique no botão Testar conexão na seção Detalhes do status na parte de baixo da página Configurações de conexões.
Se o Looker exibir Pode se conectar, pressione Conectar para criar a conexão.
A conexão do banco de dados é adicionada à lista na página Administrador de Conexões do Looker.
Parâmetros JDBC compatíveis
Para o Apache Spark, o Looker é compatível com os seguintes parâmetros JDBC no campo Parâmetros JDBC adicionais da conexão. Consulte a documentação do seu banco de dados para mais informações sobre esses parâmetros.
batchsizecascadeTruncateconnectionProvidercreateTableColumnTypescreateTableOptionscustomSchemadbtablefetchsizeisolationLevelkeytablowerBoundnumPartitionsoracle.jdbc.mapDateToTimestamppartitionColumnpasswordpreferTimestampNTZprepareQueryprincipalpushDownAggregatepushDownLimitpushDownOffsetpushDownPredicatepushDownTableSamplequeryqueryTimeoutsessionInitStatementtruncateupperBoundurluser
Suporte a recursos
Para que o Looker seja compatível com alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.
Apache Spark 3+
O Apache Spark 3+ é compatível com os seguintes recursos a partir do Looker 26.22:
| Recurso | Compatível? |
|---|---|
| Looker (Google Cloud Core) | |
| Conjuntos simétricos | |
| Tabelas derivadas | |
| Tabelas derivadas persistentes em SQL | |
| Tabelas derivadas nativas persistentes | |
| Visualizações estáveis | |
| Encerramento de consultas | |
| Tabelas dinâmicas baseadas em SQL | |
| Fusos horários | |
| SSL | |
| Subtotais | |
| Parâmetros adicionais da JDBC | |
| Diferencia maiúsculas de minúsculas | |
| Tipo de local | |
| Tipo de lista | |
| Percentil | |
| Percentil distinto | |
| Mostrar processos do SQL Runner | |
| Tabela de descrição do SQL Runner | |
| Mostrar índices do SQL Runner | |
| SQL Runner Select 10 | |
| Contagem do SQL Runner | |
| Explicação do SQL | |
| Credenciais do OAuth 2.0 | |
| Comentários de contexto | |
| Pooling de conexão | |
| Esboços HLL | |
| Reconhecimento agregado | |
| TDPs incrementais | |
| Milissegundos | |
| Microssegundos | |
| Visualizações materializadas | |
| Medidas de comparação de períodos | |
| Contagem aproximada aproximada | |
| Modelos analíticos no banco de dados | |
| Agendas personalizadas |
Próximas etapas
Depois de criar a conexão, defina as opções de autenticação.