Apache Hive

本页面介绍了如何将 Looker 连接到 Apache Hive 2.3+ 和 Apache Hive 3.1.2+。

请注意以下有关 Looker 对不同版本 Apache Hive 的支持情况：

  • Looker 支持连接到 Apache Hive 2.3+ 和 Apache Hive 3.1.2+：
    • 对于 Apache Hive 2.3+，Looker 提供集成级支持。
    • 对于 Apache Hive 3.1.2+，Looker 只能与 3.1.2 之后的 Apache Hive 3 数据库完全集成。这是因为 Hive 2.4.0 - 3.1.2 版存在查询解析问题，导致 Looker 生成的 SQL 解析时间过长。
  • Looker 不支持连接到 Apache Hive 2。对 Apache Hive 2 连接的查询将返回错误。

加密网络流量

对 Looker 应用与数据库之间的网络流量进行加密是一种最佳实践。可以考虑启用安全的数据库访问文档页面上介绍的某个选项。

简介

Looker 旨在通过 JDBC 连接到数据库服务器。对于 Hive，这是 Thrift 服务器 (HiveServer2)。如需了解详情，请参阅 Apache 文档。

默认情况下，此服务器将监听端口 10000。

Looker 是一种交互式查询工具，因此需要与交互式 SQL 引擎搭配使用。如果 Hive 在 MapReduce 上运行（hive.execution.engine 设置为 mr），则 Hive 返回查询结果的速度会太慢，无法实际使用。

Looker 已在 Tez (hive.execution.engine=tez) 上使用 Hive 进行了测试，但也可以在 Spark 上针对 Hive 运行 Looker。Hive 1.1 版中添加了 Spark 支持。（Looker 支持 Hive 1.2.1 及更高版本。）

永久性派生表 (PDT)

如需在 Looker 中使用 Hive 连接启用永久性派生表 (PDT)，请创建一个供 Looker 使用的暂存架构。以下是可用于创建 looker_scratch 架构的命令示例：

 CREATE SCHEMA looker_scratch;

Looker 用于连接到 Hive 的用户账号（如果未使用身份验证，则可以匿名）必须在底层存储架构中具有以下功能：

  • 创建表格
  • 修改表
  • 删除表

在尝试使用 Hive 创建 PDT 之前，请先使用 JDBC 客户端对此进行测试。

队列

如果您希望来自 Looker 的查询进入特定队列，请在连接设置页面的其他 JDBC 参数字段中输入队列名称参数：

?tez.queue.name=the_bi_queue

您可以在连接设置页面上的其他 JDBC 参数字段中，通过这种方式设置其他 Hive 参数。

使用用户属性，来自不同用户或不同用户组的查询可以进入不同的队列。为此，请创建一个名为 queue_name 的用户属性；然后，在其他 JDBC 参数字段中添加以下内容：

?tez.queue.name={{ _user_attributes['queue_name'] }}

您还可以使用此参数，针对每个用户或每个群组自定义其他 hive-site.xml 参数。

创建与数据库的 Looker 连接

请按照以下步骤创建从 Looker 到数据库的连接：

  1. 在 Looker 的管理部分中，选择连接，然后点击添加连接。

  2. 从方言下拉菜单中选择 Apache Hive 2.3+ 或 Apache Hive 3.1.2+。

  3. 填写连接详情。大多数设置对于大多数数据库方言都是通用的。如需了解相关信息，请参阅将 Looker 连接到您的数据库文档页面。下面介绍了一些设置：

    • 名称：指定连接的名称。这是您在 LookML 项目中引用连接的方式。
    • 主机：指定主机名。
    • 端口：指定数据库端口。
    • 数据库：指定数据库名称。
    • 用户名：指定数据库用户名。
    • 密码：指定数据库用户密码。
    • 启用 PDT：使用此切换开关可启用永久性派生表。启用 PDT 后，连接窗口会显示其他 PDT 设置和 PDT 覆盖部分。
    • 临时数据库：指定在本页面的永久性派生表 (PDT) 部分中创建的底层存储架构的名称。
    • PDT 构建器连接数上限：指定此连接上可能存在的并发 PDT 构建数量。将此值设置得过高可能会对查询时间产生负面影响。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。
    • 其他 JDBC 参数：添加任何其他 JDBC 参数。如需查看受支持参数的列表，请参阅本页面上的受支持的 JDBC 参数部分。
    • 维护时间表：指定一个 cron 表达式，用于指示 Looker 何时应检查数据组和永久性派生表。如需详细了解此设置，请参阅维护时间表文档。
    • SSL：勾选此选项可使用 SSL 连接。
    • 验证 SSL：检查主机名验证。
    • 每个节点的最大连接数：此设置最初可以保留默认值。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。
    • 连接池超时：此设置最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的连接池超时部分。
    • SQL Runner 预缓存：如需让 SQL Runner 不预加载表信息，而仅在选择表时加载表信息，请清除此选项。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的 SQL Runner 预缓存部分。
    • 数据库时区：指定数据库中使用的时区。如果您不想进行时区转换，请将此字段留空。如需了解详情，请参阅使用时区设置文档页面。

  4. 如需验证连接是否成功，请点击连接设置页面底部状态详情部分中的测试连接按钮。

  5. 如果 Looker 显示可以连接，请按连接以创建连接。

然后，您的数据库连接会添加到 Looker 连接管理页面上的列表中。

支持的 JDBC 参数

对于 Apache Hive，Looker 在连接的其他 JDBC 参数字段中支持以下 JDBC 参数。如需了解这些参数，请参阅数据库的相关文档。

  • fetchSize
  • httpPath
  • keyStorePassword
  • password
  • principal
  • serviceDiscoveryMode
  • ssl
  • tez.queue.name
  • transportMode
  • twoWay
  • user
  • zooKeeperNamespace

功能支持

为了让 Looker 支持某些功能，您的数据库方言也必须支持这些功能。

Apache Hive 2.3+

自 Looker 26.22 起，Apache Hive 2.3+ 支持以下功能：

功能 是否支持？
Looker (Google Cloud Core)
对称聚合
派生表
永久性 SQL 派生表
原生永久性派生表
稳定视图
查询终止
基于 SQL 的透视
时区
SSL
小计
其他 JDBC 参数
区分大小写
位置类型
名单类型
百分位
不同值百分位
SQL Runner “Show Processes”
SQL Runner “Describe Table”
SQL Runner “Show Indexes”
SQL Runner “Select 10”
SQL Runner “Count”
SQL “Explain”
OAuth 2.0 凭证
背景信息评论
连接池
HLL 草图
汇总感知
增量 PDT
毫秒
微秒
物化视图
环比衡量
近似计数不同
数据库内分析模型
自定义日历

Apache Hive 3.1.2+

自 Looker 26.22 起，Apache Hive 3.1.2+ 支持以下功能：

功能 是否支持？
Looker (Google Cloud Core)
对称聚合
派生表
永久性 SQL 派生表
原生永久性派生表
稳定视图
查询终止
基于 SQL 的透视
时区
SSL
小计
其他 JDBC 参数
区分大小写
位置类型
名单类型
百分位
不同值百分位
SQL Runner “Show Processes”
SQL Runner “Describe Table”
SQL Runner “Show Indexes”
SQL Runner “Select 10”
SQL Runner “Count”
SQL “Explain”
OAuth 2.0 凭证
背景信息评论
连接池
HLL 草图
汇总感知
增量 PDT
毫秒
微秒
物化视图
环比衡量
近似计数不同
数据库内分析模型
自定义日历

后续步骤

将数据库连接到 Looker 后，请为用户配置登录选项。