Managed Service for Apache Spark 组件

本文档简要介绍了 Managed Service for Apache Spark 集群中可用的不同类型的组件。了解这些组件对于配置集群至关重要，这样才能确保集群包含大数据工作负载所需的工具和服务。Managed Service for Apache Spark 组件分为已安装组件、可选组件或初始化操作组件。

组件类型

Managed Service for Apache Spark 集群包含以下类型的组件：

  • 已安装的组件：安装在映像中并在创建集群时激活的组件。

  • 可选组件：您在创建集群时选择要在集群上安装和使用的组件。Managed Service for Apache Spark 会根据集群映像版本安装并激活可选组件，具体如下：

    • 2.2 及更低版本的映像：系统会自动安装可选组件。在创建集群时，系统会激活所选的可选组件，并卸载未选的可选组件。

    • 2.3 及更高版本的映像：除了 Jupyter、Iceberg 和 Delta Lake 可选组件（这些组件已预安装在 2.3 及更高版本的映像中）之外，所有可选组件都会在集群创建期间安装。如果 2.3 或更高版本的映像集群在创建时未启用预安装的可选组件，则这些组件会从该集群中移除。如需了解详情，请参阅 Managed Service for Apache Spark 2.3.x 发布版本。

  • 初始化操作组件：作为初始化操作的一部分安装在集群上的组件，您可以在创建集群时指定这些组件。

可选组件会在集群上运行初始化操作之前安装在集群上。

Managed Service for Apache Spark 映像版本页面列出了最新 Managed Service for Apache Spark 映像版本中提供的组件和组件类型。

与用于安装组件的初始化操作相比，可选组件具有以下优势：

  • 可选组件经过测试，可与特定的 Managed Service for Apache Spark 版本兼容。
  • 可选组件通过集群创建参数启用；初始化操作需要脚本。

可用的可选组件

可选组件 Google Cloud CLI 命令和 API 请求中的
组件名称		 映像版本 发布阶段
Delta Lake DELTA 2.2.46 及更高版本 GA
Docker DOCKER 1.5 及更高版本 GA
Flink FLINK 1.5 及更高版本 GA
HBase HBASE 1.5 及更高版本
（在 2.1 及更高版本中不可用） 		已弃用
Hive WebHCat HIVE_WEBHCAT 1.3 及更高版本 GA
Hudi HUDI 1.5 及更高版本 GA
Iceberg ICEBERG 2.2 及更高版本 GA
Jupyter 笔记本 JUPYTER 1.3 及更高版本 GA
猪 PIG 1.5* 及更高版本 GA
Presto PRESTO 1.3 及更高版本
（在 2.1 及更高版本中不可用） 		GA
Ranger RANGER 1.3 及更高版本 GA
Solr SOLR 1.3 及更高版本 GA
Trino TRINO 2.1 及更高版本 GA
Zeppelin 笔记本 ZEPPELIN 1.3 及更高版本 GA
ZooKeeper ZOOKEEPER 1.0 及更高版本 GA

注意：

  • Apache Pig 是映像版本 2.3 及更高版本中的可选组件。它已预安装在 2.2 及更低版本的映像中。

添加可选组件

Google Cloud 控制台

  1. 在 Google Cloud 控制台中，打开创建集群页面。
  2. 点击其他配置以展开该部分。
  3. 修改可选组件。
  4. 在随即打开的面板中，选中要安装在集群上的可选组件对应的复选框，然后点击保存。

gcloud CLI

如需创建 Managed Service for Apache Spark 集群并在集群上安装一个或多个可选组件，请使用带有 --optional-components 标志的 gcloud beta dataproc clusters create cluster-name 命令。

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

可通过 Dataproc API 在 clusters.create 请求中使用 SoftwareConfig.Component 来指定可选组件。