2.2 映像版本已知问题和限制:
2.2 映像版本集群中未安装旧版代理。除非安装了 Ops Agent,否则 monitoring-agent-defaults 不可用。注意:OSS 指标和日志记录适用于 Managed Service for Apache Spark 组件。
除非安装了 Ops Agent,否则无法为第三方应用进行日志记录或监控。
注意:
2.2.x-*-arm映像仅支持预安装的组件和以下可选组件。不支持其他 2.2 可选组件和所有初始化操作:- Apache Hive WebHCat
- Apache Pig(从
2.2.75-ubuntu22-arm开始) - Docker
- Zeppelin
- Zookeeper(安装在高可用性集群中;在其他集群中为可选组件)
根据对等许可和受限许可获得许可的映像 2.2 库的源代码位于 Managed Service for Apache Spark 集群虚拟机的
/usr/local/share/google/managed-spark/third-party-sources路径中。已知以下 Hudi 过程无法在由 Cloud Storage 文件系统提供支持的 Hudi 表上运行:
run_clusteringrun_compaction
YARN 的默认资源计算器已从 DefaultResourceCalculator 更改为 DominantResourceCalculator,后者使用主要资源概念来确定资源分配,例如内存和 CPU 分配。此更改会影响自动扩缩器,该扩缩器会根据集群的主要资源使用情况进行扩缩。
Apache Iceberg 版本:在 2.2 版映像中,Apache Iceberg 提供
1.6.1和1.10版本。默认版本为1.6.1。如需在任何 2.2 集群上指定 Iceberg 版本,请在创建集群期间将dataproc:dataproc.iceberg.version集群属性设置为1.10(或1.6)。2.2.85及更高版本的映像不含预配置的 Conda 渠道。除非在集群初始化期间手动配置渠道,否则无法使用 Conda 安装软件包。 此外,具有预配置 Conda 渠道的2.2映像版本集群(包括2.2.84及更早版本的映像版本)在 2026 年 8 月 25 日之后将无法使用。