新增功能和改进
- 灵活虚拟机机器类型:从映像版本
4.0开始,如果您在创建集群时未为集群节点指定机器类型,Managed Service for Apache Spark 会为该节点指定一个灵活虚拟机机器类型的排名列表,例如 N4、N2 和 E2 系列机器类型的排名列表,该列表会针对资源可用性进行优化。
限制
Apache Hudi:映像版本
4.0不支持 Apache Hudi。具有 Hive 4.2 的 Metastore:映像版本
4.0不支持 BigQuery Metastore、BigLake Metastore 或具有 Hive 4.2 的 Dataproc Metastore(不支持使用这些 Metastore 进行直接 Hive 查询)。Delta Lake 与 Hive:Managed Service for Apache Spark 映像版本
4.0中包含的 Delta Lake4.x不支持 Hive(无法在 Hive 上执行针对 Delta Lake 4.4 表的查询)。
注意:
Java 版本:映像版本
4.0包含适用于 Spark 工作负载的 Java 25。Java 21 包含在内,以实现向后兼容性。Iceberg Spark 属性过滤:在标准 4.0 集群上,如果省略可选的
iceberg组件,则在集群激活期间,系统会自动从spark-defaults.conf中过滤掉 Iceberg 会话扩展和默认目录。GPU 集群:除
4.0-ml-ubuntu之外的所有4.0映像版本都会启用cgroups V2。由于 YARN 在启用cgroups V2时不支持 GPU 发现,因此您在创建具有 GPU 的集群时必须使用4.0-ml-ubuntu映像。版本
4.0是一种仅包含核心组件的轻量级映像,可减少常见漏洞和披露 (CVE) 的风险。如果安全合规性要求较高,请在创建 Managed Service for Apache Spark 集群时使用映像版本2.3或更高版本。预安装的可选组件:以下可选组件已预安装在 4.0 映像中,如果您在创建集群时添加了这些组件,它们就会被激活:
- Apache Iceberg
- Delta Lake
您必须在创建集群时指定要安装的可选组件。如需了解详情,请参阅添加可选组件。
以下示例展示了用于创建包含可选组件的集群的 Google Cloud CLI 命令:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
YARN 的默认资源计算器已从 DefaultResourceCalculator 更改为 DominantResourceCalculator,后者使用主要资源概念来确定资源分配,例如内存和 CPU 分配。此更改会影响自动扩缩器,该扩缩器会根据集群的主要资源使用情况进行扩缩。