Versões de imagem da versão 4.0.x

Componente 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
componente opcional
2.2.0
Apache Gluten
instalado
1.6
Apache Hadoop
instalado
3.5.0
Apache Hive
instalado
4.2.0
Apache Hive WebHCat
componente opcional
4.2.0
Componente opcional do Apache Iceberg
1.12.0
Apache Kafka
ação de inicialização
3.9.2
Componente opcional
Apache Pig
0.18.0
Componente opcional
Apache Ranger
2.8.0
Apache Spark
instalado
4.2.0
Componente opcional
Apache Solr
9.10.1
Apache Tez
instalado
0.10.5
Componente opcional
notebook do Apache Zeppelin
0.12.0
Componente opcional
Apache ZooKeeper
3.9.5
Conector do BigQuery
instalado
0.46.0
Cloud Storage Connector
instalado
4.0.7
Conscrypt
instalado
2.6
Componente opcional
Delta Lake
4.4.0
Docker
componente opcional
28.1
Java
instalado
25
Notebook JupyterLab
componente opcional
4.6.6
Python
instalado
Pixi 0.76.0 com Python 3.13
R
instalado
R 4.5
Scala
instalado
2.13.17
Trino
Trino
480

Novos recursos e melhorias

  • Tipos de máquina de VM flexíveis: a partir da versão de imagem 4.0, quando você cria um cluster sem especificar um tipo de máquina para um nó de cluster, o Serviço Gerenciado para Apache Spark especifica o nó com uma lista classificada de tipos de máquina de VM flexíveis, como uma lista classificada de tipos de máquina das séries N4, N2 e E2, com a lista otimizada para disponibilidade de recursos.

Limitações

  • Apache Hudi: o Apache Hudi não é compatível com a versão de imagem 4.0.

  • Metastores com o Hive 4.2: a versão de imagem 4.0 não é compatível com o BigQuery Metastore, o BigLake Metastore ou o Dataproc Metastore com o Hive 4.2 (consultas diretas do Hive que usam esses metastores não são compatíveis).

  • Delta Lake com Hive: o Delta Lake 4.x, que está incluído na versão de imagem 4.0 do Serviço Gerenciado para Apache Spark, não é compatível com o Hive (não é possível executar consultas em tabelas do Delta Lake 4.4 no Hive).

Observações:

  • Versões do Java: a versão de imagem 4.0 inclui o Java 25 para cargas de trabalho do Spark. O Java 21 está incluído para compatibilidade com versões anteriores.

  • Filtragem de propriedades do Iceberg Spark: em clusters padrão 4.0, se o componente opcional iceberg for omitido, as extensões de sessão do Iceberg e os catálogos padrão serão filtrados automaticamente de spark-defaults.conf durante a ativação do cluster.

  • Clusters de GPU: todas as versões de imagem do 4.0, exceto 4.0-ml-ubuntu, ativam o cgroups V2. Como o YARN não é compatível com a descoberta de GPU quando cgroups V2 está ativado, use a imagem 4.0-ml-ubuntu ao criar clusters com GPUs.

  • A versão 4.0 é uma imagem leve que contém apenas componentes principais, reduzindo a exposição a vulnerabilidades e exposições comuns (CVEs). Para requisitos de conformidade de segurança mais altos, use a versão de imagem 2.3 ou mais recente ao criar um cluster do Serviço Gerenciado para Apache Spark.

  • Componentes opcionais pré-instalados: os componentes opcionais a seguir são pré-instalados em imagens 4.0 e ativados se você os incluir durante a criação do cluster:

    • Apache Iceberg
    • Delta Lake

    É preciso especificar os componentes opcionais que você quer instalar ao criar um cluster. Para mais informações, consulte Adicionar componentes opcionais.
    O exemplo a seguir mostra o comando da Google Cloud CLI para criar um cluster com componentes opcionais:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • A calculadora de recursos padrão do YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como memória e CPU. Essa mudança afeta o escalonador automático, que é escalonado com base no uso de recursos dominante do cluster.