Versioni immagine della release 4.0.x

Componente 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Componente facoltativo
Apache Flink
2.2.0
Apache Gluten
installato
1.6
Apache Hadoop
installato
3.5.0
Apache Hive
installato
4.2.0
Componente facoltativo
Apache Hive WebHCat
4.2.0
Componente facoltativo
Apache Iceberg
1.12.0
Azione di inizializzazione
Apache Kafka
3.9.2
Componente facoltativo
Apache Pig
0.18.0
Componente facoltativo
Apache Ranger
2.8.0
Apache Spark
installato
4.2.0
Componente facoltativo
Apache Solr
9.10.1
Apache Tez
installato
0.10.5
Componente facoltativo
Notebook Apache Zeppelin
0.12.0
Componente facoltativo
Apache Zookeeper
3.9.5
Connettore BigQuery
installato
0.46.0
Connettore Cloud Storage
installato
4.0.7
Conscrypt
installato
2,6
Delta Lake
componente facoltativo
4.4.0
Docker
componente facoltativo
28,1
Java
installato
25
Blocco note JupyterLab
componente facoltativo
4.6.6
Python
installato
Pixi 0.76.0 con Python 3.13
R
installato
R 4.5
Scala
installato
2.13.17
Trino
Trino
480

Nuove funzionalità e miglioramenti

  • Tipi di macchine VM flessibili: a partire dalla versione immagine 4.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.

Limitazioni

  • Apache Hudi: Apache Hudi non è supportato nella versione immagine 4.0.

  • Metastore con Hive 4.2: la versione immagine 4.0 non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).

  • Delta Lake con Hive: Delta Lake 4.x, incluso nella versione immagine di Managed Service for Apache Spark 4.0, non supporta Hive (le query sulle tabelle Delta Lake 4.4 non possono essere eseguite su Hive).

Note:

  • Versioni di Java: la versione immagine 4.0 include Java 25 per i workload Spark. Java 21 è incluso per la compatibilità con le versioni precedenti.

  • Filtro delle proprietà Iceberg Spark: sui cluster standard 4.0, se il componente facoltativo iceberg viene omesso, le estensioni della sessione Iceberg e i cataloghi predefiniti vengono filtrati automaticamente da spark-defaults.conf durante l'attivazione del cluster.

  • Cluster GPU: tutte le versioni immagine 4.0, ad eccezione di 4.0-ml-ubuntu, abilitano cgroups V2. Poiché YARN non supporta il rilevamento delle GPU quando cgroups V2 è abilitato, devi utilizzare l'immagine 4.0-ml-ubuntu quando crei cluster con GPU.

  • La versione 4.0 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione alle vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità alla sicurezza più elevati, utilizza la versione immagine 2.3 o successiva quando crei un cluster Managed Service for Apache Spark.

  • Componenti facoltativi preinstallati: i seguenti componenti facoltativi sono preinstallati nelle immagini 4.0 e vengono attivati se li includi durante la creazione del cluster:

    • Apache Iceberg
    • Delta Lake

    Devi specificare i componenti facoltativi che vuoi installare quando crei un cluster. Per saperne di più, consulta Aggiungi componenti facoltativi.
    L'esempio seguente mostra il comando Google Cloud CLI per la creazione di un cluster con componenti facoltativi:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, ad esempio l'allocazione di memoria e CPU. Questa modifica influisce sul gestore della scalabilità automatica, che scala in base all'utilizzo delle risorse dominanti del cluster.