Nouvelles fonctionnalités et améliorations
- Types de machines de VM flexibles : à partir de la version d'image
4.0, lorsque vous créez un cluster sans spécifier de type de machine pour un nœud de cluster, Managed Service for Apache Spark spécifie le nœud avec une liste classée de types de machines de VM flexibles, par exemple une liste classée de types de machines des séries N4, N2 et E2, la liste étant optimisée pour la disponibilité des ressources.
Limites
Apache Hudi : Apache Hudi n'est pas compatible avec la version d'image
4.0.Métastores avec Hive 4.2 : la version d'image
4.0n'est pas compatible avec BigQuery Metastore, BigLake Metastore ni Dataproc Metastore avec Hive 4.2 (les requêtes Hive directes utilisant ces métastores ne sont pas acceptées).Delta Lake avec Hive : Delta Lake
4.x, qui est inclus dans la version d'image4.0de Managed Service pour Apache Spark, n'est pas compatible avec Hive (les requêtes sur les tables Delta Lake 4.4 ne peuvent pas être exécutées sur Hive).
Remarques :
Versions de Java : la version d'image
4.0inclut Java 25 pour les charges de travail Spark. Java 21 est inclus pour assurer la rétrocompatibilité.Filtrage des propriétés Iceberg Spark : sur les clusters 4.0 standards, si le composant
icebergfacultatif est omis, les extensions de session Iceberg et les catalogues par défaut sont automatiquement filtrés à partir despark-defaults.conflors de l'activation du cluster.Clusters GPU : toutes les versions d'image
4.0, à l'exception de4.0-ml-ubuntu, activentcgroups V2. Étant donné que YARN n'est pas compatible avec la détection de GPU lorsquecgroups V2est activé, vous devez utiliser l'image4.0-ml-ubuntulorsque vous créez des clusters avec des GPU.La version
4.0est une image légère qui ne contient que les composants de base, ce qui réduit l'exposition aux failles et expositions courantes (CVE). Pour répondre à des exigences de conformité de sécurité plus strictes, utilisez la version d'image2.3ou une version ultérieure lorsque vous créez un cluster Managed Service pour Apache Spark.Composants facultatifs préinstallés : les composants facultatifs suivants sont préinstallés dans les images 4.0 et sont activés si vous les incluez lors de la création du cluster :
- Apache Iceberg
- Delta Lake
Vous devez spécifier les composants facultatifs que vous souhaitez installer lorsque vous créez un cluster. Pour en savoir plus, consultez Ajouter des composants facultatifs.
L'exemple suivant montre la commande Google Cloud CLI permettant de créer un cluster avec des composants facultatifs :gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
Le simulateur de ressources par défaut pour YARN est passé de DefaultResourceCalculator à DominantResourceCalculator, qui utilise le concept de ressource dominante pour déterminer l'allocation des ressources, telles que la mémoire et le processeur. Ce changement affecte l'autoscaler, qui effectue un scaling en fonction de l'utilisation des ressources dominantes du cluster.