Fitur dan Peningkatan Baru
- Jenis mesin VM fleksibel: Mulai dari versi image
4.0, saat Anda membuat cluster tanpa menentukan jenis mesin untuk node cluster, Managed Service untuk Apache Spark akan menentukan node dengan daftar peringkat jenis mesin VM fleksibel, seperti daftar peringkat jenis mesin seri N4, N2, dan E2, dengan daftar yang dioptimalkan untuk ketersediaan resource.
Batasan
Apache Hudi: Apache Hudi tidak didukung di image versi
4.0.Metastore dengan Hive 4.2: Image version
4.0tidak mendukung BigQuery Metastore, BigLake Metastore, atau Dataproc Metastore dengan Hive 4.2 (kueri Hive langsung yang menggunakan metastore ini tidak didukung).Delta Lake dengan Hive: Delta Lake
4.x, yang disertakan dalam Managed Service untuk Apache Spark versi image4.0, tidak mendukung Hive (kueri pada tabel Delta Lake 4.4 tidak dapat dieksekusi di Hive).
Catatan:
Versi Java: Versi image
4.0menyertakan Java 25 untuk workload Spark. Java 21 disertakan untuk kompatibilitas mundur.Pemfilteran properti Iceberg Spark: Pada cluster 4.0 standar, jika komponen
icebergopsional dihilangkan, ekstensi sesi Iceberg dan katalog default akan otomatis difilter darispark-defaults.confselama aktivasi cluster.Cluster GPU: Semua versi image
4.0kecuali4.0-ml-ubuntumengaktifkancgroups V2. Karena YARN tidak mendukung penemuan GPU saatcgroups V2diaktifkan, Anda harus menggunakan image4.0-ml-ubuntusaat membuat cluster dengan GPU.Versi
4.0adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan image versi2.3atau yang lebih baru saat membuat cluster Managed Service untuk Apache Spark.Komponen opsional yang telah diinstal sebelumnya: Komponen opsional berikut telah diinstal sebelumnya dalam image 4.0 dan diaktifkan jika Anda menyertakannya selama pembuatan cluster:
- Apache Iceberg
- Delta Lake
Anda harus menentukan komponen opsional yang ingin diinstal saat membuat cluster. Untuk mengetahui informasi selengkapnya, lihat Menambahkan komponen opsional.
Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat cluster dengan komponen opsional:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Autoscaler, yang melakukan penskalaan berdasarkan penggunaan resource dominan cluster.