Bekannte Probleme und Beschränkungen der Image-Version 2.2 :
In Clustern mit der Image-Version 2.2 sind keine Legacy-Agents installiert. Die Standardeinstellungen für den Monitoring-Agent sind nur verfügbar, wenn der Ops-Agent installiert ist. Hinweis: OSS-Messwerte und -Logging sind für Managed Service for Apache Spark-Komponenten verfügbar.
Logging oder Monitoring für Drittanbieteranwendungen sind nicht verfügbar es sei denn, der Ops-Agent ist installiert.
Hinweise :
2.2.x-*-armImages unterstützen nur die vorinstallierten Komponenten und die folgenden optionalen Komponenten. Die anderen optionalen Komponenten der Version 2.2 und alle Initialisierungsaktionen werden nicht unterstützt:- Apache Hive WebHCat
- Apache Pig (ab
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (in Clustern mit hoher Verfügbarkeit installiert; optionale Komponente in anderen Clustern)
Der Quellcode für Image-2.2-Bibliotheken, die unter wechselseitigen und eingeschränkten Lizenzen lizenziert sind, ist auf den VMs von Managed Service for Apache Spark-Clustern unter
/usr/local/share/google/managed-spark/third-party-sourcesverfügbar.Die folgenden Hudi-Prozeduren funktionieren bekanntermaßen nicht in einer Hudi-Tabelle, die durch das Cloud Storage-Dateisystem gesichert wird:
run_clusteringrun_compaction
Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculatorgeändert, der das Konzept der dominanten Ressource verwendet, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf die automatische Skalierungaus, die auf der Grundlage der dominanten Ressourcennutzung des Clusters skaliert.
Apache Iceberg-Version: In 2.2-Images ist Apache Iceberg in den Versionen
1.6.1und1.10verfügbar. Die Standardversion ist1.6.1. Wenn Sie die Iceberg-Version in einem beliebigen 2.2-Cluster angeben möchten, legen Sie beim Erstellen des Clusters die Clustereigenschaftdataproc:dataproc.iceberg.versionauf1.10(oder1.6) fest.