2.2 イメージ バージョンの既知の問題と制限事項:
以前のエージェントは 2.2 イメージ バージョンのクラスタにインストールされません。monitoring-agent-defaults は Ops エージェントがインストールされていない限り使用できません注: OSS 指標とロギングは、Managed Service for Apache Spark コンポーネントで使用できます。
Ops エージェントがインストールされていない限り、サードパーティ アプリケーションのロギングまたはモニタリングは使用できません。
注:
2.2.x-*-armイメージは、プリインストールされたコンポーネントと次のオプション コンポーネントのみをサポートします。その他の 2.2 オプション コンポーネントとすべての初期化アクションはサポートされていません。- Apache Hive WebHCat
- Apache Pig(
2.2.75-ubuntu22-arm以降) - Docker
- Zeppelin
- Zookeeper(高可用性クラスタにインストール済み。他のクラスタではオプション コンポーネント)
相互ライセンスと制限付きライセンスで使用許可取得済みのイメージ 2.2 ライブラリのソースコードは、Managed Service for Apache Spark クラスタ VM 上の
/usr/local/share/google/managed-spark/third-party-sourcesパスで入手できます。次の Hudi プロシージャは、Cloud Storage ファイル システムを基盤とする Hudi テーブルでは機能しないことが知られています。
run_clusteringrun_compaction
YARN のデフォルトのリソース計算ツール方式が DefaultResourceCalculator から DominantResourceCalculator に変更されました。DominantResourceCalculator は、メモリや CPU などの支配的リソースの概念を使用して、リソース割り当てを決定します。この変更は、クラスタの支配的リソース使用量に基づいてスケーリングする Autoscaler に影響します。
Apache Iceberg のバージョン: 2.2 イメージでは、Apache Iceberg はバージョン
1.6.1と1.10で使用できます。デフォルトのバージョンは1.6.1です。2.2 クラスタで Iceberg バージョンを指定するには、クラスタの作成時にdataproc:dataproc.iceberg.versionクラスタ プロパティを1.10(または1.6)に設定します。