Managed Service for Apache Spark 強化版彈性模式 (EFM) 會管理重組資料,盡可能縮短從運作中的叢集移除節點時,產生的工作進度延遲。EFM 會將資料寫入主要 worker,藉此卸載重組資料。在 reduce 階段,worker 會從這些遠端節點提取資料。這個模式僅適用於 Spark 工作。
由於 EFM 不會在次要 worker 上儲存中繼重組資料,因此非常適合使用先占 VM 或僅自動調度資源次要 worker 群組的叢集。
Managed Service for Apache Spark 2.0.31+、2.1.6+、2.2+ 和後續映像檔版本支援 EFM。
- 不支援 AppMaster 重新配置的 Apache Hadoop YARN 工作,在增強彈性模式下可能會失敗 (請參閱「何時應等待 AppMaster 完成」)。
- 不建議在下列情況使用強化版彈性模式:
- 在只有主要 worker 的叢集上
- 串流工作,因為工作完成後,最多可能需要 30 分鐘才能清除中繼重組資料。
- 在執行筆記本的叢集上,因為重組資料可能不會在工作階段期間清除。
- 在啟用安全停用功能的叢集上執行 Spark 工作時,安全停用和 EFM 可能會互相衝突,因為 YARN 安全停用機制會保留「停用中」節點,直到所有相關應用程式完成為止。
- 在同時執行 Spark 和非 Spark 工作的叢集上。
- 不支援強化彈性模式:
- 啟用主要 worker 自動調整資源配置時。在多數情況下,主要 worker 會繼續儲存未自動遷移的重組資料。縮減主要 worker 群組會抵消 EFM 的優勢。
使用強化版彈性模式
建立叢集時,將 dataproc:efm.spark.shuffle 叢集屬性設為 primary-worker,即可啟用強化版彈性模式。
範例:
gcloud dataproc clusters create cluster-name \ --region=region \ --properties=dataproc:efm.spark.shuffle=primary-worker \ other flags ...
Apache Spark 範例
- 使用 EFM 叢集上的 Spark 範例 jar,對公開的莎士比亞文字執行 WordCount 工作。
gcloud dataproc jobs submit spark \ --cluster=cluster-name \ --region=region \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class=org.apache.spark.examples.JavaWordCount \ -- gs://apache-beam-samples/shakespeare/macbeth.txt
設定本機 SSD
由於 EFM 會將中繼重組資料寫入 VM 附加磁碟,因此可受益於本機 SSD 提供的額外處理量和 IOPS。設定主要 worker 機器時,建議每 4 個 vCPU 搭配約 1 個本機 SSD 分區,以便分配資源。
如要連接本機 SSD,請將 --num-worker-local-ssds 旗標傳遞至 gcloud Managed Service for Apache Spark clusters create 指令。
一般來說,次要工作站不需要本機 SSD。將本機 SSD 新增至叢集的次要 worker (使用 --num-secondary-worker-local-ssds 旗標) 通常較不重要,因為次要 worker 不會在本機寫入重組資料。不過,由於本機 SSD 可提升本機磁碟效能,如果您預期工作會因使用本機磁碟而受限於 I/O (例如工作使用大量本機磁碟做為暫存空間,或分區過大而無法放入記憶體,會溢出至磁碟),則可考慮將本機 SSD 新增至次要 worker。
次要 worker 比例
由於次要 worker 會將 shuffle 資料寫入主要 worker,因此叢集必須包含足夠的主要 worker,且具備充足的 CPU、記憶體和磁碟資源,才能容納工作的 shuffle 負載。如果是自動調度資源叢集,請在主要 worker 群組的自動調度資源政策中,將 minInstances 設為 maxInstances 值,防止主要群組調度資源,導致非預期的行為。
如果次要與主要 worker 的比例偏高 (例如 10:1),請監控主要 worker 的 CPU 使用率、網路和磁碟用量,判斷是否過載。現在說明一下操作方式:
勾選主要 worker 左側的核取方塊。
按一下「MONITORING」(監控) 分頁標籤,查看主要 worker 的 CPU 使用率、磁碟 IOPS、網路位元組和其他指標。
如果主要 worker 超載,請考慮手動擴充主要 worker。
調整主要 worker 群組的大小
主要 worker 群組可以安全地擴充,但縮減主要 worker 群組可能會對工作進度造成負面影響。縮減主要 worker 群組規模的操作應使用安全停用程序,只要設定 --graceful-decommission-timeout 旗標即可啟用。
自動調度資源叢集:如果 EFM 叢集設有自動調度資源政策,則無法調度主要 worker 群組資源。如要調整自動調度資源叢集的主要 worker 群組大小,請按照下列步驟操作:
停用自動調度資源。
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --disable-autoscaling
擴充主要群組。
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --num-workers=num-primary-workers \ --graceful-decommission-timeout=graceful-decommission-timeout # (if downscaling)
重新啟用自動調度資源功能:
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --autoscaling-policy=autoscaling-policy
監控主要 worker 磁碟用量
主要 worker 必須有足夠的磁碟空間,才能存放叢集的重組資料。您可以透過 remaining HDFS capacity 指標間接監控這項指標。本機磁碟填滿後,HDFS 就無法使用空間,剩餘容量也會減少。
根據預設,當主要 worker 的本機磁碟用量超過容量的 90% 時,節點會在 YARN 節點 UI 中標示為「UNHEALTHY」(健康狀態不良)。如果遇到磁碟容量問題,可以從 HDFS 刪除未使用的資料,或擴充主要 worker 集區。
進階設定
分區和平行處理
提交 Spark 工作時,請設定適當的分區層級。決定重組階段的輸入和輸出分區數量時,必須在不同的效能特性之間做出取捨。建議您嘗試各種值,找出最適合工作型態的設定。
輸入分區
Spark 和 MapReduce 輸入分區是由輸入資料集決定。從 Cloud Storage 讀取檔案時,每項工作會處理大約一個「區塊大小」的資料。
如果是 Spark SQL 工作,分區大小上限是由
spark.sql.files.maxPartitionBytes控制。建議將記憶體增加至 1 GB:spark.sql.files.maxPartitionBytes=1073741824。如果是 Spark RDD,分區大小通常由
fs.gs.block.size控制,預設值為 128 MB。建議增加至 1 GB。 範例:--properties spark.hadoop.fs.gs.block.size=1073741824
輸出分區
後續階段的工作數量由多個屬性控制。如果工作較大,處理量超過 1 TB,建議每個分區至少有 1 GB 的空間。
如果是 Spark SQL,輸出分區數量是由
spark.sql.shuffle.partitions控制。如果 Spark 工作使用 RDD API,您可以指定輸出分區數量或設定
spark.default.parallelism。
主要 worker 重組作業的重組調整
最重要的屬性是 --properties yarn:spark.shuffle.io.serverThreads=<num-threads>。請注意,這是叢集層級的 YARN 屬性,因為 Spark shuffle 伺服器會做為 Node Manager 的一部分執行。預設值為機器核心數量的兩倍 (2x),例如 n1-highmem-8 上的 16 個執行緒。如果「Shuffle Read Blocked Time」大於 1 秒,且主要 worker 未達到網路、CPU 或磁碟限制,建議增加 shuffle 伺服器執行緒數量。
在較大的機型上,建議您提高 spark.shuffle.io.numConnectionsPerPeer (預設值為 1)。(例如,將每對主機的連線數設為 5)。
增加重試次數
如要設定應用程式主節點、工作和階段的嘗試次數上限,請設定下列屬性:
yarn:yarn.resourcemanager.am.max-attempts spark:spark.task.maxFailures spark:spark.stage.maxConsecutiveAttempts
在使用許多先占 VM 或自動調度資源,但未安全停用的叢集中,應用程式主節點和工作會更頻繁地終止,因此在這些叢集中提高上述屬性的值可能會有幫助 (請注意,不支援搭配使用 EFM 與 Spark 和安全停用)。
EFM 叢集上的 YARN 安全停用
YARN 安全停用功能可快速移除節點,盡可能降低對執行中應用程式的影響。如果是自動調度資源叢集,您可以在附加至 EFM 叢集的 AutoscalingPolicy 中,設定安全停用逾時時間。
EFM 強化安全停用功能
由於中繼資料儲存在分散式檔案系統中,因此只要在節點上執行的所有容器都已完成,就可以從 EFM 叢集移除節點。相較之下,標準 Managed Service for Apache Spark 叢集在應用程式完成前,不會移除節點。
節點移除作業不會等待節點上執行的應用程式主節點完成。應用程式主容器終止後,系統會將其重新排程至另一個未停用的節點。工作進度不會遺失:新的應用程式主節點會讀取工作記錄,快速復原先前應用程式主節點的狀態。