本文說明將工作負載政策與代管執行個體群組 (MIG) 搭配使用時,適用的規定和限制。根據預設,您只需指定可用區,即可管理 Compute Engine 執行個體的位置。工作負載政策可讓您定義可用區內運算執行個體的實體位置和拓撲。舉例來說,您可以將運算執行個體放在彼此相近的位置,盡量減少網路延遲時間。
工作負載政策只能套用至使用 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU)、H4D 或 TPU (TPU7x、v6e 或 v5p) 執行個體的 MIG。如果您使用 A4X Max 或 A4X 執行個體,或建立具有多主機 TPU 切片的 MIG,則必須採用工作負載政策,除非您建立單一運算執行個體用於測試。至於其他支援的機器系列,則可視需要選用工作負載政策。
如要控管使用其他機器系列的運算執行個體配置,請使用配置政策。
瞭解工作負載政策
以下各節說明工作負載政策用途,以及建立工作負載政策時指定的屬性。
管理運算執行個體位置和拓撲
建立工作負載政策並套用至 MIG 後,工作負載政策可協助您達成下列目標:
建立彼此靠近的運算執行個體:如果容量充足,Compute Engine 會建立彼此靠近的運算執行個體。否則 Compute Engine 只會建立部分或不建立您要求的運算執行個體。
掌握運算執行個體拓撲:將高處理量 (
HIGH_THROUGHPUT) 類型的政策套用至 MIG,且 MIG 建立運算執行個體後,您就能查看運算執行個體之間的相對位置。這項資訊有助於盡可能縮短網路延遲時間,以及排解錯誤。詳情請參閱「查看 Compute Engine 執行個體的實體位置」。
您可以將相同的工作負載政策套用至多個 MIG。在這種情況下,Compute Engine 會分別對每個 MIG 套用配置規則。
下一節說明建立工作負載政策時必須指定的屬性。
設定工作負載政策屬性
建立工作負載政策時,必須指定下列屬性:
工作負載類型 (
type):這個欄位定義叢集的高階目標。您只能指定HIGH_THROUGHPUT,指示 Compute Engine 盡可能將運算執行個體放在一起,以加快通訊速度。視 MIG 中運算執行個體使用的機器系列而定,您可以視需要指定下列其中一項屬性:
加速器拓撲 (
acceleratorTopology):這項屬性可協助您在使用專用加速器間網路設定的多個 A4X Max 或 A4X 執行個體,或多主機 TPU 切片上執行的分散式工作負載,達到高效能。詳情請參閱「加速器拓撲屬性」。最大拓撲距離 (
maxTopologyDistance):這項屬性定義建立 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體時,最嚴格的實體邊界,例如相同區塊或子區塊。如果 Compute Engine 因資源可用性錯誤而無法滿足這項嚴格限制,則只會建立部分或不建立您要求的運算執行個體。詳情請參閱「拓撲距離上限屬性」。
加速器拓撲屬性
為實現大規模、無阻塞的網路效能,Compute Engine 會將 A4X Max 和 A4X 執行個體組織成模塊和子模塊的實體階層。
如要建立含有 A4X Max 或 A4X 執行個體,或多主機 TPU 磁片的 MIG,您必須對 MIG 套用工作負載政策,指定加速器拓撲 (acceleratorTopology) 屬性。這項屬性定義了運算執行個體切片的實體網路設定。切片就像單一大型加速器,可為分散式 AI 或機器學習工作負載提供最大處理量。
下表列出 A4X Max 和 A4X 的加速器拓撲值。如要進一步瞭解多主機 TPU slice 的拓撲值,請參閱「TPU 拓撲」。
| 加速器拓撲值 | 說明 | 支援的機器系列 | 運算執行個體數量上限 |
|---|---|---|---|
1x72 |
Compute Engine 會將運算執行個體密集分配至子區塊,每個子區塊有 18 個運算執行個體,共 72 個 GPU。由於每個子區塊都需要專屬的 MIG,因此每個 MIG 最多可以建立 18 個運算執行個體。一個完整區塊包含 25 個 MIG,共 450 個運算執行個體。 | A4X Max 和 A4X | 18 |
如要進一步瞭解 A4X Max 和 A4X 執行個體,請參閱「A4X Max 和 A4X 機器系列」。
拓撲距離上限屬性
建立工作負載政策並套用至 MIG 時,Compute Engine 會盡可能將運算執行個體放在相近的位置。如需在可用區內更靠近實體位置,可以指定拓撲距離上限 (maxTopologyDistance) 屬性。指定拓撲距離上限,Compute Engine 就會將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體,放在同一個叢集、模塊或子模塊。
決定是否要指定拓撲距離上限時,請考量嚴格的實體共置,與運算執行個體可用性和容量保證之間的取捨:
未指定距離:您優先考量運算執行個體可用性和容量保證,而非嚴格的共置。不過,如果容量受限,Compute Engine 可能會將運算執行個體放置在應用程式無法容忍的距離。
指定距離:您需要更近的實體共置位置,以降低網路延遲,這會直接降低運算執行個體的可取得性和容量保證。如果放置要求過於嚴格,超出可用區的可用容量,可能會發生資源可用性錯誤。如要解決這些錯誤,請使用拓撲距離上限值較寬鬆的工作負載政策,例如
CLUSTER(而非SUBBLOCK),或是不指定值。
下表列出拓撲距離最大值和支援的機器系列:
| 拓撲距離上限值 | 說明 | 支援的機器系列 | 運算執行個體數量上限 |
|---|---|---|---|
| 未指定 | Compute Engine 會優先確保運算執行個體可用性和容量。Compute Engine 會盡可能將運算執行個體放在最靠近彼此的位置,但不保證可用區內的最大距離。如果容量受限,Compute Engine 可能會將運算執行個體放置在超出應用程式容許範圍的位置。 | A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 和 H4D | 1,500 |
CLUSTER |
Compute Engine 會在叢集內的相鄰區塊中建立運算執行個體。 | A4 和 H4D | 1,500 |
BLOCK |
Compute Engine 會在同一個區塊中建立運算執行個體。 | A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D |
|
SUBBLOCK |
Compute Engine 會在同一個子區塊中建立運算執行個體,盡可能縮短網路延遲時間。 | A4、A3 Ultra 和 H4D | 22 |
定價
建立、刪除或將工作負載政策套用至 MIG,不會產生額外費用。
支援的機器系列
工作負載政策只能套用至 MIG,且 MIG 的運算執行個體必須使用下列機器系列和佈建模式組合:
| 機器系列 | 彈性啟動 | Spot | 取決於預留項目 | 標準 |
|---|---|---|---|---|
| A4X Max | 否 | 否 | 是 | 否 |
| A4X | 否 | 否 | 是 | 否 |
| A4 | 是 | 是 | 是 | 否 |
| A3 Ultra | 是 | 是 | 是 | 否 |
| A3 Mega | 否 | 是 | 是 | 否 |
| A3 High (8 個 GPU) | 否 | 是 | 是 | 否 |
| H4D | 是 | 是 | 是 | 否 |
| TPU7x | 是 | 是 | 是 | 是 |
| TPU v6e | 是 | 是 | 是 | 是 |
| TPU v5p | 是 | 是 | 是 | 是 |
限制
MIG 的工作負載政策有下列限制:
只有在 MIG 中沒有運算執行個體時,才能將工作負載政策套用至現有 MIG,或變更其工作負載政策。
只有在區域性 MIG 使用下列分配目標型態時,才能套用工作負載政策:
針對有目標大小的 MIG:
ANY或ANY_SINGLE_ZONEMIG 大小調整要求:
ANY_SINGLE_ZONE
工作負載政策建立後即無法更新。
如果 MIG 使用工作負載政策,就無法設定第二個執行個體範本。
工作負載政策和配置政策無法同時使用。
後續步驟
瞭解如何建立 MIG 適用的工作負載政策。
瞭解如何查看工作負載政策。