MIG 中的工作負載政策簡介

本文說明將工作負載政策與代管執行個體群組 (MIG) 搭配使用時,適用的規定和限制。根據預設,您只需指定可用區,即可管理 Compute Engine 執行個體的位置。工作負載政策可讓您定義可用區內運算執行個體的實體位置和拓撲。舉例來說,您可以將運算執行個體放在彼此相近的位置,盡量減少網路延遲時間。

工作負載政策只能套用至使用 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU)、H4D 或 TPU (TPU7x、v6e 或 v5p) 執行個體的 MIG。如果您使用 A4X Max 或 A4X 執行個體,或建立具有多主機 TPU 切片的 MIG,則必須採用工作負載政策,除非您建立單一運算執行個體用於測試。至於其他支援的機器系列,則可視需要選用工作負載政策。

如要控管使用其他機器系列的運算執行個體配置,請使用配置政策。

瞭解工作負載政策

以下各節說明工作負載政策用途,以及建立工作負載政策時指定的屬性。

管理運算執行個體位置和拓撲

建立工作負載政策並套用至 MIG 後,工作負載政策可協助您達成下列目標:

  • 建立彼此靠近的運算執行個體:如果容量充足,Compute Engine 會建立彼此靠近的運算執行個體。否則 Compute Engine 只會建立部分或不建立您要求的運算執行個體。

  • 掌握運算執行個體拓撲:將高處理量 (HIGH_THROUGHPUT) 類型的政策套用至 MIG,且 MIG 建立運算執行個體後,您就能查看運算執行個體之間的相對位置。這項資訊有助於盡可能縮短網路延遲時間,以及排解錯誤。詳情請參閱「查看 Compute Engine 執行個體的實體位置」。

您可以將相同的工作負載政策套用至多個 MIG。在這種情況下,Compute Engine 會分別對每個 MIG 套用配置規則。

下一節說明建立工作負載政策時必須指定的屬性。

設定工作負載政策屬性

建立工作負載政策時,必須指定下列屬性:

  • 工作負載類型 (type):這個欄位定義叢集的高階目標。您只能指定 HIGH_THROUGHPUT,指示 Compute Engine 盡可能將運算執行個體放在一起,以加快通訊速度。

  • 視 MIG 中運算執行個體使用的機器系列而定,您可以視需要指定下列其中一項屬性:

    • 加速器拓撲 (acceleratorTopology):這項屬性可協助您在使用專用加速器間網路設定的多個 A4X Max 或 A4X 執行個體,或多主機 TPU 切片上執行的分散式工作負載,達到高效能。詳情請參閱「加速器拓撲屬性」。

    • 最大拓撲距離 (maxTopologyDistance):這項屬性定義建立 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體時,最嚴格的實體邊界,例如相同區塊或子區塊。如果 Compute Engine 因資源可用性錯誤而無法滿足這項嚴格限制,則只會建立部分或不建立您要求的運算執行個體。詳情請參閱「拓撲距離上限屬性」。

加速器拓撲屬性

為實現大規模、無阻塞的網路效能,Compute Engine 會將 A4X Max 和 A4X 執行個體組織成模塊和子模塊的實體階層。

如要建立含有 A4X Max 或 A4X 執行個體,或多主機 TPU 磁片的 MIG,您必須對 MIG 套用工作負載政策,指定加速器拓撲 (acceleratorTopology) 屬性。這項屬性定義了運算執行個體切片的實體網路設定。切片就像單一大型加速器,可為分散式 AI 或機器學習工作負載提供最大處理量。

下表列出 A4X Max 和 A4X 的加速器拓撲值。如要進一步瞭解多主機 TPU slice 的拓撲值,請參閱「TPU 拓撲」。

加速器拓撲值 說明 支援的機器系列 運算執行個體數量上限
1x72 Compute Engine 會將運算執行個體密集分配至子區塊,每個子區塊有 18 個運算執行個體,共 72 個 GPU。由於每個子區塊都需要專屬的 MIG,因此每個 MIG 最多可以建立 18 個運算執行個體。一個完整區塊包含 25 個 MIG,共 450 個運算執行個體。 A4X Max 和 A4X 18

如要進一步瞭解 A4X Max 和 A4X 執行個體,請參閱「A4X Max 和 A4X 機器系列」。

拓撲距離上限屬性

建立工作負載政策並套用至 MIG 時,Compute Engine 會盡可能將運算執行個體放在相近的位置。如需在可用區內更靠近實體位置,可以指定拓撲距離上限 (maxTopologyDistance) 屬性。指定拓撲距離上限,Compute Engine 就會將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體,放在同一個叢集、模塊或子模塊。

決定是否要指定拓撲距離上限時,請考量嚴格的實體共置,與運算執行個體可用性和容量保證之間的取捨:

  • 未指定距離:您優先考量運算執行個體可用性和容量保證,而非嚴格的共置。不過,如果容量受限,Compute Engine 可能會將運算執行個體放置在應用程式無法容忍的距離。

  • 指定距離:您需要更近的實體共置位置,以降低網路延遲,這會直接降低運算執行個體的可取得性和容量保證。如果放置要求過於嚴格,超出可用區的可用容量,可能會發生資源可用性錯誤。如要解決這些錯誤,請使用拓撲距離上限值較寬鬆的工作負載政策,例如 CLUSTER (而非 SUBBLOCK),或是不指定值。

下表列出拓撲距離最大值和支援的機器系列:

拓撲距離上限值 說明 支援的機器系列 運算執行個體數量上限
未指定 Compute Engine 會優先確保運算執行個體可用性和容量。Compute Engine 會盡可能將運算執行個體放在最靠近彼此的位置,但不保證可用區內的最大距離。如果容量受限,Compute Engine 可能會將運算執行個體放置在超出應用程式容許範圍的位置。 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 和 H4D 1,500
CLUSTER Compute Engine 會在叢集內的相鄰區塊中建立運算執行個體。 A4 和 H4D 1,500
BLOCK Compute Engine 會在同一個區塊中建立運算執行個體。 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D
  • A4 或 H4D:150
  • A3 Ultra、A3 Mega 或 A3 High (8 個 GPU):256
SUBBLOCK Compute Engine 會在同一個子區塊中建立運算執行個體,盡可能縮短網路延遲時間。 A4、A3 Ultra 和 H4D 22

定價

建立、刪除或將工作負載政策套用至 MIG,不會產生額外費用。

支援的機器系列

工作負載政策只能套用至 MIG,且 MIG 的運算執行個體必須使用下列機器系列和佈建模式組合:

機器系列 彈性啟動 Spot 取決於預留項目 標準
A4X Max 否 否 是 否
A4X 否 否 是 否
A4 是 是 是 否
A3 Ultra 是 是 是 否
A3 Mega 否 是 是 否
A3 High (8 個 GPU) 否 是 是 否
H4D 是 是 是 否
TPU7x 是 是 是 是
TPU v6e 是 是 是 是
TPU v5p 是 是 是 是

限制

MIG 的工作負載政策有下列限制:

  • 只有在 MIG 中沒有運算執行個體時,才能將工作負載政策套用至現有 MIG,或變更其工作負載政策。

  • 只有在區域性 MIG 使用下列分配目標型態時,才能套用工作負載政策:

    • 針對有目標大小的 MIG:ANY 或 ANY_SINGLE_ZONE

    • MIG 大小調整要求:ANY_SINGLE_ZONE

  • 工作負載政策建立後即無法更新。

  • 如果 MIG 使用工作負載政策,就無法設定第二個執行個體範本。

  • 工作負載政策和配置政策無法同時使用。

後續步驟