關於 GKE 中 AI/機器學習工作負載的加速器用量選項

本頁面說明可用的技術,您可以根據 AI/機器學習工作負載的需求,使用這些技術取得運算加速器,例如 GPU 或 TPU。在 GKE 中,這些技術稱為「加速器消耗選項」。瞭解不同的消耗選項,有助於充分運用資源,避免資源使用率過低、提高取得資源的可能性,並平衡成本和效能。

本頁面適用於平台管理員和操作員,他們會與機器學習 (ML) 工程師協調,取得必要資源,成功部署 AI/機器學習工作負載。

如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。

瞭解計費模式

您可以選取下列任一選項,在 GKE 上使用加速器:

  • 隨選:在 GKE 上使用 TPU 或 GPU,不預先安排運算資源。要求資源前,您必須有足夠的隨選配額,可供特定類型和數量的加速器使用。隨選是最有彈性的用量選項,但無法保證有足夠的隨選資源可滿足您的要求。
  • 預留:預留資源一段時間。預留項目可以是下列任一項:
    • 未來預留項目:預留未來特定時間的資源,通常時間較長。在該期間內,您擁有預留資源的獨占存取權。如要預留未來資源,請與客戶技術顧問 (TAM) 聯絡。詳情請參閱 TPU 和 GPU 指南。
    • 未來預留項目最多 90 天 (日曆模式):您可要求指定時間範圍的容量,日曆顧問會建議可用的日期。未來預留項目最長可達 90 天 (在日曆模式下),可讓您更靈活地縮短時間長度,並自行搜尋容量。詳情請參閱「日曆模式的未來預留項目要求」。
    • 隨需預留項目:您可以要求在容量可用時立即佈建隨需預留項目,類似於隨需選項。預留項目生效後,無論是否使用,都必須支付資源費用。
  • 彈性啟動:您可為短期工作負載取得密集分配的資源,不需預留。您要求特定數量的 GPU 或 TPU,Compute Engine 會在有可用容量時佈建。GPU 或 TPU 最多可不中斷運作七天。詳情請參閱「彈性啟動佈建」。
  • Spot:您佈建 Spot VM,可享有大幅折扣,但 Spot VM 可能隨時遭到先占,並在 30 秒前發出警告。詳情請參閱「Spot VM」。

如要在運算資源受限的情況下,盡可能提高佈建成功率,您可以使用 ComputeClasses 安排這些選項。

瞭解 GKE 的加速器配額

配額和系統限制會限制您使用 Google Cloud 資源,以確保所有 Google Cloud 使用者都能使用資源。配額有預設值,但通常可以申請調整。「系統限制」是固定值,無法變更。根據預設,專案通常不會有大量加速器配額。您必須針對特定加速器類型和區域,提出配額要求並獲得核准。

管理工作負載所需的配額時,請考量下列特性:

  • 您必須為每個消耗選項申請所需配額。如要找出各個消耗選項所需的配額,請參閱「選擇消耗選項」表格中列出的對應「配額」參數。如果配額不足,嘗試建立叢集、節點集區或部署需要加速器的工作負載時,就會失敗並顯示 Quota exceeded 錯誤。

  • 在 Autopilot 中使用自訂 ComputeClass 時,必須申請配額。為符合 ComputeClass 需求而佈建的節點,仍會耗用專案的指定加速器配額。

  • Google Cloud 免費試用帳戶在申請提高 GPU 和 TPU 等高價值資源的配額時,會受到限制。如要使用加速器配額,請升級為付款帳戶。

如要查看及申請配額,請前往 Google Cloud 控制台的「Quotas」(配額) 頁面。您可以篩選加速器配額並要求提高配額。

找出計費模式

請考量下列事項,為 AI/機器學習工作負載選擇最合適的用量選項:

  • 工作負載類型:考量要導入的工作負載類型。執行訓練或推論工作負載時,GKE 需求會有所不同:
    • 訓練:需要高效能資源和大量記憶體。訓練工作負載通常有明確定義的生命週期。這類工作負載通常較容易規劃,因為資源消耗量較不易突然激增。
    • 推論:通常需要經過最佳化的加速器,以提高擴充性並降低成本。資源消耗量突然激增時,推論工作負載可能需要大量加速器記憶體。
  • 根據實作階段判斷生命週期:如果您正在執行概念驗證 (POC)、平台評估、應用程式開發或測試、正式環境化或最佳化,請考量您的業務目標。
  • 佈建時間:判斷工作負載是否需要立即執行,或是否可在日後執行。如果可以日後執行,請判斷開始時間的彈性。
  • 在成本與效能之間取得平衡:評估工作負載效能需求和預算限制,選取最具成本效益的加速器。請權衡加速器的成本和效能特性。請注意,新的加速器可能會帶來更佳的成本效益比。

選擇使用選項

請參考下表選擇計費模式:

計費方案 佈建參數 支援的加速器 詳細資料 工作負載範例
隨需預留項目
  • 佈建時間:立即 (預留項目獲准後)
  • 效期:長期 (依預訂)
  • 任何 GPU (A5X、A4X Max、A4X、A4 或 A3 Ultra 除外)
  • 任何 TPU
  • 費用:系統會向您收取整個預留期間的費用。
  • 配額:配額會在容量提供前自動增加。
  • 長時間執行的大規模工作負載,例如預先訓練基礎模型或多主機推論。
  • 正式環境工作負載。
未來預留項目
  • 佈建時間:立即 (預留項目獲准後)
  • 效期:長期 (依預訂)
  • G2
  • A2
  • 配備 8 個 GPU 的 A3 High
  • A3 Mega
  • A3 Edge
  • 費用:系統會向您收取整個預留期間的費用。
  • 配額:配額會在容量提供前自動增加。
  • 長時間執行的大規模工作負載,例如預先訓練基礎模型或多主機推論。
  • 正式環境工作負載。
未來預留項目最長 90 天 (日曆模式)
  • 佈建時間:立即 (預留項目獲准後)
  • 效期:最長 90 天
  • A4
  • A3 Ultra
  • A3 Mega
  • 配備 8 個 GPU 的 A3 High
  • A3 Edge
  • Ironwood (TPU7x)
  • TPU v6e
  • TPU v5p
  • TPU v5e
  • 費用:折扣價 (最高 53%)。系統會根據預留期限向您收費。
  • 配額:不收取配額。
  • 需要精確開始時間的短期分散式工作負載,例如模型微調、模擬或批次推論。
  • 用於平台評估、基準測試或最佳化測試的工作負載。
彈性啟動佈建模式
  • 佈建時間:隨選 (視供應情形而定)
  • 生命週期:每次分配最多 7 天
  • A5X、A4X Max 或 A4X 以外的所有 GPU 系列
  • 所有 TPU 版本
  • 開始時間有彈性的批次工作負載,例如小型模型訓練、微調或可擴充推論。
  • 概念驗證或整合測試的工作負載。
Spot VM
  • 佈建時間:隨選 (視供應情形而定)
  • 生命週期:不固定,可能在 30 秒前收到警告後遭到先占
  • A5X、A4X Max 或 A4X 以外的所有 GPU 系列
  • 所有 TPU 版本
  • 優先順序較低、可容錯的工作負載,例如 CI/CD、資料分析或高效能運算 (HPC)。
  • 高度可中斷的工作負載。
隨選 (GPU 或 TPU)
  • 佈建時間:立即 (視供應情形而定)
  • 效期:無限制
  • 所有 GPU 系列,但 A5X、A4X Max、A4X、A4、A3 Ultra 或 A3 High (GPU 數量少於 8 個) 除外
  • 所有 TPU 版本
  • 費用:即付即用。
  • 配額:系統會收取 GPU 或 TPU 隨選配額費用。
  • 需要立即執行的一般用途工作負載。
最佳做法:

如要提高取得 GPU 或 TPU VM 等高需求資源的機率,建議使用彈性啟動型 VM、Spot VM、日曆模式的未來預留項目,或容量區塊的未來預留項目。這些消費選項可提高您以折扣價取得高需求資源的機會。只有在無法使用其他用量選項時,才應使用隨選模式。

使用 ComputeClasses 最佳化成本和工作負載佈建

您可以使用 ComputeClasses,定義以優先順序為依據的備用設定清單,動態管理及自動執行加速器消耗策略。在擴充作業期間,GKE 會嘗試根據您設定的優先順序階層佈建節點。

下表列出 ComputeClasses 提供的消耗選項,以及設定方式。如需完整的 YAML 資訊清單,請參閱「ComputeClasses 的用量選項範例」。

  • 預留項目:您可以在 ComputeClass 的 reservations 欄位中定義預留項目名稱。這樣一來,GKE 就會先嘗試使用預留容量,再視情況調整。
  • 彈性啟動佈建模式:使用 ComputeClass 中的 flexStart 欄位啟用彈性佇列,並使用 nodeRecycling 欄位設定備用節點替換時間長度。
  • Spot VM:將 spot 欄位設為 true,指示 GKE 在為該優先順序規則佈建節點時使用 Spot VM。
  • 隨需容量搭配多可用區位置政策:在優先順序清單中宣告標準機器設定,並使用 location 欄位設定備用位置策略。

ComputeClasses 不支援未來預留項目或未來預留項目 (最長 90 天,日曆模式)。

ComputeClasses 計費模式範例

以下各節提供這些策略的設定範例。

具備備用設定的預留項目

這項設定最適合可容忍中斷的工作負載,而非依賴永久資料或需要執行至完成的工作負載。

這項設定會使用下列步驟,建立彈性的備用策略:

  1. 優先使用預留項目:GKE 會嘗試使用您預購的特定預留容量佈建節點。
  2. 改用彈性啟動:如果預留容量已用盡,GKE 會改用短期、折扣的彈性啟動資源。
  3. 改用隨需:最後的備用方案是 GKE 佈建標準隨需資源。
  4. 遷移回預留項目:啟用主動遷移功能後,GKE 會在容量可用時,自動將工作負載整合並遷移回優先順序較高的預留節點。這項遷移作業可能會造成干擾。

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: ha-gpu-fallback
    spec:
      activeMigration:
        optimizeRulePriority: true # Migrate workloads back to reservation when capacity releases
      priorities:
      # Priority 1: Consume specific corporate reservation first
      - gpu:
          type: nvidia-l4
          count: 1
        reservations:
          affinity: Specific
          specific:
          - name: reserved-l4-pool
            project: my-project
            zones: [us-central1-a]
      # Priority 2: Fallback to Flex Start (short-duration allocation)
      - gpu:
          type: nvidia-l4
          count: 1
        flexStart:
          enabled: true
      # Priority 3: Fallback to On-demand resources
      - gpu:
          type: nvidia-l4
          count: 1
    

採用節點回收設定的彈性啟動佈建模式

這項設定會使用下列步驟,管理短時間、折扣的運算資源,並持續運作:

  1. 要求彈性啟動型 VM:GKE 會從彈性啟動佇列要求 VM 執行個體 (最多可不中斷執行七天)。
  2. 監控租約到期時間:GKE 會追蹤使用中彈性啟動節點的剩餘時間。
  3. 觸發節點回收:在 VM 租約到期前 20 分鐘 (1200 秒),GKE 會自動佈建替代節點。
  4. 重新排程工作負載:工作負載會遷移至新節點,並繼續執行,不會中斷服務。

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: flex-node-recycling
    spec:
      priorities:
      - gpu:
          type: nvidia-l4
          count: 1
        flexStart:
          enabled: true
          nodeRecycling:
            leadTimeSeconds: 1200 # Automatically launch replacement node before VM lease expires
    

多可用區分配政策設定

這項設定會透過下列步驟,略過單一可用區供應限制:

  1. 定義目標可用區:在優先順序規則中列出多個備份可用區 (例如 us-central1-a、us-central1-b 和 us-central1-c)。
  2. 擴大指定參數:您將地區政策設為 ANY。這項設定會指示叢集自動配置器在所有指定可用區中,搜尋要求的容量。
  3. 分析可用區可用性:在擴充資源時,GKE 會掃描指定可用區。
  4. 在可用區域佈建:GKE 會立即在容量相符的目標區域佈建要求的工作負載節點。這項策略可防止分配佇列發生阻塞。

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: broad-zonal-serving
    spec:
      priorities:
      - gpu:
          type: nvidia-l4
          count: 1
        location:
          zones: [us-central1-a, us-central1-b, us-central1-c]
          locationPolicy: ANY # Provision accelerator in any target zone with supply
    

後續步驟