本頁面說明可用的技術,您可以根據 AI/機器學習工作負載的需求,使用這些技術取得運算加速器,例如 GPU 或 TPU。在 GKE 中,這些技術稱為「加速器消耗選項」。瞭解不同的消耗選項,有助於充分運用資源,避免資源使用率過低、提高取得資源的可能性,並平衡成本和效能。
本頁面適用於平台管理員和操作員,他們會與機器學習 (ML) 工程師協調,取得必要資源,成功部署 AI/機器學習工作負載。
如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。
瞭解計費模式
您可以選取下列任一選項,在 GKE 上使用加速器:
- 隨選:在 GKE 上使用 TPU 或 GPU,不預先安排運算資源。要求資源前,您必須有足夠的隨選配額,可供特定類型和數量的加速器使用。隨選是最有彈性的用量選項,但無法保證有足夠的隨選資源可滿足您的要求。
- 預留:預留資源一段時間。預留項目可以是下列任一項:
- 未來預留項目:預留未來特定時間的資源,通常時間較長。在該期間內,您擁有預留資源的獨占存取權。如要預留未來資源,請與客戶技術顧問 (TAM) 聯絡。詳情請參閱 TPU 和 GPU 指南。
- 未來預留項目最多 90 天 (日曆模式):您可要求指定時間範圍的容量,日曆顧問會建議可用的日期。未來預留項目最長可達 90 天 (在日曆模式下),可讓您更靈活地縮短時間長度,並自行搜尋容量。詳情請參閱「日曆模式的未來預留項目要求」。
- 隨需預留項目:您可以要求在容量可用時立即佈建隨需預留項目,類似於隨需選項。預留項目生效後,無論是否使用,都必須支付資源費用。
- 彈性啟動:您可為短期工作負載取得密集分配的資源,不需預留。您要求特定數量的 GPU 或 TPU,Compute Engine 會在有可用容量時佈建。GPU 或 TPU 最多可不中斷運作七天。詳情請參閱「彈性啟動佈建」。
- Spot:您佈建 Spot VM,可享有大幅折扣,但 Spot VM 可能隨時遭到先占,並在 30 秒前發出警告。詳情請參閱「Spot VM」。
如要在運算資源受限的情況下,盡可能提高佈建成功率,您可以使用 ComputeClasses 安排這些選項。
瞭解 GKE 的加速器配額
配額和系統限制會限制您使用 Google Cloud 資源,以確保所有 Google Cloud 使用者都能使用資源。配額有預設值,但通常可以申請調整。「系統限制」是固定值,無法變更。根據預設,專案通常不會有大量加速器配額。您必須針對特定加速器類型和區域,提出配額要求並獲得核准。
管理工作負載所需的配額時,請考量下列特性:
您必須為每個消耗選項申請所需配額。如要找出各個消耗選項所需的配額,請參閱「選擇消耗選項」表格中列出的對應「配額」參數。如果配額不足,嘗試建立叢集、節點集區或部署需要加速器的工作負載時,就會失敗並顯示
Quota exceeded錯誤。在 Autopilot 中使用自訂 ComputeClass 時,必須申請配額。為符合 ComputeClass 需求而佈建的節點,仍會耗用專案的指定加速器配額。
Google Cloud 免費試用帳戶在申請提高 GPU 和 TPU 等高價值資源的配額時,會受到限制。如要使用加速器配額,請升級為付款帳戶。
如要查看及申請配額,請前往 Google Cloud 控制台的「Quotas」(配額) 頁面。您可以篩選加速器配額並要求提高配額。
找出計費模式
請考量下列事項,為 AI/機器學習工作負載選擇最合適的用量選項:
- 工作負載類型:考量要導入的工作負載類型。執行訓練或推論工作負載時,GKE 需求會有所不同:
- 訓練:需要高效能資源和大量記憶體。訓練工作負載通常有明確定義的生命週期。這類工作負載通常較容易規劃,因為資源消耗量較不易突然激增。
- 推論:通常需要經過最佳化的加速器,以提高擴充性並降低成本。資源消耗量突然激增時,推論工作負載可能需要大量加速器記憶體。
- 根據實作階段判斷生命週期:如果您正在執行概念驗證 (POC)、平台評估、應用程式開發或測試、正式環境化或最佳化,請考量您的業務目標。
- 佈建時間:判斷工作負載是否需要立即執行,或是否可在日後執行。如果可以日後執行,請判斷開始時間的彈性。
- 在成本與效能之間取得平衡:評估工作負載效能需求和預算限制,選取最具成本效益的加速器。請權衡加速器的成本和效能特性。請注意,新的加速器可能會帶來更佳的成本效益比。
選擇使用選項
請參考下表選擇計費模式:
| 計費方案 | 佈建參數 | 支援的加速器 | 詳細資料 | 工作負載範例 |
|---|---|---|---|---|
| 隨需預留項目 |
|
|
|
|
| 未來預留項目 |
|
|
|
|
| 未來預留項目最長 90 天 (日曆模式) |
|
|
|
|
| 彈性啟動佈建模式 |
|
|
|
|
| Spot VM |
|
|
|
|
| 隨選 (GPU 或 TPU) |
|
|
|
如要提高取得 GPU 或 TPU VM 等高需求資源的機率,建議使用彈性啟動型 VM、Spot VM、日曆模式的未來預留項目,或容量區塊的未來預留項目。這些消費選項可提高您以折扣價取得高需求資源的機會。只有在無法使用其他用量選項時,才應使用隨選模式。
使用 ComputeClasses 最佳化成本和工作負載佈建
您可以使用 ComputeClasses,定義以優先順序為依據的備用設定清單,動態管理及自動執行加速器消耗策略。在擴充作業期間,GKE 會嘗試根據您設定的優先順序階層佈建節點。
下表列出 ComputeClasses 提供的消耗選項,以及設定方式。如需完整的 YAML 資訊清單,請參閱「ComputeClasses 的用量選項範例」。
- 預留項目:您可以在 ComputeClass 的
reservations欄位中定義預留項目名稱。這樣一來,GKE 就會先嘗試使用預留容量,再視情況調整。 - 彈性啟動佈建模式:使用 ComputeClass 中的
flexStart欄位啟用彈性佇列,並使用nodeRecycling欄位設定備用節點替換時間長度。 - Spot VM:將
spot欄位設為true,指示 GKE 在為該優先順序規則佈建節點時使用 Spot VM。 - 隨需容量搭配多可用區位置政策:在優先順序清單中宣告標準機器設定,並使用
location欄位設定備用位置策略。
ComputeClasses 不支援未來預留項目或未來預留項目 (最長 90 天,日曆模式)。
ComputeClasses 計費模式範例
以下各節提供這些策略的設定範例。
具備備用設定的預留項目
這項設定最適合可容忍中斷的工作負載,而非依賴永久資料或需要執行至完成的工作負載。
這項設定會使用下列步驟,建立彈性的備用策略:
- 優先使用預留項目:GKE 會嘗試使用您預購的特定預留容量佈建節點。
- 改用彈性啟動:如果預留容量已用盡,GKE 會改用短期、折扣的彈性啟動資源。
- 改用隨需:最後的備用方案是 GKE 佈建標準隨需資源。
遷移回預留項目:啟用主動遷移功能後,GKE 會在容量可用時,自動將工作負載整合並遷移回優先順序較高的預留節點。這項遷移作業可能會造成干擾。
apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: ha-gpu-fallback spec: activeMigration: optimizeRulePriority: true # Migrate workloads back to reservation when capacity releases priorities: # Priority 1: Consume specific corporate reservation first - gpu: type: nvidia-l4 count: 1 reservations: affinity: Specific specific: - name: reserved-l4-pool project: my-project zones: [us-central1-a] # Priority 2: Fallback to Flex Start (short-duration allocation) - gpu: type: nvidia-l4 count: 1 flexStart: enabled: true # Priority 3: Fallback to On-demand resources - gpu: type: nvidia-l4 count: 1
採用節點回收設定的彈性啟動佈建模式
這項設定會使用下列步驟,管理短時間、折扣的運算資源,並持續運作:
- 要求彈性啟動型 VM:GKE 會從彈性啟動佇列要求 VM 執行個體 (最多可不中斷執行七天)。
- 監控租約到期時間:GKE 會追蹤使用中彈性啟動節點的剩餘時間。
- 觸發節點回收:在 VM 租約到期前 20 分鐘 (1200 秒),GKE 會自動佈建替代節點。
重新排程工作負載:工作負載會遷移至新節點,並繼續執行,不會中斷服務。
apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: flex-node-recycling spec: priorities: - gpu: type: nvidia-l4 count: 1 flexStart: enabled: true nodeRecycling: leadTimeSeconds: 1200 # Automatically launch replacement node before VM lease expires
多可用區分配政策設定
這項設定會透過下列步驟,略過單一可用區供應限制:
- 定義目標可用區:在優先順序規則中列出多個備份可用區 (例如
us-central1-a、us-central1-b和us-central1-c)。 - 擴大指定參數:您將地區政策設為
ANY。這項設定會指示叢集自動配置器在所有指定可用區中,搜尋要求的容量。 - 分析可用區可用性:在擴充資源時,GKE 會掃描指定可用區。
在可用區域佈建:GKE 會立即在容量相符的目標區域佈建要求的工作負載節點。這項策略可防止分配佇列發生阻塞。
apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: broad-zonal-serving spec: priorities: - gpu: type: nvidia-l4 count: 1 location: zones: [us-central1-a, us-central1-b, us-central1-c] locationPolicy: ANY # Provision accelerator in any target zone with supply
後續步驟
- 進一步瞭解 GKE 中的 GPU。
- 進一步瞭解 GKE 中的 TPU。
- 進一步瞭解 GKE 的 AI/機器學習推論功能。