建立附加 GPU 的執行個體總覽

本文概略說明建立 Compute Engine 執行個體並附加圖形處理器 (GPU) 的必要步驟。您可以使用 GPU 加速處理特定工作負載，例如機器學習和資料處理。

您也可以在 AI Hypercomputer 上使用某些 GPU 機型。AI Hypercomputer 是經過最佳化調整的超級運算系統，可支援人工智慧 (AI) 和機器學習 (ML) 工作負載。如要建立高密度配置、效能最佳化的基礎架構，並整合 Google Kubernetes Engine (GKE) 和 Slurm 排程器，建議您選擇這個選項。

如要進一步瞭解 Compute Engine 上的 GPU，請參閱「關於 GPU」。

選取 GPU 模型

如要查看可用的 GPU 型號清單，請參閱「GPU 平台」。也請記下所選 GPU 模型支援的機型。

此外，建議您查看下列各項模型的相關資訊：

限制

除了所有搭載 GPU 的執行個體限制外，每個搭載 GPU 的機器系列也有下列限制：

A4X Max 執行個體

A4X 執行個體

A4 執行個體

  • 您只能使用 A4 機型支援的用量選項要求容量。
  • 使用 A4 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A4 機型僅適用於特定區域和可用區。
  • 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
  • A4 機型僅適用於 Emerald Rapids CPU 平台。
  • 您無法將執行個體的機型變更為 A4 機型，也無法將 A4 機型變更為其他機型。您必須使用這個機型建立新的執行個體。
  • A4 機型不支援單一租戶。
  • 您無法在 A4 機器類型上執行 Windows 作業系統。
  • 如果是 A4 執行個體，當您使用 ethtool -S 監控 GPU 網路時，以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體，這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。
  • 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟，無法連接至 A4 機型。

A3 Ultra 執行個體

  • 您只能使用 A3 Ultra 機型支援的用量選項要求容量。
  • 使用 A3 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A3 Ultra 機型僅適用於特定區域和可用區。
  • 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
  • A3 Ultra 機型僅適用於 Emerald Rapids CPU 平台。
  • 無法變更 A3 Ultra 機型。如要切換至或切換出這個機器類型，您必須建立新的執行個體。
  • 您無法在 A3 Ultra 機型上執行 Windows 作業系統。
  • A3 Ultra 機型不支援單一租戶。
  • 如果是 A3 Ultra 執行個體，當您使用 ethtool -S 監控 GPU 網路時，以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體，這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。

A3 Mega 執行個體

A3 High 執行個體

A3 Edge 執行個體

A2 標準執行個體

  • 您只能使用 A2 標準機型支援的用量選項要求容量。
  • 使用 A2 標準機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A2 標準機型僅適用於特定區域和可用區。
  • A2 標準機型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 標準機型，則只能從一種 A2 標準機型切換至另一種 A2 標準機型。無法變更為其他機器類型。詳情請參閱「修改加速器最佳化執行個體」。
  • Windows 作業系統不支援 a2-megagpu-16g 機型。使用 Windows 作業系統時，請選擇其他 A2 標準機型。
  • 您無法在採用 A2 標準機型的 Windows 執行個體上，快速格式化連接的本機 SSD。如要格式化這些本機固態硬碟，您必須使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。

A2 Ultra 執行個體

  • 您只能使用 A2 Ultra 機型支援的用量選項要求容量。
  • 使用 A2 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A2 Ultra 機型僅適用於特定區域和可用區。
  • A2 Ultra 機型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 Ultra 機型，則無法變更機型。如要使用其他 A2 Ultra 機型或其他機型，請建立新的執行個體。
  • 您無法將任何其他機型變更為 A2 Ultra 機型。如需使用 A2 Ultra 機型的執行個體，請建立新的執行個體。
  • 在採用 A2 Ultra 機型的 Windows 執行個體上，您無法快速格式化連接的本機 SSD。如要格式化這些本機固態硬碟，您必須使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。

G4 執行個體

  • 您只能使用 G4 機型支援的用量選項要求容量。
  • 使用 G4 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • G4 機型僅適用於特定區域和可用區。
  • 您無法在採用 G4 機型的執行個體上使用永久磁碟 (區域性或可用區)。
  • G4 機型僅適用於 AMD EPYC Turin 第 5 代平台。
  • 您只能在有限的區域和可用區，使用 g4-standard-48 機器的 Confidential VM。在 G4 機型上執行的 Confidential VM 適用所有限制。
  • 您無法在 g4-standard-384 執行個體上使用 Windows 作業系統。
  • 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟，無法連接至 G4 機型。
  • 建立連接不到一個 GPU (部分 GPU) 的 G4 執行個體時，請勿使用 --no-service-account 或 --no-scopes 旗標。如要驗證 NVIDIA vGPU 驅動程式，Compute Engine 必須驗證 VM 的身分。這項程序需要啟用服務帳戶。

G2 執行個體

N1+GPU 執行個體

如要瞭解搭載 GPU 的 N1 執行個體限制，請參閱「N1 機器系列的功能」和「N1 機器系列的 GPU」。

選擇作業系統

如果您使用 GPU 進行機器學習，請使用下列其中一種作業系統：

  • 針對 AI 工作負載最佳化的映像檔。您可以使用 Ubuntu 和 Rocky 映像檔，這些映像檔提供加速器最佳化版本，並預先安裝 NVIDIA 驅動程式和 CUDA 工具包。請參閱 AI Hypercomputer 說明文件中的「OS 映像檔」。

  • 深度學習 VM 映像檔。每個深度學習 VM 都有 GPU 驅動程式安裝工具，並包含 TensorFlow 和 PyTorch 等套件。您也可以將 Deep Learning VM 用於一般 GPU 工作負載。如要進一步瞭解可用的映像檔和安裝在這些映像檔上的套件，請參閱 Deep Learning VM 說明文件中的「選擇映像檔」。

或者，您也可以使用公開或自訂映像檔。對於大多數公開映像檔或自訂映像檔，您需要安裝 NVIDIA 驅動程式和 CUDA Toolkit。如要瞭解哪些驅動程式適用於您的 GPU 型號，請參閱「安裝 GPU 驅動程式」。

查看 GPU 配額

為保護 Compute Engine 系統和使用者，新專案設有全域 GPU 配額，限制您在任何支援的可用區中可建立的 GPU 總數。如要查看 GPU 配額，請參閱「GPU 配額」。

如需更多 GPU 配額，請申請提高配額。申請 GPU 配額時，您必須針對要在各區域建立的 GPU 類型申請配額，並針對所有可用區中所有類型的 GPU 總數申請額外的全域配額。

如果專案已有帳單記錄，提交要求後就會自動取得配額。

GPU 執行個體和先占分配配額

使用標準佈建模式的執行個體，通常無法使用先占分配配額。先占配額適用於臨時工作負載，通常較容易取得。如果專案沒有先占配額，且您從未提出要求，則專案中的所有執行個體都會耗用標準分配配額。

如果您要求可先占的分配配額，則使用標準佈建模型的執行個體必須符合下列所有條件，才能使用可先占的分配配額：

如果將可先占分配配額用於有時限的 GPU 工作負載，您就能享有不中斷的執行時間，以及可先占分配配額的高可用性。詳情請參閱「先占配額」。

建立已連結 GPU 的執行個體

如要建立已連結 GPU 的執行個體，請完成下列步驟：

  1. 建立執行個體。建立執行個體的方法取決於要執行的工作負載。

    GPU 機型
    AI 和機器學習工作負載 圖像和視覺化 其他 GPU 工作負載
    加速器最佳化 A 系列機型專為高效能運算 (HPC)、人工智慧 (AI) 和機器學習 (ML) 工作負載設計。

    如果是這類機型，GPU 模型會自動連接至執行個體。

    		 加速器最佳化 G 系列機型專為 NVIDIA Omniverse 模擬工作負載、圖形密集型應用程式、影片轉碼和虛擬桌面等工作負載設計。這些機型支援 NVIDIA RTX 虛擬工作站 (vWS)。

    G 系列也可用於訓練較小的模型，以及單一主機推論。

    如果是這類機型，GPU 模型會自動連接至執行個體。

    如果工作負載不需要完整的 GPU，可以使用 G4 機型，這種機型連接的 GPU 不到一個，可盡可能降低成本。這些機型配備 1/2、1/4 或 1/8 的標準 GPU。

    除了 N1 共用核心 (f1-micro 和 g1-small) 之外，您可以為 N1 一般用途機型附加一組特定的 GPU 型號。部分 GPU 型號也支援 NVIDIA RTX 虛擬工作站 (vWS)。

    如要執行 AI、機器學習和 HPC 工作負載，請選擇下列其中一個選項：

    		 如要建立 G2 (L4) 或 G4 (RTX PRO 6000) 執行個體，請參閱「建立 G2 或 G4 執行個體」。 如要建立已連結 NVIDIA T4、P4 或 V100 GPU 的 N1 執行個體，請參閱「建立已連結 GPU 的 N1 執行個體」。

  2. 如要讓執行個體使用 GPU，您必須在執行個體上安裝 GPU 驅動程式。如果您啟用了 NVIDIA RTX 虛擬工作站 (舊稱 NVIDIA GRID)，請安裝虛擬工作站驅動程式。

後續步驟