汎用 GPU の概要

汎用 GPU は、運用の柔軟性、リソースの独立性、費用対効果を重視する AI（人工知能）と ML（機械学習）のワークロード向けに最適化されています。

汎用 GPU を使用すると、チームは完全な運用上の自律性を備えた NVIDIA アクセラレータをデプロイしてスケーリングできます。これにより、連携されたスーパーコンピューティング クラスタのアーキテクチャの複雑さを回避できます。高可用性、セルフサービス プロビジョニング、独立したスケーリングを優先するワークロードに最適です。一般的なユースケースには、リアルタイム推論、RAG、プロトタイピング、小規模から中規模のモデル トレーニングなどがあります。

汎用 GPU の主な特徴

  • 運用の柔軟性: 標準の GKE（Autopilot と Standard）と Compute Engine インターフェースを使用してリソースを管理し、デプロイとスケーリングを簡素化できます。
  • 高可用性: Google Cloud 個々のインスタンスを個別に更新することで、1 つのノードの更新が他のノードの可用性に影響しないようにします。これにより、ロードバランサはサービス フリートを停止することなくトラフィックをリダイレクトできます。
  • ネットワークの簡素化: ワークロードは、標準の Virtual Private Cloud（VPC）サービスと、Google Virtual NIC（gVNIC）インターフェース上の標準の TCP/IP を使用して、複雑なハードウェア レベルのファブリックを排除します。
  • 費用の最適化: Spot VM をフォールト トレラントな研究に使用すると、標準のオンデマンド料金と比較して最大 90% の費用を節約できます。
  • セルフサービス取得: アカウント チームが管理するワークフローを必要とせずに、標準予約とオンデマンド リクエストを通じて容量を直接取得できます。

一般的な GPU ファミリーと技術仕様

汎用 GPU マシンシリーズのワークロードとハードウェア仕様を確認します。高スループットのサービングには、A3 Edge シリーズを使用します。

A3 シリーズ（1、2、または 4 個の GPU を搭載した High と Edge）

A3 High（1、2、または 4 個の GPU）

高いパフォーマンスを必要とするが、8 個の GPU を同期したクラスタを必要としない推論ワークロードまたは標準トレーニング ワークロードを実行している場合は、1 個、2 個、または 4 個の GPU が接続された A3 High マシンシリーズを使用します。

A3 High マシンタイプには NVIDIA H100 SXM GPU が搭載されており、大規模なモデル推論とモデルのファインチューニングの両方に適しています。

アタッチされた NVIDIA H100 GPU
マシンタイプ vCPU 数1 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps）2 GPU 数 GPU メモリ3
（GB HBM3）
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

A3 Edge

調整されたクラスタ ファブリックを使用せずに複数のホストで高スループットの分散推論ワークロードを実行している場合は、A3 Edge シリーズを使用して、標準の仮想プライベート ネットワークでのデプロイを簡素化します。

A3 Edge マシンタイプには NVIDIA H100 SXM GPU が搭載されており、サービング専用に設計されています。限定されたリージョン セットで使用できます。

アタッチされた NVIDIA H100 GPU
マシンタイプ vCPU 数1 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps）2 GPU 数 GPU メモリ3
（GB HBM3）
a3-edgegpu-8g 208 1,872 6,000 5 8 640

A2 シリーズ（Standard、Ultra）

高パフォーマンスの単一ノード モデル提供や小規模なモデルのファインチューニングを行う必要がある場合は、A2 マシンシリーズを使用して専用の NVIDIA A100 GPU リソースにアクセスします。

A2 Ultra

アタッチされた NVIDIA A100 80GB GPU
マシンタイプ vCPU 数1 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 最大ネットワーク帯域幅（Gbps）2 GPU 数 GPU メモリ3
（GB HBM2e）
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

A2 標準

アタッチされた NVIDIA A100 40GB GPU
マシンタイプ vCPU 数1 インスタンスのメモリ（GB） サポート対象のローカル SSD 最大ネットワーク帯域幅（Gbps）2 GPU 数 GPU メモリ3
（GB HBM2）
a2-highgpu-1g 12 85 はい 24 1 40
a2-highgpu-2g 24 170 はい 32 2 80
a2-highgpu-4g 48 340 はい 50 4 160
a2-highgpu-8g 96 680 はい 100 8 320
a2-megagpu-16g 96 1,360 はい 100 16 640

1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

G4 シリーズ

チームで費用対効果の高いエントリーレベルの推論ワークロードや標準のグラフィック レンダリング ワークロードが必要な場合は、NVIDIA RTX PRO 6000 GPU を搭載した G4 マシンシリーズを使用します。

G4 マシンタイプは、 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU（nvidia-rtx-pro-6000）を使用し、NVIDIA Omniverse シミュレーション ワークロード、グラフィックを多用するアプリケーション、動画のコード変換、仮想デスクトップに適しています。また、G4 マシンタイプは、A シリーズのマシンタイプと比較して、単一ホストの推論とモデル チューニングを実行するための低コストのソリューションを実現します。

アタッチされた NVIDIA RTX PRO 6000 GPU
マシンタイプ vCPU 数1 インスタンスのメモリ（GB） サポートされている Titanium SSD の最大容量（GiB）2 物理 NIC の数 最大ネットワーク帯域幅（Gbps）3 GPU 数 GPU メモリ4
（GB GDDR7）
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

*GPU メモリは GPU デバイスで利用可能なメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、ML やグラフィックを多用するワークロードなど、高速化されたワークロードの高帯域幅の需要に対応するように設計されています。

G2 シリーズ

メインストリームのリアルタイム推論アプリケーションまたは Retrieval-Augmented Generation（RAG）パイプラインをデプロイする場合は、G2 マシンシリーズを使用して、NVIDIA L4 GPU でパフォーマンスと費用対効果のバランスを取ります。

アタッチされた NVIDIA L4 GPU
マシンタイプ vCPU 数1 デフォルトのインスタンス メモリ（GB） カスタム インスタンス メモリ範囲（GB） サポート対象の最大ローカル SSD（GiB） 最大ネットワーク帯域幅（Gbps）2 GPU 数 GPU メモリ3（GB GDDR6）
g2-standard-4 4 16 16～32 375 10 1 24
g2-standard-8 8 32 32～54 375 16 1 24
g2-standard-12 12 48 48～54 375 16 1 24
g2-standard-16 16 64 54～64 375 32 1 24
g2-standard-24 24 96 96～108 750 32 2 48
g2-standard-32 32 128 96～128 375 32 1 24
g2-standard-48 48 192 192～216 1,500 50 4 96
g2-standard-96 96 384 384～432 3,000 100 8 192

1vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
2最大下り（外向き）帯域幅は許容数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
3 GPU メモリは GPU デバイスのメモリであり、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

N1 シリーズ（NVIDIA T4 または V100）

コスト重視のテストや、低同時実行のエントリレベルの推論を実行する場合は、N1 マシンシリーズを使用して NVIDIA T4 または V100 GPU を接続します。

NVIDIA T4

アクセラレータ タイプ GPU 数 GPU メモリ1（GB GDDR6） vCPU 数 インスタンスのメモリ（GB） サポート対象のローカル SSD
nvidia-tesla-t4 または
nvidia-tesla-t4-vws		 1 16 1～48 1～312 はい
2 32 1～48 1～312 はい
4 64 1～96 1～624 ○

NVIDIA V100

アクセラレータ タイプ GPU 数 GPU メモリ1（GB HBM2） vCPU 数 インスタンスのメモリ（GB） サポート対象のローカル SSD2
nvidia-tesla-v100 1 16 1～12 1～78 はい
2 32 1～24 1～156 はい
4 64 1～48 1～312 はい
8 128 1～96 1～624 ○

容量の取得

汎用 GPU アクセラレータは、標準のセルフサービス プロビジョニングを使用します。容量は、標準予約、オンデマンド リクエスト、Spot VM を介して取得できます。オンデマンド容量は在庫切れになる可能性があるため、可能な限り Spot VM または Flex Start を使用してください。

次のステップ