AI Hypercomputer menyediakan infrastruktur terintegrasi secara vertikal yang dioptimalkan untuk workload kecerdasan buatan (AI) dan machine learning (ML) yang berat. GPU NVIDIA berperforma tinggi dikategorikan berdasarkan cara sistem menangani peristiwa siklus proses dan pemeliharaannya: GPU Umum dan GPU Ter-cluster.
Untuk mengidentifikasi kategori infrastruktur yang optimal untuk workload Anda, lihat Memilih infrastruktur akselerator.
GPU Umum
GPU umum dikelola sebagai unit komputasi independen, dengan menggunakan API Compute Engine dan Google Kubernetes Engine (GKE) standar untuk berintegrasi langsung dengan bidang kontrol Google Cloud.
GPU umum mencakup seri mesin berikut:
- A3 High dengan 1, 2, atau 4 GPU (NVIDIA H100): dioptimalkan untuk workload pelatihan dan inferensi standar yang tidak memerlukan cluster tersinkronisasi 8 GPU.
- A3 Edge (NVIDIA H100): dioptimalkan untuk inferensi yang didistribusikan di beberapa host dengan throughput tinggi menggunakan jaringan VPC standar.
- A2 (NVIDIA A100): dioptimalkan untuk inferensi node tunggal berperforma tinggi dan penyesuaian skala kecil.
- G4 (NVIDIA RTX PRO 6000): dioptimalkan untuk workload grafis dan inferensi level entri yang hemat biaya.
- G2 (NVIDIA L4): dioptimalkan untuk inferensi mainstream dan RAG.
- N1 (NVIDIA T4 atau V100): dioptimalkan untuk tugas inferensi dan riset tingkat pemula yang memprioritaskan biaya daripada interkoneksi berperforma tinggi.
GPU Ter-cluster
GPU ter-cluster dikelola sebagai satu sistem yang terhubung erat yang terdiri dari ribuan akselerator yang saling terhubung menggunakan Cluster Director.
GPU ter-cluster mencakup seri mesin berikut:
- A5X (NVIDIA Vera Rubin): dirancang untuk pelatihan model dasar skala exa, inferensi untuk model penalaran, dan komputasi berperforma tinggi di bare metal, yang dilengkapi superchip NVIDIA Vera Rubin.
- A4X Max (NVIDIA GB300): dirancang untuk pelatihan exascale bare-metal dan komputasi berperforma tinggi, yang dilengkapi superchip NVIDIA GB300 Grace Blackwell Ultra.
- A4X (NVIDIA GB200) dan A4 (NVIDIA B200): dirancang untuk pelatihan model dasar dan pelatihan model dasar exascale.
- A3 Ultra (NVIDIA H200), A3 Mega (NVIDIA H100), dan A3 High dengan 8 GPU (NVIDIA H100): dioptimalkan untuk pelatihan terdistribusi berskala besar dan inferensi multi-host yang melibatkan tabel data masif.
Pertimbangan performa GPU
Untuk mengevaluasi dan mengoptimalkan performa workload, Anda dapat melacak metrik tingkat hardware seperti pemakaian CUDA core dan Tensor Core. Untuk memantau resource dan mengevaluasi performa di lingkungan Umum dan Berkelompok, lihat referensi berikut:
- Dasbor pemantauan: melacak pemakaian GPU dan penggunaan memori secara real-time untuk setiap instance mandiri atau fleet cluster yang diorkestrasi.
- Resep metrik goodput: mengukur persentase waktu akselerator Anda melakukan komputasi yang berguna versus overhead sistem, yang sangat direkomendasikan untuk pelatihan terdistribusi berskala besar pada hardware yang dikelompokkan.
Langkah berikutnya
- Untuk mengevaluasi persyaratan infrastruktur Anda, lihat Memilih infrastruktur akselerator.
- Untuk meninjau proses dan pilihan yang harus dibuat saat Anda memulai cluster, lihat Merencanakan dan membuat infrastruktur AI.