Terminologi

Persyaratan berikut berlaku untuk AI Hypercomputer.

Akselerator
Perangkat hardware khusus, seperti GPU atau TPU, yang dirancang untuk melakukan tugas tertentu, seperti workload machine learning, secara lebih efisien daripada prosesor tujuan umum.

Blokir
Kumpulan sub-blok yang saling terhubung. Dalam satu blok, setiap GPU dapat dijangkau melalui fabric jaringan, yang memastikan komunikasi berlatensi sangat rendah untuk tugas pelatihan terdistribusi Anda.

Cluster
Kumpulan blok yang saling terhubung dan digabungkan oleh fabric berkecepatan tinggi. Fabric jaringan timur-ke-barat non-blocking memungkinkan Anda menskalakan tugas pelatihan besar di ribuan GPU tanpa mengalami hambatan performa atau bandwidth.

GPU yang dikelompokkan
Kategori kelompok mesin untuk GPU, termasuk A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU). GPU yang dikelompokkan memungkinkan tim men-deploy dan menskalakan ribuan akselerator yang saling terhubung sebagai satu sistem yang terhubung erat dengan menggunakan fabric jaringan khusus dan pemeliharaan yang disinkronkan. Kelompok mesin ini ideal untuk workload yang memerlukan komputasi, memori, dan sinkronisasi jaringan berkecepatan tinggi yang ekstrem. Kasus penggunaan umum mencakup pelatihan awal model dasar dengan triliunan parameter, penyajian model mutakhir, dan simulasi untuk penemuan obat.

Pemeliharaan darurat
Terkadang disebut sebagai pemeliharaan darurat. Peristiwa pemeliharaan tidak terencana yang disebabkan oleh masalah hardware, software, atau keamanan yang kritis. Untuk jenis mesin akselerator yang didukung, pemeliharaan mendesak memberikan notifikasi awal, bukan gangguan langsung. Notifikasi ini memberi Anda waktu untuk menguras workload dengan benar dan secara opsional memicu perbaikan sebelum sistem menghentikan VM.

GPU Umum
Kategori kelompok mesin GPU, termasuk G2, G4, A2, N1+T4, dan A3 Edge. GPU Umum memungkinkan tim men-deploy dan menskalakan akselerator NVIDIA dengan otonomi operasional yang lengkap, sehingga tidak perlu berurusan dengan kompleksitas arsitektur cluster superkomputer yang terkoordinasi. Layanan ini ideal untuk workload yang memprioritaskan ketersediaan tinggi, penyediaan layanan mandiri, dan penskalaan independen. Kasus penggunaan umum mencakup inferensi real-time, RAG, pembuatan prototipe, dan pelatihan model kecil hingga sedang.

Fabric jaringan
Fabric jaringan menyediakan konektivitas berlatensi rendah dan bandwidth tinggi di semua blok dan layanan dalam cluster. Google Cloud Jupiter adalah arsitektur jaringan pusat data Google yang menggunakan software-defined networking dan switch sirkuit optik untuk mengembangkan jaringan dan mengoptimalkan performanya.

Node atau host
Satu mesin server fisik di pusat data. Setiap host memiliki resource komputasi terkait, seperti akselerator. Jumlah dan konfigurasi resource komputasi ini bergantung pada kelompok mesin. Instance Compute Engine disediakan di atas host fisik.

Domain NVLink, yang juga disebut sebagai sub-blok, adalah unit kapasitas inti untuk mesin A4X Max dan A4X. Domain NVLink terdiri dari 18 instance A4X Max atau A4X (72 GPU) yang terhubung oleh sistem NVLink multi-node.

Sub-blok
Sekelompok host dan hardware konektivitas terkait yang berada di rak fisik tunggal. Dalam konteks mesin A4X Max dan A4X, sub-blok juga disebut sebagai domain NVLink.

Superblok
Pengelompokan fisik mesin yang saling terhubung dalam pusat data. Dengan menempatkan mesin di dalam superblock, Anda akan mendapatkan throughput jaringan ekstrem dan latensi sub-milidetik yang diperlukan untuk menjalankan workload pelatihan yang terkait erat.

Informasi selengkapnya

Dokumen berikut memberikan penjelasan lebih lanjut tentang terminologi yang relevan dengan topik terkait: