Terminologi

Persyaratan berikut berlaku untuk AI Hypercomputer.

Akselerator
Perangkat hardware khusus, seperti GPU atau TPU, yang dirancang untuk melakukan tugas tertentu, seperti workload machine learning, secara lebih efisien daripada prosesor untuk tujuan umum.

Blokir
Kumpulan sub-blok yang saling terhubung oleh jaringan non-blok berkecepatan tinggi yang menyediakan bandwidth tinggi untuk semua mesin host dalam blok.

Cluster
Kumpulan blok yang saling terhubung oleh fabric jaringan berkecepatan tinggi. Setiap cluster bersifat unik secara global. Untuk mesin A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), cluster menyediakan fabric jaringan umum yang non-blokir untuk blok kapasitas akselerator Anda. Dalam cluster, komunikasi antar-node (traffic timur-barat) tidak memblokir seluruh kumpulan blok.

GPU ter-cluster
Kategori kelompok mesin untuk GPU, termasuk A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU). GPU ter-cluster memungkinkan tim men-deploy dan menskalakan ribuan akselerator yang saling terhubung sebagai satu sistem dengan pengaitan erat dengan menggunakan fabric jaringan khusus dan pemeliharaan yang disinkronkan. Kelompok mesin ini ideal untuk workload yang memerlukan komputasi, memori, dan sinkronisasi jaringan berkecepatan tinggi yang ekstrem. Kasus penggunaan umum mencakup prapelatihan model dasar dengan triliunan parameter, penyajian model termutakhir, dan simulasi untuk penemuan obat.

Pemeliharaan darurat
Terkadang disebut sebagai pemeliharaan darurat. Peristiwa pemeliharaan tidak terencana yang disebabkan oleh masalah hardware, software, atau keamanan yang kritis. Untuk jenis mesin akselerator yang didukung, pemeliharaan darurat memberikan pemberitahuan awal, bukan gangguan langsung. Notifikasi ini memberi Anda waktu untuk mengosongkan workload dengan baik dan secara opsional memicu perbaikan sebelum sistem menghentikan VM.

GPU Umum
Kategori kelompok mesin GPU, termasuk G2, G4, A2, N1+T4, dan A3 Edge. GPU umum memungkinkan tim men-deploy dan menskalakan akselerator NVIDIA dengan otonomi operasional yang lengkap, sehingga mengabaikan kompleksitas arsitektur cluster superkomputer yang terkoordinasi. Layanan ini ideal untuk workload yang memprioritaskan ketersediaan tinggi, penyediaan layanan mandiri, dan penskalaan independen. Kasus penggunaan umum mencakup inferensi real-time, RAG, pembuatan prototipe, dan pelatihan model kecil hingga menengah.

Fabric jaringan
Infrastruktur jaringan berkecepatan tinggi yang menyediakan bandwidth tinggi dan latensi rendah di semua blok dan layanan Google Cloud dalam cluster. Fabric menggunakan arsitektur jaringan Jupiter. Untuk mengoptimalkan performa, fabric menggunakan software-defined network dan sakelar optik.

Node atau host
Satu mesin server fisik di pusat data. Setiap host memiliki resource komputasi terkait, seperti akselerator. Jumlah dan konfigurasi resource komputasi ini bergantung pada kelompok mesin. Instance Compute Engine disediakan di atas host fisik.

Domain NVLink, yang juga disebut sebagai sub-blok, adalah unit kapasitas inti untuk mesin A5X, A4X Max, dan A4X. Domain NVLink terdiri dari 18 instance A5X, A4X Max, atau A4X (72 GPU) yang terhubung oleh sistem NVLink multi-node.

Sub-blok
Sekelompok host dan hardware konektivitas terkait yang berada di satu blok fisik. Dalam konteks mesin A5X, A4X Max, dan A4X, sub-blok juga disebut sebagai domain NVLink.

Superblock
Pengelompokan fisik mesin yang saling terhubung dalam pusat data. Dengan menempatkan mesin di dalam superblock, Anda akan mencapai throughput jaringan ekstrem dan latensi sub-milidetik yang diperlukan untuk menjalankan workload pelatihan yang pengaitan erat.

Informasi selengkapnya

Dokumen berikut memberikan penjelasan lebih lanjut tentang terminologi yang relevan dengan topik yang sesuai: