GPU ter-cluster, seperti seri mesin A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), dirancang untuk memungkinkan Anda menjalankan cluster kecerdasan buatan (AI) dan machine learning (ML) berskala besar serta menyediakan kemampuan pengelolaan cluster berikut:
- Kolokasi infrastruktur GPU ter-cluster
- Penempatan sesuai topologi cluster
- Mode operasional cluster
- Penjadwalan dan kontrol pemeliharaan cluster
- Alat pemantauan dan diagnostik cluster
Seri mesin yang didukung
Kemampuan pengelolaan cluster yang dijelaskan di halaman ini tersedia untuk seri mesin GPU Ter-cluster, yang dioptimalkan untuk workload multi-node berskala besar.
Fitur ini tidak berlaku untuk seri mesin GPU Umum, yang terdiri dari resource komputasi independen yang menggunakan jaringan VPC standar dan tidak mendukung mode operasional pemeliharaan atau kolokasi padat.
Tabel berikut merangkum seri mesin yang didukung di AI Hypercomputer:
| Kategori | Seri mesin | Mendukung pengelolaan cluster |
|---|---|---|
| GPU Ter-cluster | A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High | Ya |
| GPU Umum | A3 Edge, A2, G2, G4, N1 | Tidak |
Untuk mengetahui informasi selengkapnya tentang setiap seri mesin, lihat Tentang akselerator GPU.
Sebagian besar kemampuan pengelolaan cluster hanya didukung untuk kapasitas terikat pemesanan—infrastruktur yang menggunakan model penyediaan terikat pemesanan, yang hanya mendukung jenis mesin GPU ter-cluster. Untuk kapasitas yang menggunakan model penyediaan lainnya, hanya kemampuan pengelolaan cluster berikut yang tersedia:
- Kolokasi resource infrastruktur AI
- Penempatan sesuai topologi cluster
- Mengelola peristiwa host di seluruh instance
Kolokasi infrastruktur GPU ter-cluster
Saat menggunakan GPU ter-cluster, seperti A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), Anda dapat meminta mesin host yang disediakan Compute Engine sedekat mungkin. Mesin ini menawarkan fitur berikut:
Compute Engine menyediakan mesin sebagai blok resource.
Fabric jaringan machine learning (ML) dinamis menghubungkan mesin-mesin tersebut.
Pengaturan resource ini meminimalkan hop jaringan dan mengoptimalkan latensi jaringan terendah. Untuk men-deploy blok mesin yang dioptimalkan untuk akselerator yang dialokasikan secara padat oleh Compute Engine, Anda dapat menggunakan opsi berikut:
Resource harus dialokasikan secara padat satu sama lain saat Anda melakukan satu atau beberapa hal berikut:
Buat resource yang menggunakan Pemesanan untuk masa mendatang di AI Hypercomputer atau Pemesanan untuk masa mendatang dalam mode kalender yang sama.
Deploy grup instance terkelola (MIG) yang menggunakan permintaan ubah ukuran dan buat resource dalam permintaan yang sama.
Tentukan bahwa resource menggunakan kebijakan penempatan rapat atau kebijakan workload yang sama yang menentukan nilai jarak maksimum. Secara khusus, resource hanya diperlukan sedekat nilai jarak maksimum yang ditentukan kebijakan.
Resource dapat dialokasikan secara padat satu sama lain, berdasarkan ketersediaan upaya terbaik, saat Anda melakukan satu atau beberapa hal berikut:
Buat resource dalam permintaan yang sama untuk VM Flex-start.
Tentukan bahwa resource menggunakan kebijakan penempatan rapat atau kebijakan workload yang sama yang tidak menentukan jarak maksimum.
Penempatan sesuai topologi cluster
Setelah membuat GPU ter-cluster, Anda bisa mendapatkan informasi topologi di level node dan cluster. Informasi ini membantu Anda melakukan hal berikut:
Sesuaikan desain aplikasi atau workload Anda untuk makin meminimalkan latensi jaringan.
Memahami dan memecahkan masalah latensi jaringan dan performa untuk instance yang sering berkomunikasi satu sama lain. Masalah ini dapat terjadi jika instance secara tidak terduga terletak berjauhan.
Secara khusus, dukungan untuk kemampuan topologi adalah sebagai berikut:
Informasi topologi berfungsi paling baik dengan kapasitas terikat pemesanan, yang diperlukan untuk melihat topologi pemesanan.
Kemampuan topologi hanya mendukung jenis mesin yang mendukung kebijakan penempatan rapat.
Untuk Spot VM, informasi topologi hanya muncul saat mesin menggunakan kebijakan penempatan rapat.
Untuk mengetahui informasi selengkapnya, lihat Melihat topologi instance komputasi.
Mode operasional cluster
Saat Anda memesan kapasitas untuk membuat instance komputasi atau cluster menggunakan GPU ter-cluster, jenis mesin yang Anda pesan akan menentukan mode operasional cluster untuk instance tersebut. Mode ini menentukan perilaku instance Anda setelah terjadi error host atau laporan host yang rusak. Mode operasional yang tersedia untuk instance adalah mode terkelola, di mana Compute Engine secara otomatis mengganti mesin yang rusak, tetapi menahan sebagian kapasitas yang dicadangkan untuk memastikan instance Anda memiliki resource yang diperlukan untuk memulai ulang. Atau mode kapasitas penuh, yang memberi Anda akses ke kapasitas penuh yang dicadangkan, tetapi Anda bertanggung jawab untuk mengelola kegagalan dan pemeliharaan terencana.
Untuk mengetahui informasi selengkapnya, lihat Mode operasional pemesanan.
Penjadwalan dan kontrol pemeliharaan cluster
Anda dapat mengontrol pemeliharaan GPU ter-cluster menggunakan penjadwalan berbasis topologi dalam blok resource. Kemampuan ini membantu menyinkronkan upgrade sehingga workload Anda lebih tahan terhadap peristiwa host dan meminimalkan gangguan. Pendekatan ini membantu meningkatkan goodput workload Anda.
Untuk memfasilitasi kontrol penuh atas peristiwa pemeliharaan, Anda dapat menggunakan fitur berikut:
Jenis penjadwalan pemeliharaan
Saat memesan kapasitas untuk membuat instance komputasi atau cluster GPU ter-cluster, Anda dapat menentukan cara Compute Engine mengelola infrastruktur tempat instance Anda berjalan. Berdasarkan jenis mesin yang ingin Anda gunakan untuk instance, Anda dapat memilih antara pemeliharaan yang disinkronkan di seluruh instance (dikelompokkan), atau jadwal pemeliharaan yang berbeda (independen).
Untuk mengetahui informasi selengkapnya, lihat Jenis penjadwalan pemeliharaan.
Mengelola acara host
Setelah membuat GPU ter-cluster dan memulai workload, Anda dapat menyiapkan pemberitahuan dan menerima notifikasi saat pemeliharaan untuk instance atau blok yang dipesan dijadwalkan, dimulai, atau diselesaikan. Anda juga dapat melihat dan, jika perlu, memulai pemeliharaan secara manual pada instance atau blok yang dipesan sebelum waktu yang dijadwalkan. Opsi ini membantu Anda mengontrol dan meminimalkan periode nonaktif pada workload secara proaktif.
Untuk informasi selengkapnya, lihat referensi berikut:
Alat pemantauan dan diagnostik cluster
Untuk pemantauan dan pemecahan masalah, GPU ter-cluster mencakup layanan berikut:
Prediksi penurunan respons VM, yang membantu Anda mengidentifikasi VM yang kemungkinan akan menurun dalam lima jam ke depan.
Pelaporan host yang rusak, yang dapat Anda gunakan untuk melaporkan masalah pada mesin host tertentu.
Dukungan untuk metrik Cloud Monitoring, yang membantu Anda memantau performa jaringan dan GPU.