Dokumen ini membandingkan opsi komputasi inti di Google Cloud untuk membantu Anda memilih solusi atau alat terbaik untuk arsitektur, penskalaan, dan persyaratan lain aplikasi Anda.
Untuk men-deploy workload di Google Cloud, Anda dapat memilih dari berbagai solusi atau alat yang menyeimbangkan kontrol Anda atas infrastruktur dengan pengelolaan otomatis oleh Google. Opsi komputasi yang Anda pilih memengaruhi performa, biaya, dan pemeliharaan harian. Untuk lebih memahami opsi ini sebelum Anda memilih salah satunya, lihat Ringkasan komputasi Google.
Memilih opsi komputasi
Solusi atau alat komputasi terbaik untuk workload Anda mungkin bergantung pada beberapa faktor. Misalnya, jika Anda ingin memigrasikan lingkungan VMware ke Google Cloud, gunakan VMware Engine.
Untuk membantu Anda menavigasi konsekuensi antara pengelolaan infrastruktur, container, dan instance Compute Engine, gunakan diagram alir berikut. Jika Anda ingin membandingkan fitur di berbagai opsi komputasi, lihat tabel perbandingan dalam dokumen ini.
Pertanyaan dalam diagram alir sebelumnya adalah sebagai berikut:
Apakah Anda ingin Google mengelola semua infrastruktur?
Ya: gunakan Cloud Run.
Tidak: lanjutkan ke pertanyaan 2.
Apakah Anda menginginkan orkestrasi cluster untuk workload Anda (seperti Kubernetes atau Slurm)?
Ya: lanjutkan ke pertanyaan 4.
Tidak: buka pertanyaan 3.
Apakah Anda ingin mengelola VM atau instance bare metal sendiri?
Tidak: gunakan Batch.
Apakah Anda ingin menjalankan aplikasi dalam container standar (seperti microservice atau API)?
Ya: gunakan GKE.
Tidak: lanjutkan ke pertanyaan 5.
Apakah Anda ingin Google mengelola siklus proses cluster?
Tidak: gunakan Cluster Toolkit.
Menggunakan Batch
Pilih Batch untuk workload seperti analisis data asinkron, tugas konversi video, atau simulasi ilmiah. Dengan Batch, Google mengelola infrastruktur sehingga Anda dapat menjadwalkan, mengantrekan, dan menjalankan tugas komputasi batch di Google Cloud. Anda tidak perlu men-deploy atau mengelola server sendiri; sebagai gantinya, Anda mengirimkan skrip yang dapat dieksekusi atau workload dalam container ke antrean tugas.
Batch menyediakan kemampuan berikut:
Dukungan akselerator: Batch mendukung GPU NVIDIA hingga RTX PRO 6000 untuk workload batch dan komputasi berperforma tinggi (HPC) yang memerlukan throughput tinggi. Batch tidak mendukung TPU Google.
Kontrol OS dan kernel: Google mengelola OS dan lingkungan eksekusi untuk tugas Anda.
Orkestrasi: antrean tugas menjadwalkan tugas dan mencoba ulang jika terjadi error. Untuk menskalakan kapasitas, layanan menyediakan dan memulai VM berdasarkan jumlah tugas dalam antrean, dan menghentikan VM saat tugas tersebut selesai.
Untuk mengetahui informasi selengkapnya, lihat Memulai Batch.
Menggunakan Cloud Run
Untuk men-deploy aplikasi web atau tugas dalam container tanpa administrasi server, pilih Cloud Run. Cloud Run adalah platform serverless yang memungkinkan Anda menjalankan aplikasi dalam container tanpa pengelolaan server atau cluster. Google menangani semua pengelolaan infrastruktur untuk Anda, termasuk OS, kernel, penyiapan jaringan, dan pengelolaan kapasitas.
Cloud Run menawarkan fitur berikut:
Dukungan akselerator: Cloud Run mendukung GPU NVIDIA RTX PRO 6000 Blackwell dan L4. Cloud Run tidak mendukung model GPU lain atau TPU Google.
Kontrol OS dan kernel: Anda mengemas workload sebagai container dan menjalankannya sebagai layanan web, tugas asinkron, atau tugas batch.
Orchestration: sebagai platform serverless, Google memulai, menjalankan, dan menskalakan instance container Anda tanpa intervensi manual. Untuk layanan web, Cloud Run menambahkan atau menghapus instance container berdasarkan permintaan yang masuk atau konsumsi CPU.
Untuk informasi selengkapnya, lihat Apa itu Cloud Run.
Menggunakan Cluster Director
Jika Anda ingin melatih model AI atau menjalankan tugas simulasi yang dijadwalkan Slurm tanpa penyiapan jaringan atau OS, pilih Cluster Director. Cluster Director adalah layanan terkelola yang mengotomatiskan deployment dan pengelolaan siklus proses untuk cluster AI, ML, dan HPC.
Cluster Director menyediakan kemampuan berikut:
Dukungan akselerator: Cluster Director mendukung GPU NVIDIA (yaitu, GB300 Ultra Superchip, GB200 Superchip, B200, H200, dan H100) dan TPU Google (Pratinjau; yaitu, TPU7x, TPU v6e, dan TPU v5p) untuk workload AI, ML, dan HPC.
Kontrol OS dan kernel: Google mengelola siklus proses cluster dan menyiapkan OS Ubuntu kustom yang dirancang untuk ML. Layanan ini menyediakan lingkungan siap pakai, lengkap dengan node login, set node komputasi, dan template deployment yang dibuat untuk workload AI.
Orchestration: untuk menskalakan kapasitas, Slurm membuat node berdasarkan permintaan tugas yang diantrekan, dan menghapus node saat node tersebut tidak ada aktivitas selama jangka waktu tertentu untuk mencegah biaya yang tidak perlu.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Director.
Menggunakan Cluster Toolkit
Jika Anda ingin menggunakan template deployment otomatis dan mempertahankan kontrol administratif atas OS dan stack software, pilih Cluster Toolkit. Cluster Toolkit adalah alat open source yang Anda gunakan untuk menyediakan dan mengonfigurasi cluster AI, ML, dan HPC di Google Cloud.
Cluster Toolkit menawarkan fitur berikut:
Dukungan akselerator: Cluster Toolkit mendukung GPU NVIDIA dan TPU Google, yang Anda sediakan dan konfigurasi dengan template deployment yang disebut blueprint. Dengan file konfigurasi otomatis ini, Anda men-deploy infrastruktur cluster yang standar dan dapat diulang berdasarkan prinsip Infrastructure as Code (IaC).
Kontrol OS dan kernel: Cluster Toolkit men-deploy instance komputasi atau resource GKE di dalam project Google CloudAnda. Setelah men-deploy resource ini, Anda mempertahankan kontrol administratif atas OS, setelan software, dan siklus proses cluster.
Orkestrasi: untuk menskalakan kapasitas, Anda mengonfigurasi grup instance terkelola (MIG) atau alat GKE untuk menambahkan atau menghapus node berdasarkan setelan template Anda.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cluster Toolkit.
Menggunakan Compute Engine
Jika aplikasi Anda memerlukan konfigurasi arsitektur kustom, setelan kernel khusus, atau kontrol administratif atas server virtual, pilih Compute Engine. Compute Engine adalah platform Infrastructure as a Service (IaaS) inti Google Cloud, yang memungkinkan Anda membuat dan menjalankan instance VM dan bare metal di hardware fisik Google.
Compute Engine menyediakan kemampuan berikut:
Dukungan akselerator: Compute Engine mendukung GPU NVIDIA dan TPU Google, yang Anda lampirkan ke instance komputasi.
Kontrol OS dan kernel: Anda mempertahankan kontrol penuh atas OS, setelan kernel, dan file booting, serta memilih prosesor CPU, konfigurasi memori, jenis penyimpanan, dan OS tamu.
Orkestrasi: karena orkestrasi bersifat manual, Anda menyiapkan dan mengelola instance komputasi, aturan jaringan, rute traffic, dan sistem cadangan Anda sendiri untuk keandalan. Untuk menskalakan kapasitas, Anda dapat menambahkan atau menghapus instance komputasi sesuai kebutuhan, menggunakan alat kustom, atau mengonfigurasi MIG untuk menyesuaikan kapasitas cluster.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Compute Engine.
Menggunakan GKE
Jika Anda memerlukan platform orkestrasi berbasis container untuk aplikasi terdistribusi atau microservice tujuan umum, pilih Google Kubernetes Engine (GKE). GKE adalah platform Kubernetes terkelola berstandar industri untuk men-deploy, menskalakan, dan mengorkestrasi aplikasi dalam container. Google mengelola bidang kontrol Kubernetes untuk keamanan dan ketersediaan sistem.
GKE menawarkan fitur berikut:
Dukungan akselerator: GKE mendukung GPU NVIDIA dan TPU Google untuk workload dalam container.
Kontrol OS dan kernel: Google mengelola OS dalam mode Autopilot dan mode standar. Dalam mode Autopilot, Google mengelola node cluster dan penyesuaian kapasitas tanpa intervensi manual. Dalam mode Standard, Anda mengelola node pool cluster.
Orchestration: untuk menyesuaikan kapasitas seiring perubahan permintaan, GKE menambahkan atau menghapus container dengan Horizontal dan Vertical Pod Autoscaler (HPA dan VPA), serta menambahkan atau menghapus node dengan autoscaler cluster. GKE juga mengorkestrasi tugas batch melalui Kueue, pengontrol antrean tugas berbasis Kubernetes.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan GKE.
Menggunakan VMware Engine
Untuk memigrasikan workload VMware lokal Anda ke infrastruktur Google Cloud dengan perubahan operasional minimal, pilih VMware Engine. VMware Engine adalah layanan terkelola yang memungkinkan Anda menjalankan virtual machine VMware di hardware Google tanpa modifikasi aplikasi.
VMware Engine menyediakan kemampuan berikut:
Dukungan akselerator: VMware Engine tidak mendukung GPU atau TPU.
Kontrol OS dan kernel: Anda menjalankan aplikasi VMware di Google Cloud seperti yang dijalankan di penyiapan yang ada. Google mengelola hardware fisik, infrastruktur jaringan, dan platform software VMware, seperti vSphere, vCenter, vSAN, dan NSX-T. Anda mempertahankan kontrol administratif atas VM, OS tamu, dan alat pengelolaan VMware.
Orchestration: untuk menyesuaikan ukuran cloud pribadi, Anda dapat menambahkan atau menghapus node ESXi khusus.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Google Cloud VMware Engine.
Membandingkan opsi komputasi
Untuk mengidentifikasi solusi atau alat komputasi yang sesuai dengan workload Anda, bandingkan kemampuan teknis di berbagai opsi komputasi dalam tabel berikut:
| Opsi komputasi | GPU | TPU | Kontrol OS dan kernel | Orkestrasi | Penskalaan |
|---|---|---|---|---|---|
| Batch | Hingga NVIDIA RTX PRO 6000 | Tidak | Dikelola Google | Antrean tugas | Otomatis berdasarkan tugas dalam antrean |
| Cloud Run | NVIDIA RTX PRO 6000 Blackwell dan L4 | Tidak | Dikelola Google | Serverless | Otomatis berdasarkan permintaan atau konsumsi CPU |
| Cluster Director | Superchip NVIDIA GB300 Ultra, Superchip GB200, B200, H200, dan H100 | Google TPU7x, TPU v6e, dan TPU v5p (Pratinjau) | Dikelola Google (Ubuntu kustom) | Slurm | Otomatis berdasarkan permintaan tugas dalam antrean |
| Cluster Toolkit | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Kelola sendiri | File konfigurasi otomatis (IaC) | Dapat disesuaikan menggunakan alat MIG atau GKE |
| Compute Engine | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Kelola sendiri | Manual | Manual atau otomatis menggunakan MIG |
| Google Kubernetes Engine (GKE) | Semua GPU NVIDIA yang tersedia | Semua TPU Google yang tersedia | Dikelola Google (Autopilot) atau dikelola sebagian (Standard) | Kubernetes | Penskalaan pod dan node otomatis |
| VMware Engine | Tidak | Tidak | Dikelola Google | Platform VMware | Manual menggunakan node ESXi |
Mempelajari AI Hypercomputer untuk AI dan ML
AI Hypercomputer adalah arsitektur terintegrasi yang menggabungkan hardware khusus, software terbuka, dan model pemakaian yang fleksibel. Arsitektur ini dirancang untuk meningkatkan produktivitas ML Anda dan memaksimalkan goodput, yaitu tingkat data berguna yang ditransfer, untuk workload AI yang menuntut.
AI Hypercomputer menyediakan kemampuan berikut:
Dukungan akselerator: AI Hypercomputer mendukung semua GPU NVIDIA dan TPU Google. Akselerator terhubung melalui jaringan bandwidth tinggi untuk mengoptimalkan throughput model AI di ribuan instance komputasi.
Kontrol OS dan kernel: kontrol Anda atas OS dan kernel bergantung pada alat deployment yang Anda pilih:
Lingkungan yang dikelola Google: jika Anda memilih Cluster Director, Google akan mengelola lingkungan dan siklus proses cluster. Jika Anda memilih GKE dalam mode Autopilot, Google akan mengelola lingkungan container.
Lingkungan yang dikelola sendiri: jika Anda memilih Cluster Toolkit, Compute Engine, atau GKE dalam mode Standard, Anda akan mengelola resource cluster dan OS.
Orkestrasi: Anda dapat menggunakan Slurm, GKE, atau orchestrator kustom untuk menambahkan atau menghapus instance komputasi, pod, atau container di cluster Anda saat permintaan komputasi berubah.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan AI Hypercomputer.