Anda dapat menggunakan GPU dengan tugas Cloud Run untuk AI dan workload intensif komputasi lainnya. Dalam hal pelatihan, GPU unggul dalam menangani tugas LLM yang memerlukan banyak resource seperti inferensi, pemrosesan video, dan tugas grafis latar belakang. Google menyediakan GPU NVIDIA RTX PRO 6000 Blackwell dengan memori GPU (VRAM) 96 GB untuk GPU penuh atau memori GPU (VRAM) 48 GB untuk GPU pecahan (0,5), dan GPU NVIDIA L4 dengan memori GPU (VRAM) 24 GB. Memori GPU terpisah dari memori instance.
Saat menggunakan LLM, pastikan untuk melihat juga Praktik terbaik: Tugas Cloud Run dengan GPU.
GPU di Cloud Run terkelola sepenuhnya, tanpa memerlukan driver atau library tambahan. GPU Cloud Run menawarkan ketersediaan on-demand tanpa perlu pemesanan, mirip dengan cara kerja CPU on-demand dan memori on-demand di Cloud Run.
Instance container Cloud Run dengan GPU NVIDIA RTX PRO 6000 Blackwell atau L4 dimulai dalam waktu sekitar 5 detik. Container Anda dapat menggunakan GPU segera setelah startup selesai.
Anda dapat mengonfigurasi hingga satu GPU per instance container Cloud Run. Jika Anda menggunakan container sidecar, GPU hanya dapat dihubungkan ke satu container.
Jenis GPU yang didukung
Cloud Run mendukung dua jenis GPU:
GPU NVIDIA RTX PRO 6000 Blackwell:
- GPU penuh dengan versi driver NVIDIA saat ini adalah 580.x.x (13.0). GPU ini memerlukan minimal 20 CPU dan memori 80 GiB.
- GPU Pecahan dengan versi driver NVIDIA saat ini adalah 580.x.x
(13.0), jenis: GRID. GPU pecahan (GPU
0.5, VRAM 48 GB) memerlukan 10, 12, 14, atau 16 CPU dan memori minimal 40 GiB (hingga 4 GiB per CPU).
GPU L4 dengan versi driver NVIDIA saat ini: 580.x.x (13.0). Untuk GPU L4, Anda harus menggunakan minimal 4 CPU dan memori 16 GiB. GPU pecahan tidak didukung di GPU L4.
GPU Pecahan
GPU pecahan memungkinkan Anda mengurangi alokasi GPU untuk model yang tidak memerlukan GPU penuh, sekaligus tetap mendapatkan manfaat dari arsitektur dan performa GPU yang canggih. Dengan GPU pecahan, Anda dapat memiliki solusi yang lebih hemat biaya untuk workload inferensi yang tidak memerlukan kemampuan penuh GPU NVIDIA RTX PRO 6000 Blackwell berukuran penuh. Lihat Masalah umum untuk mengetahui batasan GPU pecahan.
Region yang didukung
Region berikut didukung oleh GPU NVIDIA RTX PRO 6000 Blackwell:
asia-southeast1(Singapura).asia-south2(Delhi, India).europe-west4(Belanda)CO2 Rendah
us-central1(Iowa)CO2 Rendah
GPU NVIDIA RTX PRO 6000 Blackwell Fraksional (Pratinjau) tersedia di region berikut:
Region berikut didukung oleh GPU L4:
asia-southeast1(Singapura)asia-south1(Mumbai) . Region ini hanya tersedia melalui undangan. Hubungi tim Akun Google Anda jika Anda tertarik dengan region ini.europe-west1(Belgia)CO2 Rendah
europe-west4(Belanda)CO2 Rendah
us-central1(Iowa)CO2 Rendah . Penskalaan resource tambahan di region ini mungkin memerlukan permintaan penambahan kuota. Hubungi tim Akun Google Anda jika Anda tertarik dengan region ini.
us-east4(Northern Virginia) . Penskalaan resource tambahan di region ini mungkin memerlukan permintaan penambahan kuota. Hubungi tim Akun Google Anda jika Anda tertarik dengan region ini.
Dampak harga
Lihat Harga Cloud Run untuk mengetahui detail harga GPU. Perhatikan persyaratan dan pertimbangan berikut:
- GPU untuk tugas mengikuti Harga tanpa redundansi zona.
- Konfigurasi CPU dan memori resource Anda memengaruhi harga.
- GPU ditagih selama seluruh durasi siklus proses instance.
Redundansi non-zona GPU
Fitur tugas Cloud Run hanya menyediakan dukungan redundansi non-zona untuk instance yang mendukung GPU. Dengan mengaktifkan redundansi non-zona, Cloud Run akan mencoba failover untuk tugas yang mendukung GPU dengan upaya terbaik. Cloud Run merutekan eksekusi tugas ke zona lain hanya jika kapasitas GPU yang memadai tersedia pada saat itu. Opsi ini tidak menjamin kapasitas yang dipesan untuk skenario failover, tetapi menghasilkan biaya per detik GPU yang lebih rendah.
Lihat bagian mengonfigurasi tugas Cloud Run dengan GPU untuk mengetahui detail tentang cara mengaktifkan redundansi non-zona.
Meminta penambahan kuota
Kuota untuk GPU nvidia-rtx-pro-6000 Cloud Run diberikan dalam milliGPU. GPU nvidia-rtx-pro-6000 penuh (1) menggunakan kuota 1.000 milliGPU, dan GPU nvidia-rtx-pro-6000 pecahan (0.5) menggunakan kuota 500 milliGPU. Project yang menggunakan GPU nvidia-rtx-pro-6000 di suatu region
untuk pertama kalinya akan otomatis diberi kuota 3.000 milliGPU
(redundansi zona nonaktif) saat deployment pertama dibuat. Ini setara dengan 3 GPU penuh atau 6 GPU pecahan (0.5). Project yang menggunakan GPU nvidia-l4 Cloud Run di suatu region untuk pertama kalinya akan otomatis diberi kuota 3 GPU (redundansi zona nonaktif) saat deployment pertama dibuat.
Perhatikan bahwa pemberian kuota otomatis ini bergantung pada ketersediaan, tergantung pada kapasitas CPU dan memori Anda. Hal ini membatasi jumlah GPU yang mungkin aktif di semua layanan, tugas, dan worker pool project pada waktu tertentu.
Jika Anda memerlukan GPU Cloud Run tambahan untuk tugas, minta penambahan kuota.
Sebelum memulai
Daftar berikut menjelaskan persyaratan dan batasan saat menggunakan GPU di Cloud Run:
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Aktifkan Cloud Run API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.- Lihat Praktik terbaik: Tugas Cloud Run dengan GPU untuk mengoptimalkan performa saat menggunakan tugas Cloud Run dengan GPU.
- Pastikan tugas Anda memenuhi persyaratan memori dan CPU minimum berdasarkan jenis GPU yang Anda gunakan.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi tugas Cloud Run, minta administrator untuk memberi Anda peran IAM berikut pada tugas:
- Cloud Run Developer (
roles/run.developer) - tugas Cloud Run - Service Account User (
roles/iam.serviceAccountUser) - pengguna akun layanan
Untuk mengetahui daftar peran dan izin IAM yang terkait dengan Cloud Run, lihat Peran IAM Cloud Run dan Izin IAM Cloud Run. Jika tugas Cloud Run Anda berinteraksi dengan APIGoogle Cloud , seperti Library Klien Cloud, lihat panduan konfigurasi identitas layanan. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat izin deployment dan mengelola akses.
Mengonfigurasi tugas Cloud Run untuk menggunakan GPU
Anda dapat mengonfigurasi tugas Cloud Run untuk menggunakan GPU menggunakan konsolGoogle Cloud , gcloud CLI, atau YAML:
Konsol
Di konsol Google Cloud , buka halaman Cloud Run:
Pilih Jobs dari menu navigasi Cloud Run:
Jika Anda membuat tugas baru, klik Deploy container untuk mengisi halaman setelan tugas awal.
Jika Anda mengonfigurasi tugas yang ada, pilih tugas, lalu klik View and edit job configuration.
Klik Containers, Connections, Security untuk meluaskan halaman properti tugas.
Klik tab Containers.
Konfigurasikan memori dan CPU sesuai dengan persyaratan di Jenis GPU yang didukung.
Centang kotak GPU.
Pilih GPU type dan Number of GPU.
Klik Buat atau Perbarui.
gcloud
Untuk mengaktifkan redundansi non-zona, Anda harus menentukan
--no-gpu-zonal-redundancy. Hal ini diperlukan untuk menggunakan GPU dengan tugas.
Untuk membuat tugas dengan GPU diaktifkan, gunakan perintah gcloud run jobs create:
gcloud run jobs create JOB \ --image=IMAGE_URL \ --gpu=GPU_NUMBER \ --gpu-type=GPU_TYPE \ --no-gpu-zonal-redundancy
Ganti kode berikut:
- JOB: nama tugas Cloud Run Anda.
IMAGE_URL: referensi ke image container—misalnya,us-docker.pkg.dev/cloudrun/container/job:latest.- GPU_NUMBER: jumlah GPU yang akan dipasang (
1untuk GPU penuh, atau0.5untuk GPU pecahan). - GPU_TYPE: jenis GPU. Untuk GPU NVIDIA RTX PRO 6000 Blackwell, masukkan
nvidia-rtx-pro-6000. Untuk GPU L4, masukkan nilainvidia-l4(nvidia-L4 L huruf kecil, bukan nilai numerik empat belas).
Untuk memperbarui konfigurasi GPU untuk tugas, gunakan perintah gcloud run jobs update:
gcloud run jobs update JOB \ --image IMAGE_URL \ --cpu CPU \ --memory MEMORY \ --gpu GPU_NUMBER \ --gpu-type GPU_TYPE \ --parallelism PARALLELISM \ --no-gpu-zonal-redundancy
Ganti kode berikut:
- JOB: nama tugas Cloud Run Anda.
IMAGE_URL: referensi ke image container—misalnya,us-docker.pkg.dev/cloudrun/container/job:latest.- CPU: jumlah CPU. Pastikan hal ini memenuhi persyaratan minimum.
- MEMORY: jumlah memori. Pastikan hal ini memenuhi persyaratan minimum.
- GPU_NUMBER: jumlah GPU yang akan dipasang (
1untuk GPU penuh, atau0.5untuk GPU pecahan). - GPU_TYPE: jenis GPU. Untuk GPU NVIDIA RTX PRO 6000 Blackwell, masukkan
nvidia-rtx-pro-6000. Untuk GPU L4, masukkan nilainvidia-l4(nvidia-L4 L huruf kecil, bukan nilai numerik empat belas). - PARALLELISM: nilai bilangan bulat yang lebih kecil daripada nilai terendah batas kuota yang berlaku yang Anda alokasikan untuk project Anda.
YAML
Anda harus menetapkan anotasi run.googleapis.com/gpu-zonal-redundancy-disabled:
ke true. Tindakan ini akan mengaktifkan redundansi non-zona, yang diperlukan untuk GPU untuk tugas.
Jika Anda membuat tugas baru, lewati langkah ini. Jika Anda mengupdate tugas yang ada, download konfigurasi YAML-nya:
gcloud run jobs describe JOB --format export > job.yaml
Perbarui atribut
nvidia.com/gpu,annotations: run.googleapis.com/launch-stageuntuk tahap peluncuran, dannodeSelector::
run.googleapis.com/acceleratorapiVersion: run.googleapis.com/v1 kind: Job metadata: name: JOB labels: cloud.googleapis.com/location: REGION spec: template: metadata: annotations: run.googleapis.com/gpu-zonal-redundancy-disabled: 'true' spec: template: spec: containers: - image: IMAGE_URL limits: cpu: 'CPU' memory: 'MEMORY' nvidia.com/gpu: 'GPU_NUMBER' nodeSelector: run.googleapis.com/accelerator: GPU_TYPE
Ganti kode berikut:
- JOB: nama tugas Cloud Run Anda.
- REGION: region tempat Anda ingin men-deploy tugas.
IMAGE_URL: referensi ke image container—misalnya,us-docker.pkg.dev/cloudrun/container/job:latest- CPU: jumlah CPU. Pastikan hal ini memenuhi persyaratan minimum.
- MEMORY: jumlah memori. Pastikan hal ini memenuhi persyaratan minimum.
- GPU_NUMBER: jumlah GPU yang akan dipasang (
1untuk GPU penuh, atau0.5untuk GPU pecahan). - GPU_TYPE: jenis GPU. GPU NVIDIA RTX PRO 6000 Blackwell,
masukkan
nvidia-rtx-pro-6000. Untuk GPU L4, masukkan nilainvidia-l4(nvidia-L4 L huruf kecil, bukan nilai numerik empat belas).
Buat atau update tugas menggunakan perintah berikut:
gcloud run jobs replace job.yaml
Perintah
gcloud run jobs replacesecara default menggunakan filejob.yamljika ada.
Melihat setelan GPU
Untuk melihat setelan GPU saat ini untuk tugas Cloud Run, gunakan konsol Google Cloud atau Google Cloud CLI:
Konsol
Di konsol Google Cloud , buka halaman tugas Cloud Run:
Klik tugas untuk membuka halaman Job details.
Klik View and edit job configuration.
Temukan setelan GPU di detail konfigurasi.
gcloud
Jalankan perintah berikut:
gcloud run jobs describe JOB
Temukan setelan GPU di konfigurasi yang ditampilkan.
Melepaskan resource GPU dari tugas
Anda dapat melepaskan resource GPU dari tugas menggunakan konsol Google Cloud , Google Cloud CLI, atau YAML.
Konsol
Di konsol Google Cloud , buka halaman Tugas Cloud Run:
Dalam daftar tugas, klik tugas untuk membuka detail tugas tersebut.
Klik View and edit job configuration.
Klik Containers, Connections, Security untuk meluaskan halaman properti tugas.
Klik tab Container.
Hapus centang pada kotak GPU.
Klik Update.
gcloud
Untuk melepaskan resource GPU dari tugas Cloud Run, tetapkan jumlah GPU ke 0 menggunakan perintah gcloud run jobs update:
gcloud run jobs update JOB --gpu 0
Ganti JOB dengan nama tugas Cloud Run Anda.
YAML
Jika Anda membuat tugas baru, lewati langkah ini. Jika Anda mengupdate tugas yang ada, download konfigurasi YAML-nya:
gcloud run jobs describe JOB --format export > job.yaml
Hapus baris
nvidia.com/gpu:,run.googleapis.com/gpu-zonal-redundancy-disabled: 'true', dannodeSelector: run.googleapis.com/accelerator: GPU_TYPE.Buat atau update tugas menggunakan perintah berikut:
gcloud run jobs replace job.yaml
Perintah
gcloud run jobs replacesecara default menggunakan filejob.yamljika ada.
Library driver
Secara default, semua library driver GPU NVIDIA RTX PRO 6000 Blackwell dan GPU NVIDIA L4
dipasang di /usr/local/nvidia/lib64. Cloud Run otomatis
menambahkan jalur ini ke variabel lingkungan LD_LIBRARY_PATH
(yaitu ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) container dengan
GPU. Hal ini memungkinkan penaut dinamis menemukan library driver NVIDIA. Penaut
menelusuri dan me-resolve jalur dalam urutan yang Anda cantumkan dalam variabel lingkungan
LD_LIBRARY_PATH. Setiap nilai yang Anda tentukan dalam variabel ini lebih diprioritaskan daripada jalur library driver Cloud Run default /usr/local/nvidia/lib64.
Jika Anda ingin menggunakan versi CUDA yang lebih tinggi dari 13.0,
cara termudah adalah mengandalkan image dasar NVIDIA yang lebih baru
dengan paket kompatibilitas maju yang sudah diinstal. Opsi lainnya adalah
menginstal paket kompatibilitas maju NVIDIA secara manual
dan menambahkannya ke LD_LIBRARY_PATH. Lihat matriks kompatibilitas NVIDIA
untuk menentukan versi CUDA yang kompatibel dengan versi driver NVIDIA
yang disediakan.
Tentang GPU dan paralelisme
Jika Anda menjalankan tugas paralel dalam eksekusi tugas, tentukan dan tetapkan nilai paralelisme ke nilai yang lebih kecil dari kuota GPU tanpa redundansi zona yang dialokasikan untuk project Anda. Untuk meminta penambahan kuota, lihat Cara menambah kuota. Tugas GPU dimulai secepat mungkin dan mencapai maksimum yang bervariasi, bergantung pada jumlah kuota GPU yang Anda alokasikan untuk project dan region yang dipilih. Deployment Cloud Run akan gagal jika Anda menetapkan paralelisme lebih dari batas kuota GPU.
GPU nvidia-rtx-pro-6000 penuh (1) menggunakan kuota 1.000 milliGPU, dan GPU nvidia-rtx-pro-6000 pecahan (0.5) menggunakan kuota 500 milliGPU. Untuk menghitung kuota GPU yang digunakan tugas Anda per eksekusi, kalikan jumlah GPU per tugas dengan nilai paralelisme. Misalnya, jika Anda memiliki kuota GPU sebesar 10, dan men-deploy tugas Cloud Run dengan --gpu=1, --parallelism=10, tugas Anda akan menggunakan semua 10 kuota GPU. Atau, jika Anda men-deploy dengan
--gpu=1, --parallelism=20, deployment akan gagal.
Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik: Tugas Cloud Run dengan GPU.
Langkah berikutnya
- Lihat contoh yang mengilustrasikan finetuning dengan checkpointing.
- Pelajari cara mendesain tugas GPU yang berjalan lama dan tangguh yang melakukan checkpoint dan melanjutkan di seluruh gangguan infrastruktur.
- Lihat Menjalankan inferensi AI di Cloud Run dengan GPU untuk mengetahui tutorialnya.