Tentang opsi penggunaan akselerator untuk workload AI/ML di GKE

Halaman ini menjelaskan teknik yang tersedia yang dapat Anda gunakan untuk mendapatkan akselerator komputasi, seperti GPU atau TPU, berdasarkan persyaratan workload AI/ML Anda. Teknik ini disebut opsi pemakaian akselerator di GKE. Memahami berbagai opsi konsumsi akan membantu Anda mengoptimalkan pemanfaatan resource untuk menghindari kurangnya pemanfaatan resource, meningkatkan kemungkinan mendapatkan resource, serta menyeimbangkan biaya dan performa.

Halaman ini ditujukan untuk Admin dan operator platform yang berkoordinasi dengan Engineer machine learning (ML) untuk mendapatkan resource yang diperlukan agar berhasil men-deploy workload AI/ML.

Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan dalam konten Google Cloud , lihat Peran dan tugas pengguna GKE umum.

Memahami opsi pemakaian

Anda dapat memilih dari opsi berikut untuk menggunakan akselerator di GKE:

  • On-demand: Anda menggunakan TPU atau GPU di GKE tanpa mengatur kapasitas terlebih dahulu. Sebelum meminta resource, Anda harus memiliki kuota on-demand yang cukup untuk jenis dan jumlah akselerator tertentu. On-demand adalah opsi konsumsi yang paling fleksibel; namun, tidak ada jaminan bahwa resource on-demand yang tersedia akan cukup untuk memenuhi permintaan Anda.
  • Reservasi: Anda memesan resource untuk jangka waktu tertentu. Pemesanan dapat berupa salah satu dari berikut:
    • Pemesanan untuk masa mendatang: Anda memesan resource untuk durasi yang biasanya lebih lama untuk waktu tertentu di masa mendatang. Anda memiliki akses eksklusif ke resource yang dipesan selama jangka waktu tersebut. Pemesanan untuk masa mendatang memerlukan interaksi dengan Manajer Akun Teknis (TAM). Untuk mengetahui informasi selengkapnya, lihat panduan TPU dan GPU.
    • Pemesanan untuk masa mendatang hingga 90 hari (dalam mode Calendar): Anda meminta kapasitas untuk jangka waktu tertentu, dengan penasihat kalender yang menyarankan tanggal tersedia. Pemesanan untuk masa mendatang hingga 90 hari (dalam mode kalender) menawarkan fleksibilitas lebih besar untuk durasi yang lebih singkat dan penelusuran kapasitas mandiri. Untuk mengetahui informasi selengkapnya, lihat Permintaan pemesanan untuk masa mendatang dalam mode kalender.
    • Pemesanan on-demand: Anda dapat meminta pemesanan on-demand untuk disediakan segera setelah kapasitas tersedia, mirip dengan opsi on-demand. Selama pemesanan aktif, Anda membayar resource, baik Anda menggunakannya atau tidak.
  • Flex-start: Anda mengamankan resource yang dialokasikan secara padat untuk workload berdurasi singkat tanpa reservasi. Anda meminta jumlah GPU atau TPU tertentu, dan Compute Engine akan menyediakannya saat kapasitas tersedia. GPU atau TPU berjalan tanpa gangguan hingga tujuh hari. Untuk mengetahui informasi selengkapnya, lihat penyediaan flex-start.
  • Spot: Anda menyediakan Spot VM, yang memungkinkan Anda mendapatkan diskon yang signifikan, tetapi Spot VM dapat di-preempt kapan saja, dengan peringatan 30 detik. Untuk mengetahui informasi selengkapnya, lihat Spot VM.

Untuk mengoptimalkan keberhasilan penyediaan dalam batasan resource komputasi, Anda dapat mengorkestrasi opsi ini menggunakan ComputeClasses.

Memahami kuota akselerator di GKE

Kuota dan batas sistem membatasi penggunaan resource Google Cloud Anda untuk mendukung ketersediaan resource bagi semua pengguna Google Cloud . Kuota memiliki nilai default, tetapi biasanya Anda dapat meminta penyesuaian. Batas sistem adalah nilai tetap yang tidak dapat diubah. Secara default, project biasanya tidak dilengkapi dengan kuota akselerator yang signifikan. Anda harus meminta dan menerima persetujuan kuota untuk jenis dan region akselerator tertentu.

Pertimbangkan karakteristik berikut saat mengelola kuota yang diperlukan workload Anda:

  • Anda harus meminta kuota yang diperlukan untuk setiap opsi konsumsi. Untuk mengidentifikasi kuota yang diperlukan untuk setiap opsi konsumsi, lihat parameter "Kuota" terkait yang tercantum dalam tabel memilih opsi konsumsi. Jika kuota tidak mencukupi, upaya untuk membuat cluster, node pool, atau men-deploy workload yang memerlukan akselerator akan gagal dengan error Quota exceeded.

  • Anda harus meminta kuota saat menggunakan ComputeClass kustom di Autopilot. Node yang disediakan untuk memenuhi persyaratan ComputeClass masih menggunakan kuota project Anda untuk akselerator yang ditentukan.

  • Google Cloud Akun Uji Coba Gratis memiliki batasan dalam meminta penambahan kuota untuk resource bernilai tinggi seperti GPU dan TPU. Untuk mendapatkan akses ke kuota akselerator, upgrade ke akun berbayar.

Untuk memeriksa dan meminta kuota, buka halaman Quotas di konsol Google Cloud . Anda dapat memfilter kuota akselerator dan meminta penambahan.

Mengidentifikasi opsi pemakaian

Gunakan pertimbangan berikut untuk memilih opsi konsumsi terbaik untuk workload AI/ML Anda:

  • Jenis workload: pertimbangkan jenis workload yang ingin Anda terapkan. Persyaratan GKE bervariasi jika Anda menjalankan workload pelatihan atau inferensi:
    • Pelatihan: memerlukan resource berperforma tinggi dengan memori yang signifikan. Workload pelatihan biasanya memiliki masa aktif yang jelas. Workload ini biasanya lebih mudah direncanakan karena tidak terlalu rentan terhadap lonjakan konsumsi resource yang tiba-tiba.
    • Inferensi: biasanya memerlukan akselerator yang dioptimalkan untuk skalabilitas dan biaya yang lebih rendah. Workload inferensi dapat memerlukan memori akselerator yang signifikan selama lonjakan konsumsi resource yang tiba-tiba.
  • Masa pakai berdasarkan fase implementasi: pertimbangkan sasaran bisnis Anda jika Anda menjalankan Bukti Konsep (POC), evaluasi platform, pengembangan atau pengujian aplikasi, produksi, atau pengoptimalan.
  • Waktu penyediaan: tentukan apakah workload Anda memerlukan eksekusi segera atau dapat dijalankan di masa mendatang. Jika eksekusi di masa mendatang memungkinkan, tentukan seberapa fleksibel waktu mulai yang dapat dilakukan.
  • Keseimbangan antara biaya dan performa: evaluasi persyaratan performa workload dan batasan anggaran Anda untuk memilih akselerator yang paling hemat biaya. Pertimbangkan konsekuensi antara biaya akselerator dan karakteristik performanya. Ingat bahwa akselerator baru mungkin memberikan rasio biaya terhadap performa yang lebih baik.

Memilih opsi pemakaian

Gunakan tabel berikut untuk memilih opsi pemakaian:

Opsi pemakaian Parameter penyediaan Akselerator yang didukung Detail Contoh workload
Pemesanan on-demand
  • Waktu penyediaan: Langsung (dengan pemesanan yang disetujui)
  • Masa pakai: Jangka panjang (per pemesanan)
  • GPU apa pun (kecuali A5X, A4X Max, A4X, A4, atau A3 Ultra)
  • TPU apa pun
  • Biaya: Anda akan dikenai biaya untuk periode pemesanan penuh.
  • Kuota: kuota otomatis ditingkatkan sebelum kapasitas dikirimkan.
  • Workload berskala besar dan berjalan lama, seperti model dasar pra-pelatihan atau inferensi multi-host.
  • Workload produksi.
Pemesanan untuk masa mendatang
  • Waktu penyediaan: Langsung (dengan pemesanan yang disetujui)
  • Masa pakai: Jangka panjang (per pemesanan)
  • G2
  • A2
  • A3 High dengan 8 GPU
  • A3 Mega
  • A3 Edge
  • Biaya: Anda akan dikenai biaya untuk periode pemesanan penuh.
  • Kuota: kuota otomatis ditingkatkan sebelum kapasitas dikirimkan.
  • Workload berskala besar dan berjalan lama, seperti model dasar pra-pelatihan atau inferensi multi-host.
  • Workload produksi.
Pemesanan untuk masa mendatang hingga 90 hari (dalam mode Calendar)
  • Waktu penyediaan: Langsung (dengan pemesanan yang disetujui)
  • Masa aktif: Hingga 90 hari
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High dengan 8 GPU
  • A3 Edge
  • Ironwood (TPU7x)
  • TPU v6e
  • TPU v5p
  • TPU v5e
  • Biaya: diskon (hingga 53%). Anda akan dikenai biaya untuk periode pemesanan.
  • Kuota: tidak ada kuota yang dikenai biaya.
  • Workload terdistribusi yang berjalan singkat seperti fine-tuning model, simulasi, atau inferensi batch, yang memerlukan waktu mulai yang tepat.
  • Workload untuk evaluasi platform, tolok ukur, atau pengujian pengoptimalan.
Mode penyediaan Flex-start
  • Waktu penyediaan: Sesuai permintaan (tergantung ketersediaan)
  • Masa aktif: Hingga 7 hari per alokasi
  • Semua kelompok GPU kecuali A5X, A4X Max, atau A4X
  • Semua versi TPU
  • Workload batch seperti pelatihan model kecil, fine-tuning, atau inferensi skalabel dengan waktu mulai yang fleksibel.
  • Workload untuk POC atau pengujian integrasi.
Spot VM
  • Waktu penyediaan: Sesuai permintaan (tergantung ketersediaan)
  • Masa aktif: Bervariasi, dapat di-preempt dengan peringatan 30 detik
  • Semua kelompok GPU kecuali A5X, A4X Max, atau A4X
  • Semua versi TPU
  • Workload dengan prioritas lebih rendah dan fault-tolerant seperti CI/CD, analisis data, atau komputasi berperforma tinggi (HPC).
  • Workload yang sangat dapat diinterupsi.
On-demand (GPU atau TPU)
  • Waktu penyediaan: Segera (tergantung ketersediaan)
  • Masa pakai: Tidak terbatas
  • Semua kelompok GPU kecuali A5X, A4X Max, A4X, A4, atau A3 Ultra
  • Semua versi TPU
  • Biaya: Anda membayar sesuai penggunaan.
  • Kuota: Kuota on-demand GPU atau TPU akan dikenai biaya.
  • Workload tujuan umum yang memerlukan eksekusi langsung.

Mengoptimalkan biaya dan penyediaan workload dengan ComputeClasses

Anda dapat menggunakan ComputeClasses untuk mengelola dan mengotomatiskan strategi konsumsi akselerator secara dinamis dengan menentukan daftar konfigurasi penggantian berbasis prioritas. Selama operasi peningkatan skala, GKE mencoba menyediakan node sesuai dengan hierarki prioritas yang Anda tetapkan.

Daftar berikut menjelaskan opsi konsumsi yang tersedia dengan ComputeClass dan cara mengonfigurasinya. Untuk manifes YAML lengkap, lihat Contoh opsi konsumsi dengan ComputeClass.

  • Reservasi: Anda dapat menentukan nama reservasi di kolom reservations di ComputeClass. Hal ini memastikan bahwa GKE akan mencoba menggunakan kapasitas yang Anda pesan terlebih dahulu sebelum beralih ke kapasitas lain.
  • Mode penyediaan flex-start: aktifkan antrean fleksibel menggunakan kolom flexStart di ComputeClass, dan konfigurasikan durasi penggantian node pengganti menggunakan kolom nodeRecycling.
  • Spot VM: menginstruksikan GKE untuk menggunakan Spot VM saat menyediakan node untuk aturan prioritas tersebut dengan menetapkan kolom spot ke true.
  • Kapasitas on-demand yang digabungkan dengan kebijakan lokasi multi-zona: Deklarasikan konfigurasi mesin standar dalam daftar prioritas dan konfigurasikan strategi lokasi penggantian menggunakan kolom location.

ComputeClass tidak mendukung Pemesanan untuk masa mendatang atau Pemesanan untuk masa mendatang hingga 90 hari (dalam mode kalender).

Contoh opsi pemakaian dengan ComputeClasses

Bagian berikut memberikan contoh konfigurasi untuk strategi ini.

Pemesanan dengan konfigurasi penggantian

Konfigurasi ini paling cocok untuk workload yang dapat menoleransi gangguan, bukan workload yang bergantung pada data persisten atau harus dijalankan hingga selesai.

Konfigurasi ini membuat strategi penggantian yang tangguh menggunakan langkah-langkah berikut:

  1. Memakai pemesanan terlebih dahulu: GKE mencoba menyediakan node menggunakan pemesanan kapasitas khusus yang telah dibeli di muka.
  2. Fallback ke Flex-start: Jika kapasitas pemesanan digunakan sepenuhnya, GKE akan beralih ke resource flex-start berdurasi singkat dan berdiskon.
  3. Fallback ke On-demand: Sebagai fallback terakhir, GKE menyediakan resource on-demand standar.

  4. Migrasikan kembali ke pemesanan: Mengaktifkan migrasi aktif akan menginstruksikan GKE untuk otomatis menggabungkan dan memigrasikan workload kembali ke node pemesanan dengan prioritas lebih tinggi segera setelah kapasitas tersedia. Migrasi ini dapat mengganggu.

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: ha-gpu-fallback
spec:
  activeMigration:
    optimizeRulePriority: true # Migrate workloads back to reservation when capacity releases
  priorities:
  # Priority 1: Consume specific corporate reservation first
  - gpu:
      type: nvidia-l4
      count: 1
    reservations:
      affinity: Specific
      specific:
      - name: reserved-l4-pool
        project: my-project
        zones: [us-central1-a]
  # Priority 2: Fallback to Flex Start (short-duration allocation)
  - gpu:
      type: nvidia-l4
      count: 1
    flexStart:
      enabled: true
  # Priority 3: Fallback to On-demand resources
  - gpu:
      type: nvidia-l4
      count: 1

Mode penyediaan flex-start dengan konfigurasi daur ulang node

Konfigurasi ini mengelola kapasitas diskon berdurasi singkat dengan waktu beroperasi berkelanjutan menggunakan langkah-langkah berikut:

  1. Meminta VM Flex-start: GKE meminta instance VM dari antrean flex-start (yang berjalan tanpa gangguan hingga tujuh hari).
  2. Memantau masa berlaku sewa: GKE melacak sisa durasi node flex-start yang aktif.
  3. Memicu daur ulang node: Dua puluh menit (1.200 detik) sebelum masa sewa VM berakhir, GKE akan otomatis menyediakan node pengganti.

  4. Menjadwalkan ulang workload: Workload bermigrasi ke node baru, melanjutkan eksekusi tanpa gangguan layanan.

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: flex-node-recycling
spec:
  priorities:
  - gpu:
      type: nvidia-l4
      count: 1
    flexStart:
      enabled: true
      nodeRecycling:
        leadTimeSeconds: 1200 # Automatically launch replacement node before VM lease expires

Konfigurasi kebijakan alokasi multi-zona

Konfigurasi ini mengabaikan batasan pasokan zona tunggal menggunakan langkah-langkah berikut:

  1. Tentukan zona target: Anda mencantumkan beberapa zona cadangan (seperti us-central1-a, us-central1-b, dan us-central1-c) dalam aturan prioritas.
  2. Memperluas parameter target: Anda menetapkan kebijakan lokasi ke ANY. Setelan ini menginstruksikan autoscaler cluster untuk menelusuri kapasitas yang diminta di semua zona yang ditentukan.
  3. Menganalisis ketersediaan zona: selama peristiwa peningkatan skala, GKE memindai zona yang ditentukan.

  4. Menyediakan di zona yang tersedia: GKE segera menyediakan node workload yang diminta di zona target mana pun yang memiliki kapasitas yang sesuai. Strategi ini mencegah penyumbatan dalam antrean alokasi.

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: broad-zonal-serving
spec:
  priorities:
  - gpu:
      type: nvidia-l4
      count: 1
    location:
      zones: [us-central1-a, us-central1-b, us-central1-c]
      locationPolicy: ANY # Provision accelerator in any target zone with supply

Langkah berikutnya