Tentang alokasi resource dinamis di GKE

Anda dapat menggunakan alokasi resource dinamis (DRA) untuk mengalokasikan GPU ke workload Google Kubernetes Engine (GKE). Dokumen ini menjelaskan dasar-dasar DRA, cara menggunakan DRA di GKE, dan manfaat menggunakan DRA.

Dokumen ini ditujukan untuk peran berikut:

Anda harus sudah memahami hal-hal berikut:

Pengantar DRA

DRA adalah fitur bawaan Kubernetes yang memungkinkan Anda meminta, mengalokasikan, dan membagikan hardware di cluster Anda secara fleksibel di antara Pod dan container. DRA meningkatkan pengalaman mengalokasikan hardware yang terpasang, seperti akselerator, dengan memungkinkan vendor perangkat dan administrator platform mendeklarasikan class perangkat yang dapat diminta dan dialokasikan. Operator aplikasi dapat meminta konfigurasi perangkat tertentu dalam class tersebut, lalu meminta konfigurasi tersebut dalam workload mereka. Kubernetes dan GKE mengelola penjadwalan Pod, penetapan node, dan alokasi perangkat berdasarkan permintaan workload.

Misalnya, administrator platform dapat menentukan class perangkat yang hanya memiliki GPU NVIDIA A100. Operator aplikasi kemudian dapat memfilter perangkat di class perangkat tersebut berdasarkan persyaratan workload, seperti memfilter untuk memori GPU minimal 80 GB. Saat operator aplikasi men-deploy workload yang meminta konfigurasi yang difilter, GKE menempatkan Pod di node yang memenuhi kriteria yang dipilih. Dalam contoh ini, GKE menemukan node yang memiliki GPU A100 (80 GB) yang tersedia. Operator aplikasi tidak perlu memilih node atau konfigurasi perangkat tertentu dalam manifes workload.

Manfaat DRA

Tanpa DRA, mengalokasikan perangkat hardware di Kubernetes mengandalkan plugin perangkat. Untuk memasang resource hardware ke Pod menggunakan plugin perangkat, Anda menggunakan label node untuk menempatkan Pod di node tertentu. Selain itu, untuk mendedikasikan seluruh resource node ke satu Pod, Anda harus meminta jumlah perangkat yang tepat yang terpasang ke node.

Dengan DRA, mengalokasikan perangkat ke Pod mirip dengan mengalokasikan volume untuk penyimpanan. Anda menentukan class perangkat, meminta perangkat dalam class tersebut, lalu menetapkan perangkat yang diminta tersebut ke workload. DRA menyediakan platform yang jauh lebih dapat diperluas untuk memfilter perangkat berdasarkan workload dan kebutuhan bisnis. Pendekatan DRA yang menggunakan ekspresi dan template untuk mengklaim hardware dan menjadwalkan Pod memiliki manfaat berikut:

  • Alokasi perangkat deklaratif: administrator platform dapat menentukan konfigurasi perangkat untuk jenis workload atau tim tertentu.
  • Mengurangi kompleksitas lintas tim: saat administrator platform menyediakan node yang memiliki konfigurasi hardware khusus, operator aplikasi tidak perlu mengetahui node mana yang memiliki konfigurasi tertentu. Administrator platform tidak perlu memberi label pada node atau menyampaikan informasi tentang node dan perangkat tertentu kepada operator.
  • Mengurangi kompleksitas developer: Kubernetes menjadwalkan Pod berdasarkan konfigurasi perangkat yang direferensikan. Operator aplikasi tidak perlu memilih node tertentu dalam workload mereka dan tidak perlu memastikan bahwa setiap Pod meminta jumlah perangkat yang sama persis dengan yang terpasang ke node tersebut.
  • Pengelolaan infrastruktur terpusat: administrator platform dapat menentukan konfigurasi hardware secara terpusat yang memenuhi persyaratan bisnis tertentu. Misalnya, administrator platform dapat mendeklarasikan konfigurasi berperforma tinggi yang memiliki GPU H100 bersama dengan konfigurasi inferensi kecil yang memiliki GPU Tesla T4.
  • Pemilihan hardware yang fleksibel: Anda dapat menggunakan ekspresi CEL untuk memfilter perangkat yang memiliki atribut tertentu. Penggunaan ekspresi memberikan fleksibilitas untuk memfilter perangkat yang optimal untuk workload tertentu.

Kapan harus menggunakan DRA

Alasan utama menggunakan DRA di GKE adalah fleksibilitas yang Anda miliki dalam meminta perangkat untuk workload. Anda dapat menulis manifes sekali dan men-deploy workload ke berbagai cluster dengan jenis perangkat yang berbeda tanpa perlu mengubah manifes. Fleksibilitas ini ideal untuk kasus penggunaan seperti berikut:

  • Meningkatkan fleksibilitas, efisiensi, dan ketersediaan kapasitas komputasi GPU: untuk workload yang memerlukan akses ke hardware GPU, Anda dapat menggunakan DRA untuk meminta GPU apa pun yang tersedia di cluster, tanpa perlu menentukan model GPU. Jika workload tersebut memiliki persyaratan memori GPU (VRAM) tertentu, Anda dapat meminta GPU apa pun di cluster yang memiliki jumlah memori minimum. Jenis permintaan fleksibel ini memperluas kumpulan node GPU yang dapat menjalankan workload, sehingga mengurangi risiko workload tidak dijadwalkan karena resource tidak tersedia.
  • Mengoptimalkan ketersediaan node selama penskalaan: jumlah perangkat yang diperlukan workload dapat berubah bergantung pada faktor seperti jenis perangkat dan kemampuannya. Anda dapat menggunakan ComputeClasses GKE untuk menempatkan Pod yang dipercepat di node pool tertentu berdasarkan ketersediaan perangkat. Kemudian, Anda dapat mengonfigurasi Pod untuk mengklaim perangkat di node mana pun tempat GKE menempatkan Pod.

    Menggunakan DRA dengan ComputeClass memungkinkan Anda meminimalkan risiko workload yang tidak terjadwal sekaligus membantu Anda menjalankan workload pada hardware yang dioptimalkan.

Terminologi

Kubernetes open source dan penyedia Kubernetes terkelola seperti GKE menggunakan jenis API DRA inti berikut:

ResourceSlice
ResourceSlice mencantumkan satu atau beberapa perangkat hardware di cluster yang dapat diakses oleh node. Misalnya, dalam node yang dapat mengakses satu GPU, ResourceSlice mencantumkan GPU dan nama node. Driver perangkat DRA di setiap node membuat ResourceSlice. Penjadwal Kubernetes menggunakan ResourceSlice untuk memutuskan perangkat mana yang akan dialokasikan untuk memenuhi permintaan workload.
DeviceClass
DeviceClass menentukan kategori perangkat, seperti GPU, yang tersedia untuk diminta untuk workload. Beberapa driver perangkat menyediakan DeviceClass bawaan, seperti DeviceClass gpu.nvidia.com untuk GPU NVIDIA. Administrator platform juga dapat membuat DeviceClass kustom yang menentukan konfigurasi perangkat tertentu.
ResourceClaim

ResourceClaim memungkinkan Pod atau pengguna meminta resource hardware dengan memfilter parameter tertentu dalam DeviceClass. Saat workload mereferensikan ResourceClaim, Kubernetes menetapkan perangkat yang cocok dengan parameter yang ditentukan ke ResourceClaim tersebut.

Misalnya, pertimbangkan skenario saat Anda membuat ResourceClaim untuk satu GPU A100 (40 GB), lalu men-deploy workload yang memilih ResourceClaim tersebut. Kubernetes menetapkan GPU A100 (40 GB) yang tersedia ke ResourceClaim dan menjadwalkan Pod Anda di node yang dapat mengakses GPU tersebut.

ResourceClaimTemplate

ResourceClaimTemplate menentukan template yang dapat digunakan Pod untuk membuat ResourceClaim per Pod baru secara otomatis. ResourceClaimTemplate berguna saat Anda memiliki beberapa workload yang memerlukan akses ke konfigurasi perangkat yang serupa, terutama saat menggunakan pengontrol workload seperti Deployment atau StatefulSet.

Operator aplikasi men-deploy ResourceClaimTemplate, lalu mereferensikan template dalam workload. Kubernetes membuat ResourceClaim untuk setiap Pod berdasarkan template yang ditentukan, mengalokasikan perangkat, dan menjadwalkan Pod. Saat Pod dihentikan, Kubernetes akan membersihkan ResourceClaim yang sesuai.

Untuk mengetahui informasi selengkapnya tentang jenis DRA API, lihat terminologi DRA.

Cara kerja DRA

Menggunakan DRA di cluster dan workload Anda adalah proses yang mirip dengan menggunakan StorageClass, PersistentVolumeClaim, dan PersistentVolume untuk menyediakan volume secara dinamis untuk Pod.

Diagram berikut menunjukkan langkah-langkah yang dilakukan administrator cluster dan operator aplikasi untuk mengalokasikan perangkat menggunakan DRA:

Dalam diagram ini, administrator cluster dan operator aplikasi melakukan hal berikut:

  1. Administrator cluster menginstal driver perangkat yang mendukung DRA di node.
  2. Administrator cluster membuat DeviceClass yang memfilter hardware yang memenuhi persyaratan tertentu, seperti semua GPU dengan memori lebih dari 40 GB. Beberapa perangkat mungkin juga menyertakan DeviceClass bawaan.
  3. Operator aplikasi membuat ResourceClaimTemplate atau ResourceClaim yang meminta konfigurasi perangkat. Kasus penggunaan utama untuk setiap jenis klaim adalah sebagai berikut:
    • ResourceClaim memungkinkan beberapa Pod berbagi akses ke perangkat yang sama.
    • ResourceClaimTemplate memungkinkan beberapa Pod mengakses perangkat yang terpisah dan serupa dengan membuat ResourceClaim per Pod secara otomatis.
  4. Operator aplikasi menambahkan ResourceClaimTemplate atau ResourceClaim ke manifes workload mereka.
  5. Operator aplikasi men-deploy workload.

Saat Anda men-deploy workload yang mereferensikan ResourceClaimTemplate atau ResourceClaim, Kubernetes akan melakukan langkah-langkah penjadwalan berikut:

  1. Jika workload mereferensikan ResourceClaimTemplate, Kubernetes akan membuat objek ResourceClaim baru untuk setiap instance workload (misalnya, setiap replika dalam Deployment).
  2. Penjadwal Kubernetes menggunakan ResourceSlice dalam cluster untuk mengalokasikan perangkat yang tersedia dan memenuhi syarat ke ResourceClaim setiap Pod.
  3. Scheduler menempatkan setiap Pod pada node yang memiliki akses ke perangkat yang dialokasikan ke ResourceClaim Pod.
  4. kubelet pada node tujuan memanggil driver DRA pada node untuk memasang hardware yang dialokasikan ke Pod guna memenuhi permintaan resource-nya.

Kapan harus menggunakan ResourceClaim dan ResourceClaimTemplate

Anda dapat menggunakan ResourceClaims atau ResourceClaimTemplates untuk menunjukkan kepada Kubernetes bahwa Anda menginginkan perangkat yang memenuhi persyaratan tertentu. Saat ResourceClaim direferensikan dalam Pod, Kubernetes mengalokasikan perangkat ke resource API ResourceClaim yang sesuai di server Kubernetes API. Alokasi ini terjadi terlepas dari apakah Anda membuat ResourceClaim atau Kubernetes membuat ResourceClaim dari ResourceClaimTemplate.

Jika Anda membuat ResourceClaim, lalu mereferensikannya di beberapa Pod, semua Pod tersebut dapat mengakses perangkat yang dialokasikan Kubernetes untuk ResourceClaim tersebut. Misalnya, akses bersama ini mungkin terjadi jika Anda mereferensikan ResourceClaim tertentu dalam manifes Deployment yang memiliki beberapa replika. Namun, jika perangkat yang dialokasikan tidak dikonfigurasi untuk digunakan bersama oleh beberapa proses, akses perangkat bersama ini di seluruh Pod dapat menyebabkan perilaku yang tidak diinginkan.

Untuk mengalokasikan perangkat terpisah ke Pod, Anda dapat menggunakan ResourceClaimTemplate, yang merupakan template yang digunakan Kubernetes untuk membuat ResourceClaim individual secara otomatis. Misalnya, jika Anda mereferensikan ResourceClaimTemplate dalam Deployment yang memiliki beberapa replika, Kubernetes akan membuat ResourceClaim terpisah untuk setiap Pod yang direplikasi. Akibatnya, setiap Pod mendapatkan perangkat yang dialokasikan sendiri, bukan berbagi akses ke perangkat dengan Pod lain. ResourceClaim yang dibuat otomatis ini terikat dengan masa aktif Pod yang sesuai, dan akan dihapus saat Pod dihentikan. Jika Anda memiliki Pod independen yang memerlukan akses ke konfigurasi perangkat yang serupa, gunakan ResourceClaimTemplate untuk mengalokasikan perangkat ke setiap Pod secara terpisah.

Tabel berikut menjelaskan beberapa perbedaan antara membuat ResourceClaim secara manual dan mengizinkan Kubernetes membuat ResourceClaim dari ResourceClaimTemplate:

Perbandingan ResourceClaims dan ResourceClaimTemplates
ResourceClaim yang dibuat secara manual ResourceClaims yang dibuat secara otomatis
Anda kelola Dikelola oleh Kubernetes
Memberikan akses ke perangkat yang sama dari beberapa Pod Memberikan akses ke perangkat dari satu Pod
Ada di cluster secara independen dari Pod Terikat dengan siklus proses Pod yang sesuai
Ideal untuk beberapa workload yang perlu berbagi perangkat tertentu Ideal untuk beberapa workload yang memerlukan akses perangkat independen

Perbandingan DRA dengan alokasi perangkat manual

DRA membuat alokasi perangkat yang terpasang menjadi pengalaman yang mirip dengan penyediaan PersistentVolume secara dinamis. Kubernetes juga mendukung alokasi perangkat menggunakan plugin perangkat. Metode ini melibatkan langkah-langkah berikut:

  1. Administrator cluster membuat node yang memiliki perangkat terpasang, seperti GPU.
  2. Administrator cluster mengomunikasikan informasi tentang node tertentu dan perangkat yang terpasang kepada operator workload.
  3. Operator workload meminta perangkat dalam manifes workload sebagai berikut:
    • Pilih node yang memiliki konfigurasi perangkat yang diperlukan, seperti model GPU, menggunakan kolom nodeSelector.
    • Tentukan jumlah perangkat yang tepat untuk digunakan container dengan menggunakan kolom resources dalam spesifikasi Pod.

Metode alokasi manual ini mengharuskan operator aplikasi dan administrator cluster untuk berkomunikasi tentang node atau node pool tertentu yang memiliki konfigurasi perangkat tertentu. Mereka harus mengoordinasikan permintaan workload agar sesuai dengan perangkat di node, atau deployment akan gagal. Sebagai perbandingan, DRA memungkinkan Anda menggunakan ekspresi untuk memfilter perangkat secara fleksibel berdasarkan atribut, dan tidak mengharuskan operator workload mengetahui konfigurasi persis node dalam cluster.

Tabel berikut membandingkan DRA dengan plugin perangkat:

Perbandingan DRA dan alokasi perangkat manual
DRA Alokasi manual
Pemilihan perangkat yang fleksibel menggunakan ekspresi CEL Pemilihan node tertentu menggunakan pemilih dan permintaan resource
Keputusan penjadwalan yang dibuat oleh Kubernetes Keputusan penjadwalan yang dibuat oleh operator menggunakan pemilih node
Pemfilteran perangkat terpisah dari pembuatan workload Pemfilteran perangkat harus dilakukan dalam manifes workload
Pemfilteran perangkat terpusat dan kelas berbasis kebutuhan, yang dikelola oleh administrator platform Pemfilteran perangkat yang terisolasi oleh operator aplikasi
Operator aplikasi tidak perlu mengetahui kapasitas node, informasi label node, atau model perangkat yang terpasang untuk setiap node Operator aplikasi harus mengetahui node mana yang memiliki model dan jumlah perangkat tertentu yang terpasang.

DRA dan penskalaan otomatis infrastruktur

Untuk menyesuaikan jumlah node dalam node pool mode Standar secara otomatis, Anda dapat menggunakan autoscaler cluster. Anda dapat mengaktifkan autoscaler cluster di node pool yang dibuat secara manual, termasuk node pool yang memiliki driver DRA.

Untuk node pool yang menggunakan DRA, pemakaian perangkat memengaruhi cara autoscaler cluster menambahkan dan menghapus node dalam node pool. Untuk menghitung pemakaian perangkat di node pool, autoscaler cluster mempertimbangkan faktor-faktor berikut:

  • Semua perangkat dalam kumpulan resource harus bersifat lokal untuk node tertentu. Jika ResourceSlice memiliki kumpulan perangkat yang terpasang ke beberapa node, autoscaler cluster akan mengabaikan perangkat tersebut.
  • Semua perangkat dalam node pool sama pentingnya dan identik.
  • Perangkat DRA memiliki prioritas yang lebih tinggi daripada CPU atau memori. Di node pool DRA, autoscaler cluster mengabaikan penggunaan CPU dan memori.

Faktor-faktor ini mungkin berarti Anda akan melihat perilaku penurunan skala yang berbeda di node pool DRA dibandingkan dengan node pool lainnya.

Perangkat GKE yang didukung untuk DRA

Tabel berikut menjelaskan perangkat yang dapat Anda alokasikan ke workload dengan DRA di GKE:

Perangkat yang didukung untuk DRA di GKE
Jenis perangkat Deskripsi
GPU Jenis GPU apa pun yang tersedia di lokasi Anda. Untuk mengetahui informasi selengkapnya, lihat Lokasi GPU.
Antarmuka jaringan Beberapa jenis antarmuka jaringan, seperti antarmuka yang mendukung RDMA, dengan menginstal driver DRANET terkelola. Untuk mengetahui informasi selengkapnya, lihat Mengalokasikan resource jaringan menggunakan DRANET yang dikelola GKE.

Batasan

Batasan berikut berlaku saat Anda menggunakan DRA:

  • Mode operasi: DRA hanya tersedia di cluster mode Standard.

  • Jenis akselerator: DRA di GKE hanya mendukung GPU.

  • GPU:

    • Anda tidak dapat menggunakan GPU berbagi waktu, GPU multi-instance, atau Multi-Process Service (MPS).
    • Untuk node yang menggunakan driver GPU DRA, Anda tidak dapat menggunakan paket metrik NVIDIA Data Center GPU Manager (DCGM) terkelola untuk mengirim metrik DCGM ke Cloud Monitoring.
    • Driver GPU untuk DRA dimiliki oleh NVIDIA, bukan oleh GKE. Untuk mengetahui informasi selengkapnya, lihat dokumentasi NVIDIA.
  • Antarmuka jaringan: lihat Batasan di "Mengalokasikan resource jaringan menggunakan DRANET yang dikelola GKE".

  • Autoscaling:

    • Untuk driver DRA pihak ketiga yang Anda instal, autoscaler cluster mengharuskan node pool Anda memiliki setidaknya satu node. Untuk mencegah node pool yang menggunakan driver pihak ketiga melakukan penskalaan ke nol node, tetapkan jumlah minimum node ke minimal 1.
    • Autoscaler cluster mungkin tidak berfungsi dengan benar dengan driver DRA pihak ketiga. Jika Anda menggunakan driver pihak ketiga, pastikan driver tersebut hanya memublikasikan informasi untuk perangkat yang bersifat lokal untuk node tertentu.
    • Untuk DaemonSet di node pool yang diskalakan otomatis dan menggunakan ResourceClaim statis untuk berbagi akses perangkat di antara Pod, penskalaan otomatis mendukung hingga 128 Pod DaemonSet. Untuk menghindari batasan ini, lakukan salah satu tindakan berikut:
      • Cegah node pool agar tidak diskalakan ke lebih dari 128 node dengan menetapkan jumlah maksimum node.
      • Gunakan kolom adminAccess (beta), di ResourceClaim, yang memungkinkan DaemonSet mengakses perangkat yang sedang digunakan.
    • Jika Pod Anda mereferensikan ResourceClaim dan memiliki PriorityClass yang menetapkan kebijakan preemption ke PreemptLowerPriority, latensi penskalaan otomatis mungkin akan meningkat. PreemptLowerPriority adalah kebijakan preemption default untuk PriorityClass, jadi pastikan PriorityClass Anda secara eksplisit menetapkan kolom preemptionPolicy ke Never. Untuk mengetahui informasi selengkapnya, lihat PriorityClass non-preempting.

Bagian ini memberikan rekomendasi bagi administrator platform atau operator aplikasi yang ingin menggunakan DRA untuk mengalokasikan perangkat ke workload. DRA mengubah secara signifikan metode yang Anda gunakan untuk meminta perangkat yang terpasang, baik di GKE maupun di Kubernetes. Untuk mendapatkan manfaat dari kasus penggunaan yang lebih lanjut, seperti penggantian lintas perangkat atau pemfilteran dan pemilihan perangkat yang mendetail, pertimbangkan panduan berikut:

Langkah berikutnya