Anda dapat mengaktifkan dan mengelola resource unit pemrosesan grafis (GPU) di container Anda. Misalnya, Anda mungkin lebih suka menjalankan notebook kecerdasan buatan (AI) dan machine learning (ML) di lingkungan GPU. Untuk menjalankan workload container GPU, Anda harus memiliki cluster Kubernetes yang mendukung perangkat GPU. Dukungan GPU diaktifkan secara default untuk cluster Kubernetes yang memiliki mesin GPU yang disediakan untuk cluster tersebut.
Dokumen ini ditujukan bagi developer aplikasi dalam grup operator aplikasi yang bertanggung jawab membuat workload aplikasi untuk organisasi mereka. Untuk mengetahui informasi selengkapnya, lihat Audiens untuk dokumentasi GDC dengan air gap.
Sebelum memulai
Untuk menyelesaikan tugas dalam dokumen ini, Anda harus meminta izin yang diperlukan dan menyiapkan lingkungan Anda.
Meminta peran IAM
Anda harus memiliki peran tertentu untuk mendapatkan izin yang diperlukan guna men-deploy GPU ke container Anda. Peran yang Anda perlukan bergantung pada apakah Anda bekerja dalam cluster bersama yang tercakup dalam organisasi atau cluster standar yang tercakup dalam project. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi cluster Kubernetes.
Peran cluster bersama
Untuk memverifikasi node pool yang didukung GPU dan men-deploy workload GPU di cluster bersama, minta peran berikut berdasarkan tugas yang akan dilakukan:
- User Cluster Admin (
user-cluster-admin): membuat, menghapus, mengedit, atau melihat resource cluster bersama yang dihosting di server API pengelolaan. Peran ini memungkinkan Anda memeriksa GPU di cluster bersama, dan tidak terikat ke namespace project Anda. - Namespace Admin (
namespace-admin): membuat, menghapus, mengedit, atau melihat resource cluster bersama yang dihosting dalam project. Peran ini memungkinkan Anda men-deploy workload GPU ke cluster bersama, dan terikat ke namespace project Anda.
Peran cluster standar
Untuk memverifikasi node pool yang didukung GPU dan men-deploy workload GPU ke cluster standar, minta Admin Project IAM Anda untuk memberi Anda peran berikut:
- Standard Cluster Admin (
standard-cluster-admin): membuat, menghapus, mengedit, atau melihat resource cluster standar yang dihosting di server API pengelolaan. Peran ini memungkinkan Anda memeriksa GPU di cluster standar, dan terikat ke namespace project Anda. - Developer Cluster (
cluster-developer): membuat, menghapus, mengedit, atau melihat cluster standar. Peran ini memungkinkan Anda men-deploy workload GPU ke cluster standar dengan memberikan akses ke API bidang data yang dihosting dalam cluster standar. Peran ini terikat ke namespace project Anda.
Menyiapkan lingkungan Anda
Untuk mengonfigurasi container agar menggunakan resource GPU, pastikan Anda memiliki resource berikut:
Cluster Kubernetes dengan jenis mesin GPU:
- Cluster bersama: mendukung node pool GPU di semua rilis.
- Cluster standar: secara resmi mendukung node pool GPU mulai rilis 1.16.2 hotfix 1. Node pool GPU cluster Standard tidak didukung dalam rilis sebelumnya. Untuk mengetahui informasi selengkapnya tentang jenis mesin dan model GPU yang tersedia, lihat Jenis mesin node cluster.
Temukan nama cluster Kubernetes, atau tanyakan kepada anggota grup administrator platform apa nama clusternya.
Login dan buat file kubeconfig untuk cluster Kubernetes.
Gunakan jalur kubeconfig cluster Kubernetes untuk mengganti
KUBERNETES_CLUSTER_KUBECONFIGdalam petunjuk ini.Login dan buat file kubeconfig untuk server API pengelolaan zona yang menghosting cluster Kubernetes Anda. Gunakan jalur ini untuk mengganti
MANAGEMENT_API_SERVERdalam petunjuk ini.Login dan buat file kubeconfig untuk cluster infrastruktur organisasi di zona yang dimaksudkan untuk menghosting GPU Anda.
Mengonfigurasi container untuk menggunakan resource GPU
Untuk menggunakan GPU ini dalam container, selesaikan langkah-langkah berikut:
Pastikan cluster Kubernetes Anda memiliki node pool yang mendukung GPU:
kubectl describe clusters.cluster.gdc.goog/KUBERNETES_CLUSTER_NAME \ -n KUBERNETES_CLUSTER_NAMESPACE \ --kubeconfig MANAGEMENT_API_SERVERGanti kode berikut:
KUBERNETES_CLUSTER_NAME: nama cluster.KUBERNETES_CLUSTER_NAMESPACE: namespace cluster. Untuk cluster bersama, gunakan namespaceplatform. Untuk cluster standar, gunakan namespace project cluster.MANAGEMENT_API_SERVER: jalur kubeconfig server API zona tempat cluster Kubernetes dihosting. Jika Anda belum membuat file kubeconfig untuk server API di zona yang ditargetkan, lihat Login.
Output yang relevan mirip dengan cuplikan berikut:
# Several lines of code are omitted here. spec: nodePools: - machineTypeName: a2-ultragpu-1g-gdc nodeCount: 2 # Several lines of code are omitted here.Untuk mengetahui daftar lengkap jenis mesin GPU dan profil GPU Multi-Instance (MIG) yang didukung, lihat Jenis mesin node cluster.
Tambahkan kolom
.containers.resources.requestsdan.containers.resources.limitske spesifikasi container Anda.Di GDC, resource GPU diekspos di Kubernetes sebagai berikut:
- Seluruh resource GPU: diformat sebagai
nvidia.com/gpu-pod-GPU_MODEL. Gunakan nama resource ini saat meminta GPU fisik penuh. GPU utuh diperlukan di cluster standar, dan di cluster bersama tanpa partisi Multi-Instance GPU (MIG). - Resource partisi MIG: diformat sebagai
nvidia.com/mig-SLICE-GPU_MODEL. Gunakan nama resource ini saat meminta slice GPU yang dipartisi pada cluster bersama yang dikonfigurasi dengan skema partisi MIG.
Untuk nama resource Kubernetes yang dapat dialokasikan untuk setiap jenis mesin GPU yang didukung, lihat Nama resource GPU. Anda juga dapat memeriksa alokasi resource GPU pada node aktif untuk memeriksa resource yang dapat dialokasikan dan tersedia.
Spesifikasi container berikut meminta satu GPU A100 80 GB utuh dari node
a2-ultragpu-1g-gdcataua2-ultragpu-2g-gdc:# Several lines of code are omitted here. containers: - name: my-container image: "my-image" resources: requests: nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE: 1 limits: nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE: 1 # Several lines of code are omitted here.Atau, jika menggunakan cluster bersama yang dikonfigurasi dengan MIG, spesifikasi container berikut meminta tiga partisi GPU dari node
a2-ultragpu-1g-gdc:# Several lines of code are omitted here. containers: - name: my-container image: "my-image" resources: requests: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 3 limits: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 3 # Several lines of code are omitted here.- Seluruh resource GPU: diformat sebagai
Container juga memerlukan izin tambahan untuk mengakses GPU. Untuk setiap container yang meminta GPU, tambahkan izin berikut ke spesifikasi container Anda:
# Several lines of code are omitted here. securityContext: seLinuxOptions: type: unconfined_t # Several lines of code are omitted here.Terapkan file manifes container Anda:
kubectl apply -f CONTAINER_MANIFEST_FILE \ -n KUBERNETES_CLUSTER_NAMESPACE \ --kubeconfig KUBERNETES_CLUSTER_KUBECONFIGGanti kode berikut:
CONTAINER_MANIFEST_FILE: file manifes YAML untuk workload container Anda.KUBERNETES_CLUSTER_NAMESPACE: namespace cluster. Untuk cluster bersama, gunakan namespaceplatform. Untuk cluster standar, gunakan namespace project cluster.KUBERNETES_CLUSTER_KUBECONFIG: jalur kubeconfig cluster.
Memeriksa alokasi resource GPU
Untuk memeriksa alokasi resource GPU, gunakan perintah berikut:
kubectl describe nodes NODE_NAME --kubeconfig KUBERNETES_CLUSTER_KUBECONFIGGanti kode berikut:
NODE_NAME: node yang mengelola GPU yang ingin Anda periksa.KUBERNETES_CLUSTER_KUBECONFIG: jalur kubeconfig cluster.
Output yang relevan mirip dengan cuplikan berikut:
# Several lines of code are omitted here. Capacity: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 7 Allocatable: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 7 # Several lines of code are omitted here.
Catat nama resource untuk GPU Anda; Anda harus menentukannya saat mengonfigurasi container untuk menggunakan resource GPU.