Tutorial ini menunjukkan cara menyesuaikan model bahasa besar (LLM) Gemma 3 pada cluster GKE Autopilot multi-host di Google Cloud. Cluster ini menggunakan dua instance virtual machine (VM) A4 dengan total 16 GPU NVIDIA B200.
Dua proses utama yang dijelaskan dalam tutorial ini adalah sebagai berikut:
- Men-deploy cluster GKE multi-host berperforma tinggi menggunakan GKE Autopilot. Sebagai bagian dari deployment ini, Anda akan membuat image VM kustom dengan software yang diperlukan yang telah diinstal sebelumnya.
- Setelah cluster di-deploy, Anda menjalankan tugas fine-tuning terdistribusi menggunakan kumpulan skrip yang disertakan dalam tutorial ini. Tugas ini memanfaatkan library Hugging Face Accelerate.
Tutorial ini ditujukan untuk engineer machine learning (ML), peneliti, administrator dan operator platform, serta untuk spesialis data dan AI yang tertarik untuk men-deploy cluster GKE di Google Cloud untuk melatih LLM.
Tujuan
Akses model Gemma 3 menggunakan Hugging Face.
Menyiapkan lingkungan Anda.
Membuat dan men-deploy cluster GKE A4.
Sesuaikan model Gemma 3 menggunakan library Hugging Face Accelerate dengan fully sharded data parallel (FSDP).
Memantau tugas Anda.
Jalankan pembersihan.
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
-
Instal Google Cloud CLI.
-
Konfigurasi gcloud CLI agar menggunakan identitas gabungan Anda.
Untuk mengetahui informasi selengkapnya, lihat Login ke gcloud CLI dengan identitas gabungan Anda.
-
Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:
gcloud init -
Buat atau pilih project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
-
Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator
(
roles/resourcemanager.projectCreator), yang berisi izinresourcemanager.projects.create. Pelajari cara memberikan peran.
-
Buat project Google Cloud :
gcloud projects create PROJECT_ID
Ganti
PROJECT_IDdengan nama untuk Google Cloud project yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_IDdengan nama project Google Cloud Anda.
-
Pastikan penagihan diaktifkan untuk project Google Cloud Anda.
Aktifkan API yang diperlukan, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable compute.googleapis.com
container.googleapis.com file.googleapis.com logging.googleapis.com cloudresourcemanager.googleapis.com servicenetworking.googleapis.com -
Berikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
roles/compute.admin, roles/iam.serviceAccountUser, roles/cloudbuild.builds.editor, roles/artifactregistry.admin, roles/storage.admin, roles/serviceusage.serviceUsageAdmingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Ganti kode berikut:
PROJECT_ID: Project ID Anda.USER_IDENTIFIER: ID untuk akun pengguna akun. Untuk mengetahui contohnya, lihat Merepresentasikan pengguna workforce pool dalam kebijakan IAM.ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.
- Aktifkan akun layanan default untuk project Google Cloud Anda:
export PROJECT_NUMBER="$(gcloud projects describe "PROJECT_ID" --format "value(project_number)")" gcloud iam service-accounts enable "${PROJECT_NUMBER}-compute@ \ --project=PROJECT_ID
- Berikan peran Editor (
roles/editor) ke akun layanan default:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@" \ --role=roles/editor
- Buat kredensial autentikasi lokal untuk akun pengguna Anda:
gcloud auth application-default login
- Aktifkan Login OS untuk project Anda:
gcloud compute project-info add-metadata --metadata=enable-oslogin=TRUE
- Login atau buat akun Hugging Face.
Mengakses Gemma 3 menggunakan Hugging Face
Untuk menggunakan Hugging Face guna mengakses Gemma 3, lakukan hal berikut:
- Login ke Hugging Face
- Buat token akses
writeHugging Face.
Klik Your Profile > Settings > Token akses > +Create new token. - Salin dan simpan nilai token
write access. Anda akan menggunakannya nanti dalam tutorial ini.
Menyiapkan lingkungan Anda
Untuk menyiapkan lingkungan Anda, tetapkan hal berikut:
Ganti kode berikut:
PROJECT_ID: nama project Google Cloud tempat Anda ingin membuat cluster GKE.
CLUSTER_NAME: nama cluster GKE yang akan dibuat.
CLUSTER_REGION: region tempat Anda ingin membuat cluster GKE. Anda hanya dapat membuat cluster di region tempat pemesanan Anda berada.
RESERVATION: ID untuk kapasitas yang dipesan.
HF_TOKEN: token akses Hugging Face yang Anda buat di bagian sebelumnya.
ARTIFACT_REPO_LOCATION: lokasi tempat Anda ingin membuat repositori Artifact Registry.
NUM_NODES: jumlah node yang Anda inginkan untuk cluster GKE.
NETWORK: jaringan yang akan digunakan.
Membuat cluster GKE multi-host dalam mode Autopilot
Buat cluster GKE multi-host dalam mode Autopilot:
Mungkin perlu waktu beberapa saat untuk membuat cluster GKE. Untuk memastikan bahwa Google Cloud telah selesai membuat cluster, buka cluster Kubernetes di konsol Google Cloud .
Mendapatkan kredensial untuk cluster GKE Anda
Konfigurasikan kubectl untuk berkomunikasi dengan cluster GKE yang baru dibuat dengan menjalankan perintah berikut:
Membuat secret Kubernetes untuk kredensial Hugging Face
Untuk membuat secret Kubernetes untuk kredensial Hugging Face, ikuti langkah-langkah berikut:
Konfigurasi
kubectluntuk berkomunikasi dengan cluster GKE Anda:Buat secret Kubernetes untuk menyimpan token Hugging Face Anda:
Menyiapkan workload Anda
Untuk menyiapkan workload, lakukan hal berikut:
Membuat skrip workload
Untuk membuat skrip yang digunakan workload fine-tuning Anda, lakukan hal berikut:
Buat direktori untuk skrip workload. Gunakan direktori ini sebagai direktori kerja Anda.
Buat file
cloudbuild.yamluntuk menggunakan Google Cloud Build. File ini membuat container workload Anda dan menyimpannya di Artifact Registry:Buat file
Dockerfileuntuk menentukan lingkungan dan menginstal dependensi yang diperlukan untuk menyelesaikan tugas penyesuaian:Buat file
accel_fsdp_gemma3_config.yaml. File konfigurasi ini mengarahkan Hugging Face Accelerate untuk membagi tugas penyesuaian di beberapa GPU.Buat file
finetune.yaml:Buat file
finetune.py:
Menggunakan Docker dan Cloud Build untuk membuat container fine-tuning
Membuat repositori Docker Artifact Registry:
Instal definisi resource kustom (CRD) JobSet yang diperlukan untuk mengorkestrasi workload multi-host.
JobSet adalah ekstensi Kubernetes yang digunakan untuk mengelola grup tugas terkait. Untuk mengetahui informasi selengkapnya tentang JobSet, lihat dokumentasi JobSet eksternal.
Di direktori
llm-finetuning-gemmayang Anda buat di langkah sebelumnya, jalankan perintah berikut untuk membuat image penyesuaian dan mengirimkannya ke Artifact Registry.Ekspor URL gambar. Anda akan menggunakannya pada langkah berikutnya dalam tutorial ini:
Memulai workload fine-tuning
Untuk memulai workload fine-tuning, lakukan hal berikut:
Terapkan manifes finetune untuk membuat tugas fine-tuning:
Karena Anda menggunakan cluster dalam mode GKE Autopilot, mungkin perlu waktu beberapa menit untuk memulai node yang mendukung GPU.
Pantau tugas dengan menjalankan perintah berikut:
Periksa log dari pod worker utama dengan menjalankan perintah berikut:
Resource tugas mendownload data model, lalu menyesuaikan model di kedelapan GPU. Proses download memerlukan waktu sekitar lima menit. Setelah download selesai, proses fine-tuning memerlukan waktu sekitar dua jam 30 menit untuk diselesaikan.
Memantau workload Anda
Anda dapat memantau penggunaan GPU di cluster GKE untuk memverifikasi bahwa tugas penyesuaian Anda berjalan secara efisien. Untuk melakukannya, buka link berikut di browser Anda:
Saat memantau workload, Anda dapat melihat hal berikut:
- Penggunaan GPU: untuk tugas fine-tuning yang baik, Anda akan melihat penggunaan semua 8 GPU Anda meningkat dan stabil ke tingkat yang tinggi selama pelatihan.
- Durasi tugas: tugas akan memerlukan waktu sekitar 10 menit untuk diselesaikan di cluster A4 yang ditentukan.
Pembersihan
Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.
Menghapus resource
Untuk menghapus JobSet, jalankan perintah berikut:
Untuk menghapus cluster GKE, jalankan perintah berikut:
Untuk menghapus repositori Artifact Registry, jalankan perintah berikut:
Menghapus project Anda
Menghapus Google Cloud project:
gcloud projects delete PROJECT_ID