במדריך הזה נסביר איך לכוונן מודל שפה גדול (LLM) מסוג Gemma 3 באשכול GKE Autopilot עם כמה מארחים ב- Google Cloud. באשכול הזה יש שתי מכונות וירטואליות (VM) מסוג A4 עם 16 מעבדי NVIDIA B200 GPU בסך הכול.
שני התהליכים העיקריים שמתוארים במדריך הזה הם:
- פריסת אשכול GKE עם ביצועים גבוהים ומארחים מרובים באמצעות GKE Autopilot. כחלק מהפריסה הזו, אתם יוצרים קובץ אימג' של VM בהתאמה אישית עם התוכנה הנדרשת שמותקנת מראש.
- אחרי פריסת האשכול, מריצים משימת כוונון מבוזרת באמצעות קבוצת הסקריפטים שמצורפים למדריך הזה. המשימה משתמשת בספריית Hugging Face Accelerate.
המדריך הזה מיועד למהנדסי למידת מכונה (ML), לחוקרים, לאדמינים ולמפעילי פלטפורמות, ולמומחי נתונים ו-AI שרוצים לפרוס אשכולות GKE ב- Google Cloud כדי לאמן מודלים גדולים של שפה (LLM).
מטרות
גישה למודל Gemma 3 באמצעות Hugging Face.
מכינים את הסביבה.
ליצור ולפרוס אשכול A4 GKE.
כוונון עדין של מודל Gemma 3 באמצעות ספריית Hugging Face Accelerate עם מקביליות נתונים מפוצלת (FSDP).
עוקבים אחרי המשימה.
מנקים.
עלויות
במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:
בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.
לפני שמתחילים
-
התקינו את ה-CLI של Google Cloud.
-
הגדירו שה-CLI של gcloud ישתמש בזהות המאוחדת שלכם.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים פרויקט ב- Google Cloud .
התפקידים שנדרשים כדי לבחור או ליצור פרויקט
- בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים?
-
יוצרים פרויקט ב- Google Cloud :
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של הפרויקט ב- Google Cloud שאתם יוצרים. -
בוחרים את הפרויקט שיצרתם ב- Google Cloud :
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את ממשקי ה-API הנדרשים, אם הם עדיין לא מופעלים:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable compute.googleapis.com
container.googleapis.com file.googleapis.com logging.googleapis.com cloudresourcemanager.googleapis.com servicenetworking.googleapis.com -
נותנים תפקידים לחשבון המשתמש. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM:
roles/compute.admin, roles/iam.serviceAccountUser, roles/cloudbuild.builds.editor, roles/artifactregistry.admin, roles/storage.admin, roles/serviceusage.serviceUsageAdmingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
USER_IDENTIFIER: המזהה של חשבון המשתמש שלכם. . דוגמאות מופיעות במאמר ייצוג המשתמשים במאגרי כוח עבודה בכללי מדיניות IAM. -
ROLE: התפקיד ב-IAM שאתם נותנים לחשבון המשתמש.
-
- מפעילים את חשבון השירות שמוגדר כברירת מחדל בפרויקט ב- Google Cloud :
export PROJECT_NUMBER="$(gcloud projects describe "PROJECT_ID" --format "value(project_number)")" gcloud iam service-accounts enable "${PROJECT_NUMBER}-compute@ \ --project=PROJECT_ID
- מקצים את התפקיד "עריכה" (
roles/editor) לחשבון השירות שמוגדר כברירת מחדל:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@" \ --role=roles/editor
- יצירת פרטי כניסה לאימות מקומי בחשבון המשתמש:
gcloud auth application-default login
- מפעילים את OS Login בפרויקט:
gcloud compute project-info add-metadata --metadata=enable-oslogin=TRUE
- נכנסים לחשבון Hugging Face או יוצרים חשבון.
גישה ל-Gemma 3 באמצעות Hugging Face
כדי להשתמש ב-Hugging Face כדי לגשת ל-Gemma 3:
- כניסה לחשבון ב-Hugging Face
- יוצרים טוקן גישה ל-Hugging Face
write.
לוחצים על Your Profile > Settings > טוקני גישה > +Create new token. - מעתיקים ושומרים את ערך האסימון של
write access. תשתמשו בו בהמשך המדריך.
הכנת הסביבה
כדי להכין את הסביבה, מגדירים את הפרטים הבאים:
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: שם הפרויקט ב- Google Cloud שבו רוצים ליצור את אשכול GKE.
CLUSTER_NAME: השם של אשכול GKE שרוצים ליצור.
CLUSTER_REGION: האזור שבו רוצים ליצור את אשכול GKE. אפשר ליצור את האשכול רק באזור שבו נמצאת ההזמנה.
RESERVATION: המזהה של הקיבולת השמורה.
HF_TOKEN: טוקן הגישה ל-Hugging Face שיצרתם בקטע הקודם.
ARTIFACT_REPO_LOCATION: המיקום שבו רוצים ליצור את המאגר ב-Artifact Registry.
NUM_NODES: מספר הצמתים שרוצים שיהיו באשכול GKE.
NETWORK: הרשת שבה משתמשים.
יצירת אשכול GKE עם כמה מארחים במצב Autopilot
יוצרים אשכול GKE עם כמה מארחים במצב Autopilot:
יצירת אשכול GKE עשויה להימשך זמן מה. כדי לוודא ש- Google Cloud סיים ליצור את האשכול, נכנסים לדף Kubernetes clusters במסוף Google Cloud .
קבלת פרטי כניסה לאשכול GKE
מגדירים את kubectl לתקשורת עם אשכול GKE החדש שנוצר, באמצעות הפקודה הבאה:
יצירת סוד ב-Kubernetes לפרטי הכניסה של Hugging Face
כדי ליצור סוד ב-Kubernetes לפרטי הכניסה של Hugging Face:
מגדירים את
kubectlלתקשורת עם אשכול GKE:יוצרים סוד של Kubernetes כדי לאחסן את הטוקן של Hugging Face:
הכנת עומס העבודה
כדי להכין את עומס העבודה, מבצעים את הפעולות הבאות:
יצירת סקריפטים של עומסי עבודה
כדי ליצור את הסקריפטים שבהם משתמש עומס העבודה של הכוונון, מבצעים את הפעולות הבאות:
יוצרים ספרייה לסקריפטים של עומס העבודה. משתמשים בספרייה הזו בתור ספריית העבודה.
יוצרים את הקובץ
cloudbuild.yamlכדי להשתמש ב-Google Cloud Build. הקובץ הזה יוצר את קונטיינר עומס העבודה ומאחסן אותו ב-Artifact Registry:יוצרים קובץ
Dockerfileכדי להגדיר את הסביבה ולהתקין את יחסי התלות שנדרשים להשלמת משימת הכוונון:יוצרים את קובץ ה-
accel_fsdp_gemma3_config.yaml. קובץ התצורה הזה מורה ל-Hugging Face Accelerate לפצל את משימת הכוונון בין כמה מעבדים גרפיים.יוצרים את הקובץ
finetune.yaml:יוצרים את הקובץ
finetune.py:
שימוש ב-Docker וב-Cloud Build כדי ליצור קונטיינר לכוונון עדין
יוצרים מאגר Docker ב-Artifact Registry:
מתקינים את הגדרות המשאבים בהתאמה אישית (CRD) של JobSet שנדרשות לתזמור של עומסי עבודה בכמה מארחים.
JobSet הוא תוסף ל-Kubernetes שמשמש לניהול קבוצות של משימות קשורות. למידע נוסף על JobSet, קראו את המסמכים החיצוניים של JobSet.
בספרייה
llm-finetuning-gemmaשיצרתם בשלב קודם, מריצים את הפקודה הבאה כדי ליצור את קובץ האימג' לכוונון ולהעביר אותו ל-Artifact Registry.מייצאים את כתובת ה-URL של התמונה. תצטרכו להשתמש בו בשלב מאוחר יותר במדריך הזה:
התחלת עומס העבודה של הכוונון
כדי להתחיל את עומס העבודה של הכוונון:
מחילים את המניפסט של הכוונון כדי ליצור את משימת הכוונון:
בגלל שאתם משתמשים באשכולות במצב GKE Autopilot, יכול להיות שיעברו כמה דקות עד שהצומת עם ה-GPU יתחיל לפעול.
מריצים את הפקודה הבאה כדי לעקוב אחרי המשימה:
כדי לבדוק את היומנים מה-Pod של ה-primary worker, מריצים את הפקודה הבאה:
משאב המשימה מוריד את נתוני המודל ואז מכוונן את המודל בכל שמונת ה-GPU. ההורדה נמשכת כחמש דקות. אחרי שההורדה מסתיימת, תהליך הכוונון נמשך כשעתיים וחצי.
מעקב אחרי עומס העבודה
אתם יכולים לעקוב אחרי השימוש ב-GPU באשכול GKE כדי לוודא שמשימת הכוונון פועלת ביעילות. כדי לעשות את זה, פותחים את הקישור הבא בדפדפן:
כשעוקבים אחרי עומס העבודה, אפשר לראות את הפרטים הבאים:
- שימוש ביחידות ה-GPU: אם תהליך הכוונון תקין, השימוש בכל 8 יחידות ה-GPU אמור לעלות ולהתייצב ברמה גבוהה לאורך כל האימון.
- משך המשימה: המשימה אמורה להימשך כ-10 דקות באשכול A4 שצוין.
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.
איך מוחקים את המשאבים
כדי למחוק את ה-JobSet, מריצים את הפקודה הבאה:
כדי למחוק את אשכול ה-GKE, מריצים את הפקודה הבאה:
כדי למחוק את המאגר ב-Artifact Registry, מריצים את הפקודה הבאה:
מחיקת הפרויקט
כדי למחוק פרויקט ב- Google Cloud :
gcloud projects delete PROJECT_ID