במדריך הזה נסביר איך לפרוס מאגר של Cloud Run worker כדי לעבד הודעות Pub/Sub, ואיך לשנות את קנה המידה של מכונות הצרכן באופן אוטומטי על סמך עומק התור באמצעות Cloud Run External Metrics Autoscaling (CREMA).
מטרות
במדריך הזה תלמדו:
- יוצרים נושא ומינוי ב-Pub/Sub כדי לשלוח הודעות לנושא.
- פורסים מאגר של Cloud Run worker שצורך הודעות מ-Pub/Sub.
- פורסים את שירות CREMA של ההתאמה האוטומטית לעומס כדי לשנות את הגודל של מאגר ה-workers.
- בודקים את שירות ההתאמה האוטומטית לעומס על ידי הרצת סקריפט Python באופן מקומי כדי ליצור עומס.
עלויות
במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:
בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.
לפני שמתחילים
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
מפעילים את ממשקי ה-API של Cloud Run, Parameter Manager, Artifact Registry, Pub/Sub ו-Cloud Build, אם הם עדיין לא מופעלים.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים- מתקינים ומפעילים את ה-CLI של gcloud.
- מעדכנים את הרכיבים:
gcloud components update
- במדריך הזה משתמשים בכמה משתני סביבה. כדי לשפר את ניפוי הבאגים, מריצים את הפקודה הבאה כדי ליצור שגיאה כשמפנים למשתני סביבה מקומיים שלא הוגדרו:
set -u
- מגדירים את משתני התצורה הבאים ל-CREMA שמשמש במדריך הזה:
מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .export PROJECT_ID=PROJECT_ID export REGION=us-central1 export TOPIC_ID=crema-pubsub-topic export SUBSCRIPTION_ID=crema-subscription export CREMA_SA_NAME=crema-service-account export CONSUMER_SA_NAME=consumer-service-account export CONSUMER_WORKER_POOL_NAME=worker-pool-consumer export CREMA_SERVICE_NAME=my-crema-service
- מגדירים את מזהה הפרויקט באמצעות הפקודה הבאה:
gcloud config set project $PROJECT_ID
- החיובים על שירות ההתאמה לעומס ב-Cloud Run מבוססים על התדירות שבה אתם מפעילים את ההתאמה לעומס. למידע נוסף, אפשר להעריך את העלויות באמצעות מחשבון עלויות.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות להשלמת המדריך, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט:
- אדמין של מאגר Artifact Registry (
roles/artifactregistry.repoAdmin) - עריכה ב-Cloud Build (
roles/cloudbuild.builds.editor) - אדמין ב-Cloud Run (
roles/run.admin) - יצירת חשבונות שירות (
roles/iam.serviceAccountCreator) - אדמין Pub/Sub (
roles/pubsub.admin) - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) - Service Usage Consumer (
roles/serviceusage.serviceUsageConsumer) - אדמין ב-Parameter Manager (
roles/parametermanager.admin)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת נושא ומינוי ב-Pub/Sub
כדי להגדיר התאמה אוטומטית לעומס (scaling) של ה-worker, יוצרים מינוי שליפה לאפליקציית הצרכן לפי השלבים הבאים:
יוצרים נושא Pub/Sub שמייצג פיד של הודעות:
gcloud pubsub topics create $TOPIC_IDיוצרים מינוי שליפה כדי לצרוך הודעות מהנושא ב-Pub/Sub:
gcloud pubsub subscriptions create $SUBSCRIPTION_ID --topic=$TOPIC_ID
יצירת חשבונות שירות בהתאמה אישית
במדריך הזה נדרשים שני חשבונות השירות הבאים עם ההרשאות המינימליות הנדרשות כדי להשתמש במשאבים שהוקצו:
חשבון שירות של צרכן: זהות למאגר ה-worker של הצרכן שמעבד הודעות. מריצים את הפקודה הבאה כדי ליצור את חשבון השירות של הצרכן:
gcloud iam service-accounts create $CONSUMER_SA_NAME \ --display-name="Pub/Sub consumer service account"חשבון שירות CREMA: זהות למגדיל קנה המידה האוטומטי. מריצים את הפקודה הבאה כדי ליצור את חשבון השירות של CREMA:
gcloud iam service-accounts create $CREMA_SA_NAME \ --display-name="CREMA service account"
מתן הרשאות נוספות לחשבונות השירות בהתאמה אישית
כדי לשנות את הגודל של מאגר ה-Workers, צריך לתת את ההרשאות הבאות בחשבונות השירות בהתאמה אישית:
נותנים לחשבון השירות של CREMA הרשאה לקרוא מ-Parameter Manager:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/parametermanager.parameterViewer"נותנים לחשבון השירות של CREMA הרשאה לשנות את הגודל של מאגר ה-workers:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/run.developer"מקצים לחשבון השירות של CREMA את התפקיד "משתמש בחשבון שירות":
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/iam.serviceAccountUser"נותנים לחשבון השירות של CREMA הרשאה לצפות במדדים:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/monitoring.viewer"נותנים לחשבון השירות של CREMA הרשאה לכתוב מדדים:
gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/monitoring.metricWriter"נותנים לחשבון השירות של CREMA הרשאה לצפות בהודעות Pub/Sub:
gcloud pubsub subscriptions add-iam-policy-binding $SUBSCRIPTION_ID \ --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \ --role="roles/pubsub.viewer"נותנים לחשבון השירות של הצרכן הרשאה למשוך הודעות מהמינוי:
gcloud pubsub subscriptions add-iam-policy-binding $SUBSCRIPTION_ID \ --member="serviceAccount:$CONSUMER_SA_NAME@$PROJECT_ID." \ --role="roles/pubsub.subscriber"
פריסת מאגר של Cloud Run worker
כדי לפרוס מאגר של Worker-ים שצורכים הודעות ממינויים ל-Pub/Sub:
יוצרים תיקייה בשם
consumerועוברים לספרייה שלה:mkdir consumer cd consumerיוצרים קובץ בשם
worker.pyומוסיפים את הקוד הבא:import os import time from google.cloud import pubsub_v1 from concurrent.futures import TimeoutError # Configuration PROJECT_ID = os.environ.get('PROJECT_ID') SUBSCRIPTION_ID = os.environ.get('SUBSCRIPTION_ID') subscription_path = f"projects/{PROJECT_ID}/subscriptions/{SUBSCRIPTION_ID}" print(f"Worker Pool instance starting. Watching {subscription_path}...") subscriber = pubsub_v1.SubscriberClient() def callback(message): try: data = message.data.decode("utf-8") print(f"Processing job: {data}") time.sleep(5) # Simulate work print(f"Done {data}") message.ack() except Exception as e: print(f"Error processing message: {e}") message.nack() streaming_pull_future = subscriber.subscribe(subscription_path, callback=callback) print(f"Listening for messages on {subscription_path}...") # Wrap subscriber in a 'with' block to automatically call close() when done. with subscriber: try: # When `timeout` is not set, result() will block indefinitely, # unless an exception is encountered first. streaming_pull_future.result() except TimeoutError: streaming_pull_future.cancel() # Trigger the shutdown. streaming_pull_future.result() # Block until the shutdown is complete. except Exception as e: print(f"Streaming pull failed: {e}")יוצרים קובץ Docker ומוסיפים את הקוד הבא:
FROM python:3.12-slim RUN pip install google-cloud-pubsub COPY worker.py . CMD ["python", "-u", "worker.py"]פורסים את מאגר הצרכנים של ה-worker עם 0 מכונות כדי ש-CREMA יוכל להגדיל את קנה המידה:
gcloud run worker-pools deploy $CONSUMER_WORKER_POOL_NAME \ --source . \ --region $REGION \ --service-account="$CONSUMER_SA_NAME@$PROJECT_ID." \ --instances=0 \ --set-env-vars PROJECT_ID=$PROJECT_ID,SUBSCRIPTION_ID=$SUBSCRIPTION_ID
פריסת שירות ה-CREMA של ההתאמה האוטומטית לעומס (autoscaler)
אחרי שפורסים את מאגר ה-workers כדי לצרוך הודעות מ-Pub/Sub, מגדירים את ה-autoscaler של CREMA להקצות worker instances על סמך נפח ההודעות.
הגדרת ההתאמה לעומס (autoscaler)
במדריך הזה משתמשים ב-Parameter Manager כדי לאחסן את קובץ התצורה של CREMA בפורמט YAML.
יוצרים פרמטר ב-Parameter Manager כדי לאחסן גרסאות של פרמטרים ל-CREMA:
PARAMETER_ID=crema-config PARAMETER_REGION=global gcloud parametermanager parameters create $PARAMETER_ID --location=$PARAMETER_REGION --parameter-format=YAMLמריצים את הפקודה הבאה כדי לעבור לתיקיית השורש של הפרויקט:
cdבתיקיית השורש, יוצרים קובץ YAML בשם
my-crema-config.yamlכדי להגדיר את ההתאמה האוטומטית לעומס:apiVersion: crema/v1 kind: CremaConfig spec: pollingInterval: 30 triggerAuthentications: - metadata: name: adc-trigger-auth spec: podIdentity: provider: gcp scaledObjects: - spec: scaleTargetRef: name: projects/PROJECT_ID/locations/us-central1/workerpools/worker-pool-consumer triggers: - type: gcp-pubsub metadata: subscriptionName: "crema-subscription" # Target number of undelivered messages per worker instance value: "10" mode: "SubscriptionSize" authenticationRef: name: adc-trigger-authמחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .
מעלים את קובץ ה-YAML המקומי כגרסה חדשה של פרמטר:
LOCAL_YAML_CONFIG_FILE=my-crema-config.yaml PARAMETER_VERSION=1 gcloud parametermanager parameters versions create $PARAMETER_VERSION \ --location=$PARAMETER_REGION \ --parameter=$PARAMETER_ID \ --payload-data-from-file=$LOCAL_YAML_CONFIG_FILEמריצים את הפקודה הבאה כדי לוודא שהפרמטר נוסף בהצלחה:
gcloud parametermanager parameters versions list \ --parameter=$PARAMETER_ID \ --location=$PARAMETER_REGIONאמור להופיע נתיב הפרמטר, למשל
projects/PROJECT_ID/locations/global/parameters/crema-config/versions/1.
פריסת השירות כדי להרחיב את עומסי העבודה
כדי לפרוס את השירות ולהגדיל את מאגר ה-workers, מריצים את הפקודה הבאה עם קובץ אימג' של קונטיינר שנוצר מראש:
CREMA_CONFIG_PARAM_VERSION=projects/$PROJECT_ID/locations/$PARAMETER_REGION/parameters/$PARAMETER_ID/versions/$PARAMETER_VERSION
IMAGE=us-central1-docker.pkg.dev/cloud-run-oss-images/crema-v1/autoscaler:1.0
gcloud run deploy $CREMA_SERVICE_NAME \
--image=${IMAGE} \
--region=${REGION} \
--service-account="${CREMA_SA_NAME}" \
--no-allow-unauthenticated \
--no-cpu-throttling \
--base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-24/runtimes/java25 \
--labels=created-by=crema \
--set-env-vars="CREMA_CONFIG=${CREMA_CONFIG_PARAM_VERSION},OUTPUT_SCALER_METRICS=True"
בדיקת שירות ההתאמה האוטומטית לעומס (autoscaling)
כדי לבדוק את שירות ה-CREMA, יוצרים סקריפט שמייצר 100 הודעות ושולח אותן לתור של Pub/Sub:
בתיקיית השורש, יוצרים קובץ בשם
load-pubsub.shומוסיפים את הקוד הבא:#!/bin/bash TOPIC_ID=${TOPIC_ID} PROJECT_ID=${PROJECT_ID} NUM_MESSAGES=100 echo "Publishing $NUM_MESSAGES messages to topic $TOPIC_ID..." for i in $(seq 1 $NUM_MESSAGES); do gcloud pubsub topics publish $TOPIC_ID --message="job-$i" --project=$PROJECT_ID & if (( $i % 10 == 0 )); then wait echo "Published $i messages..." fi done wait echo "Done. All messages published."מריצים את בדיקת העומס:
chmod +x load-pubsub.sh ./load-pubsub.sh
הפקודה הזו יוצרת 100 הודעות ושולחת אותן למינוי ב-Pub/Sub.
שינוי קנה המידה של המסך
אחרי שהסקריפט load-pubsub.sh מסתיים, מחכים שלוש עד ארבע דקות לפני שבודקים את היומנים של השירות my-crema-service. שירות ההתאמה האוטומטית לעומס של CREMA מגדיל את מספר ה-worker instances הצרכניים מ-0.
אמורים להופיע היומנים הבאים:
כל הודעת יומן מסומנת בתווית של הרכיב שהפיק אותה.
[INFO] [METRIC-PROVIDER] Starting metric collection cycle
[INFO] [METRIC-PROVIDER] Successfully fetched scaled object metrics ...
[INFO] [METRIC-PROVIDER] Sending scale request ...
[INFO] [SCALER] Received ScaleRequest ...
[INFO] [SCALER] Current instances ...
[INFO] [SCALER] Recommended instances ...
לחלופין, אפשר להריץ את הפקודה הבאה כדי לוודא ששירות CREMA ממליץ על מכונות על סמך עומק התור:
gcloud logging read "resource.type=cloud_run_revision AND resource.labels.service_name=$CREMA_SERVICE_NAME AND textPayload:SCALER" \
--limit=20 \
--format="value(textPayload)" \
--freshness=5m
כדי לראות את יומני הצרכנים שצורכים הודעות, מריצים את הפקודה הבאה:
gcloud run worker-pools logs tail $CONSUMER_WORKER_POOL_NAME --region=$REGION
אמורים להופיע יומנים בפורמט Done job-100.
הסרת המשאבים
כדי להימנע מחיובים נוספים בחשבון Google Cloud , צריך למחוק את כל המשאבים שפרסתם באמצעות המדריך הזה.
מחיקת הפרויקט
אם יצרתם פרויקט חדש בשביל המדריך הזה, מחקו את הפרויקט. אם השתמשתם בפרויקט קיים ואתם רוצים לשמור אותו בלי השינויים שהוספתם במדריך הזה, מחקו את המשאבים שיצרתם בשביל המדריך.
הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.
כדי למחוק את הפרויקט:
- נכנסים לדף Manage resources במסוף Google Cloud .
- ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
- כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.
מחיקת המשאבים של המדריך
מוחקים את שירות Cloud Run שפרסתם במדריך הזה. שירותי Cloud Run לא צוברים עלויות עד שהם מקבלים בקשות.
כדי למחוק את השירות ב-Cloud Run, מריצים את הפקודה הבאה:
gcloud run services delete SERVICE-NAME
מחליפים את SERVICE-NAME בשם השירות.
אפשר גם למחוק שירותי Cloud Run ממסוףGoogle Cloud .
מסירים את הגדרת ברירת המחדל של האזור
gcloudשהוספתם במהלך הגדרת המדריך:gcloud config unset run/regionמסירים את הגדרות הפרויקט:
gcloud config unset projectמוחקים את המשאבים של Pub/Sub:
gcloud pubsub subscriptions delete $SUBSCRIPTION_ID gcloud pubsub topics delete $TOPIC_IDמוחקים משאבים אחרים של Google Cloud שנוצרו במדריך הזה:
המאמרים הבאים
- ב-Codelab בנושא התאמה אוטומטית לעומס של מאגרי Worker ב-Cloud Run על סמך נפח התור ב-Pub/Sub באמצעות CREMA תוכלו למצוא הסבר מפורט על המדריך הזה.
- מידע נוסף על מאגרי וורקרים ב-Cloud Run
- הדגמות, מדריכים ודוגמאות נוספים של Cloud Run
- להגדיר מנגנוני התאמה אחרים של KEDA באמצעות CREMA.