שינוי אוטומטי של גודל מאגרי העובדים על סמך נפח התור של Pub/Sub

במדריך הזה נסביר איך לפרוס מאגר של Cloud Run worker כדי לעבד הודעות Pub/Sub, ואיך לשנות את קנה המידה של מכונות הצרכן באופן אוטומטי על סמך עומק התור באמצעות Cloud Run External Metrics Autoscaling (CREMA).

מטרות

במדריך הזה תלמדו:

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. מפעילים את ממשקי ה-API של Cloud Run,‏ Parameter Manager,‏ Artifact Registry,‏ Pub/Sub ו-Cloud Build, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

  4. מתקינים ומפעילים את ה-CLI של gcloud.
  5. מעדכנים את הרכיבים:
    gcloud components update
  6. במדריך הזה משתמשים בכמה משתני סביבה. כדי לשפר את ניפוי הבאגים, מריצים את הפקודה הבאה כדי ליצור שגיאה כשמפנים למשתני סביבה מקומיים שלא הוגדרו:
    set -u
  7. מגדירים את משתני התצורה הבאים ל-CREMA שמשמש במדריך הזה:
    export PROJECT_ID=PROJECT_ID
    export REGION=us-central1
    export TOPIC_ID=crema-pubsub-topic
    export SUBSCRIPTION_ID=crema-subscription
    export CREMA_SA_NAME=crema-service-account
    export CONSUMER_SA_NAME=consumer-service-account
    export CONSUMER_WORKER_POOL_NAME=worker-pool-consumer
    export CREMA_SERVICE_NAME=my-crema-service
    מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .
  8. מגדירים את מזהה הפרויקט באמצעות הפקודה הבאה:
    gcloud config set project $PROJECT_ID
  9. החיובים על שירות ההתאמה לעומס ב-Cloud Run מבוססים על התדירות שבה אתם מפעילים את ההתאמה לעומס. למידע נוסף, אפשר להעריך את העלויות באמצעות מחשבון עלויות.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להשלמת המדריך, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת נושא ומינוי ב-Pub/Sub

כדי להגדיר התאמה אוטומטית לעומס (scaling) של ה-worker, יוצרים מינוי שליפה לאפליקציית הצרכן לפי השלבים הבאים:

  1. יוצרים נושא Pub/Sub שמייצג פיד של הודעות:

    gcloud pubsub topics create $TOPIC_ID
    
  2. יוצרים מינוי שליפה כדי לצרוך הודעות מהנושא ב-Pub/Sub:

    gcloud pubsub subscriptions create $SUBSCRIPTION_ID --topic=$TOPIC_ID
    

יצירת חשבונות שירות בהתאמה אישית

במדריך הזה נדרשים שני חשבונות השירות הבאים עם ההרשאות המינימליות הנדרשות כדי להשתמש במשאבים שהוקצו:

  • חשבון שירות של צרכן: זהות למאגר ה-worker של הצרכן שמעבד הודעות. מריצים את הפקודה הבאה כדי ליצור את חשבון השירות של הצרכן:

    gcloud iam service-accounts create $CONSUMER_SA_NAME \
      --display-name="Pub/Sub consumer service account"
    
  • חשבון שירות CREMA: זהות למגדיל קנה המידה האוטומטי. מריצים את הפקודה הבאה כדי ליצור את חשבון השירות של CREMA:

    gcloud iam service-accounts create $CREMA_SA_NAME \
      --display-name="CREMA service account"
    

מתן הרשאות נוספות לחשבונות השירות בהתאמה אישית

כדי לשנות את הגודל של מאגר ה-Workers, צריך לתת את ההרשאות הבאות בחשבונות השירות בהתאמה אישית:

  1. נותנים לחשבון השירות של CREMA הרשאה לקרוא מ-Parameter Manager:

    gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
      --role="roles/parametermanager.parameterViewer"
    
  2. נותנים לחשבון השירות של CREMA הרשאה לשנות את הגודל של מאגר ה-workers:

    gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
      --role="roles/run.developer"
    
  3. מקצים לחשבון השירות של CREMA את התפקיד "משתמש בחשבון שירות":

    gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
      --role="roles/iam.serviceAccountUser"
    
  4. נותנים לחשבון השירות של CREMA הרשאה לצפות במדדים:

     gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
       --role="roles/monitoring.viewer"
    
  5. נותנים לחשבון השירות של CREMA הרשאה לכתוב מדדים:

     gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
       --role="roles/monitoring.metricWriter"
    
  6. נותנים לחשבון השירות של CREMA הרשאה לצפות בהודעות Pub/Sub:

    gcloud pubsub subscriptions add-iam-policy-binding $SUBSCRIPTION_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID." \
      --role="roles/pubsub.viewer"
    
  7. נותנים לחשבון השירות של הצרכן הרשאה למשוך הודעות מהמינוי:

    gcloud pubsub subscriptions add-iam-policy-binding $SUBSCRIPTION_ID \
      --member="serviceAccount:$CONSUMER_SA_NAME@$PROJECT_ID." \
      --role="roles/pubsub.subscriber"
    

פריסת מאגר של Cloud Run worker

כדי לפרוס מאגר של Worker-ים שצורכים הודעות ממינויים ל-Pub/Sub:

  1. יוצרים תיקייה בשם consumer ועוברים לספרייה שלה:

    mkdir consumer
    cd consumer
    
  2. יוצרים קובץ בשם worker.py ומוסיפים את הקוד הבא:

    import os
    import time
    from google.cloud import pubsub_v1
    from concurrent.futures import TimeoutError
    
    # Configuration
    PROJECT_ID = os.environ.get('PROJECT_ID')
    SUBSCRIPTION_ID = os.environ.get('SUBSCRIPTION_ID')
    
    subscription_path = f"projects/{PROJECT_ID}/subscriptions/{SUBSCRIPTION_ID}"
    
    print(f"Worker Pool instance starting. Watching {subscription_path}...")
    
    subscriber = pubsub_v1.SubscriberClient()
    
    def callback(message):
        try:
            data = message.data.decode("utf-8")
            print(f"Processing job: {data}")
            time.sleep(5)  # Simulate work
            print(f"Done {data}")
            message.ack()
        except Exception as e:
            print(f"Error processing message: {e}")
            message.nack()
    
    streaming_pull_future = subscriber.subscribe(subscription_path, callback=callback)
    print(f"Listening for messages on {subscription_path}...")
    
    # Wrap subscriber in a 'with' block to automatically call close() when done.
    with subscriber:
        try:
            # When `timeout` is not set, result() will block indefinitely,
            # unless an exception is encountered first.
            streaming_pull_future.result()
        except TimeoutError:
            streaming_pull_future.cancel()  # Trigger the shutdown.
            streaming_pull_future.result()  # Block until the shutdown is complete.
        except Exception as e:
            print(f"Streaming pull failed: {e}")
    
  3. יוצרים קובץ Docker ומוסיפים את הקוד הבא:

    FROM python:3.12-slim
    RUN pip install google-cloud-pubsub
    COPY worker.py .
    CMD ["python", "-u", "worker.py"]
    
  4. פורסים את מאגר הצרכנים של ה-worker עם 0 מכונות כדי ש-CREMA יוכל להגדיל את קנה המידה:

    gcloud run worker-pools deploy $CONSUMER_WORKER_POOL_NAME \
      --source . \
      --region $REGION \
      --service-account="$CONSUMER_SA_NAME@$PROJECT_ID." \
      --instances=0 \
      --set-env-vars PROJECT_ID=$PROJECT_ID,SUBSCRIPTION_ID=$SUBSCRIPTION_ID
    

פריסת שירות ה-CREMA של ההתאמה האוטומטית לעומס (autoscaler)

אחרי שפורסים את מאגר ה-workers כדי לצרוך הודעות מ-Pub/Sub, מגדירים את ה-autoscaler של CREMA להקצות worker instances על סמך נפח ההודעות.

הגדרת ההתאמה לעומס (autoscaler)

במדריך הזה משתמשים ב-Parameter Manager כדי לאחסן את קובץ התצורה של CREMA בפורמט YAML.

  1. יוצרים פרמטר ב-Parameter Manager כדי לאחסן גרסאות של פרמטרים ל-CREMA:

    PARAMETER_ID=crema-config
    PARAMETER_REGION=global
    gcloud parametermanager parameters create $PARAMETER_ID --location=$PARAMETER_REGION --parameter-format=YAML
    
  2. מריצים את הפקודה הבאה כדי לעבור לתיקיית השורש של הפרויקט:

    cd
    
  3. בתיקיית השורש, יוצרים קובץ YAML בשם my-crema-config.yaml כדי להגדיר את ההתאמה האוטומטית לעומס:

    apiVersion: crema/v1
    kind: CremaConfig
    spec:
      pollingInterval: 30
      triggerAuthentications:
        - metadata:
            name: adc-trigger-auth
          spec:
            podIdentity:
              provider: gcp
      scaledObjects:
        - spec:
            scaleTargetRef:
              name: projects/PROJECT_ID/locations/us-central1/workerpools/worker-pool-consumer
            triggers:
              - type: gcp-pubsub
                metadata:
                  subscriptionName: "crema-subscription"
                  # Target number of undelivered messages per worker instance
                  value: "10"
                  mode: "SubscriptionSize"
                authenticationRef:
                  name: adc-trigger-auth
    

    מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

  4. מעלים את קובץ ה-YAML המקומי כגרסה חדשה של פרמטר:

    LOCAL_YAML_CONFIG_FILE=my-crema-config.yaml
    PARAMETER_VERSION=1
    
    gcloud parametermanager parameters versions create $PARAMETER_VERSION \
      --location=$PARAMETER_REGION \
      --parameter=$PARAMETER_ID \
      --payload-data-from-file=$LOCAL_YAML_CONFIG_FILE
    
  5. מריצים את הפקודה הבאה כדי לוודא שהפרמטר נוסף בהצלחה:

    gcloud parametermanager parameters versions list \
    --parameter=$PARAMETER_ID \
    --location=$PARAMETER_REGION
    

    אמור להופיע נתיב הפרמטר, למשל projects/PROJECT_ID/locations/global/parameters/crema-config/versions/1.

פריסת השירות כדי להרחיב את עומסי העבודה

כדי לפרוס את השירות ולהגדיל את מאגר ה-workers, מריצים את הפקודה הבאה עם קובץ אימג' של קונטיינר שנוצר מראש:

CREMA_CONFIG_PARAM_VERSION=projects/$PROJECT_ID/locations/$PARAMETER_REGION/parameters/$PARAMETER_ID/versions/$PARAMETER_VERSION
IMAGE=us-central1-docker.pkg.dev/cloud-run-oss-images/crema-v1/autoscaler:1.0

gcloud run deploy $CREMA_SERVICE_NAME \
  --image=${IMAGE} \
  --region=${REGION} \
  --service-account="${CREMA_SA_NAME}" \
  --no-allow-unauthenticated \
  --no-cpu-throttling \
  --base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-24/runtimes/java25 \
  --labels=created-by=crema \
  --set-env-vars="CREMA_CONFIG=${CREMA_CONFIG_PARAM_VERSION},OUTPUT_SCALER_METRICS=True"

בדיקת שירות ההתאמה האוטומטית לעומס (autoscaling)

כדי לבדוק את שירות ה-CREMA, יוצרים סקריפט שמייצר 100 הודעות ושולח אותן לתור של Pub/Sub:

  1. בתיקיית השורש, יוצרים קובץ בשם load-pubsub.sh ומוסיפים את הקוד הבא:

    #!/bin/bash
    
    TOPIC_ID=${TOPIC_ID}
    PROJECT_ID=${PROJECT_ID}
    NUM_MESSAGES=100
    
    echo "Publishing $NUM_MESSAGES messages to topic $TOPIC_ID..."
    
    for i in $(seq 1 $NUM_MESSAGES); do
      gcloud pubsub topics publish $TOPIC_ID --message="job-$i" --project=$PROJECT_ID &
      if (( $i % 10 == 0 )); then
        wait
        echo "Published $i messages..."
      fi
    done
    wait
    echo "Done. All messages published."
    
  2. מריצים את בדיקת העומס:

    chmod +x load-pubsub.sh
    ./load-pubsub.sh
    

הפקודה הזו יוצרת 100 הודעות ושולחת אותן למינוי ב-Pub/Sub.

שינוי קנה המידה של המסך

אחרי שהסקריפט load-pubsub.sh מסתיים, מחכים שלוש עד ארבע דקות לפני שבודקים את היומנים של השירות my-crema-service. שירות ההתאמה האוטומטית לעומס של CREMA מגדיל את מספר ה-worker instances הצרכניים מ-0.

אמורים להופיע היומנים הבאים:

כל הודעת יומן מסומנת בתווית של הרכיב שהפיק אותה.

[INFO] [METRIC-PROVIDER] Starting metric collection cycle
[INFO] [METRIC-PROVIDER] Successfully fetched scaled object metrics ...
[INFO] [METRIC-PROVIDER] Sending scale request ...
[INFO] [SCALER] Received ScaleRequest ...
[INFO] [SCALER] Current instances ...
[INFO] [SCALER] Recommended instances ...

לחלופין, אפשר להריץ את הפקודה הבאה כדי לוודא ששירות CREMA ממליץ על מכונות על סמך עומק התור:

gcloud logging read "resource.type=cloud_run_revision AND resource.labels.service_name=$CREMA_SERVICE_NAME AND textPayload:SCALER" \
  --limit=20 \
  --format="value(textPayload)" \
  --freshness=5m

כדי לראות את יומני הצרכנים שצורכים הודעות, מריצים את הפקודה הבאה:

gcloud run worker-pools logs tail $CONSUMER_WORKER_POOL_NAME --region=$REGION

אמורים להופיע יומנים בפורמט Done job-100.

הסרת המשאבים

כדי להימנע מחיובים נוספים בחשבון Google Cloud , צריך למחוק את כל המשאבים שפרסתם באמצעות המדריך הזה.

מחיקת הפרויקט

אם יצרתם פרויקט חדש בשביל המדריך הזה, מחקו את הפרויקט. אם השתמשתם בפרויקט קיים ואתם רוצים לשמור אותו בלי השינויים שהוספתם במדריך הזה, מחקו את המשאבים שיצרתם בשביל המדריך.

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

  1. נכנסים לדף Manage resources במסוף Google Cloud .

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת המשאבים של המדריך

  1. מוחקים את שירות Cloud Run שפרסתם במדריך הזה. שירותי Cloud Run לא צוברים עלויות עד שהם מקבלים בקשות.

    כדי למחוק את השירות ב-Cloud Run, מריצים את הפקודה הבאה:

    gcloud run services delete SERVICE-NAME

    מחליפים את SERVICE-NAME בשם השירות.

    אפשר גם למחוק שירותי Cloud Run ממסוףGoogle Cloud .

  2. מסירים את הגדרת ברירת המחדל של האזור gcloud שהוספתם במהלך הגדרת המדריך:

     gcloud config unset run/region
    
  3. מסירים את הגדרות הפרויקט:

     gcloud config unset project
    
  4. מוחקים את המשאבים של Pub/Sub:

    gcloud pubsub subscriptions delete $SUBSCRIPTION_ID
    gcloud pubsub topics delete $TOPIC_ID
    
  5. מוחקים משאבים אחרים של Google Cloud שנוצרו במדריך הזה:

המאמרים הבאים