הגדרת הפעלה של צינור עיבוד נתונים במשאב מתמשך

משאב לטווח ארוך ב-Gemini Enterprise Agent Platform הוא אשכול לטווח ארוך שאפשר להשתמש בו כדי להריץ משימות אימון בהתאמה אישית והרצות של צינורות עיבוד נתונים. שימוש במשאב לטווח ארוך להרצת צינור עיבוד נתונים יכול לעזור להבטיח את הזמינות של משאבי המחשוב, ולקצר את זמן ההפעלה של משימות בצינור עיבוד הנתונים. משאבים לטווח ארוך תומכים בכל המכונות הווירטואליות וה-GPU שנתמכים במשימות אימון בהתאמה אישית. מידע נוסף על משאבים לטווח ארוך זמין במאמר סקירה כללית של משאבים לטווח ארוך.

בדף הזה מוסבר איך:

לפני שמתחילים

כדי ליצור הרצת צינור עיבוד נתונים עם משאב לטווח ארוך, קודם צריך להשלים את הדרישות המוקדמות הבאות.

הגדרה והידור של צינור עיבוד נתונים

מגדירים את צינור עיבוד הנתונים ואז ממירים את הגדרת צינור עיבוד הנתונים לקובץ YAML. מידע נוסף על הגדרה והידור של צינור עיבוד נתונים זמין במאמר בניית צינור עיבוד נתונים.

התפקידים שצריך ב-IAM

כדי לקבל את ההרשאה שדרושה ליצירת משאב לטווח ארוך, צריך לבקש מהאדמין להקצות לכם את התפקיד אדמין של פלטפורמת הסוכנים (roles/aiplatform.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה מכיל את ההרשאה aiplatform.persistentResources.create, שנדרשת כדי ליצור משאב לטווח ארוך.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים מוגדרים מראש.

יצירת משאב לטווח ארוך

כדי ליצור משאב לטווח ארוך שאפשר לשייך להרצה של צינור עיבוד נתונים, אתם יכולים להשתמש בדוגמאות הבאות. מידע נוסף על יצירת משאבים לטווח ארוך זמין במאמר יצירת משאב לטווח ארוך.

gcloud

כדי ליצור משאב לטווח ארוך שאפשר לשייך להרצה של צינור עיבוד נתונים, משתמשים בפקודה gcloud ai persistent-resources create עם הדגל --enable-custom-service-account.

למשאב לטווח ארוך יכולים להיות מאגר משאבים אחד או יותר. כדי ליצור כמה מאגרי משאבים במשאב לטווח ארוך, מציינים כמה דגלי --resource-pool-spec.

אתם יכולים לציין את כל ההגדרות של מאגר המשאבים כחלק משורת הפקודה, או להשתמש בדגל --config כדי לציין את הנתיב לקובץ YAML שמכיל את ההגדרות.

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים ליצור את המשאב לטווח ארוך.
  • ‫LOCATION: האזור שבו רוצים ליצור את המשאב לטווח ארוך. כאן תוכלו לראות את רשימת האזורים הנתמכים.
  • ‫PERSISTENT_RESOURCE_ID: מזהה ייחודי שהמשתמש מגדיר למשאב לטווח ארוך. הוא חייב להתחיל באות, להסתיים באות או במספר, ולכלול רק אותיות קטנות, מספרים ומקפים (-).
  • ‫DISPLAY_NAME: אופציונלי. השם המוצג של המשאב לטווח ארוך.
  • ‫MACHINE_TYPE: סוג המכונה הווירטואלית (VM) שבה משתמשים. במאמר סוגי מכונות תוכלו למצוא רשימה של המכונות הווירטואליות הנתמכות. השדה הזה תואם לשדה machineSpec.machineType בהודעת ה-API של ResourcePool.
  • ‫REPLICA_COUNT: אופציונלי. מספר הרפליקות שצריך ליצור למאגר המשאבים, אם לא רוצים להשתמש בהתאמה לעומס (autoscaling). השדה הזה תואם לשדה replicaCount בהודעת ה-API של ResourcePool. אם לא מציינים את השדות MIN_REPLICA_COUNT ו-MAX_REPLICA_COUNT, צריך לציין את מספר הרפליקות.
  • ‫MIN_REPLICA_COUNT: אופציונלי. מספר הרפליקות המינימלי אם משתמשים בהתאמה אוטומטית לעומס (automatic scaling) למאגר המשאבים. כדי להשתמש בהתאמה אוטומטית לעומס, צריך לציין גם את MIN_REPLICA_COUNT וגם את MAX_REPLICA_COUNT.
  • ‫MAX_REPLICA_COUNT: אופציונלי. המספר המקסימלי של רפליקות אם משתמשים בהתאמה אוטומטית לעומס (autoscaling) של מאגר המשאבים. כדי להשתמש בהתאמה אוטומטית לעומס, צריך לציין גם את MIN_REPLICA_COUNT וגם את MAX_REPLICA_COUNT.
  • ‫CONFIG: הנתיב לקובץ התצורה של משאב ה-YAML לטווח ארוך, שמכיל רשימה של מפרטי ResourcePool. אם אפשרות מסוימת צוינה גם בקובץ התצורה וגם בארגומנטים של שורת הפקודה, הארגומנטים של שורת הפקודה מבטלים את קובץ התצורה. שימו לב: מפתחות עם קווים תחתונים נחשבים לא תקינים.

    קובץ תצורה לדוגמה ב-YAML:

    resourcePoolSpecs:
      machineSpec:
        machineType: n1-standard-4
      replicaCount: 1
        

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

gcloud ai persistent-resources create \
    --persistent-resource-id=PERSISTENT_RESOURCE_ID \
    --display-name=DISPLAY_NAME \
    --project=PROJECT_ID \
    --region=LOCATION \
    --resource-pool-spec="replica-count=REPLICA_COUNT,machine-type=MACHINE_TYPE,min-replica-count=MIN_REPLICA_COUNT,max-replica-count=MAX_REPLICA_COUNT" \
    --enable-custom-service-account

‏Windows (PowerShell)

gcloud ai persistent-resources create `
    --persistent-resource-id=PERSISTENT_RESOURCE_ID `
    --display-name=DISPLAY_NAME `
    --project=PROJECT_ID `
    --region=LOCATION `
    --resource-pool-spec="replica-count=REPLICA_COUNT,machine-type=MACHINE_TYPE,min-replica-count=MIN_REPLICA_COUNT,max-replica-count=MAX_REPLICA_COUNT" `
    --enable-custom-service-account

Windows‏ (cmd.exe)

gcloud ai persistent-resources create ^
    --persistent-resource-id=PERSISTENT_RESOURCE_ID ^
    --display-name=DISPLAY_NAME ^
    --project=PROJECT_ID ^
    --region=LOCATION ^
    --resource-pool-spec="replica-count=REPLICA_COUNT,machine-type=MACHINE_TYPE,min-replica-count=MIN_REPLICA_COUNT,max-replica-count=MAX_REPLICA_COUNT" ^
    --enable-custom-service-account

אמורים לקבל תגובה שדומה לזו:

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
Operation to create PersistentResource [projects/PROJECT_NUMBER/locations/us-central1/persistentResources/mypersistentresource/operations/OPERATION_ID] is submitted successfully.

You can view the status of your PersistentResource create operation with the command

  $ gcloud ai operations describe projects/sample-project/locations/us-central1/operations/OPERATION_ID

פקודת gcloud לדוגמה:

gcloud ai persistent-resources create \
    --persistent-resource-id=my-persistent-resource \
    --region=us-central1 \
    --resource-pool-spec="replica-count=4,machine-type=n1-standard-4"
    --enable-custom-service-account

הגדרות מתקדמות של gcloud

אם אתם רוצים לציין אפשרויות הגדרה שלא זמינות בדוגמאות הקודמות, אתם יכולים להשתמש בדגל --config כדי לציין את הנתיב לקובץ config.yaml בסביבה המקומית שלכם, שמכיל את השדות של persistentResources. לדוגמה:

gcloud ai persistent-resources create \
    --persistent-resource-id=PERSISTENT_RESOURCE_ID \
    --project=PROJECT_ID \
    --region=LOCATION \
    --config=CONFIG
    --enable-custom-service-account

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של Agent Platform באמצעות ספריות לקוח.

כדי לבצע אימות ב-Agent Platform, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

כדי ליצור משאב לטווח ארוך שאפשר להשתמש בו בהרצת צינור עיבוד נתונים, מגדירים את הפרמטר enable_custom_service_account לערך True באובייקט ResourceRuntimeSpec כשיוצרים את המשאב לטווח ארוך.

from google.cloud.aiplatform.preview import persistent_resource
from google.cloud.aiplatform_v1beta1.types.persistent_resource import ResourcePool
from google.cloud.aiplatform_v1beta1.types.machine_resources import MachineSpec

my_example_resource = persistent_resource.PersistentResource.create(
    persistent_resource_id='PERSISTENT_RESOURCE_ID',
    display_name='DISPLAY_NAME',
    resource_pools=[
        ResourcePool(
            machine_spec=MachineSpec(
                machine_type='MACHINE_TYPE'
            ),
            replica_count=REPLICA_COUNT
        )
    ],
    enable_custom_service_account=True,
)

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PERSISTENT_RESOURCE_ID: מזהה ייחודי שהמשתמש מגדיר למשאב לטווח ארוך. המזהה יכול להכיל רק אותיות קטנות, מספרים ומקפים (-). התו הראשון חייב להיות אות קטנה והתו האחרון חייב להיות אות קטנה או מספר.
  • ‫DISPLAY_NAME: אופציונלי. השם המוצג של המשאב לטווח ארוך.
  • ‫MACHINE_TYPE: סוג המכונה הווירטואלית (VM) שבה משתמשים. במאמר סוגי מכונות תוכלו למצוא רשימה של המכונות הווירטואליות הנתמכות. השדה הזה תואם לשדה machineSpec.machineType בהודעת ה-API של ResourcePool.
  • ‫REPLICA_COUNT: מספר הרפליקות שצריך ליצור כשיוצרים את מאגר המשאבים הזה.

REST

כדי ליצור משאב PersistentResource שאפשר לשייך להרצת צינור עיבוד נתונים, שולחים בקשת POST באמצעות ה-method‏ persistentResources/create, כשהפרמטר enable_custom_service_account מוגדר לערך true בגוף הבקשה.

למשאב לטווח ארוך יכולים להיות מאגר משאבים אחד או יותר. אתם יכולים להגדיר כל מאגר משאבים כך שישתמש במספר קבוע של רפליקות או בהתאמה לעומס (auto-scaling).

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים ליצור את המשאב לטווח ארוך.
  • ‫LOCATION: האזור שבו רוצים ליצור את המשאב לטווח ארוך. כאן תוכלו לראות את רשימת האזורים הנתמכים.
  • ‫PERSISTENT_RESOURCE_ID: מזהה ייחודי שהמשתמש מגדיר למשאב לטווח ארוך. הוא חייב להתחיל באות, להסתיים באות או במספר, ולכלול רק אותיות קטנות, מספרים ומקפים (-).
  • ‫DISPLAY_NAME: אופציונלי. השם המוצג של המשאב לטווח ארוך.
  • ‫MACHINE_TYPE: סוג המכונה הווירטואלית (VM) שבה משתמשים. במאמר סוגי מכונות תוכלו למצוא רשימה של המכונות הווירטואליות הנתמכות. השדה הזה תואם לשדה machineSpec.machineType בהודעת ה-API של ResourcePool.
  • ‫REPLICA_COUNT: אופציונלי. מספר הרפליקות שצריך ליצור למאגר המשאבים, אם לא רוצים להשתמש בהתאמה לעומס (autoscaling). השדה הזה תואם לשדה replicaCount בהודעת ה-API של ResourcePool. אם לא מציינים את השדות MIN_REPLICA_COUNT ו-MAX_REPLICA_COUNT, צריך לציין את מספר הרפליקות.
  • ‫MIN_REPLICA_COUNT: אופציונלי. מספר הרפליקות המינימלי אם משתמשים בהתאמה אוטומטית לעומס (automatic scaling) למאגר המשאבים. כדי להשתמש בהתאמה אוטומטית לעומס, צריך לציין גם את MIN_REPLICA_COUNT וגם את MAX_REPLICA_COUNT.
  • ‫MAX_REPLICA_COUNT: אופציונלי. המספר המקסימלי של רפליקות אם משתמשים בהתאמה אוטומטית לעומס (autoscaling) של מאגר המשאבים. כדי להשתמש בהתאמה אוטומטית לעומס, צריך לציין גם את MIN_REPLICA_COUNT וגם את MAX_REPLICA_COUNT.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/persistentResources?persistent_resource_id=PERSISTENT_RESOURCE_ID

תוכן בקשת JSON:

{
  "display_name": "DISPLAY_NAME",
  "resource_pools": [
    {
      "machine_spec": {
        "machine_type": "MACHINE_TYPE"
      },
      "replica_count": REPLICA_COUNT,
      "autoscaling_spec": {
        "min_replica_count": MIN_REPLICA_COUNT,
        "max_replica_count": MAX_REPLICA_COUNT
      }
    }
  ],
  "resource_runtime_spec": {
    "service_account_spec": {
      "enable_custom_service_account": true
    }
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/persistentResources/mypersistentresource/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreatePersistentResourceOperationMetadata",
    "genericMetadata": {
      "createTime": "2023-02-08T21:17:15.009668Z",
      "updateTime": "2023-02-08T21:17:15.009668Z"
    }
  }
}

יצירת הרצה של צינור עיבוד נתונים באמצעות המשאב לטווח ארוך

כדי ליצור משימת צינור עיבוד נתונים, קודם צריך ליצור מפרט של צינור עיבוד נתונים. מפרט של צינור עיבוד נתונים הוא אובייקט בזיכרון שיוצרים על ידי המרה של הגדרת צינור עיבוד נתונים שעבר הידור.

יצירת מפרט של צינור עיבוד נתונים

כדי ליצור מפרט של צינור עיבוד נתונים בזיכרון, שבו תוכלו להשתמש כדי ליצור את הרצת צינור עיבוד הנתונים, בצעו את הפעולות הבאות:

  1. מגדירים צינור עיבוד נתונים ומקמפלים אותו לקובץ YAML. מידע נוסף על הגדרה והידור של צינור עיבוד נתונים זמין במאמר בניית צינור עיבוד נתונים.

  2. כדי להמיר את קובץ ה-YAML של צינור עיבוד הנתונים שעבר הידור למפרט של צינור עיבוד נתונים בזיכרון, משתמשים בדוגמת הקוד הבאה.

    import yaml
    with open("COMPILED_PIPELINE_PATH", "r") as stream:
      try:
        pipeline_spec = yaml.safe_load(stream)
        print(pipeline_spec)
      except yaml.YAMLError as exc:
        print(exc)
    

    מחליפים את COMPILED_PIPELINE_PATH בנתיב המקומי לקובץ ה-YAML של ה-pipeline שעבר הידור.

יצירת הרצה של צינור עיבוד נתונים

כדי ליצור הרצה של צינור עיבוד נתונים שמשתמש במשאב לטווח ארוך, משתמשים בדוגמת הקוד הבאה ב-Python:

# Import aiplatform and the appropriate API version v1beta1
from google.cloud import aiplatform, aiplatform_v1beta1
from google.cloud.aiplatform_v1beta1.types import pipeline_job as pipeline_job_types

# Initialize the Vertex SDK using PROJECT_ID and LOCATION
aiplatform.init(project='PROJECT_ID', location='LOCATION')

# Create the API Endpoint
client_options = {
    "api_endpoint": f"LOCATION-aiplatform.googleapis.com"
}

# Initialize the PipeLineServiceClient
client = aiplatform_v1beta1.PipelineServiceClient(client_options=client_options)

# Construct the runtime detail
pr_runtime_detail = pipeline_job_types.PipelineJob.RuntimeConfig.PersistentResourceRuntimeDetail(
    persistent_resource_name=(
        f"projects/PROJECT_NUMBER/"
        f"locations/LOCATION/"
        f"persistentResources/PERSISTENT_RESOURCE_ID"
    ),
    task_resource_unavailable_wait_time_ms=WAIT_TIME,
    task_resource_unavailable_timeout_behavior='TIMEOUT_BEHAVIOR',
)

# Construct the default runtime configuration block
default_runtime = pipeline_job_types.PipelineJob.RuntimeConfig.DefaultRuntime(
    persistent_resource_runtime_detail=pr_runtime_detail
)

# Construct the main runtime configuration
runtime_config = pipeline_job_types.PipelineJob.RuntimeConfig(
    gcs_output_directory='PIPELINE_ROOT',
    parameter_values={
        'project_id': 'PROJECT_ID'
    },
    default_runtime=default_runtime
)

# Construct the pipeline job object
pipeline_job = pipeline_job_types.PipelineJob(
    display_name='PIPELINE_DISPLAY_NAME',
    pipeline_spec=PIPELINE_SPEC,
    runtime_config=runtime_config,
)

# Construct the request
parent_path = f"projects/PROJECT_ID/locations/LOCATION"
request = aiplatform_v1beta1.CreatePipelineJobRequest(
    parent=parent_path,
    pipeline_job=pipeline_job,
)

# Make the API Call to create the pipeline job
response = client.create_pipeline_job(request=request)

# Construct the Google Cloud console link
job_id = response.name.split('/')[-1]
console_link = (
    f"https://console.cloud.google.com/agent-platform/locations/LOCATION"
    f"/pipelines/runs/{job_id}"
    f"?project=PROJECT_ID"
)

# Print the Google Cloud console link to the pipeline run
print(f"View Pipeline Run in Google Cloud console: {console_link}")

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: הפרויקט ב- Google Cloud שבו פועל ה-pipeline.

  • ‫LOCATION: האזור שבו מתבצעת הרצת צינור עיבוד הנתונים. מידע נוסף על האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines זמין במאמר מיקומים של Gemini Enterprise Agent Platform. אם לא מגדירים את הפרמטר הזה, המערכת משתמשת במיקום שמוגדר כברירת מחדל ב-aiplatform.init.

  • ‫PERSISTENT_RESOURCE_ID: המזהה של המשאב לטווח ארוך שיצרתם.

  • ‫PROJECT_NUMBER: מספר הפרויקט ב- Google Cloud. הוא שונה ממזהה הפרויקט. את מספר הפרויקט ניתן למצוא בדף הגדרות הפרויקט במסוף Google Cloud .

  • ‫COMPILED_PIPELINE_PATH: הנתיב לקובץ ה-YAML של ה-pipeline שעבר הידור. הוא יכול להיות נתיב מקומי או URI של Cloud Storage.

  • WAIT_TIME: משך הזמן באלפיות השנייה שצריך להמתין אם המשאב לטווח ארוך לא זמין.

  • ‫TIMEOUT_BEHAVIOR: התנהגות ברירת המחדל של המשימה בצינור עיבוד הנתונים במקרה של חריגה מהערך של WAIT_TIME. הערכים האפשריים כוללים את אלה:

    • FAIL המשימה בצינור עיבוד הנתונים נכשלת אחרי חריגה מזמן ההמתנה.

    • FALL_BACK_TO_ON_DEMAND משימת הצינור ממשיכה לפעול באמצעות משאבי האימון שמוגדרים כברירת מחדל ב-Gemini Enterprise Agent Platform, בלי להשתמש במשאב לטווח ארוך.

  • ‫PIPELINE_ROOT: הנתיב ל-URI של Cloud Storage שבו מאוחסנים פריטי המידע שנוצרו בהרצת הצינור.

  • ‫PIPELINE_DISPLAY_NAME: השם של הרצת צינור עיבוד הנתונים. האורך המקסימלי של שם לתצוגה הוא 128 תווים בקידוד UTF-8.

  • ‫PIPELINE_SPEC: מפרט צינור עיבוד הנתונים שיצרתם בקטע יצירת מפרט של צינור עיבוד נתונים.

המאמרים הבאים