מערכי נתונים מרובי-מוֹדָל

בעזרת מערכי נתונים מולטי-מודאליים ב-Agent Platform, אתם יכולים ליצור, לנהל, לשתף ולהשתמש במערכי נתונים מולטי-מודאליים ל-AI גנרטיבי. אלה התכונות העיקריות של מערכי נתונים מולטי-מודאליים:

  • אפשר לטעון מערכי נתונים מ-BigQuery, מ-DataFrames או מקובצי JSONL ב-Cloud Storage.

  • אתם יכולים ליצור את מערך הנתונים פעם אחת ולהשתמש בו בסוגי עבודה שונים, כמו כוונון מפוקח וחיזוי באצווה, וכך למנוע כפילויות בנתונים ובעיות בפורמט.

  • שומרים את כל מערכי הנתונים של ה-AI הגנרטיבי במיקום מנוהל אחד.

  • לאמת את הסכימה והמבנה ולכמת את המשאבים שנדרשים למשימות הבאות, כדי שתוכלו לזהות שגיאות ולהעריך את העלות לפני שתתחילו משימה.

אתם יכולים להשתמש במערכי נתונים מולטי-מודאליים דרך Agent Platform SDK או API בארכיטקטורת REST.

מערכי נתונים מולטי-מודאליים הם סוג של מערכי נתונים מנוהלים ב-Agent Platform. הם שונים מסוגים אחרים של מערכי נתונים מנוהלים בדרכים הבאות:

  • מערכי נתונים מולטי-מודאליים יכולים לכלול נתונים מכל מודל (טקסט, תמונה, אודיו, וידאו). סוגים אחרים של מערכי נתונים מנוהלים מיועדים למודל אחד בלבד.
  • אפשר להשתמש במערכי נתונים מולטי-מודאליים רק בשירותי AI גנרטיבי ב-Agent Platform, כמו כוונון וחיזוי באצווה באמצעות מודלים גנרטיביים. סוגים אחרים של מערכי נתונים מנוהלים יכולים לשמש רק למודלים חזויים של Agent Platform.
  • מערכי נתונים מולטי-מודאליים תומכים בשיטות נוספות, כמו assemble ו-assess, שמשמשות לתצוגה מקדימה של נתונים, לאימות בקשות ולהערכת עלויות.
  • מערכי נתונים מולטי-מודאליים מאוחסנים ב-BigQuery, שמותאם למערכי נתונים גדולים.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Agent Platform, BigQuery, and Cloud Storage APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  4. התקנה ואתחול של Agent Platform SDK ל-Python
  5. מייבאים את הספריות הבאות ויוצרים לקוח:
    import agentplatform
    from agentplatform.types import (
        GeminiExample,
        GeminiRequestReadConfig,
        GeminiTemplateConfig,
    )
    
    # To use related features, such as tuning and batch prediction, you may also
    # need to import the Google Gen AI SDK:
    from google import genai
    from google.genai.types import Content, Part
    
    # Create a client for multimodal dataset operations.
    client = agentplatform.Client(project="PROJECT_ID", location="LOCATION")
    

יצירת קבוצת נתונים

אתם יכולים ליצור dataset ממקורות שונים:

  • מ-Pandas DataFrame

    my_dataset = client.datasets.create_from_pandas(
        dataframe=my_dataframe,
        target_table_id=table_id    # optional
    )
    
  • מ-BigQuery DataFrame:

    my_dataset = client.datasets.create_from_bigframes(
        dataframe=my_dataframe,
        target_table_id=table_id    # optional
    )
    
  • מטבלה ב-BigQuery

    my_dataset_from_bigquery = client.datasets.create_from_bigquery(
        bigquery_uri="bq://projectId.datasetId.tableId"
    )
    
  • מטבלה ב-BigQuery, באמצעות ה-API בארכיטקטורת REST

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT/locations/LOCATION/datasets" \
    -d '{
      "display_name": "TestDataset",
      "metadataSchemaUri": "gs://google-cloud-aiplatform/schema/dataset/metadata/multimodal_1.0.0.yaml",
      "metadata": {
        "inputConfig": {
          "bigquery_source": {
            "uri": "bq://projectId.datasetId.tableId"
          }
        }
      }
    }'
    
  • מקובץ JSONL ב-Cloud Storage. בדוגמה הבאה, קובץ ה-JSONL מכיל בקשות שכבר בפורמט של Gemini, כך שלא צריך להרכיב אותן.

    my_dataset = client.datasets.create_from_gemini_request_jsonl(
      gcs_uri = gcs_uri_of_jsonl_file,
    )
    
  • ממערך נתונים מולטימודלי קיים

    # Load dataset based on its name. This accepts a full resource name or a
    # dataset ID.
    same_dataset = client.datasets.get_multimodal_dataset(name=dataset_name)
    

יצירה וצירוף של הגדרת קריאה

הגדרת קריאה (GeminiRequestReadConfig) קובעת איך להמיר את מערך הנתונים המולטימודלי לפורמט שאפשר להעביר למודל. הוא מכיל תבנית עם פלייסהולדרים שמוחלפים בערכים של העמודות המתאימות בקבוצת הנתונים במהלך ההרכבה. ההרשאה הזו נדרשת כדי להריץ משימת כוונון או משימת חיזוי באצווה.

Agent Platform SDK

  1. יוצרים הגדרת קריאה. יש שתי דרכים ליצור כתובת URL כזו:

    • משתמשים ב-helper method‏ GeminiRequestReadConfig.single_turn_template:
    read_config = GeminiRequestReadConfig.single_turn_template(
            prompt="This is the image: {image_uris}",
            response="{labels}",
            system_instruction='You are a botanical image classifier. Analyze the provided image '
                    'and determine the most accurate classification of the flower.'
                    'These are the only flower categories: [\'daisy\', \'dandelion\', \'roses\', \'sunflowers\', \'tulips\'].'
                    'Return only one category per image.'
    )
    
    • ליצור באופן ידני הגדרת קריאה מ-GeminiExample, שמאפשרת רמת פירוט גבוהה יותר, כמו שיחות עם כמה פניות. דוגמת הקוד הבאה כוללת גם קוד אופציונלי עם הערות לציון field_mapping, שמאפשר להשתמש בשם של פלייסהולדר ששונה משם העמודה של מערך הנתונים. לדוגמה:
    # Define a GeminiExample
    gemini_example = GeminiExample(
      contents=[
          Content(role="user", parts=[Part.from_text(text="This is the image: {image_uris}")]),
          Content(role="model", parts=[Part.from_text(text="This is the flower class: {label}.")]),
          Content(role="user", parts=[Part.from_text(text="Your response should only contain the class label.")]),
          Content(role="model", parts=[Part.from_text(text="{label}")]),
    
          # Optional: If you specify a field_mapping, you can use different placeholder values. For example:
          # Content(role="user", parts=[Part.from_text(text="This is the image: {uri_placeholder}")]),
          # Content(role="model", parts=[Part.from_text(text="This is the flower class: {flower_placeholder}.")]),
          # Content(role="user", parts=[Part.from_text(text="Your response should only contain the class label.")]),
          # Content(role="model", parts=[Part.from_text(text="{flower_placeholder}")]),
      ],
      system_instruction=Content(
          parts=[
              Part.from_text(
                  text='You are a botanical image classifier. Analyze the provided image '
                  'and determine the most accurate classification of the flower.'
                  'These are the only flower categories: [\'daisy\', \'dandelion\', \'roses\', \'sunflowers\', \'tulips\'].'
                  'Return only one category per image.'
              )
          ]
      ),
    )
    
    # Construct the read config, specifying a map for the placeholders.
    read_config = GeminiRequestReadConfig(
        template_config=GeminiTemplateConfig(
            gemini_example=gemini_example,
    
            # Optional: Map the template placeholders to the column names of your dataset.
            # Not required if the template placeholders are column names of the dataset.
            # field_mapping={"uri_placeholder": "image_uris", "flower_placeholder": "labels"},
        ),
    )
    
  2. מצרפים אותו למערך הנתונים ושומרים את השינוי:

    my_dataset.set_read_config(read_config=read_config)
    my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)
    

REST

מפעילים את השיטה patch ומעדכנים את השדה metadata באופן הבא:

  • ה-URI של הטבלה ב-BigQuery. במערכי נתונים שנוצרו מטבלה ב-BigQuery, זהו מקור הנתונים bigquery_uri. במערכי נתונים שנוצרו ממקורות אחרים, כמו JSONL או DataFrame, זו הטבלה ב-BigQuery שאליה הועתקו הנתונים.
  • gemini_template_config.
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d $'{
  "metadata": {
    "input_config": {
      "bigquery_source": {
        "uri": "bq://projectId.datasetId.tableId"
      }
    },
    "gemini_template_config_source": {
      "gemini_template_config": {
        "gemini_example": {
          "contents": [
            {
              "role": "user",
              "parts": [
                {
                  "text": "This is the image: {image_uris}"

                }
              ]
            },
            {
              "role": "model",
              "parts": [
                {
                  "text": "response"
                }
              ]
            }
          ]
        "systemInstruction": {
            "parts": [
                {
                    "text": "You are a botanical image classifier."
                }
            ]
          }
        }
      }
    }
  }
}' \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID?updateMask=metadata"

(אופציונלי) הרכבת מערך הנתונים

ה-method‏ assemble מחילה את הגדרת הקריאה כדי לשנות את מערך הנתונים, ושומרת את הפלט בטבלה חדשה ב-BigQuery. כך אפשר לראות תצוגה מקדימה של הנתונים לפני שהם מועברים למודל.

כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.

Agent Platform SDK

ה-method‏ assemble מחזירה n-יה סדורה (tuple) של (table_id, dataframe). מעבירים את load_dataframe=True כדי לטעון גם את הטבלה המורכבת בתור DataFrame לבדיקה.

table_id, assembly = client.datasets.assemble(
    name=my_dataset.name,
    gemini_request_read_config=read_config,    # optional if attached to the dataset
    load_dataframe=True,
)

# Inspect the results
assembly.head()

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assemble" \
-d '{}'

לדוגמה, נניח שמערך הנתונים המולטי-מודאלי מכיל את הנתונים הבאים:

Row image_uris labels
1 gs://cloud-samples-data/ai-platform/flowers/daisy/1396526833_fb867165be_n.jpg חיננית

לאחר מכן, השיטה assemble יוצרת טבלה חדשה ב-BigQuery בשם table_id, שבה כל שורה מכילה את גוף הבקשה. לדוגמה:

{
  "contents": [
    {
      "parts": [
        {
          "text": "This is the image: "
        },
        {
          "fileData": {
            "fileUri": "gs://cloud-samples-data/ai-platform/flowers/daisy/1396526833_fb867165be_n.jpg",
            "mimeType": "image/jpeg"
          }
        }
      ],
      "role": "user"
    },
    {
      "parts": [
        {
          "text": "daisy"
        }
      ],
      "role": "model"
    }
  ],
  "systemInstruction": {
    "parts": [
      {
        "text": "You are a botanical image classifier. Analyze the provided image and determine the most accurate classification of the flower.These are the only flower categories: ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips'].Return only one category per image."
      }
    ]
  }
}

כוונון המודל

אתם יכולים לכוונן את המודלים של Gemini באמצעות מערך נתונים מולטימודלי.

(אופציונלי) אימות של מערך הנתונים

בודקים את מערך הנתונים כדי לראות אם יש בו שגיאות, כמו שגיאות בפורמט של מערך הנתונים או שגיאות במודל.

Agent Platform SDK

התקשרות אל assess_tuning_validity() כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.

# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)

# Validation for tuning
validation = client.datasets.assess_tuning_validity(
    dataset_name=my_dataset.name,
    model_name="gemini-3.5-flash",
    dataset_usage="SFT_TRAINING"
)

# Inspect validation result
validation.errors

REST

מפעילים את ה-method‏ assess ומספקים TuningValidationAssessmentConfig.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
  "tuningValidationAssessmentConfig": {
    "modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash",
    "datasetUsage": "SFT_TRAINING"
  }
}'

(אופציונלי) הערכת השימוש במשאבים

בודקים את מערך הנתונים כדי לקבל את מספר הטוקנים והתווים לחיוב של משימת הכוונון.

Agent Platform SDK

התקשרות אל assess_tuning_resources()

# Resource estimation for tuning.
tuning_resources = client.datasets.assess_tuning_resources(
    dataset_name=my_dataset.name,
    model_name="gemini-3.5-flash"
)

print(tuning_resources)
# For example, TuningResourceUsageAssessmentResult(token_count=362688, billable_character_count=122000)

REST

מפעילים את ה-method‏ assess ומספקים TuningResourceUsageAssessmentConfig.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
  "tuningResourceUsageAssessmentConfig": {
    "modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash"
  }
}'

הפעלת משימת הכוונון

משתמשים ב-Google Gen AI SDK כדי להתחיל משימת כוונון, ומעבירים את שם המשאב של מערך הנתונים המולטימודלי. לקבוצת הנתונים צריכה להיות הגדרת קריאה מצורפת.

Google Gen AI SDK

from google import genai
from google.genai.types import HttpOptions, CreateTuningJobConfig

genai_client = genai.Client(http_options=HttpOptions(api_version="v1"))

tuning_job = genai_client.tunings.tune(
  base_model="gemini-3.5-flash",
  # Pass the resource name of the Multimodal Dataset, not the dataset object
  training_dataset={
      "vertex_dataset_resource": my_multimodal_dataset.name
  },
  # Optional
  config=CreateTuningJobConfig(
      validation_dataset={
          "vertex_dataset_resource": my_multimodal_validation_dataset.name
      },
      tuned_model_display_name="Example tuning job"),
)

מידע נוסף זמין במאמר יצירת משימת כוונון.

חיזוי באצווה

אתם יכולים לקבל חיזויים באצווה באמצעות מערך נתונים מולטי-מודאלי.

(אופציונלי) אימות של מערך הנתונים

בודקים את מערך הנתונים כדי לראות אם יש בו שגיאות, כמו שגיאות בפורמט של מערך הנתונים או שגיאות במודל.

Agent Platform SDK

התקשרות אל assess_batch_prediction_validity() כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.

# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)

# Validation for batch prediction
validation = client.datasets.assess_batch_prediction_validity(
    dataset_name=my_dataset.name,
    model_name="gemini-3.5-flash"
)

# Inspect validation result
validation.errors

REST

מבצעים קריאה ל-assess ומספקים batchPredictionValidationAssessmentConfig.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
  "batchPredictionValidationAssessmentConfig": {
    "modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash",
  }
}'

(אופציונלי) הערכת השימוש במשאבים

בודקים את מערך הנתונים כדי לקבל את מספר האסימונים של המשימה.

Agent Platform SDK

התקשרות אל assess_batch_prediction_resources()

batch_prediction_resources = client.datasets.assess_batch_prediction_resources(
    dataset_name=my_dataset.name,
    model_name="gemini-3.5-flash"
)

print(batch_prediction_resources)
# For example, BatchPredictionResourceUsageAssessmentResult(token_count=362688, audio_token_count=122000)

REST

מפעילים את ה-method‏ assess ומספקים batchPredictionResourceUsageAssessmentConfig.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
  "batchPredictionResourceUsageAssessmentConfig": {
    "modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash"
  }
}'

הפעלת משימת החיזוי באצווה

כדי להשתמש במערך הנתונים המולטי-מודאלי לחיזוי באצווה, מעבירים את ה-table_id של BigQuery של הפלט המורכב:

Google Gen AI SDK

from google import genai
from google.genai.types import HttpOptions

# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)

# Assemble the dataset to get the assembled BigQuery table.
table_id, _ = client.datasets.assemble(name=my_dataset.name)

genai_client = genai.Client(http_options=HttpOptions(api_version="v1"))

job = genai_client.batches.create(
    model="gemini-3.5-flash",
    src=f"bq://{table_id}",
)

מידע נוסף זמין במאמר בקשה למשימת חיזוי באצווה.

מגבלות

  • אפשר להשתמש במערכי נתונים מולטי-מודאליים רק עם תכונות מבוססות-AI גנרטיבי. אי אפשר להשתמש בהם עם תכונות שלא מבוססות על AI גנרטיבי, כמו אימון AutoML ואימון בהתאמה אישית.

  • אפשר להשתמש במערכי נתונים מולטי-מודאליים רק עם מודלים של Google, כמו Gemini. אי אפשר להשתמש בהם עם מודלים של צד שלישי.

תמחור

כשאתם מכווננים מודל או מריצים משימת חיזוי באצווה, אתם מחויבים על השימוש ב-AI גנרטיבי ועל שליחת שאילתות למערך הנתונים ב-BigQuery.

כשאתם יוצרים, מרכיבים או מעריכים את מערך הנתונים המולטימודלי, אתם מחויבים על אחסון מערכי נתונים מולטימודליים ב-BigQuery ועל שליחת שאילתות אליהם. באופן ספציפי, הפעולות הבאות משתמשות בשירותים הבסיסיים האלה:

  • קבוצת הנתונים Create

    • על קבוצות נתונים שנוצרו מטבלה קיימת ב-BigQuery או מ-DataFrame לא חלות עלויות אחסון נוספות. הסיבה לכך היא שאנחנו משתמשים בתצוגה לוגית במקום לאחסן עותק נוסף של הנתונים.
    • במערכי נתונים שנוצרו ממקורות אחרים, הנתונים מועתקים לטבלה חדשה ב-BigQuery, וזה כרוך בעלויות אחסון ב-BigQuery. לדוגמה, אחסון לוגי פעיל ב-0.02 $ל-GiB לחודש.
  • קבוצת הנתונים Assemble

    • בשיטה הזו נוצרת טבלה ב-BigQuery שמכילה את קבוצת הנתונים המלאה בפורמט של בקשת מודל, וזה כרוך בעלות האחסון ב-BigQuery. לדוגמה, אחסון לוגי פעיל ב-0.02 $ל-GiB לחודש.

    • בשיטה הזו, המערכת קוראת את מערך הנתונים פעם אחת, וזה כרוך בעלויות של שאילתות ב-BigQuery. לדוגמה, תמחור של מחשוב על פי דרישה, 6.25$ ל-TiB.

  • ‫Assess קורא את מערך הנתונים פעם אחת, וזה כרוך בעלויות של שאילתות ב-BigQuery. לדוגמה, תמחור של מחשוב על פי דרישה, 6.25$ ל-TiB.

אתם יכולים להשתמש במחשבון עלויות כדי ליצור הערכת עלויות בהתאם לשימוש החזוי.