בעזרת מערכי נתונים מולטי-מודאליים ב-Agent Platform, אתם יכולים ליצור, לנהל, לשתף ולהשתמש במערכי נתונים מולטי-מודאליים ל-AI גנרטיבי. אלה התכונות העיקריות של מערכי נתונים מולטי-מודאליים:
אפשר לטעון מערכי נתונים מ-BigQuery, מ-DataFrames או מקובצי JSONL ב-Cloud Storage.
אתם יכולים ליצור את מערך הנתונים פעם אחת ולהשתמש בו בסוגי עבודה שונים, כמו כוונון מפוקח וחיזוי באצווה, וכך למנוע כפילויות בנתונים ובעיות בפורמט.
שומרים את כל מערכי הנתונים של ה-AI הגנרטיבי במיקום מנוהל אחד.
לאמת את הסכימה והמבנה ולכמת את המשאבים שנדרשים למשימות הבאות, כדי שתוכלו לזהות שגיאות ולהעריך את העלות לפני שתתחילו משימה.
אתם יכולים להשתמש במערכי נתונים מולטי-מודאליים דרך Agent Platform SDK או API בארכיטקטורת REST.
מערכי נתונים מולטי-מודאליים הם סוג של מערכי נתונים מנוהלים ב-Agent Platform. הם שונים מסוגים אחרים של מערכי נתונים מנוהלים בדרכים הבאות:
- מערכי נתונים מולטי-מודאליים יכולים לכלול נתונים מכל מודל (טקסט, תמונה, אודיו, וידאו). סוגים אחרים של מערכי נתונים מנוהלים מיועדים למודל אחד בלבד.
- אפשר להשתמש במערכי נתונים מולטי-מודאליים רק בשירותי AI גנרטיבי ב-Agent Platform, כמו כוונון וחיזוי באצווה באמצעות מודלים גנרטיביים. סוגים אחרים של מערכי נתונים מנוהלים יכולים לשמש רק למודלים חזויים של Agent Platform.
- מערכי נתונים מולטי-מודאליים תומכים בשיטות נוספות, כמו
assembleו-assess, שמשמשות לתצוגה מקדימה של נתונים, לאימות בקשות ולהערכת עלויות. - מערכי נתונים מולטי-מודאליים מאוחסנים ב-BigQuery, שמותאם למערכי נתונים גדולים.
לפני שמתחילים
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Agent Platform, BigQuery, and Cloud Storage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- התקנה ואתחול של Agent Platform SDK ל-Python
- מייבאים את הספריות הבאות ויוצרים לקוח:
import agentplatform from agentplatform.types import ( GeminiExample, GeminiRequestReadConfig, GeminiTemplateConfig, ) # To use related features, such as tuning and batch prediction, you may also # need to import the Google Gen AI SDK: from google import genai from google.genai.types import Content, Part # Create a client for multimodal dataset operations. client = agentplatform.Client(project="PROJECT_ID", location="LOCATION")
יצירת קבוצת נתונים
אתם יכולים ליצור dataset ממקורות שונים:
מ-Pandas DataFrame
my_dataset = client.datasets.create_from_pandas( dataframe=my_dataframe, target_table_id=table_id # optional )-
my_dataset = client.datasets.create_from_bigframes( dataframe=my_dataframe, target_table_id=table_id # optional ) מטבלה ב-BigQuery
my_dataset_from_bigquery = client.datasets.create_from_bigquery( bigquery_uri="bq://projectId.datasetId.tableId" )מטבלה ב-BigQuery, באמצעות ה-API בארכיטקטורת REST
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT/locations/LOCATION/datasets" \ -d '{ "display_name": "TestDataset", "metadataSchemaUri": "gs://google-cloud-aiplatform/schema/dataset/metadata/multimodal_1.0.0.yaml", "metadata": { "inputConfig": { "bigquery_source": { "uri": "bq://projectId.datasetId.tableId" } } } }'מקובץ JSONL ב-Cloud Storage. בדוגמה הבאה, קובץ ה-JSONL מכיל בקשות שכבר בפורמט של Gemini, כך שלא צריך להרכיב אותן.
my_dataset = client.datasets.create_from_gemini_request_jsonl( gcs_uri = gcs_uri_of_jsonl_file, )ממערך נתונים מולטימודלי קיים
# Load dataset based on its name. This accepts a full resource name or a # dataset ID. same_dataset = client.datasets.get_multimodal_dataset(name=dataset_name)
יצירה וצירוף של הגדרת קריאה
הגדרת קריאה (GeminiRequestReadConfig) קובעת איך להמיר את מערך הנתונים המולטימודלי לפורמט שאפשר להעביר למודל. הוא מכיל תבנית עם פלייסהולדרים שמוחלפים בערכים של העמודות המתאימות בקבוצת הנתונים במהלך ההרכבה. ההרשאה הזו נדרשת כדי להריץ משימת כוונון או משימת חיזוי באצווה.
Agent Platform SDK
יוצרים הגדרת קריאה. יש שתי דרכים ליצור כתובת URL כזו:
- משתמשים ב-helper method
GeminiRequestReadConfig.single_turn_template:
read_config = GeminiRequestReadConfig.single_turn_template( prompt="This is the image: {image_uris}", response="{labels}", system_instruction='You are a botanical image classifier. Analyze the provided image ' 'and determine the most accurate classification of the flower.' 'These are the only flower categories: [\'daisy\', \'dandelion\', \'roses\', \'sunflowers\', \'tulips\'].' 'Return only one category per image.' )- ליצור באופן ידני הגדרת קריאה מ-
GeminiExample, שמאפשרת רמת פירוט גבוהה יותר, כמו שיחות עם כמה פניות. דוגמת הקוד הבאה כוללת גם קוד אופציונלי עם הערות לציוןfield_mapping, שמאפשר להשתמש בשם של פלייסהולדר ששונה משם העמודה של מערך הנתונים. לדוגמה:
# Define a GeminiExample gemini_example = GeminiExample( contents=[ Content(role="user", parts=[Part.from_text(text="This is the image: {image_uris}")]), Content(role="model", parts=[Part.from_text(text="This is the flower class: {label}.")]), Content(role="user", parts=[Part.from_text(text="Your response should only contain the class label.")]), Content(role="model", parts=[Part.from_text(text="{label}")]), # Optional: If you specify a field_mapping, you can use different placeholder values. For example: # Content(role="user", parts=[Part.from_text(text="This is the image: {uri_placeholder}")]), # Content(role="model", parts=[Part.from_text(text="This is the flower class: {flower_placeholder}.")]), # Content(role="user", parts=[Part.from_text(text="Your response should only contain the class label.")]), # Content(role="model", parts=[Part.from_text(text="{flower_placeholder}")]), ], system_instruction=Content( parts=[ Part.from_text( text='You are a botanical image classifier. Analyze the provided image ' 'and determine the most accurate classification of the flower.' 'These are the only flower categories: [\'daisy\', \'dandelion\', \'roses\', \'sunflowers\', \'tulips\'].' 'Return only one category per image.' ) ] ), ) # Construct the read config, specifying a map for the placeholders. read_config = GeminiRequestReadConfig( template_config=GeminiTemplateConfig( gemini_example=gemini_example, # Optional: Map the template placeholders to the column names of your dataset. # Not required if the template placeholders are column names of the dataset. # field_mapping={"uri_placeholder": "image_uris", "flower_placeholder": "labels"}, ), )- משתמשים ב-helper method
מצרפים אותו למערך הנתונים ושומרים את השינוי:
my_dataset.set_read_config(read_config=read_config) my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)
REST
מפעילים את השיטה patch ומעדכנים את השדה metadata באופן הבא:
- ה-URI של הטבלה ב-BigQuery. במערכי נתונים שנוצרו מטבלה ב-BigQuery, זהו מקור הנתונים
bigquery_uri. במערכי נתונים שנוצרו ממקורות אחרים, כמו JSONL או DataFrame, זו הטבלה ב-BigQuery שאליה הועתקו הנתונים. gemini_template_config.
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d $'{
"metadata": {
"input_config": {
"bigquery_source": {
"uri": "bq://projectId.datasetId.tableId"
}
},
"gemini_template_config_source": {
"gemini_template_config": {
"gemini_example": {
"contents": [
{
"role": "user",
"parts": [
{
"text": "This is the image: {image_uris}"
}
]
},
{
"role": "model",
"parts": [
{
"text": "response"
}
]
}
]
"systemInstruction": {
"parts": [
{
"text": "You are a botanical image classifier."
}
]
}
}
}
}
}
}' \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID?updateMask=metadata"
(אופציונלי) הרכבת מערך הנתונים
ה-method assemble מחילה את הגדרת הקריאה כדי לשנות את מערך הנתונים, ושומרת את הפלט בטבלה חדשה ב-BigQuery. כך אפשר לראות תצוגה מקדימה של הנתונים לפני שהם מועברים למודל.
כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.
Agent Platform SDK
ה-method assemble מחזירה n-יה סדורה (tuple) של (table_id, dataframe). מעבירים את load_dataframe=True כדי לטעון גם את הטבלה המורכבת בתור DataFrame לבדיקה.
table_id, assembly = client.datasets.assemble(
name=my_dataset.name,
gemini_request_read_config=read_config, # optional if attached to the dataset
load_dataframe=True,
)
# Inspect the results
assembly.head()
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assemble" \
-d '{}'
לדוגמה, נניח שמערך הנתונים המולטי-מודאלי מכיל את הנתונים הבאים:
| Row | image_uris | labels |
|---|---|---|
| 1 | gs://cloud-samples-data/ai-platform/flowers/daisy/1396526833_fb867165be_n.jpg | חיננית |
לאחר מכן, השיטה assemble יוצרת טבלה חדשה ב-BigQuery בשם table_id, שבה כל שורה מכילה את גוף הבקשה. לדוגמה:
{
"contents": [
{
"parts": [
{
"text": "This is the image: "
},
{
"fileData": {
"fileUri": "gs://cloud-samples-data/ai-platform/flowers/daisy/1396526833_fb867165be_n.jpg",
"mimeType": "image/jpeg"
}
}
],
"role": "user"
},
{
"parts": [
{
"text": "daisy"
}
],
"role": "model"
}
],
"systemInstruction": {
"parts": [
{
"text": "You are a botanical image classifier. Analyze the provided image and determine the most accurate classification of the flower.These are the only flower categories: ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips'].Return only one category per image."
}
]
}
}
כוונון המודל
אתם יכולים לכוונן את המודלים של Gemini באמצעות מערך נתונים מולטימודלי.
(אופציונלי) אימות של מערך הנתונים
בודקים את מערך הנתונים כדי לראות אם יש בו שגיאות, כמו שגיאות בפורמט של מערך הנתונים או שגיאות במודל.
Agent Platform SDK
התקשרות אל assess_tuning_validity() כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.
# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)
# Validation for tuning
validation = client.datasets.assess_tuning_validity(
dataset_name=my_dataset.name,
model_name="gemini-3.5-flash",
dataset_usage="SFT_TRAINING"
)
# Inspect validation result
validation.errors
REST
מפעילים את ה-method assess ומספקים TuningValidationAssessmentConfig.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
"tuningValidationAssessmentConfig": {
"modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash",
"datasetUsage": "SFT_TRAINING"
}
}'
(אופציונלי) הערכת השימוש במשאבים
בודקים את מערך הנתונים כדי לקבל את מספר הטוקנים והתווים לחיוב של משימת הכוונון.
Agent Platform SDK
התקשרות אל assess_tuning_resources()
# Resource estimation for tuning.
tuning_resources = client.datasets.assess_tuning_resources(
dataset_name=my_dataset.name,
model_name="gemini-3.5-flash"
)
print(tuning_resources)
# For example, TuningResourceUsageAssessmentResult(token_count=362688, billable_character_count=122000)
REST
מפעילים את ה-method assess ומספקים TuningResourceUsageAssessmentConfig.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
"tuningResourceUsageAssessmentConfig": {
"modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash"
}
}'
הפעלת משימת הכוונון
משתמשים ב-Google Gen AI SDK כדי להתחיל משימת כוונון, ומעבירים את שם המשאב של מערך הנתונים המולטימודלי. לקבוצת הנתונים צריכה להיות הגדרת קריאה מצורפת.
Google Gen AI SDK
from google import genai
from google.genai.types import HttpOptions, CreateTuningJobConfig
genai_client = genai.Client(http_options=HttpOptions(api_version="v1"))
tuning_job = genai_client.tunings.tune(
base_model="gemini-3.5-flash",
# Pass the resource name of the Multimodal Dataset, not the dataset object
training_dataset={
"vertex_dataset_resource": my_multimodal_dataset.name
},
# Optional
config=CreateTuningJobConfig(
validation_dataset={
"vertex_dataset_resource": my_multimodal_validation_dataset.name
},
tuned_model_display_name="Example tuning job"),
)
מידע נוסף זמין במאמר יצירת משימת כוונון.
חיזוי באצווה
אתם יכולים לקבל חיזויים באצווה באמצעות מערך נתונים מולטי-מודאלי.
(אופציונלי) אימות של מערך הנתונים
בודקים את מערך הנתונים כדי לראות אם יש בו שגיאות, כמו שגיאות בפורמט של מערך הנתונים או שגיאות במודל.
Agent Platform SDK
התקשרות אל assess_batch_prediction_validity() כברירת מחדל, המערכת משתמשת בהגדרת הקריאה שמצורפת למערך הנתונים, אבל אפשר להעביר gemini_request_read_config כדי לשנות את התנהגות ברירת המחדל.
# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)
# Validation for batch prediction
validation = client.datasets.assess_batch_prediction_validity(
dataset_name=my_dataset.name,
model_name="gemini-3.5-flash"
)
# Inspect validation result
validation.errors
REST
מבצעים קריאה ל-assess ומספקים batchPredictionValidationAssessmentConfig.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
"batchPredictionValidationAssessmentConfig": {
"modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash",
}
}'
(אופציונלי) הערכת השימוש במשאבים
בודקים את מערך הנתונים כדי לקבל את מספר האסימונים של המשימה.
Agent Platform SDK
התקשרות אל assess_batch_prediction_resources()
batch_prediction_resources = client.datasets.assess_batch_prediction_resources(
dataset_name=my_dataset.name,
model_name="gemini-3.5-flash"
)
print(batch_prediction_resources)
# For example, BatchPredictionResourceUsageAssessmentResult(token_count=362688, audio_token_count=122000)
REST
מפעילים את ה-method assess ומספקים batchPredictionResourceUsageAssessmentConfig.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:assess" \
-d '{
"batchPredictionResourceUsageAssessmentConfig": {
"modelName": "projects/PROJECT_ID/locations/LOCATION/models/gemini-3.5-flash"
}
}'
הפעלת משימת החיזוי באצווה
כדי להשתמש במערך הנתונים המולטי-מודאלי לחיזוי באצווה, מעבירים את ה-table_id של BigQuery של הפלט המורכב:
Google Gen AI SDK
from google import genai
from google.genai.types import HttpOptions
# Attach the read configuration to the dataset.
my_dataset.set_read_config(read_config=read_config)
my_dataset = client.datasets.update_multimodal_dataset(multimodal_dataset=my_dataset)
# Assemble the dataset to get the assembled BigQuery table.
table_id, _ = client.datasets.assemble(name=my_dataset.name)
genai_client = genai.Client(http_options=HttpOptions(api_version="v1"))
job = genai_client.batches.create(
model="gemini-3.5-flash",
src=f"bq://{table_id}",
)
מידע נוסף זמין במאמר בקשה למשימת חיזוי באצווה.
מגבלות
אפשר להשתמש במערכי נתונים מולטי-מודאליים רק עם תכונות מבוססות-AI גנרטיבי. אי אפשר להשתמש בהם עם תכונות שלא מבוססות על AI גנרטיבי, כמו אימון AutoML ואימון בהתאמה אישית.
אפשר להשתמש במערכי נתונים מולטי-מודאליים רק עם מודלים של Google, כמו Gemini. אי אפשר להשתמש בהם עם מודלים של צד שלישי.
תמחור
כשאתם מכווננים מודל או מריצים משימת חיזוי באצווה, אתם מחויבים על השימוש ב-AI גנרטיבי ועל שליחת שאילתות למערך הנתונים ב-BigQuery.
כשאתם יוצרים, מרכיבים או מעריכים את מערך הנתונים המולטימודלי, אתם מחויבים על אחסון מערכי נתונים מולטימודליים ב-BigQuery ועל שליחת שאילתות אליהם. באופן ספציפי, הפעולות הבאות משתמשות בשירותים הבסיסיים האלה:
קבוצת הנתונים
Create- על קבוצות נתונים שנוצרו מטבלה קיימת ב-BigQuery או מ-DataFrame לא חלות עלויות אחסון נוספות. הסיבה לכך היא שאנחנו משתמשים בתצוגה לוגית במקום לאחסן עותק נוסף של הנתונים.
- במערכי נתונים שנוצרו ממקורות אחרים, הנתונים מועתקים לטבלה חדשה ב-BigQuery, וזה כרוך בעלויות אחסון ב-BigQuery. לדוגמה, אחסון לוגי פעיל ב-0.02 $ל-GiB לחודש.
קבוצת הנתונים
Assembleבשיטה הזו נוצרת טבלה ב-BigQuery שמכילה את קבוצת הנתונים המלאה בפורמט של בקשת מודל, וזה כרוך בעלות האחסון ב-BigQuery. לדוגמה, אחסון לוגי פעיל ב-0.02 $ל-GiB לחודש.
בשיטה הזו, המערכת קוראת את מערך הנתונים פעם אחת, וזה כרוך בעלויות של שאילתות ב-BigQuery. לדוגמה, תמחור של מחשוב על פי דרישה, 6.25$ ל-TiB.
Assessקורא את מערך הנתונים פעם אחת, וזה כרוך בעלויות של שאילתות ב-BigQuery. לדוגמה, תמחור של מחשוב על פי דרישה, 6.25$ ל-TiB.
אתם יכולים להשתמש במחשבון עלויות כדי ליצור הערכת עלויות בהתאם לשימוש החזוי.