שיפור התמונה

בדף הזה מפורטות הדרישות המוקדמות והוראות מפורטות לכוונון מודלים של Gemini על נתוני תמונות באמצעות למידה בפיקוח.

תרחישים לדוגמה

כוונון עדין מאפשר להתאים את מודלי Gemini הבסיסיים למשימות ספציפיות. הנה כמה תרחישים לדוגמה:

  • שיפור קטלוג המוצרים: חילוץ מאפיינים מרכזיים מתמונות (למשל, מותג, צבע, מידה) כדי ליצור ולהעשיר את קטלוג המוצרים באופן אוטומטי.
  • ניהול תמונות: כוונון מודל לזיהוי ולסימון תוכן בלתי הולם או מזיק בתמונות, כדי להבטיח חוויה בטוחה יותר באינטרנט.
  • בדיקה חזותית: אימון מודל לזיהוי אובייקטים או פגמים ספציפיים בתמונות, כדי להפוך את תהליכי בקרת האיכות או הבדיקה לאוטומטיים.
  • סיווג תמונות: שיפור הדיוק של סיווג תמונות בתחומים ספציפיים, כמו הדמיה רפואית או ניתוח של צילומי לוויין.
  • המלצות מבוססות-תמונות: ניתוח תמונות כדי לספק המלצות מותאמות אישית, כמו הצעות למוצרים דומים או לפריטים משלימים.
  • חילוץ תוכן מטבלאות: חילוץ נתונים מטבלאות בתמונות והמרה שלהם לפורמטים מובְנים כמו גיליונות אלקטרוניים או מסדי נתונים.

מגבלות

  • מספר תמונות מקסימלי לכל דוגמה: 30
  • גודל קובץ התמונה המקסימלי: 20MB

מידע נוסף על הדרישות לגבי דוגמאות של תמונות זמין בדף הבנת תמונות.

פורמט של מערך נתונים

הערך של fileUri של קבוצת הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL מסוג HTTP או HTTPS שזמינה באופן ציבורי.

השדה mediaResolution של האובייקט GenerationConfig משמש כדי לשלוט בפשרה בין האיכות של קובץ המדיה שנשלח לכוונון לבין מספר האסימונים שמשמשים לייצוג המדיה. רזולוציה גבוהה יותר מאפשרת למודל לזהות יותר פרטים, מה שיכול להוביל להתנהגות מפורטת יותר של המודל המכוונן, אבל גם תצרוך יותר טוקנים. הפעולה הזו לא משפיעה על מידות התמונה שנשלחות למודל. אם לא מציינים רזולוציה, ברירת המחדל היא MEDIA_RESOLUTION_HIGH.

‫mediaResolution בגרסאות 3 ומטה של Gemini

אלה הערכים הנתמכים של mediaResolution לכוונון נתוני תמונות בגרסאות 3 ומטה של Gemini:

  • ‫MEDIA_RESOLUTION_LOW: ‏64 טוקנים
  • ‫MEDIA_RESOLUTION_MEDIUM: ‏256 טוקנים
  • MEDIA_RESOLUTION_HIGH: ‏256 טוקנים + (256 טוקנים * מספר התמונות של הזזה וסריקה)

במאמר דוגמה למערך נתונים ל-Gemini מופיעה דוגמה לפורמט כללי.

הדוגמה הבאה היא של מערך נתונים של תמונות:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        },
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

‫mediaResolution לגרסאות Gemini 3 ואילך

במודלים Gemini 3 ואילך, אתם יכולים גם להגדיר את רזולוציית המדיה לכל מדיה בנפרד Part. כך אפשר לשלב רזולוציות בקבוצת הנתונים (לדוגמה, להגדיר MEDIA_RESOLUTION_HIGH לפריט אחד ו-MEDIA_RESOLUTION_LOW לפריט אחר). מידע נוסף על רזולוציה ברמת החלק ומספר האסימונים התואמים זמין בקטע רזולוציית מדיה.

הגדרות הרזולוציה של המדיה ברמת Part מקבלות קדימות על פני ההגדרות הגלובליות.

הדוגמה הבאה היא של קבוצת נתונים שמגדירה את רזולוציית המדיה גם ברמת Part וגם ברמה הגלובלית:

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://image.jpeg"
          }
        },
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://ultra_high_res_image.jpeg"
          },
          "mediaResolution": {
            "level": "MEDIA_RESOLUTION_HIGH"
          }
        },
        {
          "text": "Describe these images in detail."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Image 1 is low resolution while image 2 is sharp and clear"
        }
      ]
    }
  ],
  "generationConfig": {
    "mediaResolution": "MEDIA_RESOLUTION_LOW"
  }
}

מערכי נתונים לדוגמה

אתם יכולים להשתמש בקבוצות הנתונים לדוגמה הבאות כדי ללמוד איך לכוונן מודל Gemini. כדי להשתמש במערכי הנתונים האלה, צריך לציין את מזהי ה-URI בפרמטרים הרלוונטיים כשיוצרים משימת כוונון מפוקח (SFT) של מודל טקסט.

כדי להשתמש בקבוצת הנתונים לדוגמה לכוונון, מציינים את המיקום שלה באופן הבא:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_train_data.jsonl",

כדי להשתמש במערך הנתונים לדוגמה לאימות, מציינים את המיקום שלו באופן הבא:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/sft_validation_data.jsonl",

המאמרים הבאים