כוונון אודיו

בדף הזה מפורטים הדרישות המוקדמות וההוראות המפורטות לשיפור מודלים של Gemini על נתוני אודיו באמצעות למידה מפוקחת.

תרחישים לדוגמה

כוונון של מודלים של אודיו משפר את הביצועים שלהם כי הוא מאפשר להתאים אותם לצרכים ספציפיים. זה יכול לכלול שיפור של זיהוי הדיבור במבטאים שונים, שיפור הסיווג של ז'אנרים מוזיקליים, אופטימיזציה של זיהוי אירועי צלילים, התאמה אישית של יצירת אודיו, התאמה לסביבות רועשות, שיפור איכות האודיו והתאמה אישית של חוויות האודיו. הנה כמה תרחישי שימוש נפוצים לכוונון האודיו:

  • עוזרים קוליים משופרים:

    • הזמנת אוכל באמצעות קול: פיתוח מערכות מופעלות קולית להזמנה ומשלוח של אוכל בצורה חלקה.

  • ניתוח תוכן אודיו:

    • תמלול אוטומטי: יצירת תמלילים מדויקים מאוד, גם בסביבות רועשות.
    • סיכום אודיו: סיכום של נקודות מרכזיות מפודקאסטים או מספרי אודיו.
    • סיווג מוזיקה: סיווג מוזיקה על סמך ז'אנר, מצב רוח או מאפיינים אחרים.

  • נגישות וטכנולוגיות מסייעות:

    • כתוביות בזמן אמת: אפשר להוסיף כתוביות בזמן אמת לאירועים או לשיחות וידאו.
    • אפליקציות בשליטה קולית: פיתוח אפליקציות שנשלטות באופן מלא באמצעות קול.
    • לימוד שפות: יצירת כלים שמספקים משוב מותאם אישית על ההגייה.

מגבלות

מודלים של Gemini 2.5

מפרט ערך
אורך מקסימלי של אודיו לכל דוגמה 60 דקות
מספר קובצי האודיו המקסימלי לכל דוגמה 1
גודל קובץ האודיו המקסימלי ‫100MB

‫Gemini 2.0 Flash
Gemini 2.0 Flash-Lite

מפרט ערך
אורך מקסימלי של אודיו לכל דוגמה 60 דקות
מספר קובצי האודיו המקסימלי לכל דוגמה 1
גודל קובץ האודיו המקסימלי ‫100MB

מידע נוסף על הדרישות לגבי דגימות אודיו זמין בדף הבנת אודיו (דיבור בלבד).

פורמט מערך הנתונים

ה-fileUri של מערך הנתונים יכול להיות ה-URI של קובץ בקטגוריה של Cloud Storage, או כתובת URL של HTTP או HTTPS שזמינה לציבור.

כדי לראות דוגמה לפורמט כללי, אפשר לעיין בדוגמה של מערך נתונים ל-Gemini.

הדוגמה הבאה היא של מערך נתונים של אודיו.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

המאמרים הבאים