חילוץ מותאם אישית באמצעות AI גנרטיבי

אימון וחילוץ באמצעות AI גנרטיבי מאפשרים לכם:

  • שימוש בטכנולוגיית zero-shot ו-few-shot כדי לקבל מודל עם ביצועים גבוהים, עם מעט נתוני אימון או ללא נתוני אימון בכלל, באמצעות מודל הבסיס.
  • ככל שתספקו יותר נתוני אימון, תוכלו להשתמש בכוונון עדין כדי לשפר את הדיוק.

שיטות לאימון AI גנרטיבי

שיטת האימון שתבחרו תלויה במספר המסמכים שזמינים לכם ובכמות המאמץ שאתם יכולים להשקיע באימון המודל. יש שלוש דרכים לאמן מודל AI גנרטיבי:

שיטת האימון בלי דוגמאות (zero-shot) פרומפט עם כמה דוגמאות (few-shot) כוונון עדין
דיוק בינוני בינונית-גבוהה גבוהה
מאמץ נמוכה נמוכה בינוני
מספר מומלץ של מסמכי אימון 0 5 עד 10 ‫10 עד 50 ומעלה

גרסאות של מודלים לחילוץ מותאם אישית

המודלים הבאים זמינים לחילוץ מותאם אישית. כדי לשנות את גרסאות המודל, קראו את המאמר ניהול גרסאות של מעבדים.

גרסאות 1.4, ‏ 1.5 ו-1.5 Pro תומכות בציוני מהימנות.

גרסת המודל תיאור ערוץ הפצה עיבוד נתוני למידת מכונה בארה"ב או באיחוד האירופי כוונון עדין בארה"ב ובאיחוד האירופי תאריך השקה
pretrained-foundation-model-v1.5-2025-05-05 מועמד מוכן לייצור שמבוסס על Gemini 2.5 Flash LLM. מומלץ למי שרוצה להתנסות במודלים חדשים יותר. יציב כן ארה"ב, האיחוד האירופי ‫5 במאי 2025
pretrained-foundation-model-v1.5-pro-2025-06-20 מודל מוכן לייצור שמבוסס על Gemini 2.5 Pro LLM. תמיכה במכסה של עד 30 דפים לדקה לבקשות עיבוד אונליין. המודל הזה משופר בהשוואה לגרסה 1.5, ויכול להיות שזמן האחזור שלו יהיה ארוך יותר. יציב כן לא ‫20 ביוני 2025
pretrained-foundation-model-v1.5.1-2025-08-07 מודל Public Preview שמבוסס על המודל הגדול של שפה (LLM) ‏Gemini 2.5 Flash. למודל הזה יש את אותן תכונות כמו לגרסה 1.5, והוא כולל למידה דינמית משופרת מכמה דוגמאות (few-shot). גרסה מועמדת להפצה כן לא ‫8 באוגוסט 2025
pretrained-foundation-model-v1.6-pro-2025-12-01 מודל בגרסת טרום-השקה (Preview) שמבוסס על מודל ה-LLM של Gemini 3 Pro. גרסה מועמדת להפצה כן לא ‫1 בדצמבר 2025
pretrained-foundation-model-v1.6-2026-01-13 מודל בגרסת טרום-השקה (Preview) שמבוסס על המודל הלשוני הגדול Gemini 3 Flash. גרסה מועמדת להפצה כן לא ‫13 בינואר 2026
pretrained-foundation-model-v3.1-lite-2026-07-15 מודל בגרסת טרום-השקה (Preview) שמבוסס על המודל הגדול לשפה Gemini 3.1 Lite. תמיכה בנקודות קצה במספר אזורים (mREPs) בארה"ב ובאיחוד האירופי. גרסה מועמדת להפצה כן כן ‫21 בספטמבר 2026
pretrained-foundation-model-v3.5-2026-05-26 מודל בגרסת טרום-השקה (Preview) שמבוסס על המודל הגדול לשפה Gemini 3.5 Flash. גרסה מועמדת להפצה כן לא ‫26 במאי 2026

כדי לשנות את גרסת המעבד בפרויקט, קראו את המאמר ניהול גרסאות של מעבדים.

כדי לשלוח בקשה להגדלת המכסה (QIR) של מעבדי הנתונים שמוגדרים כברירת מחדל, פועלים לפי השלבים לשליחת בקשה לשינוי המכסות.

הגדרה ראשונית

אם עדיין לא עשיתם את זה, מפעילים את החיוב ואת ממשקי ה-API של Document AI.

יצירה והערכה של מודל AI גנרטיבי

  1. יוצרים מעבד ומגדירים את השדות שרוצים לחלץ לפי השיטות המומלצות. זה חשוב כי זה משפיע על איכות החילוץ.

    • עוברים אל Workbench ‏> Custom extractor ‏> Create processor ‏> Assign a name.

    processor-version-genai-1

    • עוברים אל שנתחיל? > יצירת שדה חדש.

    processor-version-genai-2

  2. ייבוא מסמכים

    • מייבאים מסמכים עם תיוג אוטומטי ומקצים מסמכים לקבוצת האימון ולקבוצת הבדיקה.
    • ב-zero-shot, נדרשת רק הסכימה. כדי להעריך את רמת הדיוק של המודל, צריך רק קבוצת בדיקה.
    • לפרומפט עם כמה דוגמאות (few-shot), מומלץ להשתמש ב-5 מסמכי אימון.
    • מספר מסמכי הבדיקה הנדרשים תלוי בתרחיש לדוגמה. באופן כללי, ככל שיש יותר מסמכי בדיקה, כך התוצאות טובות יותר.
    • מאשרים או עורכים את התוויות במסמך.
  3. אימון המודל:

    • בוחרים באפשרות Build ואז באפשרות Create new version.
    • מזינים שם ולוחצים על יצירה.

    processor-version-genai-12

  1. הערכה:

    • עוברים אל Evaluate & test, בוחרים את הגרסה שאומנה ולוחצים על View full evaluation.

    processor-version-genai-13

    • עכשיו מוצגים מדדים כמו f1, דיוק ו-recall לכל המסמך ולכל שדה.
    • מחליטים אם הביצועים עומדים ביעדי הייצור. אם לא, מעריכים מחדש את קבוצות הנתונים לאימון ולבדיקה.
  2. הגדרת גרסה חדשה כברירת מחדל:

    • עוברים אל ניהול גרסאות.
    • לוחצים כדי להרחיב את האפשרויות, ואז לוחצים על הגדרה כברירת מחדל.

    processor-version-genai-14

    המודל שלך פרוס עכשיו. מסמכים שנשלחים למעבד הזה משתמשים בגרסה המותאמת אישית שלך. אתם יכולים להעריך את ביצועי המודל כדי לבדוק אם הוא צריך אימון נוסף.

הפניה להערכה

מנוע ההערכה יכול לבצע התאמה מדויקת או התאמה חלקית. בהתאמה מדויקת, הערך שחולץ חייב להיות זהה לאמת הקרקע (ground truth), אחרת הוא נחשב לפספוס.

חילוצים בהתאמה חלקית שהיו בהם הבדלים קלים, כמו הבדלים באותיות רישיות, עדיין נחשבים להתאמה. אפשר לשנות את זה במסך הערכה.

processor-version-genai-15

כוונון עדין

כדי לבצע כוונון, משתמשים במאות או באלפי מסמכים לאימון.

  1. יוצרים מעבד ומגדירים את השדות שרוצים לחלץ לפי השיטות המומלצות. חשוב לעשות את זה כי זה משפיע על איכות החילוץ.

  2. מייבאים מסמכים עם תיוג אוטומטי, ומקצים מסמכים לקבוצת האימון ולקבוצת הבדיקה.

  3. מאשרים או עורכים את התוויות במסמך.

  4. אימון המודל.

    • בוחרים בכרטיסייה Build, ואז בתיבה Fine-tuning לוחצים על Create New Version.

    processor-version-genai-24

    • נסו את פרמטרי האימון או הערכים שמוגדרים כברירת מחדל. אם התוצאות לא מספקות, אפשר לנסות את האפשרויות המתקדמות הבאות:

    • שלבי אימון (בין 1 ל-400): נקראים גם תקופות (epochs). שלבי האימון קובעים את התדירות שבה מתבצעת אופטימיזציה של המשקלים בקבוצת נתונים במהלך הכוונון.

      • ערך נמוך מדי מצביע על סיכון שהאימון יסתיים לפני ההתכנסות (התאמת חסר).
      • אם הערך גבוה מדי, המודל עשוי לראות את אותה קבוצת נתונים כמה פעמים במהלך האימון, מה שעלול להוביל להתאמת יתר (overfitting).
      • פחות שלבים מובילים לזמן אימון מהיר יותר. מספרים גבוהים יותר יכולים לעזור במסמכים עם מעט וריאציות של תבניות (ומספרים נמוכים יותר במסמכים עם יותר וריאציות).
    • מכפיל קצב הלמידה (בין 0.1 ל-10): קובע את מהירות האופטימיזציה של הפרמטרים של המודל בנתוני האימון. הוא תואם בערך לגודל של כל שלב אימון.

      • שיעורים נמוכים פירושם שינויים קטנים במשקלי המודל בכל שלב אימון. אם הוא נמוך מדי, יכול להיות שהמודל לא יתכנס לפתרון יציב.
      • שיעורים גבוהים מצביעים על שינויים גדולים, ושיעור גבוה מדי יכול לגרום למודל לדלג על הפתרון האופטימלי ולהתכנס במקום זאת לפתרון פחות אופטימלי.
      • זמן האימון לא מושפע מבחירת קצב הלמידה.
    • נותנים שם, בוחרים את גרסת מעבד הבסיס הנדרשת ולוחצים על Create.

    processor-version-genai-21

  5. הערכה: עוברים אל הערכה ובדיקה, בוחרים את הגרסה שאימנתם ולוחצים על הצגת ההערכה המלאה.

    processor-version-genai-13

    • עכשיו אפשר לראות מדדים כמו f1, דיוק ו-recall לכל המסמך ולכל שדה.
    • בודקים אם הביצועים עומדים ביעדי הייצור. אם לא, יכול להיות שצריך להוסיף מסמכי הדרכה.
  6. כדי להגדיר גרסה חדשה כברירת המחדל:

    • עוברים אל ניהול גרסאות.
    • לוחצים כדי להרחיב את האפשרויות ובוחרים באפשרות הגדרה כברירת מחדל.

    processor-version-genai-14

    המודל נפרס, ומסמכים שנשלחים למעבד הזה משתמשים עכשיו בגרסה בהתאמה אישית. אתם רוצים להעריך את ביצועי המודל כדי לבדוק אם נדרש אימון נוסף.

תיוג אוטומטי באמצעות מודל הבסיס

מודל הבסיס יכול לחלץ שדות בצורה מדויקת ממגוון סוגי מסמכים, אבל אתם יכולים גם לספק נתוני אימון נוספים כדי לשפר את הדיוק של המודל במבנים ספציפיים של מסמכים.

כדי לתייג מסמכים בקנה מידה נרחב במהירות ובקלות, Document AI משתמש בשמות התוויות שאתם מגדירים ובהערות קודמות.

  1. אחרי שיוצרים מודל עיבוד מותאם אישית, עוברים לכרטיסייה Get Started.
  2. לוחצים על יצירת שדה חדש.
  3. נותנים לתווית שם תיאורי וייחודי. בוחרים באפשרות חילוץ לערכים ישירות מהמסמך או באפשרות הסקה לערכים שהמערכת מסיקה. כך אפשר לשפר את הדיוק והביצועים של המודל הבסיסי.

    processor-version-genai-17

  4. כדי לשפר את הדיוק והביצועים של החילוץ, כדאי להוסיף תיאור (כמו הקשר נוסף, תובנות וידע קודם לכל ישות) של סוגי הישויות שהמודל צריך לזהות.

    processor-version-genai-23

  5. עוברים לכרטיסייה פיתוח ולוחצים על ייבוא מסמכים.

    processor-version-genai-18

  6. בוחרים את הנתיב של המסמכים ואת הקבוצה שאליה רוצים לייבא את המסמכים. מסמנים את האפשרות של תיוג אוטומטי ובוחרים את המודל הבסיסי.

  7. בכרטיסייה פיתוח, לוחצים על ניהול מערך הנתונים.

  8. כשרואים את המסמכים שיובאו, בוחרים אחד מהם.

    processor-version-genai-19

התחזיות מהמודל מוצגות עכשיו מודגשות בסגול.

  1. בודקים כל תווית שהמודל חזה ומוודאים שהיא נכונה.
  2. אם יש שדות חסרים, מוסיפים גם אותם.

    processor-version-genai-20

  3. אחרי שבודקים את המסמך, בוחרים באפשרות סימון כמתויג. המסמך מוכן לשימוש על ידי המודל.

  4. חשוב לוודא שהמסמך נמצא בקבוצת הנתונים לבדיקה או בקבוצת הנתונים לאימון.

שלוש רמות של סידור פנימי

עכשיו יש ב-Custom Extractor שלוש רמות של סידור פנימי. התכונה הזו משפרת את החילוץ של טבלאות מורכבות.

כדי לקבוע את סוג המודל, אפשר להשתמש בקריאות הבאות ל-API:

התשובה של השיטות האלה היא ProcessorVersion, שמכיל את השדה modelType בגרסת טרום-השקה (Preview) של v1beta3.

התהליך ודוגמה

אנחנו משתמשים בדוגמה הזו:

processor-version-genai-3

  1. לוחצים על שנתחיל? ואז יוצרים שדה:

    • יוצרים את הרמה העליונה.
    • בדוגמה הזו נעשה שימוש ב-officer_appointments.
    • בוחרים באפשרות זוהי תווית הורה.
    • בוחרים באפשרות מופע: Optional multiple.

    processor-version-genai-4 processor-version-genai-5 processor-version-genai-6

  2. לוחצים על הוספת שדה צאצא. עכשיו אפשר ליצור את התווית ברמה השנייה:

    • צריך ליצור officer לתווית הרמה הזו.
    • בוחרים באפשרות זוהי תווית הורה.
    • בוחרים באפשרות מופע: Optional multiple.

    processor-version-genai-7 processor-version-genai-8

  3. בוחרים באפשרות הוספת שדה צאצא מהרמה השנייה officer. יוצרים תוויות צאצא לרמה השלישית של ההיררכיה. processor-version-genai-9

  4. אחרי שמגדירים את הסכימה, אפשר לקבל חיזויים ממסמכים עם שלוש רמות של הטמעה באמצעות תיוג אוטומטי.

    processor-version-genai-10 processor-version-genai-11

תיוג ישויות שמוטמעות בדפים שונים

המעבד pretrained-foundation-model-v1.5-2025-05-05 תומך בשלוש רמות של סידור פנימי בדפים.

  1. תייגו ישות באופן רגיל בדף. הערה: הישות המתויגת תופיע רק בדף שבו היא מתויגת, וסרגל הניווט ישתנה מדף לדף. אם מצמידים את ישות האם, סרגל הניווט הזה נשאר.

    processor-version-genai-25

  2. מצמידים את ישות האם עם ישויות הבת שרוצים לתייג בדפים.

    processor-version-genai-26

  3. עוברים לדף עם ישות הצאצא או ישויות הצאצא שרוצים לתייג.

processor-version-genai-27

הגדרת מערך הנתונים

כדי לאמן, לאמן מחדש או להעריך גרסת מעבד, צריך מערך נתונים של מסמכים. מעבדי Document AI לומדים מדוגמאות, בדיוק כמו בני אדם. קבוצת הנתונים משפרת את היציבות של המעבד מבחינת הביצועים.

אימון של קבוצת נתונים

כדי לשפר את המודל ואת הדיוק שלו, צריך לאמן מערך נתונים על המסמכים שלכם. המודל מורכב ממסמכים עם אמת קרקע (ground truth).
  • כדי לאמן מודל חדש בגרסה pretrained-foundation-model-v1.5-2025-05-05, צריך לפחות 50 מסמכי אימון ו-50 מסמכי בדיקה.
  • לפרומפט עם כמה דוגמאות, מומלץ להשתמש ב-5 מסמכים.
  • ב-zero-shot, נדרשת רק סכימה.

קבוצת נתונים לבדיקה

קבוצת נתוני הבדיקה היא מה שהמודל משתמש בו כדי ליצור ציון F1 (דיוק). הוא מורכב ממסמכים עם אמת קרקע (ground truth). כדי לראות באיזו תדירות המודל צודק, משתמשים באמת הקרקע (ground truth) כדי להשוות בין התחזיות של המודל (שדות שחולצו מהמודל) לבין התשובות הנכונות. קבוצת הנתונים לבדיקה צריכה להכיל לפחות 50 מסמכים בשביל pretrained-foundation-model-v1.5-2025-05-05.

חילוץ מותאם אישית עם תיאורי נכסים

בעזרת תיאורי מאפיינים, אתם יכולים לאמן מודל על ידי תיאור השדות המתויגים. אתם יכולים לספק הקשר ותובנות נוספים לכל ישות. כך המודל יכול להתאמן על ידי התאמת שדות שמתאימים לתיאור שסיפקתם, ולשפר את דיוק החילוץ. אפשר לציין תיאורי נכסים גם לישויות ראשיות וגם לישויות משניות.

דוגמאות טובות לתיאורי מאפיינים כוללות מידע על מיקום ותבניות טקסט של ערכי המאפיינים, שעוזרים להבהיר מקורות פוטנציאליים לבלבול במסמך. תיאורי מאפיינים ברורים ומדויקים מנחים את המודל באמצעות כללים שמקדמים חילוצים מהימנים ועקביים יותר, ללא קשר למבנה המסמך הספציפי או לשינויים בתוכן.

עדכון סכימת המסמך של מעבד

כדי להגדיר את תיאורי המאפיינים, אפשר לעיין בקטע עדכון סכימת המסמך.

שליחת בקשת עיבוד עם תיאורי נכסים

אם כבר הוגדרו תיאורים בסכימת המסמך, אתם יכולים לשלוח בקשת עיבוד לפי ההוראות שמפורטות בקטע שליחת בקשת עיבוד.

כוונון מעבד באמצעות תיאורי מאפיינים

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: המיקום של המעבד, לדוגמה:
    • us – ארצות הברית
    • eu – האיחוד האירופי
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫PROCESSOR_ID: המזהה של מודל העיבוד המותאם אישית.
  • ‫DISPLAY_NAME: השם המוצג של המעבד.
  • ‫PRETRAINED_PROCESSOR_VERSION: מזהה גרסת המעבד. מידע נוסף זמין במאמר בחירת גרסת מעבד. לדוגמה:
    • pretrained-TYPE-vX.X-YYYY-MM-DD
    • stable
    • rc
  • ‫TRAIN_STEPS: שלבי אימון לכוונון המודל.
  • ‫LEARN_RATE_MULTIPLIER: מכפיל קצב הלמידה לכוונון המודל.
  • ‫DOCUMENT_SCHEMA: הסכימה של המעבד. אפשר לעיין בייצוג של DocumentSchema.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process

גוף בקשת JSON:

{
  "rawDocument": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
         "processor_version": {
             "name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
             "display_name": "DISPLAY_NAME",
             "model_type": "MODEL_TYPE_GENERATIVE",
         },
         "base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
         "foundation_model_tuning_options": {
             "train_steps": TRAIN_STEPS,
             "learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
         }
         "document_schema": DOCUMENT_SCHEMA
      }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content

חילוץ מותאם אישית עם זיהוי חתימה

(Public preview) חילוץ מותאם אישית תומך בזיהוי חתימות. התכונה הזו מאפשרת לזהות נוכחות של חתימות במסמכים. זיהוי חתימות זמין רק באמצעות ה-method‏ derived. אפשר לציין סכימה עם סוג הישות signature לישויות כאלה. ישויות החתימה נגזרות באמצעות רמזים חזותיים מהמסמך.

דוגמאות והוראות להגדרה מפורטות במאמר חילוץ מותאם אישית עם שדה נגזר וזיהוי חתימה.

חילוץ מותאם אישית עם שדות נגזרים

הכלי לחילוץ מותאם אישית תומך בשדות נגזרים. היא מאפשרת להגדיר שדה שיאוכלס באמצעות הסקה או יצירה חכמה על סמך ההקשר של המסמך, במקום חילוץ טקסט ישיר. אפשר להשתמש בזה במקרים כמו הסקת המדינה מכתובת, סיכום מסמך, ספירת פריטים בטבלה או זיהוי אם מזהה הוא אותנטי, בלי שהערך יהיה נוכח בטקסט באופן מפורש.

דוגמאות והוראות להגדרה מפורטות במאמר חילוץ מותאם אישית עם שדה נגזר וזיהוי חתימה.

המאמרים הבאים

מידע ולמידה על חילוץ מותאם אישית עם שדה נגזר וזיהוי חתימה