מילון מונחים בנושא AI גנרטיבי

במילון המונחים הזה מוגדרים מונחים שקשורים לבינה מלאכותית (AI) גנרטיבית.

סוכני AI

סוכן AI הוא אפליקציה שמשיגה מטרה מסוימת על ידי עיבוד קלט, הסקת מסקנות באמצעות הכלים הזמינים וביצוע פעולות על סמך ההחלטות שלה. סוכני AI משתמשים בקריאה להפעלת פונקציות כדי לעצב את הקלט ולוודא שהאינטראקציות עם כלים חיצוניים יהיו מדויקות. בתרשים הבא מוצגים הרכיבים של סוכן AI:

סוכן AI מורכב משכבת תזמור, מודל וכלים.

כפי שמוצג בתרשים שלמעלה, סוכני AI מורכבים מהרכיבים הבאים:

  • תזמור: שכבת התזמור של הנציג מנהלת את הזיכרון, המצב וקבלת ההחלטות על ידי שליטה בתוכנית, בשימוש בכלים ובזרימת הנתונים. התזמור כולל את הרכיבים הבאים:
    • פרופיל והוראות: הסוכן מקבל תפקיד או פרסונה ספציפיים כדי לכוון את הפעולות וקבלת ההחלטות שלו.
    • זיכרון: כדי לשמור על ההקשר והמצב, הנציג שומר זיכרון לטווח קצר וזיכרון לטווח ארוך. בזיכרון לטווח קצר נשמרים ההקשר המיידי והמידע שנדרש למשימה הנוכחית. הזיכרון לטווח ארוך שומר את כל היסטוריית השיחות.
    • הסקת מסקנות ותכנון: הנציג משתמש במודל כדי לפרק את המשימה לגורמים ולחשוב עליה, ואז יוצר תוכנית. קודם כול, הנציג מפריד את ההנחיה של המשתמש לרכיבי משנה כדי לטפל במשימות מורכבות באמצעות קריאה לפונקציה אחת או יותר. בשלב הבא, הסוכן בוחן את הפלט של הפונקציה באמצעות חשיבה ומשוב כדי לשפר את התשובה.
  • מודל: כל מודל שפה גנרטיבי שמעבד יעדים, יוצר תוכניות ומפיק תשובות. כדי שהמודל יפעל בצורה אופטימלית, הוא צריך לתמוך בקריאה להפעלת פונקציות, וצריך לאמן אותו באמצעות חתימות נתונים מכלים או משלבי חשיבה.
  • כלים: אוסף של כלים, כולל ממשקי API, שירותים או פונקציות, שמאחזרים נתונים ומבצעים פעולות או עסקאות. הכלים מאפשרים לסוכנים לתקשר עם נתונים ושירותים חיצוניים.

באפליקציות שדורשות קבלת החלטות אוטונומית, ניהול תהליכי עבודה מורכבים עם כמה שלבים או חוויות מותאמות אישית, סוכני AI פועלים טוב יותר ממודלים בסיסיים רגילים. הסוכנים מצטיינים בפתרון בעיות בזמן אמת באמצעות נתונים חיצוניים, ובאוטומציה של משימות שדורשות ידע רב. היכולות האלה מאפשרות לנציג לספק תוצאות טובות יותר מהיכולות הפסיביות של יצירת טקסט במודלים בסיסיים.

מה זה סוכן AI?

חלון ההקשר

חלון הקשר הוא מספר האסימונים שמודל בסיס יכול לעבד בהנחיה נתונה. חלון הקשר גדול יותר מאפשר למודל לגשת ליותר מידע ולעבד אותו, וכך ליצור תשובות עקביות, רלוונטיות ומקיפות יותר.

מודלי Gemini נבנו במיוחד עם חלונות הקשר ארוכים כדי להתמודד עם כמויות המידע הגדולות האלה. כדי להבין את סדר הגודל, מודל עם חלון הקשר של מיליון טוקנים יכול לעבד כל אחד מהקלטים הבאים:

  • ‫50,000 שורות קוד (עם 80 תווים סטנדרטיים בכל שורה)
  • כל הודעות ה-SMS ששלחתם ב-5 השנים האחרונות
  • 8 רומנים באורך ממוצע באנגלית
  • תמלילים של יותר מ-200 פרקי פודקאסט באורך ממוצע
  • סרטון של שעה בלי אודיו
  • סרטון באורך של כ-45 דקות עם אודיו
  • 9.5 שעות של אודיו

מידע נוסף על שיטות מומלצות להנדסת פרומפטים עם הקשר ארוך זמין במאמר הקשר ארוך.

הטמעה

הטמעה היא ייצוג מספרי של נתונים, כמו טקסט, תמונות או סרטונים, שמתעד את הקשרים בין קלטים שונים. ההטמעות נוצרות בשלב האימון של המודל, על ידי המרת טקסט, תמונות וסרטונים למערכים של מספרים בנקודה צפה (floating point) שנקראים וקטורים. הטמעות בדרך כלל מפחיתות את הממדיות של הנתונים, מה שעוזר לשפר את יעילות החישוב ומאפשר לעבד מערכי נתונים גדולים. ההפחתה הזו בממדים היא קריטית לאימון ולפריסה של מודלים מורכבים.

כדי שמודלים של למידת מכונה (ML) יוכלו לעבד נתונים, צריך להציג אותם בפורמט שהמודלים יכולים לעבד. מערכי הטמעה עומדים בדרישה הזו על ידי מיפוי נתונים למרחב וקטורי רציף, שבו קרבה משקפת נקודות על הגרף עם משמעויות דומות. ההטמעות מאפשרות למודלים לזהות דפוסים וקשרים מורכבים שקשה לזהות בנתונים גולמיים.

לדוגמה, מודלים גדולים של שפה (LLM) מסתמכים על הטמעות כדי להבין את ההקשר והמשמעות של הטקסט. ההבנה הזו מאפשרת ל-LLM ליצור תשובות קוהרנטיות ורלוונטיות. ביצירת תמונות, המערכים המוטמעים מתעדים את המאפיינים החזותיים של התמונות, וכך המודלים יכולים ליצור פלטים מציאותיים ומגוונים.

מערכות שמשתמשות ב-Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG) מסתמכות על הטמעות כדי להתאים בין שאילתות של משתמשים לבין ידע רלוונטי. כשמזינים שאילתה, היא מומרת להטמעה, ואז מושווית להטמעות של מסמכים שנמצאים במאגר הידע. ההשוואה הזו, שמתבצעת באמצעות חיפושי דמיון במרחב הווקטורי, מאפשרת למערכת לאחזר את המידע הכי רלוונטי מבחינה סמנטית.

מידע נוסף על מודלים של הטמעה ותרחישים לדוגמה זמין במאמר סקירה כללית על ממשקי API להטמעה.

מודל בסיס

מודלי בסיס הם מודלים גדולים וחזקים שעוברים אימון על כמויות עצומות של נתונים, לעיתים קרובות בכמה אופנים כמו טקסט, תמונות, וידאו ואודיו. המודלים האלה משתמשים במודלים סטטיסטיים כדי לחזות תשובות סבירות להנחיות וליצור תוכן חדש. הם לומדים דפוסים מנתוני האימון שלהם, כמו דפוסי שפה ליצירת טקסט וטכניקות דיפוזיה ליצירת תמונות.

‫Google מציעה מגוון מודלים בסיסיים של AI גנרטיבי שאפשר לגשת אליהם דרך API מנוהל. כדי לגשת למודלים הבסיסיים שזמינים ב- Google Cloud, משתמשים ב-Model Garden של Vertex AI.

קריאה להפעלת פונקציות

קריאה להפעלת פונקציות היא תכונה שמקשרת מודלים גדולים של שפה (LLM) לכלים חיצוניים כמו ממשקי API ופונקציות, כדי לשפר את התשובות של ה-LLM. התכונה הזו מאפשרת למודלים גדולים של שפה (LLM) לחרוג מהידע הסטטי ולשפר את התשובות באמצעות מידע ושירותים בזמן אמת, כמו מסדי נתונים, מערכות לניהול קשרי לקוחות ומאגרי מסמכים.

כדי להשתמש בקריאה להפעלת פונקציות, אתם מספקים למודל קבוצה של פונקציות. לאחר מכן, כשאתם שולחים הנחיה למודל, הוא יכול לבחור את הפונקציות ולהפעיל אותן על סמך הבקשה שלכם. המודל מנתח את ההנחיה ואז יוצר נתונים מובְנים שמציינים לאיזו פונקציה לקרוא ואת ערכי הפרמטרים. פלט הנתונים המובְנים קורא לפונקציה ואז מחזיר את התוצאות למודל. המודל משלב את התוצאות בתהליך החשיבה שלו כדי ליצור תשובה. התהליך הזה מאפשר למודל לגשת למידע שמעבר לידע הפנימי שלו ולהשתמש בו, וכך המודל יכול לבצע משימות שדורשות נתונים או עיבוד חיצוניים.

קריאה להפעלת פונקציות היא רכיב קריטי בארכיטקטורה של סוכני AI. קריאה להפעלת פונקציות מספקת למודל דרך מובנית לציין באיזה כלי להשתמש ואיך לעצב את הקלט, וכך עוזרת להבטיח אינטראקציות מדויקות עם מערכות חיצוניות.

מבוא לקריאה להפעלת פונקציות

‫AI גנרטיבי

AI גנרטיבי הוא סוג של AI שחורג מההתמקדות המסורתית של AI בסיווג ובחיזוי. מודלי AI מסורתיים לומדים מנתונים קיימים כדי לסווג מידע או לחזות תוצאות עתידיות על סמך דפוסים היסטוריים. בינה מלאכותית גנרטיבית משתמשת במודלים בסיסיים כדי ליצור תוכן חדש כמו טקסט, תמונות, אודיו או סרטונים. התוכן החדש נוצר על ידי למידת הדפוסים והסגנון הבסיסיים של נתוני האימון, מה שמאפשר למודל ליצור פלט שדומה לנתונים ששימשו לאימון שלו.

מידע נוסף על מתי כדאי להשתמש ב-AI גנרטיבי ותרחישי שימוש עסקיים של AI גנרטיבי.

עיגון בנתונים

עיגון הוא תהליך שבו מקשרים את הפלט של המודל למקורות מידע שאפשר לאמת. המקורות האלה יכולים לספק מידע מעשי וספציפי להקשר, כמו מסמכים פנימיים של החברה, נתונים ספציפיים לפרויקט או רשומות תקשורת. העיגון עוזר לשפר את הדיוק, האמינות והתועלת של פלט ה-AI, כי הוא מספק למודל גישה למקורות נתונים ספציפיים. העיגון מפחית את הסבירות להזיות – מקרים שבהם המודל יוצר תוכן לא עובדתי. סוג נפוץ של ביסוס הוא יצירה משולבת-אחזור (RAG), שכוללת אחזור של מידע חיצוני רלוונטי כדי לשפר את התשובות של המודל.

בסקירה הכללית על עיגון תוכלו לקרוא בהרחבה על עיגון באמצעות חיפוש Google.

מודל שפה גדול (LLM)

מודל שפה גדול (LLM) הוא מודל בסיס מבוסס-טקסט שאומן על כמות עצומה של נתונים. מודלי שפה גדולים משמשים לביצוע משימות של עיבוד שפה טבעית (NLP), כמו יצירת טקסט, תרגום אוטומטי, סיכום טקסט ומענה על שאלות. לפעמים משתמשים במונח LLM במקום מודלים בסיסיים. עם זאת, מודלי LLM מבוססים על טקסט, ואילו מודלים בסיסיים יכולים לקבל אימון וקלט מכמה אופנים, כולל טקסט, תמונות, אודיו ווידאו.

כדי ללמוד את הדפוסים והקשרים בתוך השפה, מודלי LLM משתמשים בטכניקות כמו למידת חיזוק וכוונון עדין של ההוראות. כשמעצבים הנחיות, חשוב להביא בחשבון את הגורמים השונים שיכולים להשפיע על התשובות של המודל.

זמן אחזור

זמן אחזור הוא משך הזמן שלוקח למודל לעבד הנחיית קלט וליצור תשובה. כשבודקים את זמן האחזור של מודל, חשוב להביא בחשבון את הדברים הבאים:

  • ‫Time to First Token (TTFT): הזמן שלוקח למודל ליצור את הטוקן הראשון של התשובה אחרי שהוא מקבל את ההנחיה. ‫TTFT חשוב לאפליקציות סטרימינג שבהן רוצים לקבל משוב מיידי.
  • ‫Time to Last Token (TTLT): משך הזמן הכולל שלוקח למודל לעבד את ההנחיה וליצור את התשובה המלאה.

למידע על צמצום זמן האחזור, ראו שיטות מומלצות לשימוש במודלים גדולים של שפה (LLM).

הנדסת פרומפטים

הנדסת פרומפטים היא תהליך איטרטיבי של יצירת פרומפט וגישה לתשובה של המודל כדי לקבל את התשובה הרצויה. כתיבת הנחיות מובנות היטב יכולה להיות חלק חיוני בהבטחת תשובות מדויקות ואיכותיות ממודל שפה.

אלה כמה שיטות נפוצות שבהן אתם יכולים להשתמש כדי לשפר את התשובות:

  • פרומפטים בלי דוגמאות (zero-shot prompting): נותנים פרומפט בלי דוגמאות ומסתמכים על הידע הקיים של המודל.
  • פרומפטים עם דוגמה אחת (one-shot prompting): מספקים דוגמה אחת בפרומפט כדי להנחות את התשובה של המודל.
  • הנחיות עם כמה דוגמאות (few-shot prompting): מספקים כמה דוגמאות בהנחיה כדי להדגים את התבנית או המשימה שרוצים.

כשאתם מספקים למודל דוגמאות, אתם עוזרים לשלוט בהיבטים של התשובה של המודל, כמו עיצוב, ניסוח, היקף ודפוסים כלליים. פרומפטים יעילים עם כמה דוגמאות (few-shot prompting) משלבים הוראות ברורות עם דוגמאות ספציפיות ומגוונות. חשוב להתנסות כדי לקבוע את המספר האופטימלי של דוגמאות. אם יש מעט מדי דוגמאות, יכול להיות שהמודל לא יקבל מספיק הנחיות, אבל אם יש יותר מדי דוגמאות, יכול להיות שהמודל יתאים את עצמו יותר מדי לדוגמאות ולא יצליח להכליל אותן בצורה טובה.

למידע נוסף על שיטות מומלצות לכתיבת הנחיות, קראו את סקירה כללית של אסטרטגיות לכתיבת הנחיות.

הנדסת פרומפטים

הנחיה היא בקשה בשפה טבעית שנשלחת למודל AI גנרטיבי כדי לקבל תשובה. בהתאם למודל, הנחיה יכולה להכיל טקסט, תמונות, סרטונים, אודיו, מסמכים וסוגי מדיה אחרים, או אפילו כמה סוגי מדיה (מולטי-מודאלי).

הנחיה יעילה מורכבת מתוכן ומבנה. התוכן מספק את כל המידע הרלוונטי על המשימה, כמו הוראות, דוגמאות והקשר. מבנה מאפשר ניתוח יעיל באמצעות ארגון, כולל סדר, תוויות ותווים מפרידים. בהתאם לפלט שרוצים לקבל, יכול להיות שיהיה צורך ברכיבים נוספים.

פרמטרים של מודלים

פרמטרים של מודל הם משתנים פנימיים שמשמשים את המודל כדי לקבוע איך הוא מעבד את נתוני הקלט ואיך הוא יוצר פלט. במהלך האימון, אפשר לשנות את הפרמטרים של המודל, כמו משקל והטיה, כדי לשפר את הביצועים שלו. במהלך ההסקה, אפשר להשפיע על הפלט של המודל באמצעות פרמטרים שונים של הנחיות, שלא משנים ישירות את הפרמטרים של המודל שנלמד.

אלה כמה מהפרמטרים של ההנחיות שמשפיעים על יצירת התוכן ב-Gemini API ב-Vertex AI:

  • ‫temperature: הטמפרטורה משנה את האקראיות של בחירת הטוקנים במהלך יצירת התשובה, ומשפיעה על היצירתיות והיכולת לחזות את הפלט. הערך של temperature נע בין 0 ל-1. ערכים נמוכים יותר (קרובים יותר ל-0) מניבים תוצאות דטרמיניסטיות וצפויות יותר. רמות אקראיות גבוהות יותר (קרובות יותר ל-1) יוצרות טקסט מגוון ויצירתי יותר, אבל התוצאות עשויות להיות פחות קוהרנטיות.
  • topP: הערך של Top-P משנה את האופן שבו המודל דוגם ובוחר אסימונים לפלט. ‫Top-P בוחר את קבוצת הטוקנים הקטנה ביותר שההסתברות המצטברת שלהם חורגת מסף מסוים, או p, ואז דוגם מההתפלגות הזו. הערך של topP נע בין 0 ל-1. לדוגמה, אם לטוקנים A,‏ B ו-C יש הסתברות של 0.3, 0.2 ו-0.1, והערך של topP הוא 0.5, המודל יבחר ב-A או ב-B כטוקן הבא באמצעות הטמפרטורה, ולא יכלול את C כמועמד.
  • ‫topK: הערך של Top-K משנה את האופן שבו המודל דוגם ובוחר אסימונים לפלט. ‫Top-K בוחר את הטוקנים עם הסבירות הסטטיסטית הגבוהה ביותר כדי ליצור תשובה. הערך של topK מייצג מספר טוקנים מ-1 עד 40, שהמודל יבחר מתוכם לפני שהוא ייצור תשובה. לדוגמה, אם לאסימונים A,‏ B,‏ C ו-D יש הסתברות של 0.6, 0.5, 0.2 ו-0.1, וערך ה-Top-K הוא 3, המודל יבחר את A,‏ B או C כאסימון הבא באמצעות הטמפרטורה, ויחריג את D כמועמד.
  • ‫maxOutputTokens: ההגדרה maxOutputTokens משנה את המספר המקסימלי של טוקנים שאפשר ליצור בתשובה. ערך נמוך יותר ייצור תשובות קצרות יותר, וערך גבוה יותר ייצור תשובות ארוכות יותר.

מידע נוסף על פרמטרים לדגימה ב-Gemini API ב-Vertex AI זמין במאמר פרמטרים ליצירת תוכן.

יצירה משולבת-אחזור (RAG)

יצירת תוכן מבוסס-אחזור (RAG) היא שיטה לשיפור האיכות והדיוק של הפלט של מודל שפה גדול (LLM), באמצעות עיגון שלו במקורות ידע שאוחזרו אחרי שהמודל אומן. ‫RAG נותן מענה למגבלות של מודלים מסוג LLM, כמו אי-דיוקים בעובדות, חוסר גישה למידע עדכני או ספציפי וחוסר יכולת לצטט מקורות. הגישה למידע שמאוחזר ממאגרי ידע או ממסמכים מהימנים – כולל נתונים שהמודל לא אומן עליהם, נתונים קנייניים או נתונים רגישים ספציפיים למשתמש – מאפשרת למודלי LLM ליצור תשובות מהימנות ורלוונטיות יותר להקשר.

כשמודל שמשתמש ב-RAG מקבל את ההנחיה, תהליך ה-RAG משלים את השלבים הבאים:

  1. אחזור: חיפוש נתונים שרלוונטיים להנחיה.
  2. הרחבה: הוספת הנתונים שאוחזרו להנחיה.
  3. יצירה:
    1. מנחים את ה-LLM ליצור סיכום או תשובה על סמך ההנחיה המורחבת.
    2. הצגת התשובה.

למידע נוסף על Vertex AI ו-RAG, קראו את הסקירה הכללית על Vertex AI RAG Engine.

טוקנים

טוקן הוא יחידת נתונים בסיסית שמודל בסיס מעבד. המודלים מפרידים את הנתונים בהנחיה לטוקנים לצורך עיבוד. קבוצת כל האסימונים שבהם המודל משתמש נקראת אוצר מילים. טוקנים יכולים להיות תווים בודדים כמו z, מילים שלמות כמו cat או חלקים ממילים ארוכות יותר.

מנתחי אסימונים מפרידים מילים ארוכות, כמו מונחים מורכבים או טכניים, מילים מורכבות או מילים עם סימני פיסוק ותווים מיוחדים, לכמה אסימונים. התהליך של פיצול הטקסט לטוקנים נקרא טוקניזציה. המטרה של הטוקניזציה היא ליצור אסימונים עם משמעות סמנטית שאפשר לשלב מחדש כדי להבין את המילה המקורית. לדוגמה, אפשר לפצל את המילה "predefined" לטוקנים הבאים: "pre",‏ "define",‏ "ed".

טוקנים יכולים לייצג קלט מולטי-מודאלי כמו תמונות, סרטונים ואודיו. טכניקות הטמעה הופכות קלט מולטי-מודאלי לייצוגים מספריים שהמודל יכול לעבד כטוקנים. אלה חישובי הטוקנים המשוערים לקלט מולטימודלי לדוגמה, בלי קשר לגודל התצוגה או הקובץ:

  • תמונות: 258 טוקנים בסך הכול
  • וידאו: 263 טוקנים לשנייה
  • אודיו: 32 טוקנים לשנייה

לכל מודל יש מגבלה על מספר הטוקנים שהוא יכול לעבד בהנחיה ובתשובה. בנוסף, עלויות השימוש במודל מחושבות לפי מספר הטוקנים של הקלט והפלט. במאמר הצגה וספירה של אסימונים מוסבר איך לקבל את מספר האסימונים של הנחיה שנשלחה למודל Gemini. למידע על העלות של מודלים של AI גנרטיבי ב-Vertex AI, קראו את המאמר התמחור של Vertex AI.

כוונון

כוונון הוא תהליך שבו מתאימים מודל בסיס לביצוע משימות ספציפיות בצורה מדויקת יותר. כוונון מושג על ידי התאמת חלק מהפרמטרים של המודל או את כולם, או אימון מודל על קבוצת נתונים שמכילה דוגמאות שמשחזרות את המשימות והתוצאות הרצויות. כוונון הוא תהליך איטרטיבי שיכול להיות מורכב ויקר, אבל הוא יכול לשפר את הביצועים באופן משמעותי. כוונון הוא הכי יעיל כשיש לכם קבוצת נתונים מתויגת עם יותר מ-100 דוגמאות, ואתם רוצים לבצע משימות מורכבות או ייחודיות שטכניקות הנדסת פרומפטים לא מספיקות בשבילן.

אלה שיטות הכוונון שנתמכות ב-Vertex AI:

  • כוונון מלא: שיטה שמעדכנת את כל הפרמטרים של המודל במהלך תהליך הכוונון. כוונון מלא יכול להיות יקר מבחינת משאבי המחשוב, ויכול להיות שיידרשו הרבה נתונים, אבל יש לו גם פוטנציאל להשיג את רמות הביצועים הגבוהות ביותר, במיוחד במשימות מורכבות.
  • כוונון יעיל בפרמטרים: טכניקה שנקראת גם כוונון מתאם. בכוונון יעיל בפרמטרים, חלק מהפרמטרים של המודל מתעדכנים במהלך תהליך הכוונון. כוונון יעיל בפרמטרים הוא יעיל יותר מבחינת משאבים ומשתלם יותר בהשוואה לכוונון מלא.
  • כוונון מפוקח: טכניקה שבה מאמנים את המודל על זוגות מתויגים של קלט ופלט. כוונון מפוקח משמש בדרך כלל למשימות שכוללות סיווג, תרגום וסיכום.

מידע נוסף על כוונון זמין במאמר מבוא לכוונון.