הטמעה של שליפה באמצעות מודל דו-ראשי ליצירת מועמדים בהיקף גדול

Last reviewed 2026-11-18 UTC

במאמר הזה מוצגת ארכיטקטורה לדוגמה שמראה איך להטמיע תהליך עבודה מקצה לקצה של יצירת מועמדים עם שני מגדלים באמצעות Gemini Enterprise Agent Platform. מסגרת המודלים של שני מגדלים היא שיטת אחזור יעילה לתרחישי שימוש של התאמה אישית, כי היא לומדת את הדמיון הסמנטי בין שתי ישויות שונות, כמו שאילתות באינטרנט ופריטים מועמדים.

המסמך הזה מיועד לאנשי מקצוע טכניים כמו מדעני נתונים ומהנדסי למידת מכונה שמפתחים אפליקציות המלצה בקנה מידה גדול עם דרישות להצגה בזמן אחזור קצר.

ארכיטקטורה

בתרשים הבא מוצגת ארכיטקטורה לאימון מודל Two-Tower, ולפריסה של כל מגדל בנפרד למשימות פריסה והצגה שונות:

ארכיטקטורה לאימון מודל Two-Tower ופריסה של כל מגדל בנפרד.

הארכיטקטורה בתרשים כוללת את הרכיבים הבאים:

  • נתוני אימון: קובצי האימון מאוחסנים ב-Cloud Storage.
  • אימון של שני מגדלים: המודל המשולב של שני המגדלים מאומן אופליין באמצעות שירות האימון המנוהל של Gemini Enterprise Agent Platform. כל מגדל נשמר בנפרד ומשמש למשימות שונות.
  • מגדלי שאילתות ומועמדים רשומים: אחרי שהמגדלים מאומנים, כל מגדל מועלה בנפרד ל-Model Registry ב-Gemini Enterprise Agent Platform.
  • מגדל שאילתות שנפרס: מגדל השאילתות הרשום נפרס בנקודת קצה אונליין של Agent Platform.
  • חיזוי הטמעות באצווה: מגדל המועמדים הרשום משמש במשימת הסקה באצווה כדי לחשב מראש את ייצוגי ההטמעה של כל הפריטים הזמינים כמועמדים.
  • קובץ JSON של הטמעות: ההטמעות החזויות נשמרות בקובץ JSON ב-Cloud Storage.
  • ‫אינדקס ANN: החיפוש הווקטורי של Agent Platform משמש ליצירת אינדקס להצגת מודעות שמוגדר לחיפוש של השכן הקרוב ביותר (ANN).
  • אינדקס פרוס: האינדקס של ANN נפרס בנקודת קצה של אינדקס חיפוש וקטורי ב-Agent Platform.

המוצרים שהשתמשו בהם

ארכיטקטורת העזר הזו משתמשת במוצרי Google Cloud הבאים:

  • ‫Gemini Enterprise Agent Platform Managed Training: שירות אימון מנוהל שמאפשר לכם להפעיל אימון מודלים בקנה מידה גדול.
  • ‫Vector Search: שירות להתאמת דמיון וקטורי שמאפשר לאחסן, להוסיף לאינדקס ולחפש נתונים שקשורים או דומים מבחינה סמנטית.
  • מרשם המודלים ב-Gemini Enterprise Agent Platform: מאגר מרכזי שבו אתם יכולים לנהל את מחזור החיים של מודלי ה-ML שלכם.
  • ‫Cloud Storage: מאגר אובייקטים בעלות נמוכה וללא הגבלה, לסוגי נתונים שונים. אפשר לגשת לנתונים מתוך Google Cloudומחוץ לו, והם משוכפלים במיקומים שונים כדי ליצור יתירות.

תרחיש לדוגמה

כדי לעמוד בדרישות של זמן אחזור קצר, מערכות המלצה בקנה מידה גדול נפרסות בדרך כלל בסביבת הייצור כמערכות דו-שלביות, ולפעמים כמערכות רב-שלביות. המטרה של השלב הראשון, יצירת מועמדים, היא לסנן אוסף גדול של פריטים מועמדים ולאחזר קבוצת משנה רלוונטית של מאות פריטים למשימות סינון ודירוג בהמשך. כדי לבצע אופטימיזציה של משימת השליפה, כדאי להביא בחשבון את שני היעדים העיקריים הבאים:

  1. במהלך אימון המודל, לומדים את הייצוג הטוב ביותר של הבעיה או המשימה שצריך לפתור, ומקמפלים את הייצוג הזה להטמעות של <query, candidate>.
  2. במהלך פרסום המודל, מאחזרים פריטים רלוונטיים במהירות מספקת כדי לעמוד בדרישות זמן האחזור.

בתרשים הבא מוצגים הרכיבים הרעיוניים של מערכת המלצות דו-שלבית:

הרכיבים הרעיוניים של מערכת המלצות דו-שלבית.

בדיאגרמה, שלב יצירת המועמדים מסנן מיליוני פריטים מועמדים. בשלב הדירוג, המערכת מסננת את מאות הפריטים המועמדים שהתקבלו בשלב הקודם, ומחזירה עשרות פריטים מומלצים.

ארכיטקטורת העזר במסמך הזה מאמנת מודל אחזור שמבוסס על שני מגדלים. בארכיטקטורה, כל מגדל הוא רשת נוירונים שמעבדת את המאפיינים של השאילתה או של הפריט המועמד, ואז יוצרת ייצוג הטמעה של המאפיינים האלה. כל מגדל נפרס בנפרד, כי כל מגדל ישמש למשימות שונות בסביבת הייצור:

  • מגדל המועמדים: מגדל המועמדים משמש לחישוב מראש של הטמעות לכל הפריטים המועמדים. ההטמעות שחושבו מראש נפרסות בנקודת קצה של אינדקס חיפוש וקטורי, שעברה אופטימיזציה לאחזור עם זמן אחזור קצר.
  • מגדל פרוס: במהלך מילוי בקשה באופן מיידי, מגדל השאילתות הפרוס ממיר שאילתות גולמיות של משתמשים לייצוגים של הטמעות. לאחר מכן, ייצוגי ההטמעה משמשים לחיפוש הטמעות של פריטים דומים באינדקס שנפרס.

ארכיטקטורות של שני מגדלים מתאימות מאוד למשימות אחזור רבות, כי הן מתעדות את הקשר הסמנטי של שאילתות וישויות מועמדות, וממפות אותן למרחב הטמעה משותף. כשהישויות ממופות למרחב הטמעה משותף, ישויות שדומות מבחינה סמנטית מקובצות קרוב יותר זו לזו. לכן, אם מחשבים את הטמעות הווקטורים של שאילתה נתונה, אפשר לחפש במרחב ההטמעה את הפריטים המועמדים הקרובים ביותר (הדומים ביותר). היתרון העיקרי של ארכיטקטורה כזו הוא היכולת להפריד בין ההסקה של ייצוגי השאילתות והמועמדים. יש שני יתרונות עיקריים להפרדה הזו:

  • אתם יכולים להציג פריטים חדשים בלי לאמן מחדש אוצר מילים של פריטים חדשים. אם תזינו קבוצה כלשהי של תכונות פריטים למגדל הפריטים המועמדים, תוכלו לחשב את הטמעות הפריטים לכל קבוצה של מועמדים, גם כאלה שלא נראו במהלך האימון. החישוב הזה עוזר לפתור את בעיית ההתחלה הקרה.
    • מגדל המועמדים יכול לתמוך בקבוצה שרירותית של פריטים מועמדים, כולל פריטים שעדיין לא הייתה להם אינטראקציה עם מערכת ההמלצות. התמיכה הזו אפשרית כי ארכיטקטורות של שני מגדלים מעבדות תכונות של תוכן עשיר ומטא-נתונים לגבי כל זוג של <query, candidate>. סוג העיבוד הזה מאפשר למערכת לתאר פריט לא ידוע במונחים של פריטים שהיא מכירה.
  • כדי לבצע אופטימיזציה של הסקת השליפה, אפשר לחשב מראש את כל ההטמעות של הפריטים המועמדים. אפשר להוסיף את ההטמעות המחושבות מראש האלה לאינדקס ולפרוס אותן בתשתית להצגת מודעות, שעברה אופטימיזציה לאחזור עם זמן אחזור קצר.
    • הלמידה המשותפת של המגדלים מאפשרת לתאר פריטים במונחים של שאילתות, ולהפך. אם יש לכם חצי מזוג, כמו שאילתה, ואתם צריכים לחפש את הפריט התואם השני, אתם יכולים לחשב מראש חצי מהמשוואה. החישוב המוקדם מאפשר לקבל את שאר ההחלטות במהירות האפשרית.

שיקולים שקשורים לעיצוב

בקטע הזה מתוארים גורמי תכנון, שיטות מומלצות והמלצות בהתאם ל-Google Cloud Well-Architected Framework. כדאי להביא בחשבון את המידע הזה כשמשתמשים בארכיטקטורה לדוגמה כדי לפתח טופולוגיה שעומדת בדרישות הספציפיות שלכם לאבטחה, אמינות, אופטימיזציה של עלויות, יעילות תפעולית וביצועים.

אבטחה, פרטיות ותאימות

ב-Agent Platform Vector Search יש תמיכה בנקודות קצה ציבוריות, בקישור בין רשתות VPC שכנות וב-Private Service Connect לפריסות של נקודות קצה של אינדקסים. כדאי לשקול את האפשרויות הבאות לאבטחת הרשת של עומס העבודה:

  • ‫Private connectivity with Private Service Connect: ברוב הפריסות הפרטיות, מגדירים את Private Service Connect בנקודת הקצה של אינדקס החיפוש הווקטורי. באמצעות Private Service Connect, לקוחות בכמה רשתות VPC ופרויקטים יכולים לשלוח שאילתות לאינדקס דרך כתובות IP פנימיות שאתם מגדירים, בלי צורך בהקצאות ייעודיות של טווחי כתובות IP בקישור בין רשתות VPC שכנות (peering).
  • קישור בין רשתות VPC שכנות (peering): אם אתם משתמשים בקישור בין רשתות VPC שכנות (peering), רק שאילתות אונליין להתאמת וקטורים דורשות חיבור של קישור מאותה רשת VPC. לדוגמה, אם אתם שולחים שאילתות אונליין ממכונה של Gemini Enterprise Agent Platform Workbench לנקודת קצה של אינדקס מקושר, צרו את המכונה באותה רשת VPC. קריאות ל-API של מישור הבקרה שיוצרות, פורסות או מוחקות אינדקס לא דורשות חיבור בין רשתות VPC שכנות.
  • הגנה מפני זליגת נתונים: כדי למנוע העברת נתונים לא מורשית בין משאבי האימון, האחסון וההצגה, הציבו את פלטפורמת הסוכנים ואת Cloud Storage בתוך גבולות גזרה לשירות של VPC Service Controls.

אמינות

כדי להבטיח זמינות גבוהה של יצירת מועמדים אונליין, צריך להגדיר יתירות בנקודות הקצה של אינדקס החיפוש הווקטורי ובנקודות הקצה של המודל אונליין:

  • הגדרת רפליקה של אינדקס: כשפורסים אינדקס בנקודת קצה של חיפוש וקטורי, צריך להגדיר בשדה minReplicaCount לפחות 2 רפליקות לכל שאד. כדי שמשאב DeployedIndex יהיה מכוסה במסגרת הסכם רמת השירות (SLA) של Agent Platform, נדרשות לפחות שתי רפליקות לכל פיסת מידע.
  • ספי התאמה אוטומטית לעומס (autoscaling): עוקבים אחרי ניצול המעבד (CPU) וניצול הזיכרון בחלקי האינדקס שנפרסו, ומגדירים את השדה maxReplicaCount כך שהחיפוש הווקטורי יוכל להוסיף רפליקות כשניצול המעבד או ניצול הזיכרון חורג באופן עקבי מ-60%.

הוזלת עלויות

כדי לנהל את עלויות התשתית באימון אופליין ובהצגת וקטורים אונליין, צריך להתאים את הגודל של מקטעי האינדקס ומשאבי המחשוב:

  • גודל המכונה והשאילתה של האינדקס: כשיוצרים ופורסים אינדקס של חיפוש וקטורי, בוחרים את גודל השאילתה הקטן ביותר (למשל הערך SHARD_SIZE_SMALL עד 2GiB או הערך SHARD_SIZE_MEDIUM עד 20GiB) וסוג מכונה תואם שמתאים לקורפוס ההטמעה של המועמדים. התאמת גודל השארדים עוזרת למנוע הקצאת יתר של נקודות קצה של אינדקסים ב-VMs עם זמינות תמידית.

יעילות תפעולית

כדי לפשט את התחזוקה השוטפת של הטמעות המועמדים, צינורות עיבוד הנתונים של המאפיינים ועדכוני האינדקס, כדאי להשתמש ביכולות הבאות:

  • עדכוני אינדקס בסטרימינג: הארכיטקטורה שמתוארת במאמר הזה משתמשת בבנייה מחדש של אינדקס באצווה, כדי לעדכן מדי פעם את קטלוג המועמדים. אם האפליקציה שלכם דורשת שפריטים חדשים או מעודכנים של מועמדים יופיעו בהמלצות תוך כמה שניות, צריך להגדיר אינדקס סטרימינג של חיפוש וקטורי במקום לבנות מחדש את האינדקס המלא באצוות.
  • חיפוש משולב: אם השאילתות כוללות מק"טים מדויקים של מוצרים, מזהים או מילות מפתח מחוץ לדומיין לצד הטמעות סמנטיות, אתם יכולים להשתמש בחיפוש משולב ב-חיפוש וקטורי כדי לשלב הטמעות צפופות של שני מגדלים והטמעות אסימונים דלילות באינדקס יחיד עם Reciprocal Rank Fusion ‏(RRF).
  • ייצוא מאפיינים אונליין: אם מגדל השאילתות שפרסתם דורש הקשר של המשתמש או מאפייני התנהגות בזמן אמת במהלך הסקת מסקנות אונליין, אתם יכולים להשתמש ב-Agent Platform Feature Store עם מילוי בקשה באופן מיידי של Bigtable כדי לאחזר מאפיינים עם זמן אחזור קצר מטבלאות ב-BigQuery.
  • תזמור אוטומטי של תהליך העבודה: כדי להפוך את השלבים החוזרים של הכנת הנתונים, אימון שני המגדלים, הסקת מסקנות באצווה ופריסת האינדקס לאוטומטיים, אתם יכולים לתזמר את תהליך העבודה באמצעות הצינורות של פלטפורמת הסוכנים של Gemini Enterprise.

אופטימיזציה של הביצועים

בקטע הזה מתוארים הגורמים שצריך להביא בחשבון כשמשתמשים בארכיטקטורה לדוגמה כדי לתכנן טופולוגיה ב- Google Cloud שעומדת בדרישות הביצועים של עומסי העבודה.

משימות אימון של פרופילים

כדי לשפר את צינורות עיבוד הנתונים של הקלט ואת תרשים האימון הכולל, אתם יכולים ליצור פרופיל של ביצועי האימון באמצעות הפלאגין cloud_profiler מ-Agent Platform SDK ו-Vertex AI TensorBoard, שמספק גרסה מנוהלת של TensorBoard Profiler בקוד פתוח.

כשמאתחלים את המודול cloud_profiler בסקריפט האימון בהתאמה אישית ומגדירים את הקריאה החוזרת (callback) tf.keras.callbacks.TensorBoard, משימת האימון יוצרת פרופיל למספר מוגדר של אצוות לכל תקופה. הפרופיל מתעד עקבות מהמעבד (CPU) המארח ומהחומרה של ה-GPU או ה-Cloud TPU במכשיר. המעקבים מספקים מידע על צריכת המשאבים של משימת האימון. כדי להימנע משגיאות של חוסר בזיכרון, כדאי להתחיל עם פרופיל באורך של בין 2 ל-10 שלבי אימון, ולהגדיל את משך הזמן לפי הצורך.

במאמר יצירת פרופיל של ביצועי אימון המודל מוסבר איך ליצור פרופיל של משימות אימון בהתאמה אישית באמצעות Agent Platform Managed Training ו-Vertex AI TensorBoard. במאמר אופטימיזציה של ביצועי ה-GPU מפורטות שיטות מומלצות לניפוי באגים. במאמר אופטימיזציה של ביצועי TensorFlow באמצעות Profiler מוסבר איך לבצע אופטימיזציה של הביצועים.

שימוש מלא במאיצים

כשמצרפים מאיצי אימון כמו מעבדי GPU של NVIDIA או Cloud TPU, חשוב לנצל אותם באופן מלא. כדי לנהל את העלויות בצורה הטובה ביותר, מומלץ לנצל את מאיצי האימון באופן מלא, כי המאיצים הם הרכיב היקר ביותר בארכיטקטורה. כדי שהמשימה תהיה יעילה, מומלץ גם לנצל באופן מלא את מאיצי האימון, כי כשאין זמן חוסר פעילות, צריכת המשאבים הכוללת נמוכה יותר.

כדי לנצל את המאיץ באופן מלא, בדרך כלל מבצעים כמה חזרות על התהליך של איתור צוואר הבקבוק, אופטימיזציה של צוואר הבקבוק וחזרה על השלבים האלה עד שהניצול של מכשיר המאיץ מקובל. מכיוון שרבים ממערכי הנתונים בתרחיש לדוגמה הזה גדולים מדי מכדי להתאים לזיכרון, בדרך כלל צווארי הבקבוק נמצאים בין האחסון, המכונות הווירטואליות המארחות והמאיץ.

התרשים הבא מציג את השלבים הרעיוניים של צינור עיבוד נתונים של קלט לאימון למידת מכונה:

השלבים הרעיוניים של צינור עיבוד נתונים לאימון מודל למידת מכונה.

בתרשים, הנתונים נקראים מהאחסון ועוברים עיבוד מראש. אחרי שהנתונים עוברים עיבוד מראש, הם נשלחים למכשיר. כדי לשפר את הביצועים, קודם כל צריך לבדוק אם הביצועים הכוללים מוגבלים על ידי המעבד (CPU) המארח או על ידי המאיץ (GPU או TPU). המכשיר אחראי להאצת לולאת האימון, והמארח אחראי להזנת נתוני האימון למכשיר ולקבלת התוצאות מהמכשיר. בקטעים הבאים מוסבר איך לפתור צווארי בקבוק על ידי שיפור הביצועים של צינור עיבוד הנתונים של הקלט ושל המכשיר.

שיפור הביצועים של צינור עיבוד הנתונים של הקלט

כדי לצמצם את צווארי הבקבוק בצינור עיבוד הנתונים של הקלט במארח, אפשר להשתמש בשיטות הבאות:

  • קריאת נתונים מהאחסון: כדי לשפר את קריאת הנתונים, השתמשו במטמון, בprefetching, בדפוסי גישה רציפים ובקלט/פלט מקבילי.
  • עיבוד מראש של נתונים: כדי לשפר את העיבוד מראש של הנתונים, מגדירים עיבוד מקביל לחילוץ נתונים ולטרנספורמציה, ומכווננים את הטרנספורמציה של interleave בצינור עיבוד הנתונים של הקלט.
  • שליחת נתונים למכשיר: כדי לקצר את משך הזמן הכולל של המשימה, מעבירים נתונים מהמארח לכמה מכשירים במקביל.
שיפור הביצועים של המכשיר

כדי לשפר את ניצול המאיץ בכל שלב באימון, אפשר להשתמש בשיטות הבאות:

  • הגדלת גודל האצווה הקטנה: אצוות קטנות הן מספר דוגמאות האימון שבהן משתמש כל מכשיר באיטרציה אחת של לולאת אימון. כשמגדילים את גודל האצווה הקטנה, מגדילים את ההקבלה בין הפעולות ומשפרים את השימוש החוזר בנתונים. עם זאת, המיני-אצווה צריכה להתאים לזיכרון יחד עם שאר תוכנית האימון. אם מגדילים יותר מדי את גודל ה-mini-batch, עלולות להופיע שגיאות של חוסר בזיכרון והמודל עלול להתפצל.
  • הפיכת פונקציות בהגדרת המשתמש לווקטורים: בדרך כלל, אפשר לבטא טרנספורמציות של נתונים כפונקציה בהגדרת המשתמש שמתארת איך להמיר כל רכיב של קבוצת נתונים של קלט. כדי להפוך את הפונקציה הזו לווקטור, מפעילים את פעולת הטרנספורמציה על קבוצת קלטים בבת אחת, במקום להמיר רכיב אחד בכל פעם. לכל פונקציה בהגדרת המשתמש יש תקורה שקשורה לתזמון ולביצוע. כשמבצעים טרנספורמציה של קבוצת קלטים, התקורה מתרחשת פעם אחת לכל קבוצה, במקום פעם אחת לכל רכיב במערך הנתונים.
הגדלת קנה המידה לפני הרחבה אופקית בהתאם לעומס (scale out)

כשמגדירים את משאבי המחשוב למשימות האימון, כדאי להגדיל את קנה המידה לפני שמרחיבים אותו. לפני שמשתמשים בכמה מכשירים פחות חזקים, כדאי לבחור מכשיר אחד גדול וחזק יותר. כדאי להרחיב את משאבי ההדרכה בסדר הבא:

  1. עובד אחד + מכשיר אחד
  2. עובד אחד + מכשיר חזק יותר
  3. עובד אחד + כמה מכשירים
  4. אימון מבוזר

כדי להעריך את היתרונות של חיפוש ANN, אתם יכולים למדוד את זמן האחזור והאחזור של שאילתה נתונה. כדי לעזור בכוונון האינדקס, החיפוש הווקטורי ב-Agent Platform מאפשר ליצור אינדקס בכוח גס. אינדקסים של כוח גס יבצעו חיפוש מקיף, על חשבון זמן אחזור ארוך יותר, כדי למצוא את השכנים הקרובים ביותר האמיתיים של וקטור שאילתה נתון. השימוש באינדקסים של כוח גס לא מיועד לשימוש בסביבת ייצור, אבל הוא מספק בסיס טוב כשמחשבים את ה-recall במהלך כוונון האינדקס.

כדי להעריך את ה-recall לעומת זמן האחזור, אתם פורסים את ההטמעות המועמדות שחושבו מראש באינדקס אחד שמוגדר לחיפוש ANN ובאינדקס אחר שמוגדר לחיפוש brute-force. אינדקס הכוח הגס יחזיר את השכנים הקרובים ביותר באופן מוחלט, אבל בדרך כלל זה ייקח יותר זמן מאשר חיפוש ANN. יכול להיות שתהיו מוכנים להקריב חלק מהאחזור של השליפה כדי לשפר את זמן האחזור, אבל צריך להעריך את הפשרה הזו. מאפיינים נוספים שמשפיעים על הזיכור וזמן האחזור:

  • פרמטרים של בניית מודלים: החלטות רבות לגבי בניית מודלים משפיעות על מרחב ההטמעה, שבסופו של דבר הופך לאינדקס להצגת מודעות. השוו בין המועמדים שאוחזרו לאינדקסים שנבנו ממודלים של אחזור רדוד ואחזור עמוק.
  • מידות: המידות הן היבט נוסף שנקבע בסופו של דבר על ידי המודל. המימדים של אינדקס ה-ANN צריכים להתאים למימדים של וקטורי השאילתה והמועמדים.
  • תגים לצפיפות ולסינון: תגים יכולים לספק יכולות משמעותיות להתאמת התוצאות לתרחישי שימוש שונים בסביבת הייצור. מומלץ להבין איך התגים משפיעים על המועמדים שנשלפים ועל הביצועים.
  • ‫ANN count: כשמגדילים את הערך הזה, מגדילים את ה-recall, מה שיכול להגדיל את זמן האחזור באופן יחסי.
  • אחוז צומתי העלים לחיפוש: אחוז צומתי העלים לחיפוש הוא האפשרות הכי קריטית כשמעריכים את הפשרה בין ה-recall לזמן האחזור. כשמגדילים את הערך הזה, מגדילים את ה-recall, מה שיכול להגדיל את זמן האחזור באופן יחסי.

המאמרים הבאים

לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.

שותפים ביצירת התוכן

מחברים:

משתתף נוסף: Kaz Sato | אחראי קשרי מפתחים (Developers Advocate)