האצת שאילתות באמצעות פונקציות AI שעברו אופטימיזציה

אתם יכולים להפחית את עלויות התפעול ולשפר את מהירות התגובה של השאילתות באמצעות פונקציות AI שעברו אופטימיזציה ב-AlloyDB ל-PostgreSQL. פונקציות AI שעברו אופטימיזציה ממזערות את השימוש במודלים גדולים של שפה (LLM) למשימות סינון או סיווג של שורה אחר שורה. הן עושות את זה על ידי עיבוד רוב השאילתות באמצעות מודל פרוקסי קטן ומהיר יותר, וחוזרות למודל LLM גדול יותר רק כשצריך.

לפונקציות AI של AlloyDB כמו ai.if() יכול להיות זמן אחזור גבוה בגלל קריאות מרחוק למודלים גדולים של שפה (LLM). פונקציות שעברו אופטימיזציה פותרות את בעיית זמן האחזור הזו באמצעות מודלים קטנים יותר של שרת proxy שאומנו באופן מקומי (כמו מודלים של רגרסיה לוגיסטית) כדי לעבד את השאילתות שלכם. המודלים האלה מאומנים על דגימה של הנתונים שלכם, והפלט של ה-LLM משמש כמקור האמת.

כדי להגדיר בדיקות דיוק שיתבצעו בזמן הריצה, אפשר להשתמש בדגל google_ml_integration.proxy_models_enable_accuracy_check, שמוגדר כ-off כברירת מחדל. בבדיקות הדיוק, נבדק מדגם של שורות מהשאילתה באמצעות מודל ה-LLM הבסיסי, כדי לוודא שהדיוק עומד בסף שמוגדר בדגל google_ml_integration.proxy_models_f1_score_threshold. אם בדיקת הדיוק נכשלת, השאילתה חוזרת להשתמש ב-LLM (או מחזירה שגיאה אם החזרה למצב קודם מושבתת).

תהליך עבודה משופר של פונקציות AI

כשמשתמשים בפונקציית AI שעברה אופטימיזציה ומגדירים את הדגל google_ml_integration.proxy_models_enable_accuracy_check לערך true, מתבצעות ב-AlloyDB הפעולות הבאות.

  1. תזמון אימון: כשמריצים שאילתה שמכילה את הפונקציה ai.if() בטבלה, AlloyDB מתזמן באופן אוטומטי את האימון של מודל שרת proxy קל ברקע.

  2. חזרה ל-LLM: בזמן שהמודל של שרת ה-Proxy עובר אימון, או אם המודל של שרת ה-Proxy לא זמין, AlloyDB חוזר להשתמש ב-LLM המרוחק כדי להעריך את השאילתה (אלא אם החזרה מושבתת).

  3. מריץ שאילתות שעברו אופטימיזציה: אחרי שהמודל מאומן, AlloyDB משתמש במודל ה-proxy המאומן כדי לעבד שאילתות עוקבות באופן מקומי, וכך משפר את הביצועים.

התרשים הבא מציג את תהליך הלוגיקה של עיבוד שאילתות באמצעות פונקציות אופטימיזציה של AI:

תרשים זרימה של פונקציות AI שעברו אופטימיזציה

לפני שמתחילים

לפני שמשתמשים בפונקציות ה-AI המשופרות, צריך:

הרצת שאילתה שעברה אופטימיזציה

כדי להריץ הצהרת SELECT רגילה באמצעות הפונקציה ai.if(), אפשר להשתמש בדוגמה הבאה:

  1. יוצרים טבלה ב-restaurant_reviews. העמודה review שמכילה את נתוני המקור היא מסוג TEXT, והעמודה review_embedding שמשמשת לשאילתות היא מסוג VECTOR(768).

    CREATE TABLE restaurant_reviews (
        id SERIAL,
        name VARCHAR(64),
        city VARCHAR(64),
        review TEXT,
        review_embedding VECTOR(768)
    );
    

  2. יוצרים הטמעות וקטורים לנתוני המקור באמצעות הפרוצדורה ai.initialize_embeddings():

    CALL ai.initialize_embeddings(
        model_id => 'text-embedding-005',
        table_name => 'restaurant_reviews',
        content_column => 'review',
        embedding_column => 'review_embedding'
    );
    

    צריך ליצור הטמעות כי פונקציות AI שעברו אופטימיזציה מסתמכות על הטמעות וקטורים כקלט של תכונות כדי לאמן ולהעריך את מודל ה-proxy הקל. במקום לשלוח טקסט גולמי ל-LLM מרוחק לכל שורה, מודל ה-proxy מבצע הסקה מהירה ומקומית ישירות על ייצוגי הווקטורים. אם לא נוצרים הטמעות, AlloyDB לא יכול לאמן את מודל שרת ה-proxy וחוזר להערכת כל השורות באמצעות ה-LLM המרוחק.

    שימו לב לדרישות ההטמעה הבאות:

    • הפלט של ai.if() הוא NULL אם עמודת ההטמעה מכילה ערכי NULL. גם אימון המודל וגם ההסקה דורשים הטמעות תקינות.
    • הפונקציה ai.if() מחזירה שגיאה אם המאפיינים של הטמעת השאילתה לא תואמים למאפיינים ששמורים במודל ה-proxy המאומן.

    מידע נוסף על אפשרויות הטמעה ורענונים מצטברים זמין במאמר יצירה וניהול של הטמעות וקטורים אוטומטיות לטבלאות גדולות.

  3. מריצים הצהרת SELECT עם הפונקציה ai.if(). השאילתה הזו מתזמנת באופן אוטומטי את האימון של מודל proxy לפונקציות AI שעברו אופטימיזציה ברקע:

    SELECT r.name, r.city
    FROM restaurant_reviews r
    WHERE ai.if('Is the following a positive review? Review: ' || r.review, r.review_embedding, 'gemini-3.5-flash-lite')
    GROUP BY r.name, r.city
    HAVING COUNT(*) > 500;
    

    הפעלת השאילתה הראשונה מפעילה אימון באופן אסינכרוני. בזמן האימון של מודל ה-proxy, אם הדגל google_ml_integration.proxy_models_enable_llm_fallback מוגדר ל-on (ברירת המחדל), AlloyDB חוזר להערכת השאילתה באמצעות ה-LLM המרוחק ומחזיר אזהרה שפונקציית ה-AI שעברה אופטימיזציה עדיין לא זמינה. אם הערך של google_ml_integration.proxy_models_enable_llm_fallback הוא off, השאילתה מחזירה שגיאה במקום לחזור למצב הקודם.

    בשאילתות הבאות שתואמות לאותו ביטוי תוכן (content_expr), עמודת הטמעה וטבלה, נעשה שימוש במודל שרת ה-proxy שאומן כדי להאיץ את התהליך. עדכון ערכי שורות, מחיקת שורות או הוספת נתונים לטבלה לא גורמים ל-AlloyDB לחזור ל-LLM. מודל ה-proxy ממשיך לעבד את הנתונים באופן מקומי, וסטיית הנתונים מטופלת באמצעות אימון מחדש תקופתי ברקע.

    מודלים של שרת proxy מזוהים באופן ייחודי לפי סוג הפונקציה, ה-OID של הטבלה, ביטוי התוכן ועמודת ההטמעה (func_type,‏ table_oid,‏ content_expr,‏ embedding_column). בארכיטקטורה הזו, אתם יכולים לשתף מודלים בין שאילתות SQL שונות כל עוד הקלט של ai.if() לא משתנה.

    ‫AlloyDB לא משתמש במודל ה-proxy הקיים, אלא מתחיל אימון ברקע של מודל proxy חדש וחוזר ל-LLM המרוחק (בכפוף לדגל google_ml_integration.proxy_models_enable_llm_fallback), בתרחישים הבאים:

    • הביטוי CONTENT בתוך ai.if() משתנה (לדוגמה, מחרוזת ההנחיה או ביטוי העמודה המשורשר משתנים).
    • השם של EMBEDDING_COLUMN בתוך ai.if() משתנה.
    • הפרמטר llm_model_id משתנה.
    • אם בדיקות הדיוק בזמן הריצה מופעלות, והמודל החלופי נכשל בבדיקת הדיוק בתחילת השאילתה.

אימון אונליין וחסימת ביצוע

‫AlloyDB תומך בתהליך עבודה של אימון אונליין לפונקציות שעברו אופטימיזציה, שנשלט על ידי הדגל לניהול מסד הנתונים google_ml_integration.proxy_models_enable_online_training. כברירת מחדל, הדגל הזה מוגדר ל-off.

כשהדגל הזה מופעל ופונקציית ai.if() לא מאומנת מופעלת, השאילתה מפעילה את תהליך האימון ומשתמשת בהפעלה חוסמת. השאילתה הראשונית חוסמת באופן פעיל וממתינה לסיום האימון של מודל ה-proxy ברקע לפני שהיא ממשיכה. כך אפשר להבטיח שהשאילתה תשתמש במודל ה-proxy שעבר אופטימיזציה באופן מיידי, בלי עלויות של הסקת מסקנות מרחוק באמצעות LLM בהפעלה הראשונית.

משך הזמן המקסימלי שבו השאילתה חוסמת וממתינה להשלמת האימון אונליין נשלט על ידי הדגל google_ml_integration.proxy_models_training_wait_timeout (בשניות, ברירת המחדל היא 60). אם האימון לא מסתיים בפרק הזמן הזה, הזמן הקצוב לתפוגה של השאילתה מסתיים או שהיא חוזרת למצב הקודם בהתאם להגדרות החזרה למצב הקודם.

כדי להפעיל את האימון אונליין:

-- Enable online training (blocking execution)
SET google_ml_integration.proxy_models_enable_online_training = on;

-- Set the maximum wait timeout in seconds (default is 60)
SET google_ml_integration.proxy_models_training_wait_timeout = 30;

הגדרת חלופה ל-LLM מרוחק

כברירת מחדל, מופעלת חלופה ל-LLM מרוחק. אם מודל ה-proxy לא מאומן, נמצא בתהליך אימון או נכשל בבדיקות הדיוק, השאילתה חוזרת למודל ה-LLM המרוחק וצוברת עלויות רגילות של Agent Platform API.

אפשר להגדיר את התנהגות ברירת המחדל באמצעות הדגל לניהול מסד הנתונים google_ml_integration.proxy_models_enable_llm_fallback:

  • כשהאפשרות החלופית מופעלת (on, ברירת המחדל): אם מודל ה-proxy לא זמין, AlloyDB מעבד את השאילתה באמצעות ה-LLM המרוחק ומחזיר אזהרה:

    WARNING: Optimized AI Function is unavailable. Expect reduced performance.
    
  • כשהגיבוי מושבת (off): אם מודל ה-proxy לא זמין או נכשל באימות הדיוק, השאילתה מיד מעלה שגיאה במקום לקרוא ל-LLM המרוחק:

    ERROR: Optimized AI Function: Optimized model fallback to LLM prevented by GUC google_ml_integration.proxy_models_enable_llm_fallback
    

כדי להשבית את ה-LLM החלופי בסשן הנוכחי:

SET google_ml_integration.proxy_models_enable_llm_fallback = off;

כדי להשבית את החלופה של מודל שפה גדול לכל מסד הנתונים:

ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_llm_fallback = off;

מחליפים את DATABASE_NAME בשם של מסד הנתונים.

הגדרת בדיקות דיוק בזמן ריצה

בדיקות דיוק בזמן הריצה מעריכות דגימה של שורות מהשאילתה באמצעות ה-LLM המרוחק, כדי לוודא שמודל ה-proxy עומד בדרישות הדיוק הבסיסיות לפני ההפעלה.

הבדיקות של הדיוק נשלטות על ידי הדגל לניהול מסד הנתונים google_ml_integration.proxy_models_enable_accuracy_check (מושבת כברירת מחדל).

כדי להפעיל בדיקות דיוק בסשן הנוכחי:

SET google_ml_integration.proxy_models_enable_accuracy_check = on;

כדי להשבית את בדיקות הדיוק בסשן הנוכחי:

SET google_ml_integration.proxy_models_enable_accuracy_check = off;

כדי להפעיל בדיקות דיוק לכל מסד הנתונים:

ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_accuracy_check = on;

צפייה במודלים קיימים של שרת proxy

כדי לבדוק מודלים קיימים של שרת proxy, לבדוק את סטטוס האימון שלהם ולעיין במטא-נתונים של המודל, שולחים שאילתה לתצוגה google_ml.optimized_functions_view (או לשם החלופי שלה בסכימה ai, ai.optimized_functions_view):

sql SELECT * FROM ai.optimized_functions_view;

תיאורים של העמודות בתצוגה הזו מופיעים במאמר התצוגה ai.optimized_functions_view.

אפשר לסנן את התצוגה הזו לפי table_name או status כדי לבדוק אם המודל סיים את האימון (READY), או כדי לזהות את הערכים המדויקים של content_expr ו-embedding_column שנדרשים לאימון מחדש באופן ידני.

אימון מחדש וניהול של מודלים חלופיים

מודלים של שרת proxy מאומנים על הנתונים שקיימים בטבלה בזמן האימון הראשוני. אם מוסיפים נתונים חדשים לטבלה, או אם משנים או מוחקים שורות, יכול להיות שמודל ה-proxy יתיישן עם הזמן. כדי לשמור על הדיוק כשהנתונים משתנים, אפשר לאמן מחדש את המודלים של שרתי ה-Proxy באופן אוטומטי מדי פעם ברקע, או באופן ידני לפי דרישה.

אימון מחדש תקופתי ברקע

במכונות עם 32 מעבדי vCPU או יותר עם הגדרות ברירת מחדל, AlloyDB יכול לאמן מחדש מודלים של שרת proxy מדי פעם ברקע.

האימון מחדש התקופתי נשלט על ידי הדגלים הבאים לניהול מסד הנתונים:

אימון מחדש באופן ידני

אפשר לאמן מחדש באופן ידני מודלים של שרת proxy באמצעות פונקציות בסכימה ai (או המקבילות שלהן בסכימה google_ml).

אימון מחדש של כל המודלים בטבלה

כדי לאמן מחדש את כל מודלי ה-proxy שמשויכים לטבלה מסוימת, או כדי לאמן מחדש קבוצת משנה מסוננת של מודלים לטבלה, מפעילים את ai.retrain_optimized_models():

SELECT ai.retrain_optimized_models(
  table_name => 'restaurant_reviews',
  embedding_column => 'review_embedding', -- Optional
  content_expr => '(''Is the following a positive review? Review: ''::text || review)', -- Optional
  llm_model_id => 'LLM_MODEL_ID' -- Optional
);

תיאורי הפרמטרים מפורטים בקטע הפונקציה ai.retrain_optimized_models().

אימון מחדש של מודל ספציפי לפי מזהה המודל

כדי לאמן מחדש מודל שרת proxy ספציפי באמצעות מזהה המודל הייחודי שלו, צריך להפעיל את ai.retrain_optimized_model() עם הפרמטר model_id:

SELECT ai.retrain_optimized_model(model_id => 'MODEL_ID');

תיאורי הפרמטרים מפורטים בקטע הפונקציה ai.retrain_optimized_model().

אימון מחדש של מודל ספציפי לפי פרמטרים של אימון מודלים

כדי לאמן מחדש מודל שרת proxy ספציפי באמצעות שם הטבלה, ביטוי התוכן ועמודת ההטמעה שלו, מפעילים את ai.retrain_optimized_model():

SELECT ai.retrain_optimized_model(
  table_name => 'restaurant_reviews',
  embedding_column => 'review_embedding',
  content_expr => '(''Is the following a positive review? Review: ''::text || review)',
  llm_model_id => 'LLM_MODEL_ID' -- Optional
);

תיאורי הפרמטרים מפורטים בקטע הפונקציה ai.retrain_optimized_model().

מחיקת מודלים של שרת proxy

אתם יכולים למחוק מודלים ספציפיים של שרת proxy או את כל המודלים באמצעות הפונקציות הבאות. הפעולות האלה צריכות להתבצע על ידי משתמש עם הרשאות alloydbsuperuser, או עם הרשאות שניתנו על ידי אדמין.

כדי למצוא את הערך הפנימי של model_id שנדרש כדי למחוק מודל שרת proxy ספציפי, שולחים שאילתה לטבלה google_ml.proxy_models_expr_mapping:

SELECT model_id, table_oid::regclass, content_expr
FROM google_ml.proxy_models_expr_mapping;
-- Delete a specific proxy model
SELECT ai.delete_optimized_model('com_if_12345_67890');

-- Delete all proxy models and stop the background automated retraining job
CALL ai.delete_all_optimized_models();

מעקב

אתם יכולים לעקוב אחרי משימות אימון של מודלים ברקע ולבדוק את סטטוס הפעילות של המודל.

איך בודקים את הסטטוס וההיסטוריה של אימון המודל

כדי לבדוק אם האימון של מודל שרת proxy הסתיים, נכשל או נמצא בתהליך של אימון מחדש, שולחים שאילתה ל-ai.optimized_functions_view:

SELECT table_name, content_expr, status, last_trained_at, training_duration
FROM ai.optimized_functions_view;

בעמודה status מצוין סטטוס הפעילות הנוכחי של המודל, והערכים הבאים יכולים להופיע בה:

  • ‫READY: אימון מודל ה-proxy הסתיים בהצלחה והוא מוכן להאיץ את השאילתות הנכנסות.
  • ‫UNTRAINED: המודל נרשם או תזמן, אבל האימון ברקע עדיין לא הסתיים. אם האימון הראשוני ברקע נכשל, המודל נשאר במצב UNTRAINED והשאילתות חוזרות ל-LLM המרוחק (או לשגיאה אם החזרה למצב הקודם מושבתת).
  • RETRAINING_IN_PROGRESS: מתבצע אימון מחדש ברקע.
  • ‫RETRAINING_FAILED: ההפעלה האחרונה של האימון מחדש ברקע או באופן ידני נכשלה. ברוב המקרים, אם יש משקולות מודל לפני האימון מחדש, AlloyDB ממשיך להשתמש במשקולות המודל הקיימות האלה להסקת מסקנות. אם משקלי המודל הקיימים לא זמינים (או אם בדיקות הדיוק בזמן הריצה נכשלות), AlloyDB חוזר להערכת שאילתות באמצעות ה-LLM המרוחק (בכפוף ל-google_ml_integration.proxy_models_enable_llm_fallback) עד שהמודל עובר אימון מחדש בהצלחה.

מידע נוסף על כל העמודות שזמינות בתצוגה הזו זמין במאמר הצגת מודלים קיימים של שרת proxy.

מגבלות

  • פונקציות AI שעברו אופטימיזציה תומכות רק בפונקציה ai.if().
  • אי אפשר להגדיר אימון מחדש אוטומטי תקופתי ברקע של מודלים של שרת proxy במכונות של מסדי נתונים עם פחות מ-32 מעבדי vCPU.
  • אבטחה ברמת השורה (RLS): מודלים שאומנו על טבלאות שמוגדרת בהן מדיניות אבטחה ברמת השורה (RLS) עלולים להדליף מידע אבטחה, כי האימון מתבצע במסגרת ההרשאות של משתמש ספציפי שיזם את האימון. אי אפשר לאמן מודלים של שרת proxy בטבלאות עם כללי מדיניות RLS.
  • שינויים בקלט: אם משנים את עמודת תוכן המקור, את עמודת ההטמעה, את מחרוזת ההנחיה או את מזהה מודל ה-LLM הבסיסי שסופק ל-ai.if(), המערכת עוקפת את מודל ה-proxy הקיים ויוזמת בקשת אימון חדשה ברקע לשילוב הזה.
  • הגבלות על SQL:
    • השאילתה חייבת להכיל פסוקית FROM תקינה.
    • כל הארגומנטים של פונקציית ה-AI חייבים להגיע מאותו כינוי של טבלה.
    • כוללים עמודות בביטוי ai.if() כעמודות מקור להטמעה.
    • אל תמקמו את הפונקציה ai.if() בתוך שאילתת משנה או ביטוי טבלה נפוץ (CTE).

המאמרים הבאים