קבוצת הקשר היא הידע בתחום שמפעיל את QueryData.
הוא מגדיר איך הלוגיקה העסקית פועלת לפני שהאפליקציה מופעלת, כדי ש-QueryData יוכל לענות על שאלות בשפה טבעית בדיוק של כמעט 100% ובזמן אחזור קצר אונליין.
הקשר של דומיין יכול להיות בכל מיני צורות, אבל קבוצות הקשרים תומכות בשלושה סוגים מיוחדים של הקשרים:
- תבניות של שאילתות: שאילתות SQL שאושרו מראש לשאלות עסקיות נפוצות.
- היבטים של שאילתות: מסננים מודולריים, כמו "למשפחה צעירה" או "נוף לים", שמצורפים באופן דינמי לתבניות.
- חיפושי ערכים: חיפושי ישויות שממפים ביטויים של משתמשים לערכים מדויקים במסד הנתונים ופותרים אי-בהירות.
אלה מסדי הנתונים הנתמכים:
- AlloyDB ל-PostgreSQL
- Cloud SQL ל-MySQL
- Cloud SQL ל-PostgreSQL
- Spanner
- Firestore עם תאימות ל-MongoDB
- Bigtable
מהן קבוצות הקשר
אתם יכולים ליצור ולשפר קבוצות הקשר בזמן התכנון באמצעות סוכן עם מנוע תלוי הקשר.
סוכן הנדסת ההקשר מריץ את מבחן הביצועים המייצג ב-QueryData, מדרג את התוצאות ומשפר את קבוצת ההקשרים באמצעות איטרציות (hill-climbs). לאחר מכן, המערכת בודקת את הגרסה הסופית מול קבוצת בדיקה שלא נראתה קודם כדי למנוע התאמת יתר (overfitting), ומעלה באופן אוטומטי את קבוצת ההקשר אלGoogle Cloud.
כשמשלבים את מסד הנתונים עם קבוצת הקשרים שנבחרה, נהנים משני יתרונות עיקריים:
- דיוק של כמעט 100% בהכללה: סכימות של מסדי נתונים מתארות טבלאות ועמודות, אבל הן לא יכולות להגיד למודל איזה מרחק נחשב "קרוב" או איזה דירוג הופך בית ספר ל"טוב". קבוצות הקשר מבססות את QueryData על כללים עסקיים מאומתים של הארגון, ותבניות עם פרמטרים מאפשרות לקבוצת הקשר קומפקטית להכליל וריאציות של ניסוחים, שילובים של מסננים וערכים של ישויות.
- ביצוע מהיר אונליין וזמן אחזור נמוך: הנדסת הקשר מעבירה את הסקת הסכימה היקרה אופליין לזמן התכנון:
- ביצוע בהתאמה להקשר עם קבוצת הקשרים: ביצוע מהיר במעבר אחד באמצעות התאמה לתבנית שעברה הידור מראש וחיפושי ערכים באינדקס.
- סינתזה מסוג Zero-shot לשאילתות לא צפויות בלי תבניות: נמשכת פי 2 עד 3 יותר זמן כי המודל צריך לחקור את המטא-נתונים של הסכימה ולסנתז את ה-SQL בזמן הריצה.
- חקירה פתוחה באמצעות סוכן עם כלי SQL גולמיים: בדרך כלל נמשכת יותר מ-30 שניות בגלל שאילתות של ניסוי וטעייה בכמה שלבים ולולאות של תיקון שגיאות.
ארכיטקטורת מיקום לפי הקשר
כשמכינים מסד נתונים ל-QueryData, צריך להציב כל סוג של ידע בתחום בשכבת ההקשר שמתאימה להיקף ולהתנהגות השליפה שלו:
| שכבה | מנגנון | מה צריך לכלול | שכבות הגנה |
|---|---|---|---|
| רמה 1: הערות בקטלוג הסכימות | הצהרות COMMENT ON TABLE ו-COMMENT ON COLUMN של מסד הנתונים (או תיאורי סכימה מוטבעים של databaseTableReferences) |
משמעויות קצרות של עמודות, יחידות מידה (כמו סנטים בהשוואה לדולרים, או חותמות זמן של UTC), ערכי enum סגורים (לדוגמה, 'PENDING', 'SETTLED', 'FAILED') והערות לגבי הוצאה משימוש |
מוזרק בכל פעם שהטבלה נמצאת בהיקף. ההערות צריכות להיות קצרות כדי לא להעמיס על הנחיית הסכימה. |
| רמה 2: הקשר גלובלי של ההנחיה | הוראות לסוכן התזמור החיצוני (כלולות ב-QueryData prompt) או DataAgent system_instruction |
משתנים קבועים בין טבלאות, אזורי זמן שמוגדרים כברירת מחדל לדיווח, מסננים גלובליים למחיקה עם יכולת שחזור (כמו deleted_at IS NULL), גשרים של מזהי ישויות ממוזגות ותאריכי מעבר חד למערכת אחרת (cutover) של תקופות היסטוריות |
נכלל בכל בקשה ללא סינון שליפה של Top-K. ההנחיה צריכה להיות תמציתית (פחות מ-1,500 טוקנים). |
| רמה 3A: תבניות של שאילתות | templates בקובץ ה-JSON של קבוצת ההקשרים |
8 עד 25 עמודי תווך קומפוזביליים של איחוד, צבירה ורמת פירוט של כמה טבלאות עם פלייסהולדרים של פרמטרים מסוג $1, $2 |
צריך להסיר את כל ההערות מסוג -- ו-/* ... */ כדי שדחיסת JSON בשורה אחת לא תסמן כהערה את ה-SQL בסוף. הימנעו מהטמעה של תנאי מדיניות מותנים בתבניות כלליות. |
| רמה 3B: היבטים של שאילתות | facets בקובץ ה-JSON של קבוצת ההקשרים |
אוצר מילים של דומיין, מדדים בעלי שם ופרדיקטים של מסנני מדיניות או קבוצות בעלות מאפיינים משותפים (cohort) ברמת ההיקף | צריך להגדיר כל עמודה עם שם הטבלה שלה (table_name.column_name, אף פעם לא כינויים של טבלאות) ולציין גבולות תחולה מדויקים ב-intent. |
| רמה 4: שאילתות חיפוש של ערכים | value_searches בקובץ ה-JSON של קבוצת ההקשרים |
זיהוי ישויות מטושטשות של שם עצם פרטי, מילה נרדפת או עוצמה גבוהה בטבלאות בדיקת מידע | צריך להגביל לטבלאות חיפוש או מאפיינים שנוספו לאינדקס (פחות מ-100,000 שורות) או לתצוגות מהותיות של SELECT DISTINCT שרועננו עם CTE פנימי של ORDER BY ... LIMIT 10. אל תשתמשו בהם עבור טיפוסי enum סגורים קטנים או טבלאות עובדות ללא אינדקס. |
סוגי הקשרים בקבוצת הקשרים
בזמן הריצה, QueryData משלב את כל שלושת סוגי ההקשרים במעבר אחד. לדוגמה, אם משתמש שואל:
"תמצא לי בתים למשפחה צעירה ליד בתי ספר טובים בהרצליה עם נוף לים"
QueryData פותר את הבקשה בארבעה שלבים מתואמים:
- תבנית השאילתה מספקת את מבנה השאילתה הבסיסי של "בתים ליד בתי ספר טובים ב
$1", ומחילה כללים עסקיים לגבי המרחק (בטווח של 3 ק"מ) ודירוג בית הספר (5 ומעלה). - היבטי השאילתה מוסיפים מסננים מודולריים ל "משפחה בתחילת הדרך" (3 עד 4 חדרי שינה, 2 חדרי רחצה או יותר) ו "נוף לים" (חיפוש דמיון וקטורי).
- חיפוש ערך מוצא את
'Del Mar'בעמודהcities.city_nameומאמת את סוג הקונספט שלו. - הסברי הכוונה משולבים להסבר מאושר אחד שמוחזר לצד תוצאות השאילתה: "בתים בדל מאר במרחק של עד 3.2 ק"מ מבתי ספר בדירוג 5 ומעלה, עם 3 עד 4 חדרי שינה ונוף לאוקיינוס".
תבניות של שאילתות
תבניות של שאילתות הן קבוצה של שאלות מייצגות בשפה טבעית עם שאילתות SQL תואמות. הם כוללים גם הסברים שמספקים נימוק מוסמך לאופן שבו שאלה פורשה.
לדוגמה, אם משתמש שואל אפליקציה של נדל"ן "תמצאי לי בתים ליד בתי ספר טובים בהרצליה", הסכימה של מסד הנתונים לבדה לא מגדירה איזה מרחק נחשב "ליד", איזה דירוג הופך בית ספר ל "טוב" או איך לדרג נכסים תואמים. תבנית שאילתה מתעדת את הפרשנות העסקית המדויקת הזו, כמו נכסים בטווח של 3.2 ק"מ מבית ספר בדירוג 5 ומעלה, שמסודרים לפי ציון משוקלל של דירוג וקרבה, ומכלילה אותה לכל עיר.
הרכיבים העיקריים של תבנית שאילתה הם:
- שאלה לדוגמה בשפה טבעית: שאלה מייצגת שנשאלה באנגלית פשוטה, כמו "Find me homes near good schools in Del Mar" (מצא לי בתים ליד בתי ספר טובים בדל מאר).
- שאילתת SQL לדוגמה: שאילתת SQL מאומתת שעונה על השאלה בהתאם לכללים העסקיים שלכם.
- תבנית שאלה כללית: תבנית שנוצרת אוטומטית, שבה ערכים ספציפיים מוחלפים בתיאורים כלליים, כמו "חיפוש בתים ליד בתי ספר טובים בעיר מסוימת", שמשמשת להתאמה של שאלות נכנסות בניסוחים שונים.
- הסבר על הכוונה: הסבר מאושר ופשוט על הכללים העסקיים שהופעלו על ידי השאילתה, כמו "חיפוש בתים ב
$1במרחק של עד 3 ק"מ מבית ספר עם דירוג של 5 לפחות". - שאילתת SQL עם פרמטרים: שאילתת ה-SQL שניתנת להפעלה, שתואמת להסבר על הכוונה, באמצעות פרמטרים כמו
$1.
- הסרת הערות SQL: מסירים את כל ההערות בשורה
--ואת כל ההערות בבלוק/* ... */מ-sqlומ-parameterized_sql, במיוחד לפני דחיסת SQL עם כמה שורות לשורת JSON אחת, שבה הערה--תסמן כהערה את שאר ההצהרה. - התבניות צריכות להתמקד בעמודי התווך של המבנה: השתמשו בתבניות כדי לתעד דפוסים של צירוף, צבירה ורמת פירוט של קיבוץ בכמה טבלאות, שאפשר לעשות בהם שימוש חוזר (בדרך כלל 8 עד 25 תבניות לכל קבוצת הקשר). הציבו תנאי מדיניות מותנים או פרדיקטים של
WHEREספציפיים לקבוצה ב-query facets במקום להטמיע אותם בקוד בתבניות כלליות.
היבטים של שאילתות
היבטי שאילתות הם קבוצה נבחרת של תנאים מייצגים בשפה טבעית עם פרדיקטים תואמים של SQL. ההיבטים מנהלים את הסינון ואת התנאים, וכך תבניות השאילתות יכולות לבצע חיפושים לפי היבטים בלי צורך בתבנית נפרדת לכל שילוב של מסננים.
לדוגמה, משתמש יכול להרחיב את הבקשה "תמצא לי בתים ליד בתי ספר טובים בהרצליה" עם תנאים נוספים:
- "...למשפחה בתחילת דרכה", שממופה למסנן SQL מובנה כמו
properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0. - "...עם נוף לים", שמשתמשת באופרטורים של AI במסד הנתונים כמו
ai.ifאו בחיפוש דמיון וקטורי (<=>) בעמודות לא מובנות כמוlisting_description,listing_image_embeddingsו-customer_reviews.
הרכיבים העיקריים של מאפיין שאילתה הם:
- קטע קוד SQL: תנאי הסינון של SQL שניתן לשימוש חוזר, כמו
properties.bedrooms BETWEEN 3 AND 4 AND properties.bathrooms >= 2.0. כדי למנוע אי-בהירות, צריך לציין את שם הטבלה המלא של כל עמודה, לדוגמה,table_name.column_name. אל תשתמשו בשמות עמודות או בשמות חלופיים של טבלאות כמוt1.column_name. - תבנית מצב כללית: תבנית השפה הטבעית שהמאפיין תואם לה, כמו "מתאים למשפחה צעירה".
- הסבר על הכוונה: הסבר מאושר על תנאי הסינון, שמוחזר כחלק מההסבר הכולל של התשובה, כולל גבולות התחולה המדויקים שלו (לדוגמה, על איזו קבוצת ישויות, סטטוס או חלון תאריכים התנאי חל).
- קטע קוד SQL עם פרמטרים: קטע קוד SQL שניתן להפעלה, שתואם להסבר על הכוונה.
שאילתות חיפוש של ערכים
שאילתות חיפוש ערכים הן שאילתות שמוגדרות על ידי המפתחים ומשתמשות בפונקציות התאמה, כמו התאמה מדויקת, דמיון טריגרם מטושטש או חיפוש וקטורי סמנטי, כדי למצוא ערכים וההקשר שלהם במסד נתונים. QueryData משתמש בקישור ערכים בתוצאות האלה כדי לזהות אילו טבלאות ועמודות מכילות ערך תואם, להבין את סוג הקונספט של הערך, לתקן שגיאות איות ולזהות חוסר בהירות לפני הרצת SQL.
לדוגמה, אם משתמש מבקש מאפליקציית נדל "ן "נכסים שנמכרו ב-Westwod בחודש האחרון", מודל שמבוסס על סכימה בלבד עשוי לסנן לפי `WHERE name = 'Westwod'` ולא להחזיר תוצאות. שאילתות חיפוש של ערכים משתמשות בהתאמה לא מדויקת כדי לפתור את שגיאת האיות "Westwod" לערך 'Westwood' במסד הנתונים. בנוסף, אם 'Westwood' קיים בכמה סוגי מושגים במסד הנתונים, כמו City, Municipality ו-Brokerage, קישור הערכים מזהה את חוסר הבהירות, וכך QueryData יכול לבקש מהמשתמש להבהיר לאיזה מושג הוא התכוון במקום לנחש.
הרכיבים העיקריים של שאילתת חיפוש ערכים הם:
- שאילתת חיפוש: שאילתת SQL עם פרמטרים שמשתמשת בהתאמה מדויקת, בדמיון טריגרם (
pg_trgm) או בחיפוש וקטורי כדי למצוא ערך בעמודה. - סוג הקונספט: תווית סמנטית, כמו
City,MunicipalityאוBrokerage, שמציינת מה הערך מייצג ולפי איזו עמודה לסנן. - תיאור: תיאור קצר של לוגיקת החיפוש.
כשמתכננים את
value_searchesלמסדי נתונים של SQL, צריך לפעול לפי הכללים הבאים כדי למנוע כשלים בשאילתות בזמן ריצה וסריקות של טבלאות עם זמן אחזור גבוה:- הציבו את
ORDER BYו-LIMITבתוך CTE או שאילתת משנה, אף פעם לא ברמה העליונה: בזמן הריצה,QueryDataיכול לשלב כמה שאילתותvalue_searchesעםUNION ALL. כדי לוודא שכל שאילתה תוחמת את סריקת האינדקס שלה, צריך להציב אתORDER BY ... LIMIT 10בתוך ביטוי טבלה נפוץ (CTE) שלWITHאו שאילתת משנה נגזרת, ולא ברמה העליונה. - מריצים שאילתות על טבלאות חיפוש שנוספו לאינדקס, ולא על טבלאות עובדות גדולות או על טיפוסי enum סגורים: מריצים חיפושי ערכים רק על טבלאות חיפוש או טבלאות מאפיינים קטנות (פחות מ-100,000 שורות) שמגובות באינדקס טריגרם או באינדקס וקטורי, או על
SELECT DISTINCTתצוגה מהותית שעברה רענון וחולצה מטבלה גדולה יותר. אף פעם אל תריצו אתvalue_searchesישירות על טבלאות עובדות או יומנים עם מיליוני שורות, אל תחשבו הטמעות בתוך השורה לכל שורה בעמודות של טבלה בזמן השאילתה, ואל תכללו אתvalue_searchesעבור ערכי enum סגורים קטנים (במקום זאת, תעדו ערכי enum סגורים בתגובות של העמודות).
המאמרים הבאים
- הציבו את