סקירה כללית של אינדקסים של AI

אינדקסים של AI מאפשרים לבצע חיפושים בשפה טבעית בעמודות של טבלאות בלי ליצור הטמעות באופן ידני או לנהל מודלים. אתם יכולים להשתמש בפונקציה AI.SEARCH כדי לשלוח שאילתות על הנתונים, ו-BigQuery יטפל באופן אוטומטי בבחירת העמודות, באופטימיזציה של האינדקס ובתחזוקה השוטפת.

מידע על אינדקסים של AI

אינדקס AI הוא הפשטה מנוהלת של הוספה לאינדקס עם אופטימיזציה עצמית, שמאפשרת להשתמש בחיפוש בשפה טבעית בעמודה אחת או יותר בטבלאות ב-BigQuery באמצעות הפונקציה AI.SEARCH. כדאי להשתמש באינדקס AI כשרוצים לבצע חיפוש בשפה טבעית בעמודת טקסט אחת או יותר, בלי לנהל מודלים של הטמעה, עמודות הטמעה או אינדקסים של וקטורים. אם אתם צריכים מודל הטמעה ספציפי או אפשרויות של אינדקס וקטורי בהתאמה אישית, צרו הטמעות וצרו אינדקס וקטורי.

אינדקסים של AI ב-BigQuery עוזרים לכם לבצע את המשימות הבאות בצורה יעילה יותר:

  • חיפושים בשפה טבעית בלי לנהל מודלים: אתם יכולים לחפש בנתונים באמצעות שאילתות בשפה טבעית בלי ליצור הטמעות או להגדיר אינדקסים וקטוריים.
  • בחירת עמודות אוטומטית: כשיוצרים אינדקס AI עם האפשרות AUTO COLUMNS, מערכת BigQuery מזהה ובוחרת באופן אוטומטי עמודות מועמדות בטבלה להוספה לאינדקס, או מאפשרת לכם לציין רשימה מפורשת של עמודות שצריך לכלול.
  • הוספה מותאמת לאינדקס: המערכת של BigQuery קובעת באופן אוטומטי את האסטרטגיות האופטימליות להוספה לאינדקס ולאחזור של הנתונים והשאילתות שלכם, ומיישמת אותן.
  • ניהול מלא של מחזור החיים: כשהנתונים בטבלה משתנים, BigQuery מנהל באופן אוטומטי את היצירה, התחזוקה, העדכונים והרענונים של האינדקס, בלי שתצטרכו לנהל את פריטי ה-AI הבסיסיים.

ניהול עומסי עבודה (workload)

כברירת מחדל, BigQuery משתמש במשבצות על פי דרישה ובמאגר המשבצות המשותף כדי לטפל בתהליך ברקע שנדרש כדי ליצור, לרענן ולשפר אינדקס AI. כדי להבטיח ביצועי הוספה לאינדקס צפויים ועקביים בעומסי עבודה גדולים יותר בסביבת הייצור, או כדי ליצור אינדקס AI בטבלה עם יותר ממיליון שורות, מבצעים את הפעולות הבאות:

  • יוצרים הזמנה באזור שבו נמצאת הטבלה.
  • מקצים את הפרויקט להזמנה, כשהערך של job_type מוגדר ל-BACKGROUND.

אם יש הקצאה של BACKGROUND, המערכת של BigQuery משתמשת בה כדי להריץ את המשימות ברקע שמעדכנות את אינדקס ה-AI.

תמחור

העלויות של אינדקס ה-AI מתחלקות לקטגוריות הבאות:

  • הצהרות DDL: אין חיובים נוספים על הרצת ההצהרות CREATE AI INDEX ו-DROP AI INDEX.
  • עיבוד נתוני אינדקס ברקע (gc_ משימות): כל עיבוד הנתונים מתבצע ישירות ב-BigQuery באמצעות יחידות קיבולת של BigQuery. כברירת מחדל, BigQuery משתמש ב-slots על פי דרישה כדי לטפל במשימות האלה, והפרויקט של הטבלה מחויב לפי מודל החיוב על פי דרישה של DML. אם לפרויקט מוקצה הזמנה של BACKGROUND, המערכת של BigQuery משתמשת בהזמנה של BACKGROUND כדי להריץ את משימות ה-DML האלה ברקע, וההזמנה מחויבת על השימוש בזמן ה-slot. מידע נוסף זמין במאמר מעקב אחרי עלויות של משימות ברקע.
  • יצירת הטמעות: יצירת הטמעות לאינדקסי AI, כולל ההטמעות שנוצרו לשאילתות AI.SEARCH בטבלאות עם אינדקס AI, מחויבת לפי התעריף שפורסם למודל הבסיסי שבו משתמש אינדקס ה-AI. יכול להיות ש-Google תעדכן את מודל ברירת המחדל שמשמש לאינדקסים של AI, כדי לשפר את מחזור החיים או את הביצועים של המודל, ותחייב לפי התמחור של BigQuery שפורסם למודל.
  • אימון ואופטימיזציה של אינדקסים: אין חיובים נוספים על העיבוד שנדרש כדי לאמן ולבצע אופטימיזציה של מבני האינדקסים כשמשתמשים במאגר ברירת המחדל של משבצות משותפות, כל עוד הגודל הכולל של נתוני הטבלה שנוספו לאינדקס קטן מהמגבלה של הארגון.
  • אחסון: אינדקסים של AI צוברים עלויות אחסון כל עוד הם קיימים בטבלה. אפשר לראות את נפח האחסון של אינדקס AI בעמודה total_logical_bytes בתצוגה INFORMATION_SCHEMA.AI_INDEXES.
  • שאילתות: שאילתות שמשתמשות בפונקציה AI.SEARCH מחויבות לפי תמחור המחשוב הרגיל של BigQuery. יצירת הטמעות לשאילתה מחויבת כמו שמתואר קודם ברשימה הזו.

מגבלות על אינדקסים של AI

כשמשתמשים באינדקסים מבוססי-AI, חלות המגבלות הבאות:

  • אם הטקסט המשולב של העמודות שנוספו לאינדקס בשורה מסוימת ארוך מאוד, למשל מסמכים מלאים או הרבה עמודות STRING ארוכות, רק חלק מהטקסט משמש לחיפוש. כדי להבטיח שהשדות הכי אינפורמטיביים ישמשו את המודל, ציינו רשימת עמודות מפורשת ב-CREATE AI INDEX, כשהעמודות עם האותות הכי חזקים מופיעות ראשונות.
  • אין תמיכה בשאילתות שדורשות התאמה מדויקת של ערכי מזהים ללא משמעות בשפה טבעית, כמו מזהים, UUID, גיבובים או קודי מערכת. כברירת מחדל, AUTO COLUMNS כולל את כל עמודות ה-STRING ברמה העליונה, בלי לסנן עמודות של מזהים אטומים. כדי להחריג עמודות של מזהים אטומים מאינדקס ה-AI, צריך לציין רשימת עמודות מפורשת ב-CREATE AI INDEX.
  • שאילתות שמכילות אילוצים מספריים מחמירים או דורשות סינון מובנה בעמודות שהן לא STRING לא נתמכות בטקסט חיפוש בשפה טבעית בלבד. במקום זאת, אפשר להחיל מסננים מובְנים או מספריים באמצעות פסוקית WHERE בשאילתת משנה של סינון מראש.
  • איכות החיפוש עלולה להיפגע אם אינדקס ה-AI כולל עמודות עם טקסט שלא מתאר את השורה, כמו יומנים גולמיים, דוחות קריסות, כתובות URL או מחרוזות שנוצרו על ידי מכונה. כדי להחריג את העמודות האלה, צריך לציין את העמודות שרוצים להוסיף לאינדקס במקום להשתמש ב-AUTO COLUMNS.
  • ההצהרות CREATE OR REPLACE AI INDEX ו-ALTER AI INDEX לא נתמכות. בנוסף, אי אפשר להשמיט, לשנות את השם או לשנות את סוג הנתונים של עמודת מקור שנכללת באינדקס AI. כדי לשנות עמודות שנוספו לאינדקס, צריך למחוק את אינדקס ה-AI וליצור אותו מחדש.
  • אי אפשר לבצע את הפעולות הבאות בטבלאות עם אינדקסים של AI. כדי לבצע את הפעולות האלה, צריך למחוק את אינדקס ה-AI.

    • יוצרים טבלה מהסכימה של הטבלה (CREATE TABLE ... LIKE).
    • העתקת הטבלה (bq cp או CREATE TABLE ... COPY), כולל העתקות בין אזורים, או העתקת נתונים לטבלה קיימת עם אינדקס AI.
    • משכפלים את הטבלה (CREATE TABLE ... CLONE).
    • יוצרים קובץ snapshot של טבלה (CREATE SNAPSHOT TABLE).
    • משנים את שם הטבלה (ALTER TABLE ... RENAME TO).
    • משחזרים את הטבלה (RESTORE TABLE).

המאמרים הבאים