Übersicht über KI-Indexe

Mit KI-Indizes können Sie in natürlicher Sprache in Tabellenspalten suchen, ohne Einbettungen manuell generieren oder Modelle verwalten zu müssen. Mit der Funktion AI.SEARCH können Sie Ihre Daten abfragen, während BigQuery automatisch die Spaltenauswahl, die Indexoptimierung und die laufende Wartung übernimmt.

KI-Indizes

Ein KI-Index ist eine verwaltete, selbstoptimierende Indexierungsabstraktion, mit der Sie die Suche in natürlicher Sprache über eine oder mehrere Spalten in Ihren BigQuery-Tabellen mit der Funktion AI.SEARCH verwenden können. Verwenden Sie einen KI-Index, wenn Sie eine Suche in natürlicher Sprache in einer oder mehreren Textspalten durchführen möchten, ohne Einbettungsmodelle, Einbettungsspalten oder Vektorindexe verwalten zu müssen. Wenn Sie ein bestimmtes Einbettungsmodell oder benutzerdefinierte Vektorindexoptionen benötigen, generieren Sie Einbettungen und erstellen Sie einen Vektorindex.

Mit BigQuery-KI-Indexen können Sie die folgenden Aufgaben effizienter ausführen:

  • Suchen in natürlicher Sprache ohne Modellverwaltung durchführen: Sie können Ihre Daten mit Abfragen in natürlicher Sprache durchsuchen, ohne Einbettungen generieren oder Vektorindexe konfigurieren zu müssen.
  • Automatische Spaltenauswahl: Wenn Sie einen KI-Index mit der Option AUTO COLUMNS erstellen, identifiziert und wählt BigQuery automatisch Kandidatenspalten in der Tabelle aus, die indexiert werden sollen. Alternativ können Sie eine explizite Liste von Spalten angeben, die einbezogen werden sollen.
  • Adaptive Indexierung: BigQuery ermittelt automatisch die optimalen Indexierungs- und Abrufstrategien für Ihre Daten und Abfragen und wendet sie an.
  • Vollständig verwalteter Lebenszyklus: Wenn sich Ihre Tabellendaten ändern, verwaltet BigQuery automatisch die Indexerstellung, ‑wartung, ‑aktualisierung und ‑aktualisierung, ohne dass Sie die zugrunde liegenden KI-Artefakte verwalten müssen.

Arbeitslastverwaltung

Standardmäßig verwendet BigQuery On-Demand-Slots und den freigegebenen Slot-Pool, um die Hintergrundverarbeitung zu verarbeiten, die zum Erstellen, Aktualisieren und Optimieren eines KI-Index erforderlich ist. So sorgen Sie für eine vorhersehbare und konsistente Indexierungsleistung bei größeren Produktionsarbeitslasten oder erstellen einen KI-Index für eine Tabelle mit mehr als 1.000.000 Zeilen:

  • Erstellen Sie eine Reservierung in der Region, in der sich Ihre Tabelle befindet.
  • Weisen Sie der Reservierung Ihr Projekt zu, wobei job_type auf BACKGROUND gesetzt ist.

Wenn eine BACKGROUND-Reservierung vorhanden ist, verwendet BigQuery sie, um die Hintergrundjobs auszuführen, die den KI-Index verwalten.

Preise

Die Kosten für den KI-Index fallen in die folgenden Kategorien:

  • DDL-Anweisungen: Für das Ausführen der Anweisungen CREATE AI INDEX und DROP AI INDEX fallen keine zusätzlichen Gebühren an.
  • Datenverarbeitung für Hintergrundindex (gc_-Jobs): Die gesamte Datenverarbeitung erfolgt direkt in BigQuery mithilfe von BigQuery-Slots. Standardmäßig verwendet BigQuery On-Demand-Slots, um diese Jobs zu verarbeiten. Das Projekt der Tabelle wird nach dem On-Demand-Abrechnungsmodell für DML abgerechnet. Wenn dem Projekt eine BACKGROUND-Reservierung zugewiesen ist, verwendet BigQuery die BACKGROUND-Reservierung, um diese Hintergrund-DML-Jobs auszuführen. Die Reservierung wird für die Slot-Zeitnutzung in Rechnung gestellt. Weitere Informationen finden Sie unter Kosten für Hintergrundjobs im Blick behalten.
  • Einbettungsgenerierung: Die Einbettungsgenerierung für KI-Indizes, einschließlich der Einbettungen, die für AI.SEARCH-Abfragen für Tabellen mit einem KI-Index generiert werden, wird zum veröffentlichten Preis des zugrunde liegenden Modells abgerechnet, das der KI-Index verwendet. Google kann das von KI-Indexen verwendete Standardmodell im Laufe der Zeit aktualisieren, um den Modelllebenszyklus oder die Leistung zu verbessern. Die Abrechnung erfolgt dann gemäß den veröffentlichten BigQuery-Preisen für das Modell.
  • Indextraining und -optimierung: Für die Verarbeitung, die zum Trainieren und Optimieren der Indexstrukturen erforderlich ist, fallen keine zusätzlichen Gebühren an, wenn Sie den standardmäßigen freigegebenen Slot-Pool verwenden, solange die Gesamtgröße der indexierten Tabellendaten unter dem Limit Ihrer Organisation liegt.
  • Speicher: Für KI-Indexe fallen Speicherkosten an, solange sie in der Tabelle vorhanden sind. Sie können die Speichergröße eines KI-Index in der Spalte total_logical_bytes der Ansicht INFORMATION_SCHEMA.AI_INDEXES einsehen.
  • Abfragen: Abfragen, die die Funktion AI.SEARCH verwenden, werden zu den BigQuery-Standardpreisen für die Berechnung abgerechnet. Die Einbettungsgenerierung für die Abfrage wird wie zuvor in dieser Liste beschrieben abgerechnet.

Einschränkungen für KI-Indexe

Wenn Sie KI-Indexe verwenden, gelten die folgenden Einschränkungen:

  • Wenn der kombinierte Text der indexierten Spalten einer Zeile sehr lang ist, z. B. vollständige Dokumente oder viele lange STRING-Spalten, wird nur ein Teil des Texts für die Suche verwendet. Damit die informativsten Felder verwendet werden, geben Sie in CREATE AI INDEX eine explizite Spaltenliste an, wobei die Spalten mit den stärksten Signalen zuerst aufgeführt werden.
  • Abfragen, die eine genaue Übereinstimmung mit Kennungswerten ohne Bedeutung in natürlicher Sprache erfordern, z. B. IDs, UUIDs, Hashes oder Systemcodes, werden nicht unterstützt. Standardmäßig enthält AUTO COLUMNS alle STRING-Spalten der obersten Ebene, ohne undurchsichtige ID-Spalten herauszufiltern. Wenn Sie Spalten mit intransparenten IDs aus dem KI-Index ausschließen möchten, geben Sie in CREATE AI INDEX eine explizite Spaltenliste an.
  • Abfragen, die strenge numerische Einschränkungen enthalten oder eine strukturierte Filterung für Spalten erfordern, die nicht vom Typ STRING sind, werden nicht allein durch die Suche in natürlicher Sprache unterstützt. Wenden Sie stattdessen strukturierte oder numerische Filter mit einer WHERE-Klausel in einer Vorfilter-Unterabfrage an.
  • Die Suchqualität kann sich verschlechtern, wenn der KI-Index Spalten mit Text enthält, der die Zeile nicht beschreibt, z. B. Rohlogs, Stacktraces, URLs oder maschinengenerierte Strings. Wenn Sie diese Spalten ausschließen möchten, listen Sie die zu indexierenden Spalten auf, anstatt AUTO COLUMNS zu verwenden.
  • CREATE OR REPLACE AI INDEX- und ALTER AI INDEX-Anweisungen werden nicht unterstützt. Sie können auch keine Quellspalte, die in einem KI-Index enthalten ist, löschen, umbenennen oder ihren Datentyp ändern. Wenn Sie indexierte Spalten ändern möchten, löschen Sie den KI-Index und erstellen Sie ihn neu.
  • Die folgenden Tabellenvorgänge werden für Tabellen mit KI-Indexen nicht unterstützt. Löschen Sie den KI-Index, um diese Vorgänge auszuführen.

    • Erstellen Sie eine Tabelle aus dem Schema der Tabelle (CREATE TABLE ... LIKE).
    • Kopieren Sie die Tabelle (bq cp oder CREATE TABLE ... COPY), einschließlich regionsübergreifender Kopien, oder kopieren Sie Daten in eine vorhandene Tabelle mit einem KI-Index.
    • Klonen Sie die Tabelle (CREATE TABLE ... CLONE).
    • Tabellen-Snapshot (CREATE SNAPSHOT TABLE) erstellen
    • Benennen Sie die Tabelle um (ALTER TABLE ... RENAME TO).
    • Stellen Sie die Tabelle (RESTORE TABLE) wieder her.

Nächste Schritte