Einführung in kontinuierliche Abfragen

Kontinuierliche BigQuery-Abfragen sind SQL-Anweisungen, die kontinuierlich ausgeführt werden, damit Sie eingehende Daten in BigQuery in Echtzeit analysieren können. Sie können kontinuierliche Abfragen für zeitkritische Aufgaben verwenden, z. B. zum Generieren von sofortigen Statistiken, zum Anwenden von Echtzeit-Inferenzen für maschinelles Lernen (ML) und zum Replizieren von Daten auf andere Plattformen. Mit dieser Funktion können Sie BigQuery als ereignisgesteuerte Datenverarbeitungs-Engine für die Entscheidungslogik in Ihren Anwendungen verwenden.

Unterstützte Ziele und Datenquellen

Sie können die von einer kontinuierlichen Abfrage erzeugten Ausgabezeilen in die folgenden Ziele schreiben oder exportieren:

Kontinuierliche Abfragen können Daten verarbeiten, die mit einer der folgenden Methoden in BigQuery-Standardtabellen oder verwaltete Apache Iceberg-Tabellen geschrieben wurden:

Das folgende Diagramm zeigt gängige Workflows für kontinuierliche Abfragen:

Diagramm, das gängige Workflows für kontinuierliche BigQuery-Abfragen veranschaulicht, einschließlich Datenaufnahme, Verarbeitung und Export an Ziele wie Bigtable und Pub/Sub.

Anwendungsfälle

Gängige Anwendungsfälle für kontinuierliche Abfragen:

  • Personalisierte Dienste für die Kundeninteraktion: Mit generativer KI können Sie maßgeschneiderte Nachrichten für jede Kundeninteraktion erstellen.
  • Anomalieerkennung: Erstellen Sie Lösungen, mit denen Sie Anomalien und Bedrohungen in komplexen Daten in Echtzeit erkennen können, um schneller auf Probleme reagieren zu können.
  • Anpassbare ereignisgesteuerte Pipelines: Verwenden Sie die Integration von kontinuierlichen Abfragen mit Pub/Sub, um nachgelagerte Anwendungen basierend auf eingehenden Daten auszulösen.
  • Datenanreicherung und Entitätsextraktion: Mit kontinuierlichen Abfragen können Sie Daten in Echtzeit anreichern und transformieren, indem Sie SQL-Funktionen und ML-Modelle verwenden.
  • Reverse-ETL (Extrahieren, Transformieren, Laden): Führen Sie Echtzeit-Reverse-ETL in andere Speichersysteme aus, die besser für die Bereitstellung von Anwendungen mit niedriger Latenz geeignet sind. Beispielsweise können Sie Ereignisdaten analysieren oder erweitern, die in BigQuery geschrieben und dann zur Bereitstellung von Anwendungen an Bigtable, Spanner oder von Apache Iceberg verwaltete Tabellen gestreamt werden.
  • Autonome Agenten-Trigger: Agentische Datenpipelines werden in Echtzeit basierend auf komplexen Ereignissen ausgelöst, die in Live-Datenstreams erkannt werden. Ein Beispiel finden Sie im Codelab Ereignisgesteuerten Daten-Agenten mit BigQuery und dem Agent Development Kit (ADK) erstellen.
  • Autonomes Agentenmonitoring: Entwickeln Sie automatisiertes Echtzeitmonitoring und Benachrichtigungen für Echtzeitinteraktionen von Agenten mit dem BigQuery Agent Analytics-Plug-in, das alle Agenten-Trace-Daten, Toolnutzung und Betriebsprotokolle direkt in BigQuery streamt, um einen tiefen Einblick in Ihre KI-Belegschaft zu erhalten.

Unterstützte Funktionen

Die folgenden Vorgänge werden in kontinuierlichen Abfragen unterstützt:

Unterstützte zustandsorientierte Vorgänge

Wenn Sie Support für dieses Feature anfordern oder Feedback geben möchten, senden Sie eine E-Mail an bq-continuous-queries-feedback@google.com.

Zustandsorientierte Vorgänge ermöglichen es kontinuierlichen Abfragen, komplexe Analysen durchzuführen, bei denen Informationen über mehrere Zeilen oder Zeitintervalle hinweg beibehalten werden müssen. Zustandslose Funktionen verarbeiten jede Zeile unabhängig, während zustandsorientierte Vorgänge den Zustand der aufgenommenen Daten beibehalten, um Funktionen wie JOINs, Aggregationen und Fensteraggregationen zu unterstützen. Mit dieser Funktion können Sie Ereignisse aus verschiedenen Streams korrelieren oder Messwerte über einen bestimmten Zeitraum berechnen, z. B. einen 30-Minuten-Durchschnitt, indem Sie die erforderlichen Daten während der Abfrage im Arbeitsspeicher speichern.

Kontinuierliche Abfragen unterstützen die folgenden zustandsorientierten Vorgänge:

Autorisierung

Die Google Cloud -Zugriffstokens, die beim Ausführen von Jobs für kontinuierliche Abfragen verwendet werden, haben eine Gültigkeitsdauer (TTL) von zwei Tagen, wenn sie von einem Nutzerkonto generiert werden. Daher werden solche Jobs nach zwei Tagen beendet. Die von Dienstkonten generierten Zugriffstokens können länger ausgeführt werden, müssen aber dennoch die maximale Abfragelaufzeit einhalten. Weitere Informationen finden Sie unter Kontinuierliche Abfrage mit einem Dienstkonto ausführen.

Standorte

Eine Liste der unterstützten Regionen finden Sie unter Standorte für kontinuierliche Abfragen in BigQuery.

Beschränkungen

Für kontinuierliche Abfragen gelten die folgenden Einschränkungen:

Reservierungseinschränkungen

  • Sie müssen eine Reservierung für die Enterprise- oder Enterprise Plus-Version mit dem Zuweisungstyp CONTINUOUS erstellen, um kontinuierliche Abfragen auszuführen. Kontinuierliche Abfragen unterstützen das On-Demand-Computing-Abrechnungsmodell nicht.
  • Wenn Sie eine CONTINUOUS-Reservierungszuweisung erstellen, ist die zugehörige Reservierung auf maximal 500 Slots beschränkt. Sie können eine Erhöhung dieses Limits anfordern, indem Sie sich an bq-continuous-queries-feedback@google.com wenden.
  • Sie können keine Reservierungszuweisung erstellen, die einen anderen Jobtyp in derselben Reservierung wie eine Reservierungszuweisung für kontinuierliche Abfragen verwendet.

  • BigQuery bestimmt die Anzahl der kontinuierlichen Abfragen, die pro Projekt gleichzeitig ausgeführt werden können, anhand der konfigurierten Größe der Reservierungszuweisung, die den Jobtyp CONTINUOUS verwendet. Damit neue Jobs zugelassen werden, ist in BigQuery ein Schwellenwert von 10 Slots pro kontinuierlichem Abfragejob erforderlich. Die Abfrage verbraucht während der normalen Ausführung nicht unbedingt alle 10 Slots. Dieser Schwellenwert sorgt dafür, dass jede laufende kontinuierliche Abfrage genügend Baseline-Rechenkapazität hat, um plötzliche Spitzen im eingehenden Datenvolumen zu bewältigen, ohne ins Hintertreffen zu geraten oder die Verarbeitung mit geringer Latenz zu beeinträchtigen.

    Damit Ihre Abfragen erfolgreich zugelassen werden, ohne dass die Limits für die Nebenläufigkeit erreicht werden, empfehlen wir die Verwendung von Slot-Autoscaling. Mit Autoscaling wird die Slot-Gesamtnutzung dynamisch an den tatsächlichen Ressourcenbedarf angepasst. Sie können eine kleinere Referenzreservierung konfigurieren und ein maximales Autoscaling-Limit festlegen, das den Schwellenwert von 10 Slots pro Abfrage für Ihre erwarteten gleichzeitigen Abfragen problemlos abdeckt.

  • Wenn Sie mehrere kontinuierliche Abfragen mit derselben Reservierung ausführen, werden die verfügbaren Ressourcen möglicherweise nicht fair auf die einzelnen Jobs aufgeteilt, wie in BigQuery-Fairness definiert.

Slot-Autoscaling

Kontinuierliche Abfragen können Slot-Autoscaling verwenden, um die zugewiesene Kapazität dynamisch an Ihre Arbeitslast anzupassen. Wenn die Arbeitslast Ihrer kontinuierlichen Abfragen zu- oder abnimmt, passt BigQuery Ihre Slots dynamisch an.

Nachdem eine kontinuierliche Abfrage gestartet wurde, wartet sie aktiv auf eingehende Daten, was Slot-Ressourcen verbraucht. Eine Reservierung mit einer laufenden kontinuierlichen Abfrage wird nicht auf null Slots herunterskaliert. Eine inaktive kontinuierliche Abfrage, die hauptsächlich auf eingehende Daten wartet, verbraucht jedoch voraussichtlich eine minimale Anzahl von Slots, in der Regel etwa einen Slot.

Freigabe inaktiver Slots

Kontinuierliche Abfragen können die Freigabe inaktiver Slots verwenden, um ungenutzte Slot-Ressourcen mit anderen Reservierungen und Jobtypen zu teilen.

  • Eine CONTINUOUS-Reservierungszuweisung ist weiterhin erforderlich, um eine kontinuierliche Abfrage auszuführen. Sie können sich nicht ausschließlich auf inaktive Slots aus anderen Reservierungen verlassen. Daher ist für eine CONTINUOUS-Reservierungszuweisung entweder eine Referenz für Slots ungleich null oder eine Autoscaling-Konfiguration für Slots ungleich null erforderlich.
  • Nur inaktive Referenz- oder zugesicherte Slots aus einer CONTINUOUS-Reservierungszuweisung können freigegeben werden. Automatisch skalierte Slots können nicht als inaktive Slots für andere Reservierungen freigegeben werden.

Preise

Kontinuierliche Abfragen können die fluide Skalierung von BigQuery verwenden.

Für kontinuierliche Abfragen gelten die BigQuery-Preise für Kapazitätsberechnung, die in Slots gemessen werden. Zum Ausführen kontinuierlicher Abfragen benötigen Sie eine Reservierung mit dem Enterprise oder Enterprise Plus und eine Reservierungszuweisung mit dem CONTINUOUS-Jobtyp.

Die Nutzung anderer BigQuery-Ressourcen wie Datenaufnahme und -speicherung wird zu den unter BigQuery-Preise angegebenen Tarifen abgerechnet.

Die Nutzung anderer Dienste, die Ergebnisse kontinuierlicher Abfragen empfangen oder während der Verarbeitung kontinuierlicher Abfragen aufgerufen werden, wird zu den für diese Dienste veröffentlichten Preisen abgerechnet. Informationen zu den Preisen anderer Google Cloud -Dienste, die von kontinuierlichen Abfragen verwendet werden, finden Sie in den folgenden Themen:

Anforderungen an Slotkapazität schätzen

Da jede Arbeitslast unterschiedlich ist, ist eine genaue Slot-Schätzung für kontinuierliche Abfragen im Voraus oft nicht möglich. Die Anzahl der Slots, die für Ihre kontinuierlichen Abfragen erforderlich sind, hängt von einer Kombination mehrerer Faktoren ab:

  • Die Anzahl der gleichzeitig ausgeführten kontinuierlichen Abfragen.
  • Die Komplexität der SQL-Anweisung.
  • Die Verwendung von zustandsorientierten Verarbeitungsfunktionen, einschließlich Fensterdauern, JOINs und Aggregationen.
  • Die Rate oder Geschwindigkeit eingehender Daten.
  • Die Struktur und Größe der aufgenommenen Daten.

Konzeptionell können Sie Ihren gesamten Slot-Bedarf als Funktion Ihrer kontinuierlichen Abfragearbeitslast schätzen:

Geschätzte Slots ≈ Anzahl der kontinuierlichen Abfragen x ∑ (Datenrate x Abfragekomplexität)

Da die tatsächliche Slot-Nutzung stark von Ihrer individuellen Arbeitslast und Ihren Datenmustern abhängt, ist die genaueste Methode zur Kostenschätzung das Monitoring eines laufenden Jobs. Sie können die maximale Slot-Nutzung einer isolierten kontinuierlichen Abfrageausführung mithilfe von INFORMATION_SCHEMA-Ansichten messen. Eine ausführliche Anleitung und Beispielabfragen zum Erfassen der Slot-Nutzung im Zeitverlauf finden Sie unter Informationen zum Slot-Verbrauch ansehen.

Nächste Schritte

Erstellen Sie eine kontinuierliche Abfrage.