Übersicht über Dateneinblicke

Mit Dateneinblicken können Sie unbekannte Daten mithilfe von KI-generierten Beschreibungen, Beziehungsdiagrammen und SQL-Abfragen untersuchen. Diese Gemini in BigQuery-Funktion analysiert Ihre Metadaten, damit Sie Datenstrukturen und Inhalte schnell verstehen können. Mit diesen Statistiken können Sie Ihre Analyse ohne umfangreiche manuelle Einrichtung beginnen.

Hinweis

Datenstatistiken werden mit Gemini in BigQuery generiert. Damit Sie Statistiken generieren können, müssen Sie zuerst Gemini in BigQuery einrichten.

Arten von Datenerkenntnissen

Sie können Dateneinblicke auf Tabellen- oder Dataset-Ebene generieren:

  • Für Tabellen: Gemini generiert Fragen in natürlicher Sprache und die entsprechenden SQL-Abfragen, damit Sie die Daten in einer einzelnen Tabelle besser verstehen können. Mithilfe von Tabellenstatistiken können Sie Datenmuster, Anomalien, Ausreißer oder Qualitätsprobleme in einer Tabelle erkennen. Gemini generiert auch Tabellen- und Spaltenbeschreibungen.

  • Für Datasets und Apache Iceberg-Namespaces: Gemini generiert ein interaktives Beziehungsdiagramm, das tabellenübergreifende Beziehungen und tabellenübergreifende SQL-Abfragen zeigt. So können Sie besser nachvollziehen, wie Tabellen in einem Dataset zusammenhängen. Mithilfe von Beziehungsdiagrammen können Sie herausfinden, wie Daten abgeleitet werden. Das kann bei Problemen mit der Qualität, Konsistenz oder Redundanz hilfreich sein. Mit tabellenübergreifenden Abfragen können Sie umfassendere Beziehungen finden. Sie können beispielsweise den Umsatz nach Kundensegment berechnen, indem Sie Daten in einer Verkaufstabelle und einer Kundentabelle verwenden.

    Da Iceberg-Namespaces in BigQuery nativ als Datasets dargestellt werden, können Sie dieselben Statistiken auf Dataset-Ebene direkt für Iceberg-Namespaces generieren.

Wenn Sie weitere Informationen benötigen, können Sie im Data Canvas weiterführende Fragen stellen.

Tabellenstatistiken

Tabellenstatistiken helfen Ihnen, den Inhalt, die Qualität und die Muster in einer einzelnen BigQuery-Tabelle zu verstehen. Wenn Sie beispielsweise Abfragen generieren, die statistische Analysen durchführen, können Sie mit Tabellenstatistiken Datenmuster, Anomalien und Ausreißer erkennen. Tabellenstatistiken können Ihnen auch dabei helfen, Qualitätsprobleme zu erkennen, insbesondere wenn Datenprofilscans für eine Tabelle verfügbar sind. Wenn Sie Statistiken für eine Tabelle generieren, stellt Gemini basierend auf den Metadaten der Tabelle eine Tabellenbeschreibung, Spaltenbeschreibungen und die Ausgabe des Profilscans bereit. Folgende Optionen sind verfügbar:

  • Abfragen generieren: Schlägt Fragen in natürlicher Sprache vor und stellt die entsprechenden SQL-Abfragen bereit, um sie zu beantworten. So können Sie Muster erkennen, die Datenqualität bewerten und statistische Analysen durchführen, ohne SQL von Grund auf neu schreiben zu müssen.
  • Beschreibungen generieren: Generiert Beschreibungen für die Tabelle und ihre Spalten. Gemini verwendet die Ausgabe des Profilscans (falls verfügbar), um die generierten Beschreibungen zu fundieren. Sie können diese Beschreibungen prüfen, bearbeiten und in Knowledge Catalog veröffentlichen, um die Auffindbarkeit und Dokumentation von Daten zu verbessern.

Dataset-Statistiken

Mit Dataset-Statistiken können Sie die Beziehungen und Join-Pfade zwischen mehreren Tabellen in einem BigQuery-Dataset (oder einem als Dataset dargestellten Iceberg-Namespace) nachvollziehen und erhalten so einen ganzheitlichen Überblick über die Inhalte. Wenn Sie Statistiken für ein Dataset oder einen Namespace generieren, stellt Gemini Folgendes bereit:

  • Dataset-Beschreibung: Eine KI-generierte Zusammenfassung des Datasets.
  • Beziehungen: Zeigt eine visuelle, interaktive Karte mit den Beziehungen zwischen den Tabellen im Dataset an. Sie können den Mauszeiger auf Verbindungen bewegen, um Beziehungsdetails wie Join-Schlüssel aufzurufen.
  • Beziehungstabelle: Zeigt eine tabellarische Ansicht der Beziehungen zwischen Tabellen, einschließlich Fremdschlüsseln und abgeleiteten Joins. Beziehungen können schemadefiniert (aus Primär- und Fremdschlüsseleinschränkungen), nutzungsbasiert (aus Abfrageprotokollen) oder von Gemini anhand von Tabellen- und Spaltennamen und ‑beschreibungen abgeleitet sein.
  • Abfrageempfehlungen: Hier finden Sie SQL-Beispielabfragen, die zeigen, wie Sie Daten aus verschiedenen Tabellen basierend auf den identifizierten Beziehungen zusammenführen können.

Beispiel für Tabellendatenstatistiken

Betrachten Sie eine Tabelle mit dem Namen telco_churn und den Spalten CustomerID, Tenure, InternetService, Contract, MonthlyCharges und Churn. In der folgenden Tabelle wird das Schema der Tabelle beschrieben.

Feldname Typ
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Dateneinblicke generiert die folgenden Beispielabfragen für diese Tabelle:

  • Kunden ermitteln, die alle Premiumdienste abonniert haben und seit mehr als 50 Monaten Kunde sind.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Ermitteln, welcher Internetdienst die meisten abgewanderten Kunden hat.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Beispiel für Datenerkenntnisse aus einem Dataset

Angenommen, Sie haben ein Dataset mit den Tabellen order_items und inventory_items. Dataset-Statistiken können ableiten, dass sich order_items.inventory_item_id auf inventory_items.id bezieht.

Basierend auf diesen Beziehungen könnte Gemini die folgende tabellenübergreifende Abfrage generieren:

Die fünf Produktkategorien mit dem höchsten durchschnittlichen Verkaufspreis und den entsprechenden durchschnittlichen Kosten identifizieren.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Workflows für Dateneinblicke

In diesem Abschnitt werden die wichtigsten Workflows beschrieben, die verschiedene Nutzerrollen mit der Funktion für Dateneinblicke in BigQuery ausführen können.

Workflows für Datennutzer

Diese Workflows konzentrieren sich auf Aufgaben für Datenanalysten, Geschäftsanalysten und andere Nutzer, die Daten finden, verstehen und analysieren müssen.

  • BigQuery-Tabelle verstehen: Sie können das Schema, den Inhalt und die potenziellen Verwendungsmöglichkeiten einer bestimmten Tabelle schnell erfassen. Nachdem Sie eine Tabelle in BigQuery Studio ausgewählt haben, können Sie die folgenden Aufgaben ausführen:

    • Überprüfen Sie die automatisch generierten Tabellen- und Spaltenbeschreibungen.

    • Vorgeschlagene Fragen in natürlicher Sprache und entsprechende SQL-Abfragen prüfen, um Datennuancen zu verstehen.

    • Passen Sie vorgeschlagene Abfragen an und führen Sie sie aus, um mit der Analyse zu beginnen.

    Weitere Informationen zum Generieren und Aufrufen von Tabellenstatistiken finden Sie unter Tabellenstatistiken generieren.

  • Gesamtes Dataset oder gesamten Namespace untersuchen: Entdecken Sie die Beziehungen zwischen Tabellen in einem Dataset (oder einem Iceberg-Namespace, der als Dataset dargestellt wird) und machen Sie sich mit der Gesamtstruktur vertraut. Nachdem Sie ein Dataset in BigQuery Studio ausgewählt haben, können Sie die folgenden Aufgaben ausführen:

    • Dataset-Statistiken generieren und ansehen

    • Verwenden Sie das interaktive Beziehungsdiagramm, um Tabellenverbindungen zu visualisieren.

    • Analysieren Sie die Beziehungstabelle auf Join-Schlüssel und Verbindungstypen (schemadefiniert, nutzungsbasiert, LLM-abgeleitet).

    • Verwenden Sie vorgeschlagene tabellenübergreifende SQL-Abfragen, um mehrere Tabellen effektiv abzufragen.

    Weitere Informationen zum Generieren und Aufrufen von Dataset-Statistiken finden Sie unter Dataset-Statistiken generieren.

Workflows für Datenersteller

Diese Workflows sind für Data Engineers, Analytics Engineers und andere Personen gedacht, die Daten-Assets erstellen und verwalten.

  • Dokumentation zu Referenzdaten generieren: Erstellen und verwalten Sie automatisch wichtige Metadatenbeschreibungen. Sie können folgende Aufgaben ausführen:

    • Nachdem Sie eine Tabelle erstellt oder geändert haben, können Sie Dateneinblicke auslösen, um Tabellen- und Spaltenbeschreibungen zu generieren. Sie können diese Beschreibungen auch in großem Umfang mit der API für die automatisierte Metadatengenerierung im Knowledge Catalog generieren.

    • Überprüfen und verfeinern Sie den KI-generierten Text, um die technische Genauigkeit und geschäftliche Relevanz sicherzustellen.

    Weitere Informationen zum Generieren von Tabellen- und Spaltenbeschreibungen finden Sie unter Tabellenstatistiken generieren.

  • Verständnis von Datasets für Nutzer verbessern: Machen Sie es Nutzern leichter, die bereitgestellten Datasets zu verstehen und zu verwenden. Sie können folgende Aufgaben ausführen:

    • Dataset-Statistiken für wichtige Datasets generieren, insbesondere für solche mit komplexen Beziehungen.

    • Sie können die generierten Insights an den spezifischen geschäftlichen Kontext Ihrer Organisation anpassen, indem Sie benutzerdefinierte Anweisungen bereitstellen, in denen wichtige Ziele, Fachwissen und Terminologie definiert sind. Sie können beispielsweise Namenskonventionen erzwingen, Geschäftsdefinitionen angeben oder Join-Schlüssel beschreiben.

    • Achten Sie darauf, dass Datenprofilscans für Tabellen ausgeführt werden, um einen umfassenden Kontext für genauere und nützlichere Insights zu erhalten.

    Weitere Informationen finden Sie unter Dataset-Statistiken generieren und Statistiken auf Datenprofilerstellungsergebnisse fundieren.

Workflows für Data Stewards

Diese Workflows unterstützen Data Stewards und Governance-Teams dabei, die Datenintegrität und das Vertrauen in die Daten zu wahren.

  • KI-generierte Metadaten validieren und prüfen: Stellen Sie die Accuracy und Zuverlässigkeit der Metadaten sicher, die durch Dateneinblicke generiert werden. Sie können folgende Aufgaben ausführen:

    • Überprüfen Sie regelmäßig die von der Statistikfunktion generierten Beschreibungen und Beziehungen.

    • Vergleichen Sie abgeleitete Beziehungen im Beziehungsdiagramm mit etablierten Datenmodellen und Geschäftslogik.

    • Prüfen Sie die KI-generierten Metadaten und korrigieren Sie Ungenauigkeiten.

    Weitere Informationen finden Sie unter Tabellenstatistiken generieren und Dataset-Statistiken generieren.

Preise

Weitere Informationen zu den Preisen für diese Funktion finden Sie unter Data Cloud-Agent – Preise.

Kontingente und Limits

Informationen zu Kontingenten und Limits für diese Funktion finden Sie unter Kontingente für Gemini in BigQuery.

Beschränkungen

Für Dateneinblicke gelten die folgenden Einschränkungen:

  • Dateneinblicke sind für BigQuery-Tabellen, BigLake-Tabellen, externe Tabellen, Ansichten und Iceberg-Namespaces verfügbar.

  • Für Multi-Cloud-Kunden sind Daten aus anderen Clouds nicht verfügbar.

  • Data Insights unterstützen die Spaltentypen GEO und JSON nicht.

  • Insights-Ausführungen bedeuten nicht, dass jedes Mal Abfragen dargestellt werden. Starten Sie die Insight-Pipeline noch einmal, um die Wahrscheinlichkeit zu erhöhen, nützlichere Abfragen zu erzeugen.

  • Für Tabellen mit Zugriffssteuerung auf Spaltenebene und eingeschränkten Nutzerberechtigungen können Sie Insights generieren, wenn Sie Lesezugriff auf alle Spalten der Tabelle haben. Zum Ausführen der generierten Abfragen benötigen Sie ausreichende Berechtigungen.

  • Gemini generiert Spaltenbeschreibungen für maximal 350 Spalten in einer Tabelle.

  • Bei Dataset-Statistiken können Sie Beziehungen im Beziehungsdiagramm nicht bearbeiten.

  • Wenn Sie neue Dataset-Statistiken generieren, werden die vorherigen Statistiken für dieses Dataset überschrieben.

  • Dataset-Statistiken unterstützen keine verknüpften Datasets.

Standorte

Sie können Dateneinblicke an allen BigQuery-Standorten verwenden. Informationen dazu, wo Gemini in BigQuery Ihre Daten verarbeitet, finden Sie unter Wo Gemini in BigQuery Ihre Daten verarbeitet.

Nächste Schritte