Data Insights für strukturierte Daten

Die Funktion für Dateneinblicke in Knowledge Catalog (früher Dataplex Universal Catalog) generiert automatisch Beschreibungen, Beziehungsdiagramme und SQL-Abfragen aus Ihren Tabellen- und Dataset-Metadaten. Anhand dieser Informationen können Sie die Datenstruktur, den Inhalt und die Beziehungen schnell nachvollziehen, ohne dass eine aufwendige manuelle Einrichtung erforderlich ist. Wenn Sie weitere Informationen benötigen, können Sie im Data Canvas weiterführende Fragen stellen.

Bei der explorativen Datenanalyse einer neuen, unbekannten Tabelle haben Datenanalysten oft Schwierigkeiten, zu wissen, wie sie mit dem Schreiben von Abfragen beginnen sollen. Das Problem kann Unsicherheiten in Bezug auf die Datenstruktur und Schlüsselmuster in den Daten beinhalten. Die Knowledge Catalog-Funktion „Dateneinblicke“ bietet eine automatisierte Möglichkeit, Ihre Daten zu untersuchen und zu verstehen. Damit können Sie Muster erkennen, die Datenqualität bewerten und statistische Analysen auslösen.

Übersicht

Bei Dateneinblicken wird Gemini verwendet, um Ihre Metadaten zu analysieren und Folgendes zu generieren:

  • Beschreibungen: KI-generierte Zusammenfassungen, in denen der Zweck des Datasets oder Namespace, die Struktur der Tabelle und die Details bestimmter Spalten erläutert werden.

  • Beispielabfragen: Maßgeschneiderte GoogleSQL- und Spark SQL-Abfragen, die speziell für das Schema und den Inhalt Ihres Datasets, Namespace oder Ihrer Tabelle entwickelt wurden.

  • Beziehungsdiagramme: Visualisierungen, die die Verbindungen und Abhängigkeiten zwischen verschiedenen Tabellen in Ihrem Dataset oder Namespace zeigen.

Außerdem unterstützen Dateneinblicke benutzerdefinierte Anweisungen (Vorabversion). Mit benutzerdefinierten Anweisungen können Data Stewards festlegen, wie Statistiken generiert werden, indem sie spezifische Geschäftsziele, Fachwissen und Organisationsvokabular bereitstellen.

Unterstützte Ressourcen

Dateneinblicke sind für die folgenden Typen strukturierter Daten verfügbar:

  • BigQuery-Datasets, -Tabellen und -Ansichten
  • Grenzenlose Lakehouse-Tabellen (einschließlich Apache Iceberg, Apache Hive und SAP BDC)
  • Externe Tabellen
  • Apache Iceberg REST-Katalogtabellen
  • Apache Iceberg-Namespaces (in BigQuery als Datasets dargestellt)
  • Apache Hive-Katalogtabellen
  • SAP Business Data Cloud-Tabellen (BDC)

Beispiel für eine Ausführung von Statistiken

Dateneinblicke generiert automatisch Abfragen in natürlicher Sprache und die entsprechenden SQL-Abfragen basierend auf den Metadaten einer Tabelle. Für Iceberg-Tabellen werden auch Spark SQL-Entsprechungen generiert.

Beispiel: SQL Insights

Betrachten Sie eine Tabelle mit dem Namen telco_churn und dem folgenden Schema:

Feldname Typ
Kundennummer STRING
Geschlecht STRING
Zugehörigkeit zum Unternehmen INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Vertrag STRING
TechSupport STRING
Zahlungsmethode STRING
Monatliche Gebühren FLOAT
Abwanderung BOOLEAN

Im Folgenden finden Sie einige der Beispielabfragen, die von Dateneinblicken für diese Tabelle generiert werden:

  • Kunden ermitteln, die alle Premiumdienste abonniert haben und seit mehr als 50 Monaten Kunde sind.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Ermitteln, welcher Internetdienst die meisten abgewanderten Kunden hat.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Abwanderungsraten nach Segment bei Kunden mit hohem Umsatzpotenzial ermitteln

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Beispiel: Spark SQL-Statistiken

Betrachten Sie eine Apache Iceberg-Tabelle mit dem Namen catalog_metrics und dem folgenden Schema:

Feldname Typ
Details STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
price DOUBLE
Metadaten STRUCT
is_active BOOLEAN

Im Folgenden finden Sie einige der Spark SQL-Beispielabfragen, die von Data Insights für diese Tabelle generiert werden:

  • Berechnen Sie die kumulative Summe von precise_measure, sortiert nach creation_time für jeden details.field1.

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • Rufen Sie den Höchstpreis für jede Kombination aus details.field1 und details.field2 ab, aber nur für Datensätze, die in den letzten 30 Tagen erstellt wurden.

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • Durchschnittlichen metadata.value für Elemente abrufen, bei denen is_active auf false festgelegt ist.

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

Modi zum Generieren von Dateneinblicken

Beim Generieren von Dateneinblicken bietet Knowledge Catalog zwei Modi:

Modus Beschreibung Nutzung
Generieren und veröffentlichen

Speichert generierte Dateneinblicke als Metadatenaspekte in Knowledge Catalog. Sie benötigen die erforderlichen Berechtigungen zum Veröffentlichen. Wenn Sie Generieren und veröffentlichen verwenden, geschieht Folgendes:

  • Speichert Tabellen- und Spaltenbeschreibungen in Knowledge Catalog.
  • Erfasst vorgeschlagene Abfragen und Fragen als wiederverwendbare Aspekte.
  • Veröffentlichte Insights werden für alle Nutzer zugänglich gemacht, die über den entsprechenden Knowledge Catalog-Zugriff verfügen. So wird sichergestellt, dass das Wissen innerhalb der Organisation geteilt wird.
  • Ermöglicht das Bearbeiten und Speichern von Beschreibungen direkt in Knowledge Catalog.

Verwenden Sie diesen Modus für die unternehmensweite Datendokumentation, die dauerhaft und wiederverwendbar ist, oder beim Erstellen von kataloggesteuerten Governance-Workflows.
Ohne Veröffentlichung generieren

Erstellt bei Bedarf Dateneinblicke wie Beschreibungen, Fragen in natürlicher Sprache und SQL-Abfragen. Bei Ohne Veröffentlichung generieren werden keine Statistiken im Knowledge Catalog veröffentlicht.

Verwenden Sie diesen Modus für schnelle, Ad-hoc-Analysen, um den Katalog nicht zu überladen.

Preise

Weitere Informationen zu den Preisen für diese Funktion finden Sie unter Data Cloud-Agent – Preise.

Informationen zum Verfolgen des Tokenverbrauchs für Scan-Jobs für Dateneinblicke und zum Erstellen benutzerdefinierter Dashboards in Cloud Monitoring finden Sie unter Tokennutzung für Dateneinblicke überwachen.

Kontingente und Limits

Informationen zum Verwalten von Kosten und zum Festlegen von Limits für die Nutzung von Tokens für Dateneinblicke finden Sie unter Kontingente und Limits für Dateneinblicke.

Standorte

Sie können Dateneinblicke an allen BigQuery-Standorten verwenden. Informationen dazu, wo Gemini in BigQuery Ihre Daten verarbeitet, finden Sie unter Wo Gemini in BigQuery Ihre Daten verarbeitet.

Beschränkungen

  • Für Multi-Cloud-Kunden sind Daten aus anderen Clouds nicht verfügbar.
  • Data Insights unterstützen die Spaltentypen Geo und JSON nicht.
  • Insights-Ausführungen bedeuten nicht, dass jedes Mal Abfragen dargestellt werden. Wenn Sie die Wahrscheinlichkeit erhöhen möchten, dass nützlichere Abfragen generiert werden, generieren Sie die Statistiken in BigQuery Studio neu.

Nächste Schritte