Dataset-Statistiken generieren

Mit Data Insights können Sie Beziehungen zwischen Tabellen in BigQuery-Datasets und Apache Iceberg-Namespaces besser nachvollziehen. Dazu werden Beziehungen zwischen Tabellen in einem Diagramm erkannt und visualisiert, schemadefinierte, nutzungsbasierte oder KI-abgeleitete Beziehungen identifiziert und Beispielabfragen für mehrere Tabellen generiert.

Eine Übersicht über Tabellen- und Datensatz-Einblicke finden Sie unter Übersicht über Dateneinblicke.

Modi zum Generieren von Dataset-Statistiken

Beim Generieren von Dataset-Statistiken bietet BigQuery zwei Modi:

Modus Beschreibung Nutzung
Generieren und veröffentlichen

Speichert generierte Dataset-Statistiken in Knowledge Catalog als Metadatenaspekte und -beziehungen. Sie benötigen die erforderlichen Berechtigungen zum Veröffentlichen. Wenn Sie Generieren und veröffentlichen verwenden, führt BigQuery Folgendes aus:

  • Speichert die Dataset-Beschreibung in Knowledge Catalog.
  • Erfasst vorgeschlagene Abfragen und Fragen als wiederverwendbare Aspekte.
  • Erfasst Beziehungen als Metadaten in Knowledge Catalog.
  • Ermöglicht Nutzern mit entsprechendem Knowledge Catalog-Zugriff, veröffentlichte Insights anzusehen, um sicherzustellen, dass das Wissen der Organisation geteilt wird.
  • Sie können Beschreibungen direkt in Knowledge Catalog über die API bearbeiten und speichern. Sie können die vorgeschlagenen Abfragen in der Google Cloud Console bearbeiten.

Verwenden Sie diesen Modus für die unternehmensweite Datendokumentation, die dauerhaft und wiederverwendbar ist, oder wenn Sie kataloggesteuerte Governance-Workflows erstellen.
Ohne Veröffentlichung generieren

Erstellt bei Bedarf Dataset-Insights wie Beschreibungen, Fragen in natürlicher Sprache, Beziehungen und SQL-Abfragen. Wenn Sie Ohne Veröffentlichung generieren auswählen, werden die Statistiken nicht im Knowledge Catalog veröffentlicht.

Verwenden Sie diesen Modus für schnelle, Ad-hoc-Analysen, um den Katalog nicht zu überladen.

Hinweis

Datenstatistiken werden mit Gemini in BigQuery generiert. Damit Sie Statistiken generieren können, müssen Sie zuerst Gemini in BigQuery einrichten.

APIs aktivieren

Wenn Sie Dateneinblicke verwenden möchten, müssen Sie die folgenden APIs in Ihrem Projekt aktivieren: Dataplex API, BigQuery API und Gemini for Google Cloud API.

Erforderliche Rollen zum Aktivieren von APIs

Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

APIs aktivieren

Weitere Informationen zum Aktivieren der Gemini for Google Cloud API finden Sie unter Gemini for Google Cloud API in einem Projekt in Google Cloud aktivieren.

Datenprofilscan abschließen

Wenn Sie die Qualität der Statistiken verbessern möchten, generieren Sie einen Datenprofilscan für Tabellen in Ihrem Dataset.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Generieren, Verwalten und Abrufen von Dataset-Statistiken benötigen:

  • So generieren, verwalten und rufen Sie Statistiken ab:
    • Dataplex DataScan-Bearbeiter (roles/dataplex.dataScanEditor) oder Dataplex DataScan-Administrator (roles/dataplex.dataScanAdmin) für das Projekt
    • BigQuery-Dateneditor (roles/bigquery.dataEditor) für Tabellen
    • BigQuery-Nutzer (roles/bigquery.user) oder BigQuery Studio-Nutzer (roles/bigquery.studioUser) für das Projekt
    • BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) für das Projekt
  • So rufen Sie Statistiken auf:
  • Zum Veröffentlichen von Statistiken in Knowledge Catalog: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) für die Eintragsgruppe

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die genauen Berechtigungen anzuzeigen, die zum Generieren von Statistiken erforderlich sind:

Erforderliche Berechtigungen

  • bigquery.datasets.get: Dataset-Metadaten lesen
  • bigquery.jobs.create: Jobs erstellen
  • bigquery.jobs.listAll: Alle Jobs im Projekt auflisten
  • bigquery.tables.get: Tabellenmetadaten abrufen
  • bigquery.tables.getData: Tabellendaten und -metadaten abrufen
  • dataplex.datascans.create: Datenscan-Ressource erstellen
  • dataplex.datascans.get: Metadaten der Datenscan-Ressource lesen
  • dataplex.datascans.getData: Ergebnisse der Datenscanausführung lesen
  • dataplex.datascans.run: On-Demand-Datenscan ausführen
  • dataplex.entryGroups.useSchemaJoinEntryLink: schema-join-Eintragslinks verwenden
  • dataplex.entryGroups.useSchemaJoinAspect: Schema-Join-Aspekte verwenden
  • dataplex.entryLinks.create: Eintragsverknüpfungen erstellen
  • dataplex.entryLinks.update: Eintragslinks aktualisieren
  • dataplex.entryLinks.delete: Eintragslinks löschen
  • dataplex.entries.link: Verknüpfungseinträge
  • dataplex.entries.update: Einträge aktualisieren
  • dataplex.entryGroups.useDescriptionsAspect: Beschreibungsaspekte verwenden
  • dataplex.entryGroups.useQueriesAspect: Abfrageaspekte verwenden

Dataset-Statistiken generieren

Console

  1. Wechseln Sie in der Google Cloud Console zu BigQuery Studio.

    Zu BigQuery Studio

  2. Wählen Sie im Bereich Explorer das Projekt und das Dataset aus, für die Sie Statistiken generieren möchten. Wählen Sie für Iceberg-Namespaces das Dataset aus, das Ihren Katalog-Namespace darstellt.

  3. Klicken Sie auf den Tab Statistiken.

    Wenn der Tab leer ist, wurden für dieses Dataset noch keine Statistiken generiert.

  4. Klicken Sie auf Generieren.

  5. Wählen Sie die Veröffentlichungsbedingung aus:

    • Wenn Sie Statistiken generieren und dauerhaft als Metadatenaspekte an das Asset anhängen möchten, aktivieren Sie die Option Veröffentlichungsbedingung. Dadurch werden die Statistiken indexierbar, suchbar und für andere Nutzer in Ihrer Organisation sichtbar.

    • Wenn Sie während der aktuellen Sitzung vorübergehend Statistiken generieren und ansehen möchten, deaktivieren Sie die Option Bedingung veröffentlichen.

    Weitere Informationen zu den Unterschieden zwischen den Modi Generieren und veröffentlichen und Generieren ohne Veröffentlichung finden Sie unter Modi zum Generieren von Dateneinblicken.

  6. Optional: Geben Sie im Feld Benutzerdefinierte Anweisungen Anleitungen und Domainkontext an, um anzupassen, wie Gemini Insights generiert.

    Sie können beispielsweise Namenskonventionen erzwingen, Geschäftsdefinitionen angeben oder Join-Schlüssel beschreiben:

    LANGUAGE: Always write column descriptions in uppercase.

DOMAIN_CONTEXT:
- This dataset supports the Order-to-Cash process for the EMEA commercial
  sales team.
- Primary consumers are finance analysts and regional sales managers, not
  engineers.

RELATIONSHIPS:
- returns.order_item_id → order_items.id (one-to-one; use LEFT JOIN to
  preserve unreturned items)

  7. Wenn sich Ihr Dataset in einer Multiregion befindet, werden Sie möglicherweise aufgefordert, eine Region auszuwählen, um Insights zu generieren. Wählen Sie eine Region am multiregionalen Standort aus, an dem der Insights-Scan erstellt wird.

    Es dauert einige Minuten, bis die Statistiken erfasst werden. Die Qualität der Statistiken verbessert sich, wenn die Tabellen im Dataset Ergebnisse der Datenprofilerstellung enthalten.

Nachdem die Insights generiert wurden, zeigt BigQuery eine Dataset-Beschreibung, ein Beziehungsdiagramm, eine Beziehungstabelle und Beispielabfragen über mehrere Tabellen hinweg an.

REST

Wenn Sie Insights programmatisch generieren möchten, verwenden Sie die DataScans API von Knowledge Catalog. Dazu müssen Sie die folgenden Schritte ausführen:

  1. Datenscan für die Datendokumentation für das BigQuery-Dataset generieren
  2. Status des Scans der Datendokumentation prüfen
  3. Veröffentlichung im Knowledge Catalog prüfen

Datenscan für die Datendokumentation für das BigQuery-Dataset generieren

  1. Erstellen Sie einen Datenscan für die Datendokumentation mit der Methode dataScans.create. Optional können Sie diese Statistiken in Knowledge Catalog veröffentlichen, indem Sie den Parameter catalog_publishing_enabled auf true setzen.

    Beispiel:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die ID Ihres Google Cloud-Projekts, in dem sich das Dataset befindet
    • LOCATION: die Region, in der der Datenscan ausgeführt wird
    • DATASCAN_ID: Ein eindeutiger Name, den Sie für diesen Scan angeben.
    • DATASET_ID: die ID des BigQuery-Datasets, das gescannt wird

  2. Starten Sie den Scandatendokumentationsjob mit der Methode dataScans.run.

    Beispiel:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Diese Anfrage gibt eine eindeutige Job-ID zusammen mit dem Anfangsstatus zurück.

Status des Scans der Datendokumentation prüfen

Prüfen Sie mit der Methode dataScans.get, ob die Ausführung des Scan-Jobs abgeschlossen ist. Wenn Sie die vollständigen Ergebnisse einschließlich der Statistiken und des Veröffentlichungsstatus abrufen möchten, setzen Sie den Parameter view auf FULL.

Verwenden Sie die Job-ID, um den Status des Jobs abzurufen. Beispiel:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

Der Job ist abgeschlossen, wenn der Status entweder SUCCEEDED oder FAILURE lautet.

Eine erfolgreiche Jobantwort enthält die generierten Insights im Feld dataDocumentationResult.

Veröffentlichung in Knowledge Catalog überprüfen

Wenn catalog_publishing_enabled auf true gesetzt ist, werden die Statistiken nach Abschluss des Datenscanjobs asynchron in Knowledge Catalog veröffentlicht. Wenn Sie prüfen möchten, ob die Statistiken beibehalten wurden, verwenden Sie die Dataplex API, um die Aspekte des Datasets zu prüfen.

Die Statistiken werden zwar aus dem Datenscan auf Dataset-Ebene generiert, die resultierenden Eintragslinks werden jedoch zwischen den Tabellen gespeichert, die sie verbinden. Verwenden Sie die Methode lookupEntryLinks, um die mit einem bestimmten Tabelleneintrag verknüpften Eintragslinks abzurufen und diese Beziehungen zu prüfen.

Verwenden Sie die Methode entries.get, um Metadaten für Ihr BigQuery-Dataset abzurufen. Wenn Sie alle Aspekte einbeziehen möchten, setzen Sie den Parameter view auf FULL. Beispiel:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID Ihres Google Cloud-Projekts, in dem der Datenscan konfiguriert wurde
  • LOCATION: die Region, in der sich die Eintraggruppe befindet
  • DATASET_PROJECT_ID: die ID des Google Cloud-Projekts, in dem sich das BigQuery-Dataset befindet
  • DATASET: die ID des BigQuery-Datasets

Wenn die Veröffentlichung im Knowledge Catalog erfolgreich ist, werden die folgenden Aspekte an das BigQuery-Dataset angehängt:

  • Beschreibungen: enthält KI-generierte Beschreibungen des Datasets
  • Abfragen: Enthält relevante SQL-Abfragen, die sich auf das Dataset beziehen.
  • Beziehungen: Werden als Eintragslinks zwischen den im Dataset vorhandenen Tabellen beibehalten

Dataset-Beschreibung ansehen und speichern

Gemini generiert eine Beschreibung des Datasets in natürlicher Sprache und fasst die darin enthaltenen Tabellentypen und den dargestellten Geschäftsbereich zusammen. Klicken Sie auf In Details speichern, um diese Beschreibung in den Metadaten des Datasets zu speichern.

Sie können die Beschreibung bearbeiten, bevor Sie die Details speichern.

Beziehungsdiagramm ansehen

Das Diagramm Beziehungen bietet eine visuelle Darstellung der Beziehungen zwischen den Tabellen im Dataset. Die zehn am häufigsten verbundenen Tabellen werden als Knoten angezeigt, wobei Linien die Beziehungen zwischen ihnen darstellen.

  • Wenn Sie Beziehungsdetails wie die Spalten sehen möchten, die zwei Tabellen verbinden, bewegen Sie den Mauszeiger auf die Kante, die die Tabellenknoten verbindet.
  • Sie können die Tabellenknoten ziehen, um das Diagramm für eine bessere Sichtbarkeit neu anzuordnen.

Beziehungstabelle verwenden

In der Beziehungstabelle werden die erkannten Beziehungen in einem Tabellenformat aufgeführt. Jede Zeile stellt eine Beziehung zwischen zwei Tabellen dar und zeigt die Quelltabelle und -spalte sowie die Zieltabelle und -spalte. In der Spalte Quelle wird angegeben, wie die Beziehung ermittelt wurde:

  • Vom LLM abgeleitet. Von Gemini abgeleitete Beziehungen, basierend auf Tabellen- und Spaltennamen sowie Beschreibungen im gesamten Dataset.
  • Nutzungsbasiert Beziehungen, die aus Abfragelogs extrahiert wurden, basierend auf häufigen Joins.
  • Im Schema definiert. Beziehungen, die aus vorhandenen Primärschlüssel- und Fremdschlüsselzuordnungen im Tabellenschema abgeleitet werden.

Sie können die Beziehungen für eine bestimmte Tabelle filtern oder Feedback zur Qualität der erkannten Beziehungen geben. Wenn Sie die generierte Dataset-Beschreibung und die Beziehungen in eine JSON-Datei exportieren möchten, klicken Sie auf Als JSON exportieren.

Abfrageempfehlungen verwenden

Basierend auf den erkannten Beziehungen generiert Gemini Beispielabfragen. Dies sind Fragen in natürlicher Sprache mit entsprechenden SQL-Abfragen, die mehrere Tabellen im Dataset verknüpfen.

  1. Klicken Sie auf eine Frage, um die zugehörige SQL-Abfrage aufzurufen.

  2. Klicken Sie auf In Abfrage kopieren, um die Abfrage im BigQuery-Abfrageeditor zu öffnen. Sie können die Abfrage dann ausführen oder ändern.

  3. Wenn Sie eine weiterführende Frage stellen möchten, klicken Sie auf Weiterführende Frage stellen. Dadurch wird ein unbenannter Data Canvas geöffnet, in dem Sie mit Gemini chatten können, um Ihre Daten zu analysieren.

KI-Insights verwalten

Nachdem Sie Insights für ein Dataset generiert haben, können Sie diese in Knowledge Catalog verwalten, aktualisieren oder löschen. Weitere Informationen finden Sie unter Dataset-Statistiken verwalten.

Nächste Schritte