Datenprofilerstellung

Knowledge Catalog (früher Dataplex Universal Catalog) erleichtert das Verständnis und die Analyse Ihrer Daten, indem automatisch Profile für Ihre BigQuery-,Google Cloud Lakehouse Iceberg REST Catalog-, SAP Business Data Cloud (BDC) Delta Lake- und Hive-Tabellen erstellt werden.

Die Profilerstellung ist wie ein detaillierter Gesundheitsbericht für Ihre Daten. Sie erhalten wichtige Statistiken, z. B. zu häufigen Werten, zur Verteilung der Daten und zur Anzahl der fehlenden Einträge (Null-Anzahl). Diese Informationen beschleunigen Ihre Analyse.

Beim Datenprofiling werden Regeln für die Datenqualitätsprüfung empfohlen, damit Ihre Daten zuverlässig bleiben.

Konzeptionelles Modell

Mit Knowledge Catalog können Sie das Profil Ihrer Daten besser verstehen, indem Sie einen Datenprofilscan erstellen. Ein Datenprofilscan ist ein Knowledge Catalog-Datenscan, bei dem eine BigQuery-, Google Cloud Lakehouse Iceberg REST Catalog-, SAP BDC Delta Lake- oder Hive-Tabelle analysiert wird, um statistische Informationen zu generieren.

Das folgende Diagramm zeigt, wie Knowledge Catalog Daten scannt, um statistische Merkmale zu melden.

Bei einem Datenprofilscan werden Tabellendaten analysiert, um statistische Merkmale zu ermitteln.

Ein Datenprofilscan ist mit einer BigQuery-, Google CloudLakehouse Iceberg REST Catalog-, SAP BDC Delta Lake- oder Hive-Tabelle verknüpft und scannt die Tabelle, um die Datenprofilergebnisse zu generieren. Ein Datenprofilscan unterstützt mehrere Konfigurationsoptionen.

Konfigurationsoptionen

In diesem Abschnitt werden die Konfigurationsoptionen beschrieben, die für die Ausführung von Datenprofilscans verfügbar sind.

Profilerstellungsmodi

Sie können zwischen den folgenden Profilerstellungsmodi wählen:

  • Standard: Dies ist der Standardmodus. Es bietet ein umfassendes und anpassbares Profil, indem Ihre Daten anhand der von Ihnen angegebenen Stichproben und Filter gescannt werden. Der Standardmodus eignet sich für detaillierte Analysen und die langfristige Überwachung von Datenmerkmalen.

  • Lightweight (Vorabversion): Dieser Modus bietet Profilscans mit niedriger Latenz, die Ergebnisse in Sekunden zurückgeben. Es ist für Geschwindigkeit und Kosteneffizienz optimiert, um Anwendungsfälle wie die folgenden zu unterstützen:

    • Fundierung von KI-Agentenantworten mit unmittelbaren Datenmerkmalen
    • Kostengünstige, umfangreiche Vorabgenerierung von Profilen für die globale Datenerkennung
    • Schnelle Integritätsberichte während der interaktiven Datenexploration

    Für den einfachen Modus gelten die folgenden Einschränkungen:

    • Im Gegensatz zum Standardprofilmodus können Sie den Umfang, die Filter oder die Stichprobengröße bei einfachen Scans nicht ändern.
    • BigQuery-Ansichten und externe Tabellen werden nicht unterstützt.

Planungsoptionen

Sie können einen Datenprofilscan mit einer definierten Häufigkeit planen oder den Scan bei Bedarf ausführen. Wenn ein Scanauftrag länger als erwartet dauert, können Sie den Auftrag abbrechen.

Ausführungsidentität

Standardmäßig verwendet Knowledge Catalog einen zentralen Dienst-Agent (service-PROJECT_NUMBER@gcp-sa-dataplex.), um Datenprofilscans auszuführen.

Sie können diese Standardausführungsidentität auch überschreiben, indem Sie ein benutzerdefiniertes Dienstkonto angeben oder Ihre eigenen Endnutzer-Anmeldedaten (EUC) verwenden. Das hat mehrere Vorteile:

  • Prinzip der geringsten Berechtigung: Weisen Sie einem dedizierten Dienstkonto nur die genauen IAM-Berechtigungen (Identity and Access Management) zu, die für bestimmte Datenprofilerstellungsaufgaben erforderlich sind. So minimieren Sie überdimensionierte Zugriffsrechte.
  • Detaillierte Zugriffssteuerung: Berechtigungen können auf bestimmte Ressourcen beschränkt werden, was die Einbindung in Zugriffsrichtlinien auf Zeilen- und Spaltenebene in BigQuery ermöglicht.
  • Verbesserte Prüfbarkeit: Sie können bestimmten Scans benutzerdefinierte Dienstkonten oder Nutzeranmeldedaten zuweisen, um die Nachverfolgung und Protokollierung von Aktivitäten in Audit-Logs zu vereinfachen.
  • Vereinheitlichung der Abrechnung: Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, werden die Verarbeitungs- und Speicherkosten direkt unter BigQuery zentralisiert (Knowledge Catalog Premium-SKUs werden umgangen). So können Sie BigQuery-Unternehmensrabatte und Slot-Zusicherungen nutzen.

Eine Anleitung zum Konfigurieren einer benutzerdefinierten Ausführungsidentität finden Sie unter Ausführungsidentität konfigurieren.

Netzwerkanforderungen

Wenn Sie einen Scan ausführen möchten, müssen Sie den privaten Google-Zugriff für das VPC-Subnetz aktivieren, das Sie für den Scan verwenden. Wenn Sie kein Subnetz angeben, muss für Ihr Standardsubnetz der privater Google-Zugriff aktiviert sein.

Umfang

Bei Standard-Profilscans können Sie den Umfang der zu scannenden Daten angeben:

  • Vollständige Tabelle: Die gesamte Tabelle wird im Datenprofilscan gescannt. Stichprobenerhebung, Zeilenfilter und Spaltenfilter werden auf die gesamte Tabelle angewendet, bevor die Profilerstellungsstatistiken berechnet werden.

  • Inkrementell: Die von Ihnen angegebenen inkrementellen Daten werden im Datenprofilscan gescannt. Geben Sie eine Date- oder Timestamp-Spalte in der Tabelle an, die als Inkrement verwendet werden soll. In der Regel ist dies die Spalte, nach der die Tabelle partitioniert ist. Stichproben, Zeilenfilter und Spaltenfilter werden auf die inkrementellen Daten angewendet, bevor die Profilerstellungsstatistiken berechnet werden.

Daten filtern

Bei Standard-Profilscans können Sie die zu scannenden Daten mithilfe von Zeilen- und Spaltenfiltern filtern. Mit Filtern können Sie die Laufzeit und die Kosten reduzieren und sensible und unnötige Daten ausschließen. Einfache Profilerstellungsscans unterstützen keine Spalten- und Zeilenfilter.

  • Zeilenfilter: Mit Zeilenfiltern können Sie sich auf Daten innerhalb eines bestimmten Zeitraums oder aus einem bestimmten Segment wie einer Region konzentrieren. Sie können beispielsweise Daten mit einem Zeitstempel vor einem bestimmten Datum herausfiltern.

  • Spaltenfilter: Mit Spaltenfiltern können Sie bestimmte Spalten in Ihre Tabelle aufnehmen oder daraus ausschließen, um den Datenprofilscan auszuführen.

Beispieldaten

Bei Standard-Profilscans können Sie einen Prozentsatz der Datensätze aus Ihren Daten angeben, die für die Ausführung eines Datenprofilscans herangezogen werden sollen. Wenn Sie Datenprofilscans für eine kleinere Datenstichprobe erstellen, können Sie die Laufzeit und die Kosten für die Abfrage des gesamten Datasets reduzieren.

Mehrere Datenprofilscans

Sie können mit der Google Cloud Console mehrere Datenprofilscans gleichzeitig erstellen. Sie können bis zu 100 Tabellen aus einem Dataset auswählen und für jedes Dataset einen Datenprofilscan erstellen. Weitere Informationen finden Sie unter Mehrere Datenprofilscans erstellen.

Scanergebnisse in eine BigQuery-Tabelle exportieren

Sie können die Ergebnisse des Datenprofilscans zur weiteren Analyse in eine BigQuery-Tabelle exportieren. Wenn Sie die Berichterstellung anpassen möchten, können Sie die BigQuery-Tabellendaten mit einem Looker-Dashboard verbinden. Sie können einen aggregierten Bericht erstellen, indem Sie dieselbe Ergebnistabelle für mehrere Scans verwenden.

Ergebnisse der Datenprofilerstellung

Die Ergebnisse des Datenprofilings enthalten die folgenden Werte:

Spaltentyp Ergebnisse der Datenprofilerstellung
Numerische Spalte
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen (unterschiedlichen) Werte.
  • Die zehn häufigsten Werte in der Spalte. Der Wert kann kleiner als 10 sein, wenn die Anzahl der eindeutigen Werte in der Spalte kleiner als 10 ist (Nullwerte sind nicht enthalten). Für jeden dieser häufigsten Werte wird der Prozentsatz des Vorkommens in den Daten angezeigt, die im aktuellen Scan gescannt wurden.
  • Durchschnitt, Standardabweichung, Minimum, ungefähres unteres Quartil, ungefährer Median, ungefähres oberes Quartil und Maximalwerte.
String-Spalte
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen (unterschiedlichen) Werte.
  • Die zehn häufigsten Werte in der Spalte. Es können auch weniger als zehn sein, wenn die Anzahl der eindeutigen Werte in der Spalte kleiner als zehn ist.
  • Durchschnittliche, minimale und maximale Länge des Strings.
Andere nicht verschachtelte Spalten (Datum, Uhrzeit, Zeitstempel, Binärdaten usw.)
  • Prozentsatz der Nullwerte.
  • Prozentsatz der ungefähren eindeutigen (unterschiedlichen) Werte.
  • Die zehn häufigsten Werte in der Spalte. Es können auch weniger als zehn sein, wenn die Anzahl der eindeutigen Werte in der Spalte kleiner als zehn ist.
Alle anderen verschachtelten oder komplexen Datentypspalten (z. B. Record, Array, JSON) oder alle Spalten mit dem Modus repeated.
  • Prozentsatz der Nullwerte.

Die Ergebnisse enthalten die Anzahl der in jedem Job gescannten Einträge.

Berichterstellung und Überwachung

Sie können die Ergebnisse der Datenprofilerstellung mit den folgenden Berichten und Methoden überwachen und analysieren:

  • Berichte, die mit der Quelltabelle auf den BigQuery- und Knowledge Catalog-Seiten veröffentlicht wurden

    Wenn Sie einen Datenprofilscan so konfigurieren, dass die Ergebnisse in BigQuery und Knowledge Catalog veröffentlicht werden, können Sie die neuesten Ergebnisse des Datenprofilscans auf dem Tab Datenprofil der Quelltabelle sowohl in BigQuery als auch in Knowledge Catalog ansehen. Diese Ergebnisse sind von jedem Projekt aus zugänglich.

    Veröffentlichte Berichte.

  • Bericht zu bisherigen Daten pro Job

    Auf der Seite Datenprofilerstellung und ‑qualität > Datenprofilscan in Knowledge Catalog und BigQuery können Sie die Detailberichte für die neuesten und historischen Jobs aufrufen. Dazu gehören Profilinformationen auf Spaltenebene und die verwendete Konfiguration.

    Bericht „Bisherige Daten“ pro Job.

  • Tab „Analyse“

    Auf der Seite Datenprofilerstellung und -qualität > Datenprofilscan in Knowledge Catalog und BigQuery können Sie auf dem Tab Analyse die Trends für eine bestimmte Statistik einer Spalte über mehrere Profiljobs hinweg ansehen. Wenn Sie beispielsweise einen inkrementellen Scan haben, können Sie sich ansehen, wie sich der Durchschnitt eines Werts im Laufe der Zeit entwickelt hat.

    Tab „Analyse“

  • Eigenes Dashboard oder eigene Analysen erstellen

    Wenn Sie einen Datenprofilscan so konfiguriert haben, dass die Ergebnisse in eine BigQuery-Tabelle exportiert werden, können Sie mit Tools wie Data Studio eigene Dashboards erstellen.

  • DCU-Computing-Kosten in Cloud Billing im Blick behalten

    Das Computing für Datenprofilscans wird auf einer serverlosen Infrastruktur ausgeführt und gibt keine Zeitreihenmesswerte an Cloud Monitoring aus. Wenn Sie die DCU-Kosten für die Datenprofilerstellung nach Projekt, Scan-ID oder Tabelle verfolgen und zuordnen möchten, fragen Sie den Cloud Billing-Export in BigQuery mit den Systemlabels goog-dataplex-datascan-* ab. Weitere Informationen finden Sie unter Dataplex-DCU-Kosten mit Cloud Billing-Export überwachen und zuordnen.

Beschränkungen

  • Sie können Datenprofilscans nur für BigQuery-, Google CloudLakehouse Iceberg REST Catalog-, SAP BDC Delta Lake- und Hive-Tabellen ausführen.
  • Datenprofilerstellung wird für BigQuery-Tabellen mit allen Spaltentypen außer BIGNUMERIC unterstützt. Ein Scan, der für eine Tabelle mit einer BIGNUMERIC-Spalte erstellt wurde, führt zu einem Validierungsfehler und wird nicht erstellt.
  • Mehrere Datenprofilscans werden für Lakehouse-Tabellen nicht unterstützt.

Preise

Nächste Schritte