Storage Insights-Dataset-Konfigurationen verwalten

Mit Storage Insights-Datasets können Sie Metadaten und Aktivitätsdaten aus Ihren Cloud Storage-Buckets und -Objekten erfassen und diese Daten dann in BigQuery analysieren. Sie können die Einstellungen für Datenquelle, Bereich und Aufbewahrung für ein Dataset konfigurieren, um die Speicherkosten zu optimieren, Datenlebenszyklen zu verwalten und die Compliance zu unterstützen.

In diesem Dokument wird beschrieben, wie Sie Dataset-Konfigurationen aufrufen, aktualisieren und löschen sowie verknüpfte BigQuery-Datasets abfragen oder die Verknüpfung aufheben. Hintergrundinformationen finden Sie unter Storage Insights-Datasets.

Erforderliche Rollen abrufen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Quellprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Dataset-Konfigurationen benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Dataset-Konfigurationen erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Verwalten von Dataset-Konfigurationen erforderlich:

  • Dataset-Konfiguration ansehen und auflisten:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Dataset-Konfiguration aktualisieren und löschen:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Verknüpfung eines BigQuery-Datasets aufheben: storageinsights.datasetConfigs.unlinkDataset
  • Mit BigQuery verknüpfte Datasets abfragen: bigquery.jobs.create or bigquery.jobs.*

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Verknüpfte Datasets ansehen und abfragen

So rufen Sie verknüpfte Datasets auf und fragen sie ab:

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

    In Ihrem Projekt wird eine Liste der erstellten Dataset-Konfigurationen angezeigt.

  2. Klicken Sie auf das mit BigQuery verknüpfte Dataset für die Dataset-Konfiguration, die Sie sich ansehen möchten.

    In der Google Cloud Konsole wird das mit BigQuery verknüpfte Dataset angezeigt. Informationen zum Dataset-Schema der Metadaten finden Sie unter Dataset-Schema der Metadaten.

  3. Sie können Tabellen und Ansichten in Ihren verknüpften Datasets genauso wie alle anderen BigQuery-Tabellen abfragen.

Wenn Sie die Veröffentlichung der Dataset-Konfiguration im BigQuery-Dataset beenden möchten, heben Sie die Verknüpfung des Datasets auf. So heben Sie die Verknüpfung eines Datasets auf:

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Verknüpfung des Datasets aufheben.

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete-link aus, um die Verknüpfung des Datasets aufzuheben:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Standort Ihres Datasets und Ihrer Dataset-Konfiguration. Beispiel: us-central1

    Sie können auch einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    DATASET_NAME durch den Namen des Datasets, dessen Verknüpfung Sie aufheben möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer unlinkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights./v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Dataset-Konfiguration ansehen

So rufen Sie eine Dataset-Konfiguration auf:

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie aufrufen möchten.

    Die Details zur Dataset-Konfiguration werden angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs describe aus, um eine Dataset-Konfiguration zu beschreiben:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration.

    Sie können auch einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, das Sie aufrufen möchten.

    • LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights./v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Dataset-Konfigurationen auflisten

Führen Sie die folgenden Schritte aus, um die Dataset-Konfigurationen in einem Projekt aufzulisten:

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

    Die Liste der Dataset-Konfigurationen wird angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs list aus, um Dataset-Konfigurationen in einem Projekt aufzulisten:

    gcloud storage insights dataset-configs list --location=LOCATION

    Ersetzen Sie:

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Mit den folgenden optionalen Flags können Sie das Verhalten des Auflistungsaufrufs festlegen:

    • Verwenden Sie --page-size, um die maximale Anzahl von Ergebnissen anzugeben, die pro Seite zurückgegeben werden sollen.

    • Verwenden Sie --filter=FILTER, um die Ergebnisse zu filtern. Weitere Informationen zur Verwendung des Flags --filter erhalten Sie, wenn Sie gcloud topic filters ausführen und die Dokumentation lesen.

    • Verwenden Sie --sort-by=SORT_BY_VALUE, um eine durch Kommas getrennte Liste von Schlüsselnamen für Ressourcenfelder anzugeben, nach denen sortiert werden soll. Beispiel: --sort-by=DATASET_CONFIG_ID.

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights./v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Dataset-Konfiguration aktualisieren

So aktualisieren Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie aktualisieren möchten.

  3. Klicken Sie auf dem Tab Dataset-Konfiguration auf Bearbeiten , um die Felder zu aktualisieren.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs update aus, um eine Dataset-Konfiguration zu aktualisieren:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration.

    Verwenden Sie die folgenden Flags, um Attribute der Dataset-Konfiguration zu aktualisieren:

    • Verwenden Sie --skip-verification, um Prüfungen und Fehler aus dem Überprüfungsprozess zu überspringen, einschließlich Prüfungen auf erforderliche IAM-Berechtigungen. Wenn Sie diese Option verwenden, werden möglicherweise einige oder alle Buckets aus dem Dataset ausgeschlossen.

    • Verwenden Sie --retention-period-days=DAYS, um die Anzahl der Tage anzugeben, für die Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90.

    • Verwenden Sie --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS, um die Aufbewahrungsdauer für die Aktivitätsdaten im Dataset anzugeben. Standardmäßig sind Aktivitätsdaten im Dataset enthalten und übernehmen die Aufbewahrungsdauer des Datasets. Wenn Sie die Aufbewahrungsdauer für das Dataset überschreiben möchten, geben Sie die Anzahl der Tage an, für die Aktivitätsdaten aufbewahrt werden sollen. Wenn Sie Aktivitätsdaten ausschließen möchten, setzen Sie ACTIVITY_RETENTION_PERIOD_DAYS auf 0.

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Dataset-Konfiguration zu schreiben.

    • Verwenden Sie --organization=ORGANIZATION_ID, um die Organisations-ID des Quellprojekts anzugeben. Wenn nicht angegeben, wird standardmäßig die Organisations-ID des Quellprojekts verwendet.

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Erstellen Sie eine JSON-Datei, die die folgenden optionalen Informationen enthält:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Ersetzen Sie:

    • ORGANIZATION_ID durch die Ressourcen-ID der Organisation, zu der die Quellprojekte gehören. Wenn nicht angegeben, wird standardmäßig die Organisations-ID des Quellprojekts verwendet.

    • PROJECT_NUMBERS durch die Projektnummern, die in das Dataset aufgenommen werden sollen. Sie können ein oder mehrere Projekte in einem Listenformat angeben.

    • RETENTION_PERIOD durch die Anzahl der Tage, für die Daten im Dataset-Snapshot erfasst werden sollen. Beispiel: 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS durch die Anzahl der Tage mit Aktivitätsdaten, die im Dataset-Snapshot erfasst werden sollen. Standardmäßig sind Aktivitätsdaten im Dataset enthalten und übernehmen die Aufbewahrungsdauer des Datasets. Wenn Sie die Aufbewahrungsdauer für das Dataset überschreiben möchten, geben Sie die Anzahl der Tage an, für die Aktivitätsdaten aufbewahrt werden sollen. Wenn Sie Aktivitätsdaten ausschließen möchten, setzen Sie ACTIVITY_RETENTION_PERIOD_DAYS auf 0.

  3. Verwenden Sie zum Aktualisieren der Dataset-Konfiguration cURL, um die JSON API mit einer Patch-DatasetConfig-Anfrage aufzurufen:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights./v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie aktualisieren möchten.

    • UPDATE_MASK ist die durch Kommas getrennte Liste der Feldnamen, die in dieser Anfrage aktualisiert werden sollen. Die Felder verwenden das fieldMask-Format und sind Teil der Ressource DatasetConfig.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Dataset-Konfiguration löschen

So löschen Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie löschen möchten.

  3. Klicken Sie auf Löschen .

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete aus, um eine Dataset-Konfiguration zu löschen:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Verwenden Sie die folgenden Flags, um eine Dataset-Konfiguration zu löschen:

    • Verwenden Sie --auto-delete-link, um die Verknüpfung des Datasets aufzuheben, das aus der Dataset-Konfiguration generiert wurde, die Sie löschen möchten. Sie müssen die Verknüpfung eines Datasets aufheben, bevor Sie die Dataset-Konfiguration löschen können, mit der das Dataset generiert wurde.

    Sie können auch einen vollständigen Dataset-Konfigurationspfad angeben. Beispiel:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Delete-DatasetConfig-Anfrage aufzurufen:

    curl -X DELETE \
  "https://storageinsights./v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • LOCATION durch den Standort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Nächste Schritte