BigQuery-Dataset konfigurieren

Mit dem Application Design Center können Sie BigQuery-Datasets für die Datenanalyse in Unternehmen erstellen und konfigurieren. Die Dataset-Komponenten und -Parameter basieren auf dem Terraform-Modul terraform-google-bigquery auf GitHub.

Komponentenverbindungen

In der folgenden Tabelle sind die Komponenten aufgeführt, die Sie mit einem BigQuery-Dataset verbinden können, sowie die resultierenden Aktualisierungen Ihrer Anwendung und des generierten Terraform-Codes.

Verbundene Komponente Anwendungsupdates Hintergrundinformationen:

Compute Engine-Instanzvorlage

  • Die Compute Engine-Instanzen können Daten aus dem BigQuery-Dataset lesen und in dieses schreiben.
  • Die BigQuery-Ressourcenmetadaten werden der Compute Engine-Instanzvorlage hinzugefügt.
  • Die Rolle roles/bigquery.dataEditor wird dem Dienstkonto der Compute Engine-Instanzvorlage zugewiesen.
Instanzvorlagen
Dienstkonto
  • Das Dienstkonto kann von Diensten wie Cloud Run verwendet werden, um Daten im BigQuery-Dataset zu lesen und zu ändern.
  • Dem Dienstkonto wird die Rolle roles/bigquery.dataEditor zugewiesen.
IAM-Rollen und -Berechtigungen für BigQuery
Cloud Run
  • Der Cloud Run-Dienst kann mit dem BigQuery-Dataset interagieren.
  • Die BigQuery-Ressourcenmetadaten werden den Cloud Run-Umgebungsvariablen hinzugefügt.
  • Die Rolle roles/bigquery.dataEditor wird dem Cloud Run-Dienstkonto zugewiesen.
Was ist Cloud Run?

Pub/Sub

  • Das Pub/Sub-Abo kann Nachrichten in eine Tabelle im BigQuery-Dataset schreiben.
  • Die BigQuery-Dataset- und -Tabelleninformationen werden den Pub/Sub-Abofeldern hinzugefügt.
BigQuery-Abos

Erforderliche Konfigurationsparameter

Wenn Ihre Vorlage eine BigQuery-Komponente enthält, müssen Sie vor der Bereitstellung die folgenden Parameter konfigurieren.

Parametername Beschreibung und Einschränkungen Hintergrundinformationen:

Dataset-ID

id Einführung in Datasets

Projekt-ID

Das Projekt, in dem Sie das BigQuery-Dataset und die Tabelle bereitstellen möchten.

Komponenten konfigurieren

Optionale Konfigurationsparameter

Die folgenden Parameter sind optional. Wenn Sie erweiterte Parameter anzeigen möchten, wählen Sie im Bereich Konfiguration die Option Erweiterte Felder anzeigen aus.

Funktion Parametername Beschreibung und Informationen zur Einschränkung Hintergrundinformationen:
Tabellen

Tabellen-ID

id Einführung in Tabellen
Tabellen

Beschreibung

description Einführung in Tabellen
Tabellen

Tabellenname

friendlyName Tabellennamen
Tabellen

Schema

schema Schema angeben
Tabellen

Clustering

clustering Einführung in geclusterte Tabellen
Tabellen

Partitionsfilter anfordern

requirePartitionFilter Partitionsfilteranforderungen festlegen
Tabellen: Partitionierung nach Aufnahmezeit

Ablaufdatum (MS)

expirationMs Partitionsablauf festlegen
Tabellen: Partitionierung nach Aufnahmezeit

Feld

field Nach Spalte partitionierte Tabelle mit Zeiteinheit erstellen
Tabellen: Partitionierung nach Aufnahmezeit

Typ

type Nach Spalte partitionierte Tabelle mit Zeiteinheit erstellen
Tabellen: Bereichspartitionierung

Feld

field Partitionsfilteranforderungen festlegen
Tabellen: Bereichspartitionierung

Bereichsbeginn

range.start Partitionierung nach Ganzzahlbereich
Tabellen: Bereichspartitionierung

Bereichsende

range.end Partitionierung nach Ganzzahlbereich
Tabellen: Bereichspartitionierung

Bereichsintervall

range.interval Partitionierung nach Ganzzahlbereich
Tabellen

Ablaufzeit

expirationTime Ablaufzeit einer Tabelle aktualisieren
Tabellen

Löschschutz

Klicken Sie das Kästchen an, um zu verhindern, dass diese Tabelle von Terraform gelöscht wird. Wenn diese Option nicht ausgewählt ist, wird die Einstellung für den Löschschutz auf Komponentenebene verwendet.

deletion_protection
Tabellen: Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen
Tabellen: Labels

Wert

labels Labels zu Tabellen und Ansichten hinzufügen

Dataset-Name

friendlyName Datasets benennen

Beschreibung

description Dataset-Beschreibung aktualisieren

Region

location BigQuery-Standorte

Inhalte beim Löschen löschen

Wählen Sie diese Option aus, um alle Tabellen im Dataset zu löschen, wenn die Ressource gelöscht wird. Wenn diese Option nicht ausgewählt ist, schlägt das Löschen der Ressource fehl, wenn Tabellen vorhanden sind.

delete_contents_on_destroy

Löschschutz

Wenn diese Option ausgewählt ist, schlägt ein terraform apply- oder terraform destroy-Befehl, der Tabellen löschen würde, fehl. Wenn diese Option nicht ausgewählt ist, können Tabellen gelöscht werden. Sie können diese Einstellung mit der Einstellung für den Löschschutz für jede Tabelle überschreiben.

deletion_protection

Standard-Tabellenablauf (ms)

defaultTableExpirationMs Standardablaufzeiten von Tabellen aktualisieren

Standardablaufzeit für Partitionen in Millisekunden

defaultPartitionExpirationMs Standardablaufzeiten von Partitionen aktualisieren

Maximale Zeitreise-Stunden

maxTimeTravelHours Zeitreisefenster aktualisieren

Abrechnungsmodell für Speicher

StorageBillingModel Speicherabrechnungsmodelle

Verschlüsselungsschlüssel

kmsKeyName Verschlüsselung ruhender Daten
Dataset-Labels

Schlüssel

labels Labels zu Datasets hinzufügen
Dataset-Labels

Wert

Wert Labels zu Datasets hinzufügen
Ressourcen-Tags

Schlüssel

resourceTags Tag-Definitionen und Kennungen
Ressourcen-Tags

Wert

resourceTags Tag-Definitionen und Kennungen
Aufrufe

Datenansichts-ID

id Ansichtsnamen
Aufrufe

Beschreibung

description Einführung in Ansichten
Aufrufe

Abfrage

query SQL-Abfrage einer Ansicht aktualisieren
Aufrufe

Legacy-SQL verwenden

useLegacySql Zu GoogleSQL migrieren
Ansichten: Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen
Ansichten: Labels

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Materialisierte Ansichten

Datenansichts-ID

id Ansichtsnamen
Materialisierte Ansichten

Beschreibung

description Einführung in materialisierte Ansichten
Materialisierte Ansichten

Abfrage

query Unterstützung von Abfragen bei materialisierten Ansichten
Materialisierte Ansichten

Aktualisierung aktivieren

enableRefresh Materialisierte Ansichten aktualisieren
Materialisierte Ansichten

Aktualisierungsintervall (ms)

refreshIntervalMs Frequency Capping festlegen
Materialisierte Ansichten

Clustering

fields[] Materialisierte Ansichten im Cluster
Materialisierte Ansichten: Partitionierung nach Zeit

Ablaufdatum (MS)

expirationMs Partitionsablauf festlegen
Materialisierte Ansichten: Partitionierung nach Zeit

Feld

field Nach Spalte partitionierte Tabelle mit Zeiteinheit erstellen
Materialisierte Ansichten: Partitionierung nach Zeit

Typ

type Nach Spalte partitionierte Tabelle mit Zeiteinheit erstellen
Materialisierte Ansichten: Partitionierung nach Zeit

Partitionsfilter anfordern

requirePartitionFilter Partitionsfilteranforderungen festlegen
Materialisierte Ansichten: Bereichspartitionierung

Feld

field Partitionierte materialisierte Ansichten
Materialisierte Ansichten: Bereichspartitionierung

Bereichsbeginn

range.start Partitionierung nach Ganzzahlbereich
Materialisierte Ansichten: Bereichspartitionierung

Bereichsende

range.end Partitionierung nach Ganzzahlbereich
Materialisierte Ansichten: Bereichspartitionierung

Bereichsintervall

range.interval Partitionierung nach Ganzzahlbereich
Materialisierte Ansichten

Ablaufzeit

expirationTime Ablaufzeit einer Ansicht aktualisieren
Materialisierte Ansichten

Max. Veralterung

maxStaleness Materialisierte Ansichten mit der Option „max_staleness“ verwenden
Materialisierte Ansichten: Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen
Materialisierte Ansichten: Labels

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Externe Tabellen

Tabellen-ID

id Einführung in externe Tabellen
Externe Tabellen

Beschreibung

Eine Beschreibung der externen Tabelle. description
Externe Tabellen

Automatische Erkennung

autodetect Automatische Erkennungs-Flag verwenden
Externe Tabellen

Komprimierung

compression Komprimierte und unkomprimierte Daten laden
Externe Tabellen

Unbekannte Werte ignorieren

ignoreUnknownValues Tabellendefinitionsdatei für eine externe Datenquelle erstellen
Externe Tabellen

Max. Anzahl fehlerhafter Datensätze

maxBadRecords Tabellendefinitionsdatei für eine externe Datenquelle erstellen
Externe Tabellen

Schema

schema Tabellendefinitionsdatei für eine externe Datenquelle erstellen
Externe Tabellen

Quellformat

sourceFormat Tabellendefinitionsdatei für eine externe Datenquelle erstellen
Externe Tabellen

Quell-URIs

sourceUris Tabellendefinitionsdatei für eine externe Datenquelle erstellen
Externe Tabellen: CSV-Optionen

Zitat

quote CSV-Daten aus Cloud Storage laden
Externe Tabellen: CSV-Optionen

Unvollständige Zeilen zulassen

allowJaggedRows CSV-Daten aus Cloud Storage laden
Externe Tabellen: CSV-Optionen

Abschnitte in Anführungszeichen mit Zeilenumbrüchen zulassen

allowQuotedNewlines CSV-Daten aus Cloud Storage laden
Externe Tabellen: CSV-Optionen

Encoding

encoding Encoding
Externe Tabellen: CSV-Optionen

Feldtrennzeichen

FieldDelimiter Feldtrennzeichen
Externe Tabellen: CSV-Optionen

Führende Zeilen überspringen

skipLeadingRows CSV-Optionen
Externe Tabellen: Google Sheets-Optionen

Bereich

Bereich Externe Google Drive-Tabellen erstellen
Externe Tabellen: Google Sheets-Optionen

Führende Zeilen überspringen

skipLeadingRows Externe Google Drive-Tabellen erstellen
Externe Tabellen: Hive-Partitionierungsoptionen

Modus

mode Erkennungsmodi
Externe Tabellen: Hive-Partitionierungsoptionen

Quell-URI-Präfix

sourceUriPrefix Extern partitionierte Daten verwenden
Externe Tabellen

Ablaufzeit

expirationTime Ablaufzeit einer Tabelle aktualisieren
Externe Tabellen

Max. Veralterung

maxStaleness Tabellenveralterung verwalten
Externe Tabellen

Löschschutz

Klicken Sie das Kästchen an, um zu verhindern, dass diese Tabelle von Terraform gelöscht wird. Wenn diese Option nicht ausgewählt ist, wird die Einstellung für den Löschschutz auf Komponentenebene verwendet.

deletion_protection
Externe Tabellen: Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen
Externe Tabellen: Labels

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Routinen

Ablauf-ID

routineId Abläufe verwalten
Routinen

Ablauftyp

routineType RoutineType
Routinen

Sprache

Sprache Sprache
Routinen

Definition Body

definitionBody Text einer Routine ansehen
Routinen

Rückgabetyp

returnType StandardSqlDataType
Routinen

Beschreibung

Eine Beschreibung des Ablaufs. description
Abläufe: Argumente

Name

Der Name des Arguments. name
Abläufe: Argumente

Datentyp

dataType StandardSqlDataType
Abläufe: Argumente

Argumenttyp

argumentKind ArgumentKind
Abläufe: Argumente

Modus

mode Modus