Mengonfigurasi set data BigQuery

Application Design Center memungkinkan Anda membuat dan mengonfigurasi set data BigQuery untuk analisis data perusahaan. Komponen dan parameter set data didasarkan pada modul Terraform terraform-google-bigquery di GitHub.

Koneksi komponen

Tabel berikut mencakup komponen yang dapat Anda hubungkan ke set data BigQuery, serta update yang dihasilkan pada aplikasi Anda dan kode Terraform yang dihasilkan.

Komponen terhubung Update aplikasi Informasi latar belakang

Template instance Compute Engine

  • Instance Compute Engine dapat membaca dari dan menulis data ke set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke template instance Compute Engine.
  • Peran roles/bigquery.dataEditor diberikan ke akun layanan template instance Compute Engine.
Template instance
Service account
  • Akun layanan dapat digunakan oleh layanan, seperti Cloud Run, untuk membaca dan mengubah data dalam set data BigQuery.
  • Peran roles/bigquery.dataEditor diberikan ke akun layanan.
Peran dan izin Identity and Access Management (IAM) BigQuery
Cloud Run
  • Layanan Cloud Run dapat berinteraksi dengan set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke variabel lingkungan Cloud Run.
  • Peran roles/bigquery.dataEditor diberikan ke akun layanan Cloud Run.
Apa itu Cloud Run

Pub/Sub

  • Langganan Pub/Sub dapat menulis pesan ke tabel di set data BigQuery.
  • Informasi set data dan tabel BigQuery ditambahkan ke kolom langganan Pub/Sub.
Langganan BigQuery

Parameter konfigurasi yang diperlukan

Jika template Anda menyertakan komponen BigQuery, Anda harus mengonfigurasi parameter berikut sebelum men-deploy.

Nama parameter Deskripsi dan batasan Informasi latar belakang

Dataset ID

id Pengantar set data

Project ID

Project tempat Anda ingin men-deploy set data dan tabel BigQuery.

Mengonfigurasi komponen

Parameter konfigurasi opsional

Parameter berikut bersifat opsional. Untuk menampilkan parameter lanjutan, di area Configuration, pilih Show advanced fields.

Fitur Nama parameter Informasi deskripsi dan batasan Informasi latar belakang
Tabel

Table ID

id Pengantar tabel
Tabel

Deskripsi

description Pengantar tabel
Tabel

Nama Tabel

friendlyName Penamaan tabel
Tabel

Skema

skema Menetapkan skema
Tabel

Clustering

clustering Pengantar tabel pengelompokan
Tabel

Memerlukan Filter Partisi

requirePartitionFilter Menetapkan persyaratan filter partisi
Tabel: Partisi Waktu

Expiration MS

expirationMs Menetapkan masa berlaku partisi
Tabel: Partisi Waktu

Kolom

kolom Membuat tabel berpartisi berdasarkan kolom unit waktu
Tabel: Partisi Waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu
Tabel: Partisi Rentang

Kolom

kolom Menetapkan persyaratan filter partisi
Tabel: Partisi Rentang

Awal Rentang

range.start Partisi rentang bilangan bulat
Tabel: Partisi Rentang

Akhir Rentang

range.end Partisi rentang bilangan bulat
Tabel: Partisi Rentang

Interval Rentang

range.interval Partisi rentang bilangan bulat
Tabel

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel
Tabel

Proteksi dari Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Proteksi dari Penghapusan tingkat komponen akan digunakan.

deletion_protection
Tabel: Label

Kunci

label Menambahkan label ke tabel dan tampilan
Tabel: Label

Nilai

label Menambahkan label ke tabel dan tampilan

Dataset Name

friendlyName Menamai set data

Deskripsi

description Memperbarui deskripsi set data

Region

location Lokasi BigQuery

Hapus Konten saat Penghancuran

Pilih untuk menghapus semua tabel dalam set data saat menghancurkan resource. Jika tidak dipilih, penghancuran resource akan gagal jika tabel ada.

delete_contents_on_destroy

Proteksi dari Penghapusan

Jika dipilih, terraform apply atau terraform destroy yang akan menghapus tabel akan gagal. Jika tidak dipilih, tabel dapat dihapus. Anda dapat mengganti setelan ini menggunakan setelan proteksi dari penghapusan untuk setiap tabel.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Memperbarui waktu habis masa berlaku tabel default

Default Partition Expiration MS

defaultPartitionExpirationMs Mengupdate waktu habis masa berlaku partisi default

Max Time Travel Hours

maxTimeTravelHours Memperbarui periode perjalanan waktu

Model Penagihan Penyimpanan

StorageBillingModel Model penagihan penyimpanan

Kunci Enkripsi

kmsKeyName Enkripsi dalam penyimpanan
Label Set Data

Kunci

label Menambahkan label ke set data
Label Set Data

Nilai

value Menambahkan label ke set data
Tag Resource

Kunci

resourceTags Definisi dan ID tag
Tag Resource

Nilai

resourceTags Definisi dan ID tag
Tampilan

ID Tampilan

id Penamaan tampilan
Tampilan

Deskripsi

description Pengantar tampilan
Tampilan

Kueri

query Memperbarui kueri SQL tampilan
Tampilan

Gunakan Legacy SQL

useLegacySql Bermigrasi ke GoogleSQL
Tampilan: Label

Kunci

label Menambahkan label ke tabel dan tampilan
Tampilan: Label

Nilai

label Menambahkan label ke tabel dan tampilan
Tampilan Terwujud

ID Tampilan

id Penamaan tampilan
Tampilan Terwujud

Deskripsi

description Pengantar tampilan terwujud
Tampilan Terwujud

Kueri

query Dukungan kueri tampilan terwujud
Tampilan Terwujud

Mengaktifkan Refresh

enableRefresh Memuat ulang tampilan terwujud
Tampilan Terwujud

Refresh Interval MS

refreshIntervalMs Menetapkan batas frekuensi refresh
Tampilan Terwujud

Clustering

fields[] Tampilan terwujud cluster
Tampilan Terwujud: Partisi Waktu

Expiration MS

expirationMs Menetapkan masa berlaku partisi
Tampilan Terwujud: Partisi Waktu

Kolom

kolom Membuat tabel berpartisi berdasarkan kolom unit waktu
Tampilan Terwujud: Partisi Waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu
Tampilan Terwujud: Partisi Waktu

Memerlukan Filter Partisi

requirePartitionFilter Menetapkan persyaratan filter partisi
Tampilan Terwujud: Pemartisian Rentang

Kolom

kolom Tampilan terwujud yang dipartisi
Tampilan Terwujud: Pemartisian Rentang

Awal Rentang

range.start Partisi rentang bilangan bulat
Tampilan Terwujud: Pemartisian Rentang

Akhir Rentang

range.end Partisi rentang bilangan bulat
Tampilan Terwujud: Pemartisian Rentang

Interval Rentang

range.interval Partisi rentang bilangan bulat
Tampilan Terwujud

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tampilan
Tampilan Terwujud

Max Staleness

maxStaleness Menggunakan tampilan terwujud dengan opsi max_staleness
Tampilan Terwujud: Label

Kunci

label Menambahkan label ke tabel dan tampilan
Tampilan Terwujud: Label

Nilai

label Menambahkan label ke tabel dan tampilan
Tabel Eksternal

Table ID

id Pengantar tabel eksternal
Tabel Eksternal

Deskripsi

Deskripsi tabel eksternal. description
Tabel Eksternal

Deteksi otomatis

autodetect Menggunakan flag deteksi otomatis
Tabel Eksternal

Kompresi

compression Memuat data yang dikompresi dan tidak dikompresi
Tabel Eksternal

Ignore Unknown Values

ignoreUnknownValues Membuat file definisi tabel untuk sumber data eksternal
Tabel Eksternal

Max Bad Records

maxBadRecords Membuat file definisi tabel untuk sumber data eksternal
Tabel Eksternal

Skema

skema Membuat file definisi tabel untuk sumber data eksternal
Tabel Eksternal

Format Sumber

sourceFormat Membuat file definisi tabel untuk sumber data eksternal
Tabel Eksternal

URI Sumber

sourceUris Membuat file definisi tabel untuk sumber data eksternal
Tabel Eksternal: Opsi CSV

Penawaran Harga

quote Memuat data CSV dari Cloud Storage
Tabel Eksternal: Opsi CSV

Izinkan Jagged Row

allowJaggedRows Memuat data CSV dari Cloud Storage
Tabel Eksternal: Opsi CSV

Allow Quoted Newlines

allowQuotedNewlines Memuat data CSV dari Cloud Storage
Tabel Eksternal: Opsi CSV

Encoding

encoding Encoding
Tabel Eksternal: Opsi CSV

Pembatas Kolom

FieldDelimiter Pemisah kolom
Tabel Eksternal: Opsi CSV

Lewati Baris Utama

skipLeadingRows Opsi CSV
Tabel Eksternal: Opsi Google Spreadsheet

Range

range Membuat tabel eksternal Google Drive
Tabel Eksternal: Opsi Google Spreadsheet

Lewati Baris Utama

skipLeadingRows Membuat tabel eksternal Google Drive
Tabel Eksternal: Opsi Partisi Hive

Mode

mode Mode deteksi
Tabel Eksternal: Opsi Partisi Hive

Awalan URI Sumber

sourceUriPrefix Menggunakan data yang dipartisi secara eksternal
Tabel Eksternal

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel
Tabel Eksternal

Max Staleness

maxStaleness Mengelola penghentian tabel yang tidak berlaku
Tabel Eksternal

Proteksi dari Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Proteksi dari Penghapusan tingkat komponen akan digunakan.

deletion_protection
Tabel Eksternal: Label

Kunci

label Menambahkan label ke tabel dan tampilan
Tabel Eksternal: Label

Nilai

label Menambahkan label ke tabel dan tampilan
Rutinitas

ID Rutinitas

routineId Mengelola rutinitas
Rutinitas

Jenis Rutinitas

routineType RoutineType
Rutinitas

Bahasa

bahasa Bahasa
Rutinitas

Isi Definisi

definitionBody Melihat isi rutinitas
Rutinitas

Jenis Nilai yang Ditampilkan

returnType StandardSqlDataType
Rutinitas

Deskripsi

Deskripsi rutinitas. description
Rutinitas: Argumen

Nama

Nama argumen. name
Rutinitas: Argumen

Data Type

dataType StandardSqlDataType
Rutinitas: Argumen

Jenis Argumen

argumentKind ArgumentKind
Rutinitas: Argumen

Mode

mode Mode