Mengelola penetapan workload
BigQuery Reservation API memungkinkan Anda membeli slot khusus (disebut komitmen), membuat kumpulan slot (disebut pemesanan), dan menetapkan project, folder, serta organisasi ke pemesanan tersebut.
Dokumen ini menjelaskan cara membuat, menemukan, memindahkan, dan menghapus penetapan pemesanan untuk organisasi, folder, project, dan akun utama individu. Panduan ini juga menunjukkan cara melakukan tugas, seperti mengonfigurasi batas project dan menjadwalkan penggantian kebijakan. Untuk mengetahui detail konseptual, lihat Memahami pemesanan.
Membuat penetapan pemesanan
Untuk menggunakan slot yang dibeli, Anda perlu membuat penetapan yang menetapkan project, folder, organisasi, atau akun utama ke pemesanan slot. Anda tidak dapat menetapkan atau mengalokasikan jumlah slot tertentu di tingkat penetapan; slot dikelola dan ditetapkan di tingkat pemesanan.
Logika dan kriteria penetapan
Project menggunakan satu pemesanan paling spesifik dalam hierarki resource yang ditetapkan. BigQuery menggunakan logika evaluasi berikut untuk memilih pemesanan yang benar:
- Prioritas hierarki resource: BigQuery mengevaluasi penetapan berdasarkan ancestry resource penerima tugas (project > folder > organisasi). Penetapan folder dan organisasi tidak tersedia untuk pemesanan edisi standar.
Penetapan khusus pengguna menggunakan properti
principal: Penetapan pemesanan BigQuery mendukung propertiprincipalopsional, yang memungkinkan administrator merutekan kueri ke pemesanan tertentu berdasarkan identitas pengguna atau akun layanan yang menjalankan tugas. Dalam resource penerima tugas tertentu, penetapan dengan akun utama yang cocok lebih diprioritaskan daripada penetapan umum yang akun utamanya tidak ditetapkan.Batas default per project untuk penetapan khusus pengguna adalah 100. Untuk mendapatkan bantuan dalam mengubah batas default, hubungi bigquery-wlm-feedback@google.com.
Untuk membuat penetapan pada pemesanan, pemesanan harus memenuhi setidaknya salah satu kriteria berikut:
Dikonfigurasi dengan jumlah slot dasar pengukuran yang ditetapkan bukan nol.
Slot ini dikonfigurasi dengan jumlah slot penskalaan otomatis yang bukan nol.
Kueri dikonfigurasi untuk menggunakan slot tidak aktif, dan ada slot tidak aktif yang tersedia dalam project.
Jika Anda mencoba menetapkan resource ke pemesanan yang tidak memenuhi setidaknya
salah satu kriteria ini, Anda akan menerima pesan
berikut: Assignment is pending, your project will be executed as on-demand.
Anda dapat menetapkan resource ke pemesanan failover, tetapi penetapan tersebut akan tertunda di lokasi sekunder.
Izin yang diperlukan
Untuk membuat penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut:
bigquery.reservationAssignments.createpada project administrasi dan penerima tugas.
Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:
BigQuery AdminBigQuery Resource AdminBigQuery Resource Editor
Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.
Menetapkan organisasi ke pemesanan
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di menu navigasi, klik Workload management.
Klik tab Reservations.
Temukan pemesanan di tabel pemesanan.
Perluas opsi Actions.
Klik Create assignment.
Di bagian Create an assignment, klik Browse.
Jelajahi atau telusuri organisasi, lalu pilih organisasi tersebut.
Di bagian Job Type, pilih jenis tugas yang akan ditetapkan untuk pemesanan ini. Opsinya meliputi:
QUERYCONTINUOUSPIPELINEBACKGROUNDML_EXTERNAL
Untuk mengetahui informasi selengkapnya tentang jenis tugas, lihat Penetapan pemesanan. Nilai default ini adalah
QUERY.Untuk mempelajari lebih lanjut cara mengizinkan pengguna menggunakan Gemini di BigQuery dengan penetapan edisi Enterprise Plus, lihat Menyiapkan Gemini di BigQuery.
Opsional: Di kolom User, masukkan alamat email pengguna, akun layanan, atau identitas pihak ketiga.
Klik Create.
SQL
Untuk menetapkan organisasi ke pemesanan, gunakan pernyataan DDL CREATE ASSIGNMENT.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
CREATE ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID` OPTIONS ( assignee = 'organizations/ORGANIZATION_ID', job_type = 'JOB_TYPE', principal = 'PRINCIPAL');
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID tugasID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.
ORGANIZATION_ID: ID organisasiJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNAL- Opsional:
PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketigaKolom
principalhanya mendukung format ID Principal IAM berikut:- Akun Google
- Akun layanan
- Identitas tunggal dalam workforce identity pool
- Identitas tunggal dalam workload identity pool
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
bq
Untuk menetapkan tugas organisasi ke pemesanan, gunakan perintah bq mk
dengan flag --reservation_assignment:
bq mk \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--reservation_id=RESERVATION_NAME \
--assignee_type=ORGANIZATION \
--assignee_id=ORGANIZATION_ID \
--job_type=JOB_TYPE \
--principal=PRINCIPAL
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananORGANIZATION_ID: ID organisasiJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNALOpsional:
PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga.Flag
--principalhanya mendukung format ID akun utama IAM berikut:- Akun Google
- Akun layanan
- Identitas tunggal dalam workforce identity pool
- Identitas tunggal dalam workload identity pool
Saat membuat penetapan pemesanan, tunggu setidaknya 5 menit sebelum menjalankan kueri. Jika tidak, kueri mungkin akan ditagih menggunakan harga sesuai permintaan.
Mengonfigurasi batas project dan penggantian kebijakan penjadwalan
Anda dapat membuat batas project, yang merupakan jenis aturan penetapan, untuk mengonfigurasi penggantian khusus project untuk kebijakan penjadwalan default pemesanan. Misalnya, Anda dapat membatasi pemakaian slot dan jumlah kueri serentak untuk project.
Tidak seperti jenis penetapan pemesanan lainnya yang menentukan pemesanan yang digunakan project, batas project adalah resource penetapan yang hanya mengontrol perilaku penjadwalan untuk project tertentu.
Saat Anda membuat batas project, batasan berikut berlaku:
- Penerima tugas harus berupa project Google Cloud . Folder dan organisasi tidak didukung.
- Jenis tugas harus tidak ditetapkan atau ditetapkan secara eksplisit ke
JOB_TYPE_UNSPECIFIED. - Perubahan pada nilai kebijakan
max_slotsmemerlukan kueri baru untuk dimulai sebelum update diterapkan. - Batas konsumsi slot level project tidak diterapkan pada fase pelatihan tugas
ML_EXTERNAL. Lihat Menetapkan slot ke workload BigQuery ML untuk mengetahui detail selengkapnya.
Untuk membuat batas project melalui penetapan kebijakan penjadwalan ini, pilih salah satu opsi berikut:
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di menu navigasi, buka Administration > Workload management.
Klik tab Aturan penetapan.
Klik Buat aturan penetapan.
Dalam daftar Rule type, pilih Project cap.
Dalam daftar Select a project, pilih project, lalu klik Continue.
Dalam daftar Reservation, pilih pemesanan, lalu klik Continue.
Di bagian Project override, masukkan nilai di kolom Max slots dan Max concurrency.
Klik Create.
SQL
Untuk membuat penetapan kebijakan penjadwalan project, gunakan pernyataan DDL CREATE
ASSIGNMENT dengan opsi scheduling_policy_max_slots dan
scheduling_policy_concurrency.
CREATE ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID` OPTIONS ( assignee = 'projects/PROJECT_ID', scheduling_policy_max_slots = MAX_SLOTS, scheduling_policy_concurrency = MAX_CONCURRENCY);
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanPROJECT_ID: ID project Google Cloud yang ditetapkanMAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di projectMAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project
bq
Untuk membuat penetapan kebijakan penjadwalan menggunakan alat command line bq,
gunakan perintah bq mk dengan flag --scheduling_policy_max_slots dan
--scheduling_policy_concurrency.
bq mk \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--reservation_id=RESERVATION_NAME \
--assignee_id=PROJECT_ID \
--assignee_type=PROJECT \
--scheduling_policy_max_slots=MAX_SLOTS \
--scheduling_policy_concurrency=MAX_CONCURRENCY
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananPROJECT_ID: ID project Google Cloud yang ditetapkanMAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di projectMAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project
Untuk mengubah atau menghapus penetapan kebijakan penjadwalan yang ada, gunakan pernyataan DDL ALTER ASSIGNMENT:
ALTER ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID` SET OPTIONS ( scheduling_policy_max_slots = NEW_MAX_SLOTS, scheduling_policy_concurrency = NEW_MAX_CONCURRENCY); -- To remove a scheduling policy setting, set its values to null. To all settings, delete the assignment.
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanNEW_MAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di projectNEW_MAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project
Untuk melihat penggantian kebijakan penjadwalan yang aktif, periksa kolom scheduling_policy dan
assignment_type dalam tampilan INFORMATION_SCHEMA.ASSIGNMENTS.
Menetapkan project atau folder ke pemesanan
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di menu navigasi, klik Workload management.
Klik tab Reservations.
Temukan pemesanan di tabel pemesanan.
Perluas opsi Actions.
Klik Create assignment.
Di bagian Create an assignment, klik Browse.
Jelajahi atau telusuri project atau folder, lalu pilih project atau folder tersebut.
Di bagian Job Type, pilih jenis tugas yang akan ditetapkan untuk pemesanan ini. Opsinya meliputi:
QUERYCONTINUOUSPIPELINEBACKGROUNDML_EXTERNAL
Pembuatan dan modifikasi jenis tugas latar belakang yang lebih terperinci seperti
BACKGROUND_COLUMN_METADATA_INDEXbelum didukung melalui konsol.Untuk informasi selengkapnya tentang jenis tugas, lihat penetapan pemesanan. Nilai default ini adalah
QUERY.Opsional: Di kolom User, masukkan alamat email pengguna, akun layanan, atau identitas pihak ketiga.
Klik Create.
SQL
Untuk menetapkan project ke pemesanan, gunakan pernyataan DDL CREATE ASSIGNMENT.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
CREATE ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID` OPTIONS( assignee="projects/PROJECT_ID", job_type="JOB_TYPE", principal="PRINCIPAL");
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID tugasID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.
PROJECT_ID: ID project yang akan ditetapkan ke pemesananJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNALOpsional:
PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga. Kolomprincipalhanya mendukung format ID akun utama IAM berikut:- Akun Google
- Akun layanan
- Identitas tunggal dalam workforce identity pool
- Identitas tunggal dalam workload identity pool
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
bq
Untuk menetapkan tugas ke pemesanan, gunakan perintah bq mk dengan flag --reservation_assignment:
bq mk \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--reservation_id=RESERVATION_NAME \
--assignee_type=PROJECT \
--assignee_id=PROJECT_ID \
--job_type=JOB_TYPE \
--principal=PRINCIPAL
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananPROJECT_ID: ID project yang akan ditetapkan ke pemesanan iniJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNALOpsional:
PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga.Flag
--principalhanya mendukung format ID akun utama IAM berikut:- Akun Google
- Akun layanan
- Identitas tunggal dalam workforce identity pool
- Identitas tunggal dalam workload identity pool
Terraform
Gunakan resource google_bigquery_reservation_assignment.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Contoh berikut menetapkan project ke pemesanan bernama
my-reservation:
Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.
Menyiapkan Cloud Shell
- Luncurkan Cloud Shell.
-
Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.
Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.
Menyiapkan direktori
Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).
-
Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki
ekstensi
.tf—misalnyamain.tf. Dalam tutorial ini, file ini disebut sebagaimain.tf.mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.
Salin kode contoh ke dalam
main.tfyang baru dibuat.Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.
- Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
- Simpan perubahan Anda.
-
Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
terraform init
Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi
-upgrade:terraform init -upgrade
Menerapkan perubahan
-
Tinjau konfigurasi dan pastikan resource yang akan dibuat atau
diupdate oleh Terraform sesuai yang Anda inginkan:
terraform plan
Koreksi konfigurasi jika diperlukan.
-
Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan
yespada prompt:terraform apply
Tunggu hingga Terraform menampilkan pesan "Apply complete!".
- Buka project Google Cloud Anda untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.
Saat membuat penetapan pemesanan, tunggu setidaknya 5 menit sebelum menjalankan kueri. Jika tidak, kueri mungkin akan ditagih menggunakan harga sesuai permintaan.
Untuk membuat project yang hanya menggunakan slot tidak ada aktivitas, buat pemesanan dengan slot 0 yang ditetapkan ke pemesanan tersebut, lalu ikuti langkah-langkah sebelumnya untuk menetapkan project ke pemesanan tersebut.
Penetapan khusus pengguna
Anda dapat menetapkan pemesanan ke akun utama tertentu seperti pengguna atau akun layanan dalam project, folder, atau organisasi. Hal ini berguna untuk merutekan workload pengguna tertentu ke pemesanan khusus.
Saat menentukan pemesanan yang akan digunakan untuk suatu tugas, BigQuery mengevaluasi penetapan dalam urutan berikut:
- Evaluasi hierarki resource, dimulai dengan project, lalu folder induk, kemudian organisasi.
- Di setiap tingkat hierarki, BigQuery terlebih dahulu memeriksa penetapan yang cocok dengan akun utama tertentu yang menjalankan tugas.
- Jika tidak ada penetapan yang cocok dengan akun utama di level tersebut, periksa penetapan umum tanpa akun utama di level yang sama.
- Jika tidak ada penetapan yang ditemukan, lanjutkan ke tingkat berikutnya dalam hierarki.
Penetapan level project tanpa akun utama akan menggantikan penetapan level folder dengan akun utama.
Format akun utama yang didukung
Opsi principal mendukung format akun utama IAM v2 berikut:
| Jenis identitas | Format utama |
|---|---|
| Pengguna | principal://goog/subject/EMAIL_ADDRESS |
| Akun layanan | principal://iam.googleapis.com/projects/-/serviceAccounts/EMAIL_ADDRESS |
| Identitas workforce identity pool | principal://iam.googleapis.com/locations/global/workforcePools/POOL_ID/subject/SUBJECT_ID |
| Identitas workload identity pool | principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/subject/SUBJECT_ID |
Menetapkan akun utama ke pemesanan
SQL
Untuk membuat penetapan khusus pengguna, gunakan pernyataan DDL CREATE ASSIGNMENT dengan opsi principal.
CREATE ASSIGNMENT
`ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
OPTIONS (
assignee = 'projects/PROJECT_ID',
principal = 'principal://goog/subject/EMAIL_ADDRESS',
job_type = 'QUERY');
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanPROJECT_ID: the project ID- `EMAIL_ADDRESS: alamat email pengguna
JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNAL
bq
Untuk membuat penetapan khusus pengguna, gunakan perintah bq mk dengan flag --principal:
bq mk \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--reservation_id=RESERVATION_NAME \
--assignee_id=PROJECT_ID \
--assignee_type=PROJECT \
--principal=PRINCIPAL \
--job_type=JOB_TYPE
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanPROJECT_ID: the project IDPRINCIPAL: the principal identifier, for example,principal://goog/subject/EMAIL_ADDRESS`JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNAL
Menetapkan project ke none
Penetapan ke none mewakili tidak adanya penetapan. Project yang ditetapkan ke none menggunakan harga sesuai permintaan.
SQL
Untuk menetapkan project ke none, gunakan
pernyataan DDL CREATE ASSIGNMENT.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
CREATE ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.none.ASSIGNMENT_ID` OPTIONS( assignee="projects/PROJECT_ID", job_type="QUERY");
Ganti kode berikut:
LOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaanASSIGNMENT_ID: ID penetapanID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.
PROJECT_ID: ID project yang akan ditetapkan ke pemesanan
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
bq
Untuk menetapkan project ke none, gunakan perintah bq mk dengan flag --reservation_assignment:
bq mk \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--reservation_id=none \
--job_type=QUERY \
--assignee_id=PROJECT_ID \
--assignee_type=PROJECT
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaanPROJECT_ID: ID project yang akan ditetapkan kenone
Terraform
Gunakan resource google_bigquery_reservation_assignment.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Contoh berikut menetapkan project ke none:
resource "google_bigquery_reservation_assignment" "default" { assignee = "projects/PROJECT_ID" job_type = "QUERY" reservation = "projects/ADMIN_PROJECT_ID/locations/LOCATION/reservations/none" }
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaanPROJECT_ID: ID project yang akan ditetapkan kenone
Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.
Menyiapkan Cloud Shell
- Luncurkan Cloud Shell.
-
Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.
Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.
Menyiapkan direktori
Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).
-
Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki
ekstensi
.tf—misalnyamain.tf. Dalam tutorial ini, file ini disebut sebagaimain.tf.mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.
Salin kode contoh ke dalam
main.tfyang baru dibuat.Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.
- Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
- Simpan perubahan Anda.
-
Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
terraform init
Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi
-upgrade:terraform init -upgrade
Menerapkan perubahan
-
Tinjau konfigurasi dan pastikan resource yang akan dibuat atau
diupdate oleh Terraform sesuai yang Anda inginkan:
terraform plan
Koreksi konfigurasi jika diperlukan.
-
Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan
yespada prompt:terraform apply
Tunggu hingga Terraform menampilkan pesan "Apply complete!".
- Buka project Google Cloud Anda untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.
Jika tidak ada pemesanan dalam project administrasi, Anda harus menggunakan alat command line bq untuk melihat project yang ditetapkan ke none.
Mengganti pemesanan pada kueri
Untuk menggunakan pemesanan tertentu dalam kueri, Anda memerlukan izin Identity and Access Management (IAM) berikut:
bigquery.reservations.usepada pemesanan atau project administrasi-nya.
Untuk menetapkan kueri agar berjalan dalam pemesanan tertentu, lakukan salah satu tindakan berikut:
Konsol
Buka halaman BigQuery.
Klik Kueri SQL.
Di editor kueri, masukkan kueri GoogleSQL yang valid.
Klik Edit > Query settings.
Hapus centang pada kotak Automatic location setting, lalu pilih region atau multi-region tempat pemesanan berada.
Dalam daftar Reservation, pilih pemesanan tempat Anda ingin menjalankan kueri.
Klik Simpan.
Tulis kueri di tab editor, lalu jalankan. Kueri berjalan dalam pemesanan yang Anda tentukan.
SQL
Tetapkan variabel sistem @@reservation dalam sesi untuk menetapkan
pemesanan tempat kueri Anda berjalan:
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
SET @@reservation='RESERVATION'; SELECT QUERY;
Ganti kode berikut:
RESERVATION: pemesanan tempat Anda ingin menjalankan kueri.QUERY: kueri yang ingin Anda jalankan.
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
Misalnya, kueri berikut menggunakan pernyataan
SET
untuk menetapkan pemesanan ke test-reservation di multi-region
US, lalu memanggil kueri dasar:
SET @@reservation='projects/project1/locations/US/reservations/test-reservation'; SELECT 42;
bq
-
Di konsol Google Cloud , aktifkan Cloud Shell.
Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan terbuka dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Di Cloud Shell, jalankan kueri menggunakan perintah
bq querydengan flag--reservation_id:bq query --use_legacy_sql=false --reservation_id=RESERVATION_ID 'QUERY'
Ganti kode berikut:
RESERVATION_ID: pemesanan tempat Anda ingin menjalankan kueri.QUERY: pernyataan SQL untuk kueri.
Misalnya, kueri berikut berjalan dalam pemesanan
test-reservationdi multi-regionUS:bq query --reservation_id=project1.US:test-reservation 'SELECT 42;'
Python
Tetapkan properti reservation pada objek
QueryJobConfig:
from google.cloud import bigquery
# Construct a BigQuery client object.
client = bigquery.Client()
reservation = "projects/PROJECT_ID/locations/LOCATION/reservations/RESERVATION_NAME"
# Set the job configuration.
job_config = bigquery.QueryJobConfig(reservation=reservation)
# Submit the query.
query_job = client.query("SELECT 42;", job_config=job_config)
# Wait for the query to finish.
query_job.result()
print(f"Job {query_job.job_id} executed in reservation {query_job.reservation_id}.")
Ganti kode berikut:
PROJECT_ID: project ID dari project administrasi yang memiliki pemesanan.LOCATION: lokasi pemesanan.RESERVATION_NAME: nama pemesanan.
API
Untuk menentukan pemesanan menggunakan API, sisipkan tugas baru dan isi properti konfigurasi tugas query. Tentukan pemesanan Anda di kolom reservation.
Menetapkan slot ke workload ML BigQuery
Bagian berikut memberikan informasi tentang persyaratan penetapan pemesanan untuk model BigQuery ML. Anda dapat membuat penetapan pemesanan ini dengan mengikuti prosedur di Menetapkan organisasi ke pemesanan atau Menetapkan project atau folder ke pemesanan.
Model eksternal
Jenis model ML BigQuery berikut menggunakan layanan eksternal:
- Autoencoder
- AutoML
- Hierarki yang ditingkatkan
- Deep Neural Network (DNN)
- Hutan acak
- Jaringan Wide-and-Deep
Anda dapat menetapkan slot yang dicadangkan ke kueri menggunakan layanan ini dengan membuat
penetapan pemesanan yang menggunakan jenis tugas ML_EXTERNAL. Jika tidak ada penetapan pemesanan dengan jenis tugas ML_EXTERNAL yang ditemukan, tugas kueri akan dijalankan menggunakan harga on-demand.
Untuk tugas pelatihan model eksternal, slot dalam penetapan pemesanan digunakan untuk langkah pra-pemrosesan, pelatihan, dan pascapemrosesan. Selama pelatihan, slot tidak dapat di-preempt, tetapi selama pra-pemrosesan dan pascapemrosesan, slot tidak ada aktivitas dapat digunakan.
Model faktorisasi matriks
Untuk membuat model faktorisasi matriks, Anda harus
membuat pemesanan
yang menggunakan BigQuery
edisi Enterprise atau Enterprise Plus,
lalu membuat penetapan pemesanan yang menggunakan jenis tugas QUERY.
Jenis model lainnya
Untuk model BigQuery ML yang bukan model eksternal atau model faktorisasi matriks, Anda dapat menetapkan slot yang dicadangkan ke kueri menggunakan layanan ini dengan membuat penetapan pemesanan yang menggunakan jenis tugas QUERY.
Jika tidak ada penetapan pemesanan dengan jenis tugas QUERY yang ditemukan, tugas kueri akan dijalankan menggunakan harga on-demand.
Menemukan penetapan pemesanan
Izin yang diperlukan
Untuk menelusuri penetapan pemesanan untuk project, folder, atau organisasi tertentu, Anda memerlukan izin Identity and Access Management (IAM) berikut:
bigquery.reservationAssignments.listdi project administrasi.
Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:
BigQuery AdminBigQuery Resource AdminBigQuery Resource EditorBigQuery Resource ViewerBigQuery User
Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.
Menemukan penetapan pemesanan project
Anda dapat mengetahui apakah project, folder, atau organisasi Anda ditetapkan ke pemesanan dengan melakukan hal berikut:
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di menu navigasi, klik Workload management.
Klik tab Reservations.
Dalam tabel pemesanan, luaskan pemesanan untuk melihat resource yang ditetapkan ke pemesanan tersebut, atau gunakan kolom Filter untuk memfilter menurut nama resource.
SQL
Untuk menemukan pemesanan tempat tugas kueri project Anda ditetapkan, buat kueri
tampilan INFORMATION_SCHEMA.ASSIGNMENTS_BY_PROJECT.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
SELECT assignment_id FROM `region-LOCATION`.INFORMATION_SCHEMA.ASSIGNMENTS_BY_PROJECT WHERE assignee_id = 'PROJECT_ID' AND job_type = 'JOB_TYPE';
Ganti kode berikut:
LOCATION: lokasi pemesanan untuk dilihatADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananPROJECT_ID: ID project yang akan ditetapkan ke pemesananJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNAL
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
bq
Untuk menemukan pemesanan tempat tugas kueri project Anda ditetapkan, gunakan
perintah bq show dengan flag --reservation_assignment:
bq show \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--job_type=JOB_TYPE \
--assignee_id=PROJECT_ID \
--assignee_type=PROJECT
Untuk menemukan penetapan khusus pengguna, sertakan flag --principal:
bq show \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--job_type=JOB_TYPE \
--assignee_id=PROJECT_ID \
--assignee_type=PROJECT \
--principal=PRINCIPAL
Ganti kode berikut:
ADMIN_PROJECT_ID: ID project yang memiliki resource pemesananLOCATION: lokasi pemesanan untuk dilihatJOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, sepertiQUERY,CONTINUOUS,PIPELINE,BACKGROUND, atauML_EXTERNALPROJECT_ID: ID projectPRINCIPAL: ID akun utama, misalnya,principal://goog/subject/EMAIL_ADDRESS
Untuk melihat aturan penetapan khusus pengguna yang aktif, periksa kolom principal
di tampilan INFORMATION_SCHEMA.ASSIGNMENTS atau jalankan bq ls
--reservation_assignment. Selain itu, Anda dapat memverifikasi reservasi mana yang menjalankan tugas tertentu dengan mengkueri tampilan INFORMATION_SCHEMA.JOBS. Saat
menggunakan perintah bq show --reservation_assignment, Anda dapat menyertakan
flag --principal opsional untuk memfilter penetapan pengguna tertentu.
Memperbarui penetapan pemesanan
Memindahkan penetapan ke pemesanan lain
Anda dapat memindahkan penetapan dari satu pemesanan ke pemesanan lainnya.
Untuk memindahkan penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut di project administrasi dan penerima tugas.
bigquery.reservationAssignments.createbigquery.reservationAssignments.delete
Setiap peran IAM yang telah ditetapkan mencakup izin berikut:
BigQuery AdminBigQuery Resource AdminBigQuery Resource Editor
Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.
Untuk memindahkan penetapan, gunakan perintah bq update:
bq update \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment \
--destination_reservation_id=DESTINATION_RESERVATION \
ADMIN_PROJECT_ID:LOCATION.RESERVATION_NAME.ASSIGNMENT_ID
Ganti kode berikut:
ADMIN_PROJECT_ID: ID project yang memiliki resource pemesananLOCATION: lokasi pemesanan baruRESERVATION_NAME: pemesanan untuk memindahkan penetapan dariDESTINATION_RESERVATION: pemesanan untuk memindahkan penetapan keASSIGNMENT_ID: ID penetapanUntuk mendapatkan ID penetapan, lihat Mencantumkan penetapan pemesanan project.
Menghapus penetapan pemesanan
Anda dapat menghapus project dari pemesanan dengan menghapus penetapan pemesanan. Jika tidak ditetapkan ke pemesanan apa pun, project akan mewarisi penetapan apa pun di folder atau organisasi induknya, atau menggunakan harga sesuai permintaan jika tidak ada penetapan induk.
Saat Anda menghapus penetapan pemesanan, tugas yang dijalankan dengan slot dari pemesanan tersebut akan terus berjalan hingga selesai.
Izin yang diperlukan
Untuk menghapus penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut:
bigquery.reservationAssignments.deletepada project administrasi dan penerima tugas.
Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:
BigQuery AdminBigQuery Resource AdminBigQuery Resource Editor
Menghapus project dari pemesanan
Untuk menghapus project dari pemesanan:
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di menu navigasi, klik Workload management.
Klik tab Reservations.
Dalam tabel pemesanan, luaskan pemesanan untuk menemukan project.
Perluas opsi Actions.
Klik Delete.
SQL
Gunakan
pernyataan DDL DROP ASSIGNMENT.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, masukkan pernyataan berikut:
DROP ASSIGNMENT `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`;
Ganti kode berikut:
ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanUntuk menemukan ID penetapan, lihat Mencantumkan penetapan pemesanan project.
Klik Run.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.
bq
Untuk menghapus project dari pemesanan, gunakan perintah bq rm dengan flag --reservation_assignment:
bq rm \
--project_id=ADMIN_PROJECT_ID \
--location=LOCATION \
--reservation_assignment RESERVATION_NAME.ASSIGNMENT_ID
Ganti kode berikut:
ADMIN_PROJECT_ID: ID project yang memiliki resource pemesananLOCATION: lokasi pemesananRESERVATION_NAME: nama pemesananASSIGNMENT_ID: ID penetapanUntuk mendapatkan ID penetapan, lihat Menemukan penetapan pemesanan project.