Mengelola penetapan workload

BigQuery Reservation API memungkinkan Anda membeli slot khusus (disebut komitmen), membuat kumpulan slot (disebut pemesanan), dan menetapkan project, folder, serta organisasi ke pemesanan tersebut.

Dokumen ini menjelaskan cara membuat, menemukan, memindahkan, dan menghapus penetapan pemesanan untuk organisasi, folder, project, dan akun utama individu. Panduan ini juga menunjukkan cara melakukan tugas, seperti mengonfigurasi batas project dan menjadwalkan penggantian kebijakan. Untuk mengetahui detail konseptual, lihat Memahami pemesanan.

Membuat penetapan pemesanan

Untuk menggunakan slot yang dibeli, Anda perlu membuat penetapan yang menetapkan project, folder, organisasi, atau akun utama ke pemesanan slot. Anda tidak dapat menetapkan atau mengalokasikan jumlah slot tertentu di tingkat penetapan; slot dikelola dan ditetapkan di tingkat pemesanan.

Logika dan kriteria penetapan

Project menggunakan satu pemesanan paling spesifik dalam hierarki resource yang ditetapkan. BigQuery menggunakan logika evaluasi berikut untuk memilih pemesanan yang benar:

  1. Prioritas hierarki resource: BigQuery mengevaluasi penetapan berdasarkan ancestry resource penerima tugas (project > folder > organisasi). Penetapan folder dan organisasi tidak tersedia untuk pemesanan edisi standar.
  2. Penetapan khusus pengguna menggunakan properti principal: Penetapan pemesanan BigQuery mendukung properti principal opsional, yang memungkinkan administrator merutekan kueri ke pemesanan tertentu berdasarkan identitas pengguna atau akun layanan yang menjalankan tugas. Dalam resource penerima tugas tertentu, penetapan dengan akun utama yang cocok lebih diprioritaskan daripada penetapan umum yang akun utamanya tidak ditetapkan.

    Batas default per project untuk penetapan khusus pengguna adalah 100. Untuk mendapatkan bantuan dalam mengubah batas default, hubungi bigquery-wlm-feedback@google.com.

Untuk membuat penetapan pada pemesanan, pemesanan harus memenuhi setidaknya salah satu kriteria berikut:

  • Dikonfigurasi dengan jumlah slot dasar pengukuran yang ditetapkan bukan nol.

  • Slot ini dikonfigurasi dengan jumlah slot penskalaan otomatis yang bukan nol.

  • Kueri dikonfigurasi untuk menggunakan slot tidak aktif, dan ada slot tidak aktif yang tersedia dalam project.

Jika Anda mencoba menetapkan resource ke pemesanan yang tidak memenuhi setidaknya salah satu kriteria ini, Anda akan menerima pesan berikut: Assignment is pending, your project will be executed as on-demand.

Anda dapat menetapkan resource ke pemesanan failover, tetapi penetapan tersebut akan tertunda di lokasi sekunder.

Izin yang diperlukan

Untuk membuat penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut:

Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:

  • BigQuery Admin
  • BigQuery Resource Admin
  • BigQuery Resource Editor

Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.

Menetapkan organisasi ke pemesanan

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Reservations.

  4. Temukan pemesanan di tabel pemesanan.

  5. Perluas opsi Actions.

  6. Klik Create assignment.

  7. Di bagian Create an assignment, klik Browse.

  8. Jelajahi atau telusuri organisasi, lalu pilih organisasi tersebut.

  9. Di bagian Job Type, pilih jenis tugas yang akan ditetapkan untuk pemesanan ini. Opsinya meliputi:

    • QUERY
    • CONTINUOUS
    • PIPELINE
    • BACKGROUND
    • ML_EXTERNAL

    Untuk mengetahui informasi selengkapnya tentang jenis tugas, lihat Penetapan pemesanan. Nilai default ini adalah QUERY.

    Untuk mempelajari lebih lanjut cara mengizinkan pengguna menggunakan Gemini di BigQuery dengan penetapan edisi Enterprise Plus, lihat Menyiapkan Gemini di BigQuery.

  10. Opsional: Di kolom User, masukkan alamat email pengguna, akun layanan, atau identitas pihak ketiga.

  11. Klik Create.

SQL

Untuk menetapkan organisasi ke pemesanan, gunakan pernyataan DDL CREATE ASSIGNMENT.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE ASSIGNMENT
      `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
    OPTIONS (
      assignee = 'organizations/ORGANIZATION_ID',
      job_type = 'JOB_TYPE',
      principal = 'PRINCIPAL');

    Ganti kode berikut:

    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
    • LOCATION: lokasi pemesanan
    • RESERVATION_NAME: nama pemesanan
    • ASSIGNMENT_ID: ID tugas

      ID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.

    • ORGANIZATION_ID: ID organisasi
    • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL
    • Opsional: PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga

      Kolom principal hanya mendukung format ID Principal IAM berikut:

      • Akun Google
      • Akun layanan
      • Identitas tunggal dalam workforce identity pool
      • Identitas tunggal dalam workload identity pool

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Untuk menetapkan tugas organisasi ke pemesanan, gunakan perintah bq mk dengan flag --reservation_assignment:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --reservation_id=RESERVATION_NAME \
    --assignee_type=ORGANIZATION \
    --assignee_id=ORGANIZATION_ID \
    --job_type=JOB_TYPE \
    --principal=PRINCIPAL

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ORGANIZATION_ID: ID organisasi
  • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL
  • Opsional: PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga.

    Flag --principal hanya mendukung format ID akun utama IAM berikut:

    • Akun Google
    • Akun layanan
    • Identitas tunggal dalam workforce identity pool
    • Identitas tunggal dalam workload identity pool

Saat membuat penetapan pemesanan, tunggu setidaknya 5 menit sebelum menjalankan kueri. Jika tidak, kueri mungkin akan ditagih menggunakan harga sesuai permintaan.

Mengonfigurasi batas project dan penggantian kebijakan penjadwalan

Anda dapat membuat batas project, yang merupakan jenis aturan penetapan, untuk mengonfigurasi penggantian khusus project untuk kebijakan penjadwalan default pemesanan. Misalnya, Anda dapat membatasi pemakaian slot dan jumlah kueri serentak untuk project.

Tidak seperti jenis penetapan pemesanan lainnya yang menentukan pemesanan yang digunakan project, batas project adalah resource penetapan yang hanya mengontrol perilaku penjadwalan untuk project tertentu.

Saat Anda membuat batas project, batasan berikut berlaku:

  • Penerima tugas harus berupa project Google Cloud . Folder dan organisasi tidak didukung.
  • Jenis tugas harus tidak ditetapkan atau ditetapkan secara eksplisit ke JOB_TYPE_UNSPECIFIED.
  • Perubahan pada nilai kebijakan max_slots memerlukan kueri baru untuk dimulai sebelum update diterapkan.
  • Batas konsumsi slot level project tidak diterapkan pada fase pelatihan tugas ML_EXTERNAL. Lihat Menetapkan slot ke workload BigQuery ML untuk mengetahui detail selengkapnya.

Untuk membuat batas project melalui penetapan kebijakan penjadwalan ini, pilih salah satu opsi berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, buka Administration > Workload management.

  3. Klik tab Aturan penetapan.

  4. Klik Buat aturan penetapan.

  5. Dalam daftar Rule type, pilih Project cap.

  6. Dalam daftar Select a project, pilih project, lalu klik Continue.

  7. Dalam daftar Reservation, pilih pemesanan, lalu klik Continue.

  8. Di bagian Project override, masukkan nilai di kolom Max slots dan Max concurrency.

  9. Klik Create.

SQL

Untuk membuat penetapan kebijakan penjadwalan project, gunakan pernyataan DDL CREATE ASSIGNMENT dengan opsi scheduling_policy_max_slots dan scheduling_policy_concurrency.

CREATE ASSIGNMENT
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
OPTIONS (
  assignee = 'projects/PROJECT_ID',
  scheduling_policy_max_slots = MAX_SLOTS,
  scheduling_policy_concurrency = MAX_CONCURRENCY);

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ASSIGNMENT_ID: ID penetapan
  • PROJECT_ID: ID project Google Cloud yang ditetapkan
  • MAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di project
  • MAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project

bq

Untuk membuat penetapan kebijakan penjadwalan menggunakan alat command line bq, gunakan perintah bq mk dengan flag --scheduling_policy_max_slots dan --scheduling_policy_concurrency.

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --reservation_id=RESERVATION_NAME \
    --assignee_id=PROJECT_ID \
    --assignee_type=PROJECT \
    --scheduling_policy_max_slots=MAX_SLOTS \
    --scheduling_policy_concurrency=MAX_CONCURRENCY

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • PROJECT_ID: ID project Google Cloud yang ditetapkan
  • MAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di project
  • MAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project

Untuk mengubah atau menghapus penetapan kebijakan penjadwalan yang ada, gunakan pernyataan DDL ALTER ASSIGNMENT:

ALTER ASSIGNMENT
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
SET OPTIONS (
  scheduling_policy_max_slots = NEW_MAX_SLOTS,
  scheduling_policy_concurrency = NEW_MAX_CONCURRENCY);
-- To remove a scheduling policy setting, set its values to null. To all
   settings, delete the assignment.
   

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ASSIGNMENT_ID: ID penetapan
  • NEW_MAX_SLOTS: batas maksimum konsumsi slot kueri yang berjalan di project
  • NEW_MAX_CONCURRENCY: batas atas jumlah kueri simultan yang diizinkan untuk project

Untuk melihat penggantian kebijakan penjadwalan yang aktif, periksa kolom scheduling_policy dan assignment_type dalam tampilan INFORMATION_SCHEMA.ASSIGNMENTS.

Menetapkan project atau folder ke pemesanan

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Reservations.

  4. Temukan pemesanan di tabel pemesanan.

  5. Perluas opsi Actions.

  6. Klik Create assignment.

  7. Di bagian Create an assignment, klik Browse.

  8. Jelajahi atau telusuri project atau folder, lalu pilih project atau folder tersebut.

  9. Di bagian Job Type, pilih jenis tugas yang akan ditetapkan untuk pemesanan ini. Opsinya meliputi:

    • QUERY
    • CONTINUOUS
    • PIPELINE
    • BACKGROUND
    • ML_EXTERNAL

    Pembuatan dan modifikasi jenis tugas latar belakang yang lebih terperinci seperti BACKGROUND_COLUMN_METADATA_INDEX belum didukung melalui konsol.

    Untuk informasi selengkapnya tentang jenis tugas, lihat penetapan pemesanan. Nilai default ini adalah QUERY.

  10. Opsional: Di kolom User, masukkan alamat email pengguna, akun layanan, atau identitas pihak ketiga.

  11. Klik Create.

SQL

Untuk menetapkan project ke pemesanan, gunakan pernyataan DDL CREATE ASSIGNMENT.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE ASSIGNMENT
      `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
    OPTIONS(
      assignee="projects/PROJECT_ID",
      job_type="JOB_TYPE",
      principal="PRINCIPAL");

    Ganti kode berikut:

    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
    • LOCATION: lokasi pemesanan
    • RESERVATION_NAME: nama pemesanan
    • ASSIGNMENT_ID: ID tugas

      ID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.

    • PROJECT_ID: ID project yang akan ditetapkan ke pemesanan
    • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL
    • Opsional: PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga. Kolom principal hanya mendukung format ID akun utama IAM berikut:

      • Akun Google
      • Akun layanan
      • Identitas tunggal dalam workforce identity pool
      • Identitas tunggal dalam workload identity pool

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Untuk menetapkan tugas ke pemesanan, gunakan perintah bq mk dengan flag --reservation_assignment:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --reservation_id=RESERVATION_NAME \
    --assignee_type=PROJECT \
    --assignee_id=PROJECT_ID \
    --job_type=JOB_TYPE \
    --principal=PRINCIPAL

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • PROJECT_ID: ID project yang akan ditetapkan ke pemesanan ini
  • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL
  • Opsional: PRINCIPAL: format identitas yang menentukan pengguna, akun layanan, atau identitas pihak ketiga.

    Flag --principal hanya mendukung format ID akun utama IAM berikut:

    • Akun Google
    • Akun layanan
    • Identitas tunggal dalam workforce identity pool
    • Identitas tunggal dalam workload identity pool

Terraform

Gunakan resource google_bigquery_reservation_assignment.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

Contoh berikut menetapkan project ke pemesanan bernama my-reservation:

resource "google_bigquery_reservation" "default" {
  name              = "my-reservation"
  location          = "us-central1"
  slot_capacity     = 100
  edition           = "ENTERPRISE"
  ignore_idle_slots = false # Use idle slots from other reservations
  concurrency       = 0     # Automatically adjust query concurrency based on available resources
  autoscale {
    max_slots = 200 # Allow the reservation to scale up to 300 slots (slot_capacity + max_slots) if needed
  }
}

data "google_project" "project" {}

resource "google_bigquery_reservation_assignment" "default" {
  assignee    = "projects/${data.google_project.project.project_id}"
  job_type    = "QUERY"
  reservation = google_bigquery_reservation.default.id
}

Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.

Menyiapkan Cloud Shell

  1. Luncurkan Cloud Shell.
  2. Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.

    Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.

    export GOOGLE_CLOUD_PROJECT=PROJECT_ID

    Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

Menyiapkan direktori

Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

  1. Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf.
    mkdir DIRECTORY && cd DIRECTORY && touch main.tf
  2. Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

    Salin kode contoh ke dalam main.tf yang baru dibuat.

    Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.

  3. Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
  4. Simpan perubahan Anda.
  5. Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
    terraform init

    Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade:

    terraform init -upgrade

Menerapkan perubahan

  1. Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan:
    terraform plan

    Koreksi konfigurasi jika diperlukan.

  2. Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt:
    terraform apply

    Tunggu hingga Terraform menampilkan pesan "Apply complete!".

  3. Buka project Google Cloud Anda untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

Saat membuat penetapan pemesanan, tunggu setidaknya 5 menit sebelum menjalankan kueri. Jika tidak, kueri mungkin akan ditagih menggunakan harga sesuai permintaan.

Untuk membuat project yang hanya menggunakan slot tidak ada aktivitas, buat pemesanan dengan slot 0 yang ditetapkan ke pemesanan tersebut, lalu ikuti langkah-langkah sebelumnya untuk menetapkan project ke pemesanan tersebut.

Penetapan khusus pengguna

Anda dapat menetapkan pemesanan ke akun utama tertentu seperti pengguna atau akun layanan dalam project, folder, atau organisasi. Hal ini berguna untuk merutekan workload pengguna tertentu ke pemesanan khusus.

Saat menentukan pemesanan yang akan digunakan untuk suatu tugas, BigQuery mengevaluasi penetapan dalam urutan berikut:

  1. Evaluasi hierarki resource, dimulai dengan project, lalu folder induk, kemudian organisasi.
  2. Di setiap tingkat hierarki, BigQuery terlebih dahulu memeriksa penetapan yang cocok dengan akun utama tertentu yang menjalankan tugas.
  3. Jika tidak ada penetapan yang cocok dengan akun utama di level tersebut, periksa penetapan umum tanpa akun utama di level yang sama.
  4. Jika tidak ada penetapan yang ditemukan, lanjutkan ke tingkat berikutnya dalam hierarki.

Penetapan level project tanpa akun utama akan menggantikan penetapan level folder dengan akun utama.

Format akun utama yang didukung

Opsi principal mendukung format akun utama IAM v2 berikut:

Jenis identitas Format utama
Pengguna principal://goog/subject/EMAIL_ADDRESS
Akun layanan principal://iam.googleapis.com/projects/-/serviceAccounts/EMAIL_ADDRESS
Identitas workforce identity pool principal://iam.googleapis.com/locations/global/workforcePools/POOL_ID/subject/SUBJECT_ID
Identitas workload identity pool principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/subject/SUBJECT_ID

Menetapkan akun utama ke pemesanan

SQL

Untuk membuat penetapan khusus pengguna, gunakan pernyataan DDL CREATE ASSIGNMENT dengan opsi principal.

CREATE ASSIGNMENT
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
OPTIONS (
  assignee = 'projects/PROJECT_ID',
  principal = 'principal://goog/subject/EMAIL_ADDRESS',
  job_type = 'QUERY');

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ASSIGNMENT_ID: ID penetapan
  • PROJECT_ID: the project ID
  • `EMAIL_ADDRESS: alamat email pengguna
  • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL

bq

Untuk membuat penetapan khusus pengguna, gunakan perintah bq mk dengan flag --principal:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --reservation_id=RESERVATION_NAME \
    --assignee_id=PROJECT_ID \
    --assignee_type=PROJECT \
    --principal=PRINCIPAL \
    --job_type=JOB_TYPE

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ASSIGNMENT_ID: ID penetapan
  • PROJECT_ID: the project ID
  • PRINCIPAL: the principal identifier, for example,principal://goog/subject/EMAIL_ADDRESS`
  • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL

Menetapkan project ke none

Penetapan ke none mewakili tidak adanya penetapan. Project yang ditetapkan ke none menggunakan harga sesuai permintaan.

SQL

Untuk menetapkan project ke none, gunakan pernyataan DDL CREATE ASSIGNMENT.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE ASSIGNMENT
      `ADMIN_PROJECT_ID.region-LOCATION.none.ASSIGNMENT_ID`
    OPTIONS(
      assignee="projects/PROJECT_ID",
      job_type="QUERY");

    Ganti kode berikut:

    • LOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaan
    • ASSIGNMENT_ID: ID penetapan

      ID harus unik untuk project dan lokasi, diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.

    • PROJECT_ID: ID project yang akan ditetapkan ke pemesanan

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Untuk menetapkan project ke none, gunakan perintah bq mk dengan flag --reservation_assignment:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --reservation_id=none \
    --job_type=QUERY \
    --assignee_id=PROJECT_ID \
    --assignee_type=PROJECT

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaan
  • PROJECT_ID: ID project yang akan ditetapkan ke none

Terraform

Gunakan resource google_bigquery_reservation_assignment.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

Contoh berikut menetapkan project ke none:

resource "google_bigquery_reservation_assignment" "default" {
  assignee    = "projects/PROJECT_ID"
  job_type    = "QUERY"
  reservation = "projects/ADMIN_PROJECT_ID/locations/LOCATION/reservations/none"
}

Ganti kode berikut:

  • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
  • LOCATION: lokasi tugas yang harus menggunakan harga sesuai permintaan
  • PROJECT_ID: ID project yang akan ditetapkan ke none

Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.

Menyiapkan Cloud Shell

  1. Luncurkan Cloud Shell.
  2. Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.

    Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.

    export GOOGLE_CLOUD_PROJECT=PROJECT_ID

    Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

Menyiapkan direktori

Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

  1. Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf.
    mkdir DIRECTORY && cd DIRECTORY && touch main.tf
  2. Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

    Salin kode contoh ke dalam main.tf yang baru dibuat.

    Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.

  3. Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
  4. Simpan perubahan Anda.
  5. Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
    terraform init

    Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade:

    terraform init -upgrade

Menerapkan perubahan

  1. Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan:
    terraform plan

    Koreksi konfigurasi jika diperlukan.

  2. Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt:
    terraform apply

    Tunggu hingga Terraform menampilkan pesan "Apply complete!".

  3. Buka project Google Cloud Anda untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

Jika tidak ada pemesanan dalam project administrasi, Anda harus menggunakan alat command line bq untuk melihat project yang ditetapkan ke none.

Mengganti pemesanan pada kueri

Untuk menggunakan pemesanan tertentu dalam kueri, Anda memerlukan izin Identity and Access Management (IAM) berikut:

Untuk menetapkan kueri agar berjalan dalam pemesanan tertentu, lakukan salah satu tindakan berikut:

Konsol

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Klik Kueri SQL.

  3. Di editor kueri, masukkan kueri GoogleSQL yang valid.

  4. Klik Edit > Query settings.

  5. Hapus centang pada kotak Automatic location setting, lalu pilih region atau multi-region tempat pemesanan berada.

  6. Dalam daftar Reservation, pilih pemesanan tempat Anda ingin menjalankan kueri.

  7. Klik Simpan.

  8. Tulis kueri di tab editor, lalu jalankan. Kueri berjalan dalam pemesanan yang Anda tentukan.

SQL

Tetapkan variabel sistem @@reservation dalam sesi untuk menetapkan pemesanan tempat kueri Anda berjalan:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    SET @@reservation='RESERVATION';
    SELECT QUERY;

    Ganti kode berikut:

    • RESERVATION: pemesanan tempat Anda ingin menjalankan kueri.

    • QUERY: kueri yang ingin Anda jalankan.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Misalnya, kueri berikut menggunakan pernyataan SET untuk menetapkan pemesanan ke test-reservation di multi-region US, lalu memanggil kueri dasar:

SET @@reservation='projects/project1/locations/US/reservations/test-reservation';
SELECT 42;

bq

  1. Di konsol Google Cloud , aktifkan Cloud Shell.

    Aktifkan Cloud Shell

    Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan terbuka dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

  2. Di Cloud Shell, jalankan kueri menggunakan perintah bq query dengan flag --reservation_id:

    bq query --use_legacy_sql=false --reservation_id=RESERVATION_ID
    'QUERY'

    Ganti kode berikut:

    • RESERVATION_ID: pemesanan tempat Anda ingin menjalankan kueri.

    • QUERY: pernyataan SQL untuk kueri.

    Misalnya, kueri berikut berjalan dalam pemesanan test-reservation di multi-region US:

    bq query --reservation_id=project1.US:test-reservation 'SELECT 42;'

Python

Tetapkan properti reservation pada objek QueryJobConfig:

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

reservation = "projects/PROJECT_ID/locations/LOCATION/reservations/RESERVATION_NAME"

# Set the job configuration.
job_config = bigquery.QueryJobConfig(reservation=reservation)

# Submit the query.
query_job = client.query("SELECT 42;", job_config=job_config)

# Wait for the query to finish.
query_job.result()

print(f"Job {query_job.job_id} executed in reservation {query_job.reservation_id}.")

Ganti kode berikut:

  • PROJECT_ID: project ID dari project administrasi yang memiliki pemesanan.
  • LOCATION: lokasi pemesanan.
  • RESERVATION_NAME: nama pemesanan.

API

Untuk menentukan pemesanan menggunakan API, sisipkan tugas baru dan isi properti konfigurasi tugas query. Tentukan pemesanan Anda di kolom reservation.

Menetapkan slot ke workload ML BigQuery

Bagian berikut memberikan informasi tentang persyaratan penetapan pemesanan untuk model BigQuery ML. Anda dapat membuat penetapan pemesanan ini dengan mengikuti prosedur di Menetapkan organisasi ke pemesanan atau Menetapkan project atau folder ke pemesanan.

Model eksternal

Jenis model ML BigQuery berikut menggunakan layanan eksternal:

Anda dapat menetapkan slot yang dicadangkan ke kueri menggunakan layanan ini dengan membuat penetapan pemesanan yang menggunakan jenis tugas ML_EXTERNAL. Jika tidak ada penetapan pemesanan dengan jenis tugas ML_EXTERNAL yang ditemukan, tugas kueri akan dijalankan menggunakan harga on-demand.

Untuk tugas pelatihan model eksternal, slot dalam penetapan pemesanan digunakan untuk langkah pra-pemrosesan, pelatihan, dan pascapemrosesan. Selama pelatihan, slot tidak dapat di-preempt, tetapi selama pra-pemrosesan dan pascapemrosesan, slot tidak ada aktivitas dapat digunakan.

Model faktorisasi matriks

Untuk membuat model faktorisasi matriks, Anda harus membuat pemesanan yang menggunakan BigQuery edisi Enterprise atau Enterprise Plus, lalu membuat penetapan pemesanan yang menggunakan jenis tugas QUERY.

Jenis model lainnya

Untuk model BigQuery ML yang bukan model eksternal atau model faktorisasi matriks, Anda dapat menetapkan slot yang dicadangkan ke kueri menggunakan layanan ini dengan membuat penetapan pemesanan yang menggunakan jenis tugas QUERY. Jika tidak ada penetapan pemesanan dengan jenis tugas QUERY yang ditemukan, tugas kueri akan dijalankan menggunakan harga on-demand.

Menemukan penetapan pemesanan

Izin yang diperlukan

Untuk menelusuri penetapan pemesanan untuk project, folder, atau organisasi tertentu, Anda memerlukan izin Identity and Access Management (IAM) berikut:

  • bigquery.reservationAssignments.list di project administrasi.

Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:

  • BigQuery Admin
  • BigQuery Resource Admin
  • BigQuery Resource Editor
  • BigQuery Resource Viewer
  • BigQuery User

Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.

Menemukan penetapan pemesanan project

Anda dapat mengetahui apakah project, folder, atau organisasi Anda ditetapkan ke pemesanan dengan melakukan hal berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Reservations.

  4. Dalam tabel pemesanan, luaskan pemesanan untuk melihat resource yang ditetapkan ke pemesanan tersebut, atau gunakan kolom Filter untuk memfilter menurut nama resource.

SQL

Untuk menemukan pemesanan tempat tugas kueri project Anda ditetapkan, buat kueri tampilan INFORMATION_SCHEMA.ASSIGNMENTS_BY_PROJECT.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

      SELECT
        assignment_id
      FROM `region-LOCATION`.INFORMATION_SCHEMA.ASSIGNMENTS_BY_PROJECT
      WHERE
        assignee_id = 'PROJECT_ID'
        AND job_type = 'JOB_TYPE';

    Ganti kode berikut:

    • LOCATION: lokasi pemesanan untuk dilihat
    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan
    • PROJECT_ID: ID project yang akan ditetapkan ke pemesanan
    • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Untuk menemukan pemesanan tempat tugas kueri project Anda ditetapkan, gunakan perintah bq show dengan flag --reservation_assignment:

bq show \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --job_type=JOB_TYPE \
    --assignee_id=PROJECT_ID \
    --assignee_type=PROJECT

Untuk menemukan penetapan khusus pengguna, sertakan flag --principal:

bq show \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --job_type=JOB_TYPE \
    --assignee_id=PROJECT_ID \
    --assignee_type=PROJECT \
    --principal=PRINCIPAL

Ganti kode berikut:

  • ADMIN_PROJECT_ID: ID project yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan untuk dilihat
  • JOB_TYPE: jenis tugas yang akan ditetapkan ke pemesanan ini, seperti QUERY, CONTINUOUS, PIPELINE, BACKGROUND, atau ML_EXTERNAL
  • PROJECT_ID: ID project
  • PRINCIPAL: ID akun utama, misalnya, principal://goog/subject/EMAIL_ADDRESS

Untuk melihat aturan penetapan khusus pengguna yang aktif, periksa kolom principal di tampilan INFORMATION_SCHEMA.ASSIGNMENTS atau jalankan bq ls --reservation_assignment. Selain itu, Anda dapat memverifikasi reservasi mana yang menjalankan tugas tertentu dengan mengkueri tampilan INFORMATION_SCHEMA.JOBS. Saat menggunakan perintah bq show --reservation_assignment, Anda dapat menyertakan flag --principal opsional untuk memfilter penetapan pengguna tertentu.

Memperbarui penetapan pemesanan

Memindahkan penetapan ke pemesanan lain

Anda dapat memindahkan penetapan dari satu pemesanan ke pemesanan lainnya.

Untuk memindahkan penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut di project administrasi dan penerima tugas.

  • bigquery.reservationAssignments.create
  • bigquery.reservationAssignments.delete

Setiap peran IAM yang telah ditetapkan mencakup izin berikut:

  • BigQuery Admin
  • BigQuery Resource Admin
  • BigQuery Resource Editor

Untuk mengetahui informasi lebih lanjut tentang peran IAM di BigQuery, lihat Peran dan izin yang telah ditetapkan.

Untuk memindahkan penetapan, gunakan perintah bq update:

bq update \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment \
    --destination_reservation_id=DESTINATION_RESERVATION \
    ADMIN_PROJECT_ID:LOCATION.RESERVATION_NAME.ASSIGNMENT_ID

Ganti kode berikut:

  • ADMIN_PROJECT_ID: ID project yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan baru
  • RESERVATION_NAME: pemesanan untuk memindahkan penetapan dari
  • DESTINATION_RESERVATION: pemesanan untuk memindahkan penetapan ke
  • ASSIGNMENT_ID: ID penetapan

    Untuk mendapatkan ID penetapan, lihat Mencantumkan penetapan pemesanan project.

Menghapus penetapan pemesanan

Anda dapat menghapus project dari pemesanan dengan menghapus penetapan pemesanan. Jika tidak ditetapkan ke pemesanan apa pun, project akan mewarisi penetapan apa pun di folder atau organisasi induknya, atau menggunakan harga sesuai permintaan jika tidak ada penetapan induk.

Saat Anda menghapus penetapan pemesanan, tugas yang dijalankan dengan slot dari pemesanan tersebut akan terus berjalan hingga selesai.

Izin yang diperlukan

Untuk menghapus penetapan pemesanan, Anda memerlukan izin Identity and Access Management (IAM) berikut:

Setiap peran IAM yang telah ditetapkan berikut mencakup izin ini:

  • BigQuery Admin
  • BigQuery Resource Admin
  • BigQuery Resource Editor

Menghapus project dari pemesanan

Untuk menghapus project dari pemesanan:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Reservations.

  4. Dalam tabel pemesanan, luaskan pemesanan untuk menemukan project.

  5. Perluas opsi Actions.

  6. Klik Delete.

SQL

Gunakan pernyataan DDL DROP ASSIGNMENT.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    DROP ASSIGNMENT
      `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`;

    Ganti kode berikut:

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

bq

Untuk menghapus project dari pemesanan, gunakan perintah bq rm dengan flag --reservation_assignment:

bq rm \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_assignment RESERVATION_NAME.ASSIGNMENT_ID

Ganti kode berikut:

  • ADMIN_PROJECT_ID: ID project yang memiliki resource pemesanan
  • LOCATION: lokasi pemesanan
  • RESERVATION_NAME: nama pemesanan
  • ASSIGNMENT_ID: ID penetapan

    Untuk mendapatkan ID penetapan, lihat Menemukan penetapan pemesanan project.