Disaster recovery terkelola

Untuk melindungi data dan menjaga kelangsungan bisnis selama pemadaman layanan regional, Anda dapat mengonfigurasi dan menggunakan disaster recovery yang dikelola BigQuery untuk data dan workload BigQuery Anda.

Ringkasan

BigQuery mendukung skenario disaster recovery jika terjadi pemadaman layanan total di suatu region. Disaster recovery BigQuery mengandalkan replikasi set data lintas region untuk mengelola failover penyimpanan. Setelah membuat replika set data di region sekunder, Anda dapat mengontrol perilaku failover untuk komputasi dan penyimpanan guna menjaga kelangsungan bisnis selama pemadaman layanan. Setelah failover, Anda dapat mengakses kapasitas komputasi (slot) dan set data yang direplikasi di region yang dipromosikan. Disaster recovery hanya didukung dengan edisi Enterprise Plus.

Disaster recovery terkelola menawarkan dua opsi failover: hard failover dan soft failover. Hard failover akan segera mempromosikan reservasi dan replika set data region sekunder menjadi region utama. Tindakan ini akan dilanjutkan meskipun region utama saat ini sedang offline dan tidak menunggu replikasi data yang belum direplikasi. Oleh karena itu, kehilangan data dapat terjadi selama failover hard. Setiap tugas yang meng-commit data di region sumber setelah nilai replika replication_time mungkin perlu dijalankan ulang di region tujuan setelah failover hard. Selama failover hard, kontrol akses set data (ACL)—termasuk tampilan yang diizinkan dan pemberian akses pengguna—yang belum direplikasi juga dapat hilang. Untuk mencegah gangguan downstream, sertakan langkah-langkah pembuatan ulang ACL (misalnya, dengan menggunakan terraform apply) dalam playbook failover Anda. Berbeda dengan hard failover, soft failover menunggu hingga semua perubahan pemesanan dan set data yang di-commit di region utama direplikasi ke region sekunder sebelum menyelesaikan proses failover. Failover ringan memerlukan ketersediaan region utama dan sekunder. Memulai failover ringan akan menetapkan softFailoverStartTime untuk pemesanan. softFailoverStartTime akan dihapus setelah penyelesaian failover ringan.

Untuk mengaktifkan disaster recovery, Anda harus membuat pemesanan edisi Enterprise Plus di region utama, yaitu region tempat set data berada sebelum failover. Kapasitas komputasi standby di region yang dipasangkan disertakan dalam pemesanan Enterprise Plus. Kemudian, Anda melampirkan set data ke pemesanan ini untuk mengaktifkan failover untuk set data tersebut. Anda hanya dapat melampirkan set data ke pemesanan jika set data tersebut diisi ulang dan memiliki lokasi utama dan sekunder yang dipasangkan sama dengan pemesanan. Setelah set data dilampirkan ke pemesanan failover, hanya pemesanan Enterprise Plus yang dapat menulis ke set data tersebut dan Anda tidak dapat melakukan promosi replikasi lintas region pada set data tersebut. Anda dapat membaca dari set data yang dilampirkan ke pemesanan failover dengan model kapasitas apa pun. Untuk mengetahui informasi selengkapnya tentang pemesanan, lihat Pengantar pengelolaan workload.

Kapasitas komputasi region utama Anda tersedia di region sekunder segera setelah failover. Ketersediaan ini berlaku untuk dasar pengukuran pemesanan Anda, baik digunakan atau tidak.

Anda harus secara aktif memilih untuk melakukan failover sebagai bagian dari pengujian atau sebagai respons terhadap bencana yang sebenarnya. Anda tidak boleh melakukan failover lebih dari sekali dalam periode 10 menit. Dalam skenario replikasi data, pengisian ulang mengacu pada proses pengisian replika set data dengan data historis yang ada sebelum replika dibuat atau menjadi aktif. Set data harus menyelesaikan pengisian ulang sebelum Anda dapat melakukan failover ke set data tersebut.

Diagram berikut menunjukkan arsitektur disaster recovery terkelola:

Arsitektur disaster recovery terkelola.

Batasan

Batasan berikut berlaku untuk disaster recovery BigQuery:

  • Disaster recovery BigQuery tunduk pada batasan yang sama dengan replikasi set data lintas region.

  • Reservasi failover dapat memiliki maksimum 1.000 set data yang terpasang.

  • Anda tidak dapat mengonversi pemesanan yang ada menjadi pemesanan failover jika pemesanan tersebut memiliki lebih dari 1.000 penetapan pemesanan.

  • Jika kueri mereferensikan set data yang dilampirkan ke beberapa pemesanan failover dalam project administrasi yang sama, semua pemesanan tersebut harus menggunakan lokasi sekunder yang sama.

  • Setelah set data dilampirkan ke pemesanan failover, hanya pemesanan Enterprise Plus yang dapat menulis ke set data tersebut. Anda dapat membaca dari set data yang terlampir menggunakan model kapasitas apa pun.

  • Untuk set data yang menggunakan disaster recovery, tugas pemuatan dan ekstraksi tidak dapat menggunakan pool slot bersama gratis. Anda harus membuat penetapan pemesanan jenis PIPELINE karena hanya edisi Enterprise Plus yang mendukung penulisan ke set data yang dikonfigurasi untuk disaster recovery.

  • Setelah failover, penskalaan otomatis bergantung pada ketersediaan kapasitas komputasi di region sekunder. Hanya dasar pengukuran pemesanan yang tersedia di region sekunder.

  • Jika replikasi gagal selama pembuatan awal resource, pemesanan tidak akan dibuat di region sekunder, dan failover hard atau soft tidak akan tersedia.

  • Failover ringan memerlukan ketersediaan region utama dan sekunder.

  • Anda tidak dapat memulai soft failover jika perubahan konfigurasi pemesanan belum direplikasi ke region sekunder. Setiap error replikasi, seperti kuota slot yang tidak mencukupi di region sekunder atau masalah sementara, akan mencegah failover ringan dimulai.

  • Selama failover ringan aktif, Anda tidak dapat memperbarui pemesanan atau set data yang terlampir, tetapi Anda masih dapat membaca dari set data tersebut.

  • Tugas yang berjalan pada pemesanan failover selama failover ringan yang aktif mungkin tidak menggunakan slot pemesanan karena perubahan perutean sementara selama operasi failover. Tugas ini menggunakan slot pemesanan sebelum failover ringan dimulai dan setelah selesai.

  • Setelah failover, kueri terjadwal tidak otomatis dialihkan ke lokasi utama baru karena terikat ke lokasi yang ditentukan selama pembuatan. Untuk melanjutkan kueri terjadwal, Anda harus membuatnya kembali di lokasi utama yang baru.

  • Tampilan INFORMATION_SCHEMA.RESERVATIONS tidak menyertakan detail failover. Untuk mencantumkan peristiwa failover untuk pemesanan, buat kueri tampilan INFORMATION_SCHEMA.FAILOVER_HISTORY.

  • Tampilan INFORMATION_SCHEMA.JOBS hanya berisi histori tugas untuk region tempat tugas dijalankan. Histori tugas region utama tidak direplikasi ke region sekunder. Setelah failover, histori tugas dari region utama tidak terlihat di region sekunder.

Lokasi

Region berikut tersedia saat membuat pemesanan failover:

Kode lokasi Nama Region Deskripsi Region
AU
AUSTRALIA-SOUTHEAST1 Sydney
AUSTRALIA-SOUTHEAST2 Melbourne
CA
NORTHAMERICA-NORTHEAST1 Montréal
NORTHAMERICA-NORTHEAST2 Toronto
DE
EUROPE-WEST3 Frankfurt
EUROPE-WEST10 Berlin
EU
EU Multi-region Uni Eropa
EUROPE-CENTRAL2 Warsawa
EUROPE-NORTH1 Finlandia
EUROPE-SOUTHWEST1 Madrid
EUROPE-WEST1 Belgia
EUROPE-WEST3 Frankfurt
EUROPE-WEST4 Belanda
EUROPE-WEST8 Milan
EUROPE-WEST9 Paris
IN
ASIA-SOUTH1 Mumbai
ASIA-SOUTH2 Delhi
US
US Multi-region AS
US-CENTRAL1 Iowa
US-EAST1 Carolina Selatan
US-EAST4 Northern Virginia
US-EAST5 Columbus
US-SOUTH1 Dallas
US-WEST1 Oregon
US-WEST2 Los Angeles
US-WEST3 Salt Lake City
US-WEST4 Las Vegas

Pasangan region harus dipilih dalam AU, CA, DE, EU, IN, atau US. Misalnya, region dalam US tidak dapat disambungkan dengan region dalam EU.

Jika set data BigQuery Anda berada di lokasi multi-region, Anda tidak dapat menggunakan pasangan region berikut. Batasan ini diperlukan untuk memastikan bahwa reservasi dan data failover Anda dipisahkan secara geografis setelah replikasi. Untuk mengetahui informasi selengkapnya tentang region yang terdapat dalam multi-region, lihat Multi-region.

  • us-central1 - us multi-region
  • us-west1 - Multi-region us
  • eu-west1 - eu multi-region
  • eu-west4 - eu multi-region

Sebelum memulai

  1. Pastikan Anda memiliki izin Identity and Access Management (IAM) bigquery.reservations.update untuk memperbarui pemesanan.
  2. Pastikan Anda memiliki set data yang sudah dikonfigurasi untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mereplikasi set data.

Replikasi Turbo

Disaster recovery menggunakan Replikasi turbo untuk replikasi data yang lebih cepat di seluruh region, yang mengurangi risiko eksposur kehilangan data, meminimalkan periode nonaktif layanan, dan membantu mendukung layanan tanpa gangguan setelah pemadaman layanan regional.

Replikasi Turbo tidak berlaku untuk operasi pengisian ulang awal. Setelah operasi pengisian ulang awal selesai, replikasi turbo bertujuan untuk mereplikasi set data ke satu pasangan region failover dengan replika sekunder dalam waktu 15 menit, selama kuota bandwidth tidak terlampaui dan tidak ada error pengguna.

Batas waktu pemulihan

Batas waktu pemulihan (RTO) adalah target waktu yang diizinkan untuk pemulihan di BigQuery jika terjadi bencana. Untuk mengetahui informasi selengkapnya tentang RTO, lihat Dasar-dasar perencanaan DR.Disaster recovery terkelola memiliki RTO lima menit setelah Anda memulai failover. Karena RTO, kapasitas tersedia di region sekunder dalam waktu lima menit setelah memulai proses failover.

Toleransi durasi kehilangan data

Toleransi durasi kehilangan data (RPO) adalah titik waktu terbaru saat data harus dapat dipulihkan. Untuk mengetahui informasi selengkapnya tentang RPO, lihat Dasar-dasar perencanaan DR. Pemulihan dari bencana (disaster recovery) terkelola memiliki RPO yang ditentukan per set data. RPO bertujuan untuk menjaga replika sekunder dalam waktu 15 menit dari replika utama. Untuk memenuhi RPO ini, Anda tidak boleh melebihi kuota bandwidth dan tidak boleh ada error pengguna.

Kuota

Anda harus memiliki kapasitas komputasi yang dipilih di region sekunder sebelum mengonfigurasi pemesanan failover. Jika tidak ada kuota yang tersedia di region sekunder, Anda tidak dapat mengonfigurasi atau memperbarui pemesanan. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.

Pertimbangan kuota untuk pemesanan failover

Saat Anda mengonfigurasi disaster recovery terkelola, slot dasar untuk pemesanan failover adalah slot yang dialokasikan di region sekunder. Slot yang dialokasikan ini muncul sebagai "digunakan" di halaman Quotas & System Limits di region sekunder, meskipun reservasi tidak ada aktivitas dan tidak ada failover yang dimulai. Pastikan project administrasi Anda memiliki kuota slot yang cukup di region sekunder untuk mengakomodasi kapasitas dasar pengukuran pemesanan failover. Untuk mengetahui informasi selengkapnya tentang slot yang dialokasikan dan penggunaan kuota, lihat Memahami metrik slot.

Bandwidth replikasi Turbo memiliki kuota. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.

Harga

Mengonfigurasi disaster recovery terkelola memerlukan paket harga berikut:

  • Kapasitas komputasi: Anda harus membeli edisi Enterprise Plus.

  • Replikasi turbo: Disaster recovery mengandalkan replikasi turbo selama replikasi. Anda akan dikenai biaya berdasarkan byte fisik dan per GiB fisik yang direplikasi. Untuk mengetahui informasi selengkapnya, lihat Harga transfer data replikasi data untuk replikasi Turbo.

  • Penyimpanan: Byte penyimpanan di region sekunder dikenakan biaya dengan harga yang sama seperti byte penyimpanan di region utama. Untuk mengetahui informasi selengkapnya, lihat Harga penyimpanan.

Pelanggan hanya perlu membayar kapasitas komputasi di region utama. Kapasitas komputasi sekunder (berdasarkan dasar pengukuran pemesanan) tersedia di region sekunder tanpa biaya tambahan. Slot tidak aktif tidak dapat menggunakan kapasitas komputasi sekunder kecuali jika reservasi telah gagal.

Jika perlu melakukan pembacaan usang di region sekunder, Anda harus membeli kapasitas komputasi tambahan.

Disaster recovery terkelola mendukung pensalaan fleksibel BigQuery. Untuk memastikan penagihan per detik tanpa durasi minimum setelah failover, Anda harus mengaktifkan penskalaan fleksibel BigQuery di region utama dan sekunder.

Membuat atau mengubah pemesanan Enterprise Plus

Sebelum melampirkan set data ke pemesanan, Anda harus membuat pemesanan Enterprise Plus atau mengubah pemesanan yang ada dan mengonfigurasinya untuk disaster recovery.

Membuat pemesanan

Pilih salah satu opsi berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik Buat pemesanan.

  4. Di kolom Nama pemesanan, masukkan nama untuk pemesanan.

  5. Dalam daftar Location, pilih lokasi.

  6. Dalam daftar Edisi, pilih edisi Enterprise Plus.

  7. Pada daftar Pemilih ukuran pemesanan maksimum, pilih ukuran pemesanan maksimum.

  8. Opsional: Di kolom Slot dasar pengukuran, masukkan jumlah slot dasar pengukuran untuk pemesanan.

    Jumlah slot penskalaan otomatis yang tersedia ditentukan dengan mengurangi nilai Slot dasar pengukuran dari nilai Ukuran pemesanan maksimum. Misalnya, jika Anda membuat pemesanan dengan 100 slot dasar pengukuran dan ukuran pemesanan maksimum 400, pemesanan Anda memiliki 300 slot penskalaan otomatis. Untuk mengetahui informasi selengkapnya tentang slot dasar pengukuran, lihat Menggunakan pemesanan dengan slot dasar pengukuran dan penskalaan otomatis.

  9. Dalam daftar Secondary location, pilih lokasi sekunder.

  10. Untuk menonaktifkan berbagi slot tidak ada aktivitas dan hanya menggunakan kapasitas slot yang ditentukan, klik tombol Abaikan slot tidak ada aktivitas.

  11. Untuk meluaskan bagian Advanced settings, klik panah peluas .

  12. Opsional: Untuk menetapkan konkurensi tugas target, klik tombol Ganti konkurensi tugas target otomatis ke aktif, lalu masukkan nilai untuk Konkurensi Tugas Target. Perincian slot ditampilkan di tabel Estimasi biaya. Ringkasan pemesanan ditampilkan di tabel Ringkasan kapasitas.

  13. Klik Simpan.

Pemesanan baru dapat dilihat di tab Pemesanan slot.

SQL

Untuk membuat pemesanan, gunakan pernyataan bahasa definisi data (DDL) CREATE RESERVATION.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE RESERVATION
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
OPTIONS (
  slot_capacity = NUMBER_OF_BASELINE_SLOTS,
  edition = ENTERPRISE_PLUS,
  secondary_location = SECONDARY_LOCATION);

    Ganti kode berikut:

    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan.
    • LOCATION: lokasi pemesanan. Jika Anda memilih lokasi BigQuery Omni, opsi edisi Anda akan terbatas untuk edisi Enterprise.
    • RESERVATION_NAME: nama pemesanan.

      Nama harus diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.

    • NUMBER_OF_BASELINE_SLOTS: jumlah slot dasar pengukuran yang akan dialokasikan ke pemesanan. Anda tidak dapat menetapkan opsi slot_capacity dan opsi edition dalam pemesanan yang sama.
    • SECONDARY_LOCATION: lokasi sekunder pemesanan. Jika terjadi pemadaman layanan, set data apa pun yang terlampir pada pemesanan ini akan gagal beralih ke lokasi ini.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Mengubah pemesanan yang ada

Pilih salah satu opsi berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Slot reservations.

  4. Temukan reservasi yang ingin Anda perbarui.

  5. Klik Reservations actions, lalu klik Edit.

  6. Di kolom Secondary location, masukkan lokasi sekunder.

  7. Klik Simpan.

SQL

Untuk menambahkan atau mengubah lokasi sekunder ke pemesanan, gunakan pernyataan DDL ALTER RESERVATION SET OPTIONS.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER RESERVATION
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
SET OPTIONS (
  secondary_location = SECONDARY_LOCATION);

    Ganti kode berikut:

    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan.
    • LOCATION: lokasi pemesanan, misalnya europe-west9.
    • RESERVATION_NAME: nama pemesanan. Nama harus diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.
    • SECONDARY_LOCATION: lokasi sekunder pemesanan. Jika terjadi pemadaman layanan, set data apa pun yang terlampir pada pemesanan ini akan gagal beralih ke lokasi ini.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Melampirkan set data ke pemesanan

Untuk mengaktifkan disaster recovery untuk pemesanan yang dibuat sebelumnya, selesaikan langkah-langkah berikut. Set data harus sudah dikonfigurasi untuk replikasi di region utama dan sekunder yang sama dengan pemesanan. Untuk mengetahui informasi selengkapnya, lihat Replikasi set data lintas-region.

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management.

  3. Klik tab Slot reservations.

  4. Klik pemesanan yang ingin Anda lampirkan set data.

  5. Klik tab Disaster recovery.

  6. Klik Add failover dataset.

  7. Masukkan nama set data yang ingin Anda kaitkan dengan pemesanan.

  8. Klik Tambahkan.

SQL

Untuk melampirkan set data ke pemesanan, gunakan pernyataan DDL ALTER SCHEMA SET OPTIONS.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER SCHEMA
  `DATASET_NAME`
SET OPTIONS (
  failover_reservation = ADMIN_PROJECT_ID.RESERVATION_NAME);

    Ganti kode berikut:

    • DATASET_NAME: nama set data.
    • ADMIN_PROJECT_ID.RESERVATION_NAME: nama pemesanan yang ingin Anda kaitkan dengan set data.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Melepaskan set data dari pemesanan

Untuk berhenti mengelola perilaku failover set data melalui pemesanan, lepaskan set data dari pemesanan. Tindakan ini tidak mengubah replika utama saat ini untuk set data, dan juga tidak menghapus replika set data yang ada. Untuk mengetahui informasi selengkapnya tentang cara menghapus replika set data setelah melepaskan set data, lihat Menghapus replika set data.

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Workload management, lalu klik tab Slot reservations.

  3. Klik pemesanan yang ingin Anda lepaskan dari set data.

  4. Klik tab Disaster recovery.

  5. Perluas opsi Actions untuk replika utama set data.

  6. Klik Hapus.

SQL

Untuk melepaskan set data dari pemesanan, gunakan pernyataan DDL ALTER SCHEMA SET OPTIONS.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER SCHEMA
  `DATASET_NAME`
SET OPTIONS (
  failover_reservation = NULL);

    Ganti kode berikut:

    • DATASET_NAME: nama set data.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Memulai failover

Jika terjadi pemadaman layanan regional, Anda harus melakukan failover pemesanan secara manual ke lokasi yang digunakan oleh replika. Failover pemesanan juga mencakup set data terkait. Untuk melakukan failover pemesanan secara manual, lakukan hal berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Disaster recovery.

  3. Klik nama pemesanan yang ingin Anda gunakan untuk failover.

  4. Pilih Mode failover hard (default) atau Mode failover soft.

  5. Klik Failover.

SQL

Untuk menambahkan atau mengubah lokasi sekunder ke pemesanan, gunakan pernyataan DDL ALTER RESERVATION SET OPTIONS dan tetapkan is_primary ke TRUE.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    ALTER RESERVATION
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
SET OPTIONS (
  is_primary = TRUE, failover_mode=FAILOVER_MODE);

    Ganti kode berikut:

    • ADMIN_PROJECT_ID: project ID dari project administrasi yang memiliki resource pemesanan.
    • LOCATION: lokasi utama baru untuk pemesanan, yaitu lokasi sekunder saat ini sebelum failover - misalnya, europe-west9.
    • RESERVATION_NAME: nama pemesanan. Nama harus diawali dan diakhiri dengan huruf kecil atau angka, serta hanya berisi huruf kecil, angka, dan tanda hubung.
    • PRIMARY_STATUS: status boolean yang menyatakan apakah pemesanan adalah replika utama.
    • FAILOVER_MODE: parameter opsional yang digunakan untuk mendeskripsikan mode failover. Ini dapat ditetapkan ke HARD atau SOFT. Jika parameter ini tidak ditentukan, HARD akan digunakan secara default.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Pantau replikasi

Anda dapat memantau status replika set data melalui BigQuery, Cloud Monitoring, atau tampilan INFORMATION_SCHEMA.

Untuk mengetahui informasi tentang cara membuat pemberitahuan pada metrik ini, lihat Membuat dasbor, diagram, dan pemberitahuan.

Melihat status replikasi dengan BigQuery

Untuk melihat status replikasi dan latensi set data di konsolGoogle Cloud , lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda.

  3. Klik set data yang ingin Anda pantau.

  4. Di panel detail set data, klik tab Details.

  5. Di bagian Replicas, lihat Replication latency dan Status. Untuk melihat detail selengkapnya, termasuk diagram latensi replikasi, klik Lihat detail.

Melihat status replikasi dengan Cloud Monitoring

BigQuery menyediakan metrik berikut di Monitoring untuk membantu Anda memantau status replikasi:

  • Latensi replikasi: Keusangan data di region sekunder yang direplikasi sebagai bagian dari replikasi lintas region atau disaster recovery terkelola. Metrik ini berfungsi sebagai proxy untuk toleransi durasi kehilangan data (RPO) Anda.
  • Byte traffic keluar jaringan: Volume data yang ditagih (dalam byte) yang direplikasi dari region utama ke region sekunder. Metrik ini membantu Anda memantau pemakaian kuota bandwidth.

Untuk melihat metrik ini di Monitoring, lakukan hal berikut:

  1. Di Konsol Google Cloud , buka halaman Monitoring.

    Buka Monitoring

  2. Klik Metrics Explorer.

  3. Di kolom Select a metric, telusuri dan pilih BigQuery Dataset.

  4. Pilih Replication latency (bigquery.googleapis.com/storage/replication/dataset_staleness) atau Network egress bytes (bigquery.googleapis.com/storage/replication/network_egress_bytes_count).

  5. Klik Terapkan.

  6. Di bagian Aggregation, pilih metode agregasi. Untuk metrik latensi replikasi, sebaiknya pilih 99th percentile. Agregasi ini lebih baik dalam menunjukkan performa kasus terburuk dibandingkan dengan rata-rata atau agregasi lainnya.

  7. Opsional: Untuk melihat metrik set data atau region sekunder tertentu, klik Add filter, pilih opsi dataset_id atau location, lalu masukkan nilai. Jika Anda mereplikasi data ke beberapa region sekunder, Anda dapat mengelompokkan menurut lokasi untuk melihat metrik untuk setiap region.

Melihat status replikasi dengan INFORMATION_SCHEMA

Untuk menentukan status replika Anda, buat kueri tampilan INFORMATION_SCHEMA.SCHEMATA_REPLICAS. Contoh:

SELECT
  schema_name,
  replica_name,
  creation_complete,
  replica_primary_assigned,
  replica_primary_assignment_complete
FROM
  `region-LOCATION`.INFORMATION_SCHEMA.SCHEMATA_REPLICAS
WHERE
  schema_name="my_dataset"

Kueri berikut menampilkan tugas dari tujuh hari terakhir yang akan gagal jika set datanya adalah set data failover. Untuk mengkueri tugas di seluruh organisasi, ganti INFORMATION_SCHEMA.JOBS dengan INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION dan hapus jobs.query karena tampilan INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION tidak menyertakan teks kueri:

SELECT
  jobs.project_id AS job_project_id,
  jobs.job_id,
  jobs.job_type,
  jobs.statement_type,
  jobs.reservation_id,
  jobs.edition,
  jobs.destination_table.project_id AS dataset_project_id,
  jobs.destination_table.dataset_id,
  jobs.destination_table.table_id,
  jobs.query
FROM
  `PROJECT_ID.region-LOCATION`.INFORMATION_SCHEMA.JOBS AS jobs
WHERE
  jobs.creation_time
    BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
    AND CURRENT_TIMESTAMP()
  AND jobs.destination_table.project_id = 'DATASET_PROJECT_ID'
  AND jobs.destination_table.dataset_id = 'DATASET_ID'
  AND (jobs.edition IS NULL OR jobs.edition != 'ENTERPRISE_PLUS');

Ganti kode berikut:

  • PROJECT_ID: project ID tempat tugas dijalankan.
  • LOCATION: lokasi.
  • DATASET_PROJECT_ID: project ID tempat set data tujuan berada.
  • DATASET_ID: ID set data yang ingin Anda lampirkan ke pemesanan failover.

Langkah berikutnya