Melihat streaming

Anda dapat melihat informasi tingkat tinggi dan mendetail tentang aliran data Anda di Datastream untuk memantau status replikasi dan memverifikasi setelan konfigurasi. Konsol Google Cloud menampilkan profil koneksi yang ditetapkan, objek sumber yang disertakan, setelan tujuan, progres pengisian ulang, throughput peristiwa, dan keaktualan data untuk setiap aliran data.

Untuk melihat informasi tingkat tinggi dan mendetail tentang aliran data, lakukan hal berikut:

  1. Buka halaman Streams di konsol Google Cloud .

    Buka halaman Streams

  2. Klik aliran data yang ingin Anda lihat informasi detailnya. Informasi ini muncul di halaman Detail aliran data.

Melihat informasi tingkat tinggi

Informasi umum tentang streaming mencakup:

  • Nama dan status streaming.
  • Profil koneksi sumber dan tujuan yang digunakan aliran data untuk mentransfer data dari database sumber ke tujuan.
  • Jenis profil dari profil koneksi.

Melihat informasi mendetail

Selain melihat informasi tingkat tinggi tentang aliran data, Anda dapat mengklik aliran data untuk melihat informasi tambahan, termasuk:

  • Region tempat aliran data disimpan. Seperti halnya semua resource, aliran data disimpan di suatu region. Aliran data hanya dapat menggunakan profil koneksi dan konfigurasi konektivitas pribadi yang berada di region yang sama.
  • Waktu saat aliran data dibuat, terakhir diperbarui, atau dipulihkan.
  • Label apa pun yang ditambahkan ke aliran data. Label ini digunakan untuk mengatur forum.
  • Bergantung pada database sumber, metode CDC yang Anda pilih untuk aliran data.
  • Tabel dan skema dalam database sumber yang harus disertakan Datastream saat memproses aliran data.
  • Tabel dan skema dalam database sumber yang harus dikecualikan oleh Datastream saat memproses aliran data.
  • Untuk semua sumber selain PostgreSQL, metode CDC ditetapkan untuk aliran data.
  • Untuk sumber Oracle: metode akses file log.
  • Apakah pengisian ulang historis diaktifkan atau dinonaktifkan untuk aliran data.
    • Jika diaktifkan, jumlah skema dan tabel dalam database sumber yang dikecualikan dari pengisian ulang.

  • Untuk tujuan BigQuery:

    • Apakah set data tujuan adalah set data dinamis atau default.
    • Apakah mode tulis untuk aliran data ditetapkan ke Merge atau Append-only.
    • Jika Anda memilih Merge mode, konfigurasi batas keusangan akan diterapkan ke tabel BigQuery baru yang dibuat oleh Datastream.

    Selain itu, untuk tujuan tabel Apache Iceberg:

    • ID koneksi BigQuery yang Anda gunakan untuk aliran data.
    • Uniform resource identifier (URI) bucket Cloud Storage tempat Anda menyimpan data.

  • Untuk tujuan Cloud Storage:

    • Lokasi tujuan tempat aliran data mentransfer skema, tabel, dan data dari database sumber.
    • Format file yang ditulis ke tujuan. Datastream mendukung dua format output: Avro dan JSON.

  • Apakah data Anda dienkripsi dengan kunci yang dikelola oleh Google (dikelola Google) atau oleh Anda (Dikelola pelanggan).

  • Link dan jalur ke kunci enkripsi yang dikelola pelanggan (jika Anda mengelola enkripsi).

  • Link untuk membuat kebijakan pemberitahuan untuk streaming.

  • Status jumlah pengisian ulang yang sedang berlangsung, tertunda, atau gagal.

  • Jumlah peristiwa yang diproses dan dimuat ke tujuan oleh Datastream dalam 7 hari terakhir.

  • Jumlah peristiwa yang tidak dapat diproses Datastream dalam 7 hari terakhir.

    • Grafik Keaktualan data. Grafik ini menampilkan jeda waktu antara data yang berada di sumber dan data yang ditransfer ke tujuan oleh aliran data. Ini dihitung sebagai waktu yang berlalu sejak Datastream terakhir kali memeriksa data baru di sumber.

    Untuk mengetahui informasi selengkapnya tentang grafik ini, lihat Memantau streaming.

Langkah berikutnya