Mengimplementasikan Datastream dan Dataflow untuk analisis

Datastream

Mengintegrasikan Datastream dengan template tugas Dataflow memungkinkan Anda menyesuaikan logika stream processing saat mereplikasi data ke BigQuery untuk analisis hampir real-time. Misalnya, Anda dapat mengubah data dalam pengiriman atau menetapkan kunci utama logis secara manual sebelum menulis ke tabel tujuan.

Dalam tutorial ini, Anda akan menggunakan Datastream untuk melakukan streaming penyisipan, pembaruan, dan penghapusan dari database MySQL sumber ke bucket Cloud Storage. Kemudian, Anda mengonfigurasi notifikasi Pub/Sub di bucket untuk file perubahan baru dan menjalankan tugas Dataflow untuk memproses dan menggabungkan perubahan tersebut ke BigQuery.

Diagram berikut mengilustrasikan arsitektur untuk mengintegrasikan Datastream dan Dataflow:

Diagram alur pengguna integrasi

Tujuan

Dalam tutorial ini, Anda telah:

  • Membuat bucket di Cloud Storage. Bucket ini adalah bucket tujuan tempat Datastream mengalirkan skema, tabel, dan data dari database MySQL sumber.
  • Mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage. Dengan melakukan ini, Anda mengonfigurasi bucket untuk mengirim notifikasi yang digunakan Dataflow untuk mempelajari file baru yang siap diproses. File ini berisi perubahan pada data yang di-streaming Datastream dari database sumber ke bucket.
  • Membuat set data di BigQuery. BigQuery menggunakan set data untuk menampung data yang diterimanya dari Dataflow. Data ini menunjukkan perubahan dalam database sumber yang di-streaming Datastream ke bucket Cloud Storage.
  • Membuat dan mengelola profil koneksi untuk database sumber dan bucket tujuan di Cloud Storage. Aliran data di Datastream menggunakan informasi dalam profil koneksi untuk mentransfer data dari database sumber ke bucket.
  • Membuat dan memulai streaming. Aliran ini mentransfer data, skema, dan tabel dari database sumber ke bucket.
  • Pastikan Datastream mentransfer data dan tabel yang terkait dengan skema database sumber ke dalam bucket.
  • Membuat tugas di Dataflow. Setelah Datastream mengalirkan perubahan data dari database sumber ke bucket Cloud Storage, notifikasi akan dikirim ke Dataflow tentang file baru yang berisi perubahan tersebut. Tugas Dataflow memproses file dan mentransfer perubahan ke BigQuery.
  • Pastikan Dataflow memproses file yang berisi perubahan terkait data ini, dan mentransfer perubahan tersebut ke BigQuery. Hasilnya, Anda memiliki integrasi menyeluruh antara Datastream dan BigQuery.
  • Bersihkan resource yang Anda buat di Datastream, Cloud Storage, Pub/Sub, Dataflow, dan BigQuery agar tidak menghabiskan kuota dan Anda tidak akan ditagih untuk resource tersebut di masa mendatang.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

  • Datastream
  • Cloud Storage
  • Pub/Sub
  • Dataflow
  • BigQuery

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Mengaktifkan Datastream API.

    Aktifkan API

  4. Pastikan Anda memiliki peran Datastream Admin yang diberikan ke akun pengguna Anda.

    Buka halaman IAM

  5. Pastikan Anda memiliki database MySQL sumber yang dapat diakses oleh Datastream. Selain itu, pastikan Anda memiliki data, tabel, dan skema dalam database.
  6. Konfigurasikan database MySQL Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream. Untuk mengetahui daftar semua region Datastream dan alamat IP publik terkait, lihat Daftar yang diizinkan dan region IP.
  7. Siapkan pengambilan data perubahan (CDC) untuk database sumber. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi database MySQL sumber.

  8. Pastikan Anda memenuhi semua prasyarat untuk mengaktifkan notifikasi Pub/Sub untuk Cloud Storage.

    Dalam tutorial ini, Anda akan membuat bucket tujuan di Cloud Storage dan mengaktifkan notifikasi Pub/Sub untuk bucket tersebut. Dengan melakukan ini, Dataflow dapat menerima notifikasi tentang file baru yang ditulis Datastream ke bucket. File ini berisi perubahan pada data yang di-streaming Datastream dari database sumber ke bucket.

Persyaratan

Datastream menawarkan berbagai opsi sumber, opsi tujuan, dan metode konektivitas jaringan.

Untuk tutorial ini, kami berasumsi bahwa Anda menggunakan database MySQL mandiri dan layanan Cloud Storage tujuan. Untuk database sumber, Anda harus dapat mengonfigurasi jaringan untuk menambahkan aturan firewall masuk. Database sumber dapat berada di infrastruktur lokal atau di penyedia cloud. Untuk tujuan Cloud Storage, konfigurasi konektivitas tidak diperlukan.

Karena kami tidak dapat mengetahui secara spesifik lingkungan Anda, kami tidak dapat memberikan langkah-langkah mendetail mengenai konfigurasi jaringan Anda.

Untuk tutorial ini, pilih IP allowlisting sebagai metode konektivitas jaringan. Daftar IP yang diizinkan adalah fitur keamanan yang sering digunakan untuk membatasi dan mengontrol akses ke data di database sumber Anda hanya untuk pengguna tepercaya. Anda dapat menggunakan daftar IP yang diizinkan untuk membuat daftar alamat IP atau rentang IP tepercaya yang dapat digunakan oleh pengguna dan layanan Google Cloud lainnya seperti Datastream untuk mengakses data ini. Untuk menggunakan daftar IP yang diizinkan, Anda harus membuka database sumber atau firewall ke koneksi masuk dari Datastream.

Membuat bucket di Cloud Storage

Membuat bucket tujuan di Cloud Storage tempat Datastream mengalirkan skema, tabel, dan data dari database MySQL sumber.

  1. Di konsol Google Cloud , buka halaman Browser untuk Cloud Storage.

    Buka halaman Browser

  2. Klik Create bucket. Halaman Create a bucket akan muncul.

  3. Di kolom teks region Name your bucket, masukkan nama unik untuk bucket Anda, lalu klik Continue.

  4. Setujui setelan default untuk setiap region halaman yang tersisa. Di akhir setiap region, klik Continue.

  5. Klik Create.

Mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage

Di bagian ini, Anda akan mengaktifkan notifikasi Pub/Sub untuk bucket Cloud Storage yang Anda buat. Dengan melakukan ini, Anda mengonfigurasi bucket untuk memberi tahu Dataflow tentang file baru yang ditulis Datastream ke bucket. File ini berisi perubahan pada data yang di-streaming Datastream dari database MySQL sumber ke bucket.

  1. Akses bucket Cloud Storage yang Anda buat. Halaman Bucket details akan muncul.

  2. Klik Activate Cloud Shell.

  3. Pada prompt, masukkan perintah berikut:

    gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

  4. Opsional: Jika jendela Authorize Cloud Shell muncul, klik Authorize.

  5. Pastikan Anda melihat baris kode berikut:

    Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
Created notification config projects/_/buckets/bucket-name/notificationConfigs/1

  6. Di konsol Google Cloud , buka halaman Topics untuk Pub/Sub.

    Buka halaman Topik

  7. Klik topik my_integration_notifs yang Anda buat.

  8. Di halaman my_integration_notifs, buka bagian bawah halaman. Pastikan tab Subscriptions aktif dan pesan No subscriptions to display muncul.

  9. Klik Create subscription.

  10. Di menu yang muncul, pilih Create subscription.

  11. Di halaman Add subscription to topic:

    1. Di kolom Subscription ID, masukkan my_integration_notifs_sub.
    2. Tetapkan nilai Acknowledgement deadline ke 120 detik. Hal ini memberi Dataflow waktu yang cukup untuk mengonfirmasi file yang telah diproses, dan membantu meningkatkan performa keseluruhan tugas Dataflow. Untuk mengetahui informasi selengkapnya tentang properti langganan Pub/Sub, lihat Properti langganan.
    3. Biarkan semua nilai default lainnya di halaman.
    4. Klik Create.

Nanti dalam tutorial ini, Anda akan membuat tugas Dataflow. Sebagai bagian dari pembuatan tugas ini, Anda menetapkan Dataflow sebagai pelanggan langganan my_integration_notifs_sub. Dengan melakukan ini, Dataflow dapat menerima notifikasi tentang file baru yang ditulis Datastream ke Cloud Storage, memproses file, dan mentransfer perubahan data ke BigQuery.

Membuat set data di BigQuery

Di bagian ini, Anda akan membuat set data di BigQuery. BigQuery menggunakan set data untuk menampung data yang diterimanya dari Dataflow. Data ini menunjukkan perubahan dalam database MySQL sumber yang di-streaming Datastream ke bucket Cloud Storage Anda.

  1. Buka halaman SQL workspace untuk BigQuery di konsol Google Cloud .

    Buka halaman ruang kerja SQL

  2. Di panel Explorer, di samping nama project Google Cloud , klik View actions.

  3. Di menu yang muncul, pilih Create dataset.

  4. Di jendela Create dataset:

    1. Di kolom Dataset ID, masukkan ID untuk set data. Untuk tutorial ini, masukkan My_integration_dataset_log di kolom.
    2. Biarkan semua nilai default lainnya di jendela.
    3. Klik Create dataset.

  5. Di panel Explorer, di samping nama project Google Cloud , klik Expand node, lalu pastikan Anda melihat set data yang Anda buat.

  6. Gunakan langkah-langkah dalam prosedur ini untuk membuat set data kedua: My_integration_dataset_final.

  7. Di samping setiap set data, luaskan Expand node.

  8. Pastikan setiap set data kosong.

Setelah Datastream mengalirkan perubahan data dari database sumber ke bucket Cloud Storage Anda, tugas Dataflow akan memproses file yang berisi perubahan dan mentransfer perubahan tersebut ke set data BigQuery.

Membuat profil koneksi di Datastream

Di bagian ini, Anda akan membuat profil koneksi di Datastream untuk database sumber dan tujuan. Sebagai bagian dari pembuatan profil koneksi, Anda memilih MySQL sebagai jenis profil untuk profil koneksi sumber dan Cloud Storage sebagai jenis profil untuk profil koneksi tujuan.

Datastream menggunakan informasi yang ditentukan dalam profil koneksi untuk terhubung ke sumber dan tujuan, sehingga dapat melakukan streaming data dari database sumber ke bucket tujuan di Cloud Storage.

Membuat profil koneksi sumber untuk database MySQL Anda

  1. Di konsol Google Cloud , buka halaman Connection profiles untuk Datastream.

    Buka halaman Connection profiles

  2. Klik Buat profil.

  3. Untuk membuat profil koneksi sumber untuk database MySQL Anda, di halaman Create a connection profile, klik jenis profil MySQL.

  4. Di bagian Define connection settings pada halaman Create MySQL profile, berikan informasi berikut:

    • Di kolom Connection profile name, masukkan My Source Connection Profile.
    • Pertahankan ID profil koneksi yang dibuat otomatis.

    • Pilih Region tempat Anda ingin menyimpan profil koneksi.

    • Masukkan Detail koneksi:

      • Di kolom Hostname or IP, masukkan nama host atau alamat IP publik yang dapat digunakan Datastream untuk terhubung ke database sumber. Anda memberikan alamat IP publik karena menggunakan daftar IP yang diizinkan sebagai metode konektivitas jaringan untuk tutorial ini.
      • Di kolom Port, masukkan nomor port yang dicadangkan untuk database sumber. Untuk database MySQL, port default biasanya adalah 3306.
      • Masukkan Username dan Password untuk melakukan autentikasi ke database sumber Anda.

  5. Di bagian Define connection settings, klik Continue. Bagian Secure your connection to your source di halaman Create MySQL profile akan aktif.

  6. Dari menu Jenis enkripsi, pilih Tidak ada. Untuk mengetahui informasi selengkapnya tentang menu ini, lihat Membuat profil koneksi untuk database MySQL.

  7. Di bagian Secure your connection to your source, klik Continue. Bagian Define connectivity method di halaman Create MySQL profile aktif.

  8. Di drop-down Connectivity method, pilih metode jaringan yang ingin Anda gunakan untuk membuat konektivitas antara Datastream dan database sumber. Untuk tutorial ini, pilih IP allowlisting sebagai metode konektivitas.

  9. Konfigurasikan database sumber Anda untuk mengizinkan koneksi masuk dari alamat IP publik Datastream yang muncul.

  10. Di bagian Define connectivity method, klik Continue. Bagian Test connection profile di halaman Create MySQL profile akan aktif.

  11. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

  12. Pastikan Anda melihat status Test passed.

  13. Klik Create.

Membuat profil koneksi tujuan untuk Cloud Storage

  1. Di konsol Google Cloud , buka halaman Connection profiles untuk Datastream.

    Buka halaman Connection profiles

  2. Klik Buat profil.

  3. Untuk membuat profil koneksi tujuan untuk Cloud Storage, di halaman Create a connection profile, klik jenis profil Cloud Storage.

  4. Di halaman Create Cloud Storage profile, berikan informasi berikut:

    • Di kolom Connection profile name, masukkan My Destination Connection Profile.
    • Pertahankan ID profil koneksi yang dibuat otomatis.
    • Pilih Region tempat Anda ingin menyimpan profil koneksi.

    • Di panel Connection details, klik Browse untuk memilih bucket Cloud Storage yang Anda buat sebelumnya dalam tutorial ini. Ini adalah bucket tempat Datastream mentransfer data dari database sumber. Setelah menentukan pilihan, klik Pilih.

      Bucket Anda akan muncul di kolom Bucket name di panel Connection details.

    • Di kolom Connection profile path prefix, berikan awalan untuk jalur yang ingin Anda tambahkan ke nama bucket saat Datastream mengalirkan data ke tujuan. Pastikan Datastream menulis data ke jalur di dalam bucket, bukan ke folder root bucket. Untuk tutorial ini, gunakan jalur yang Anda tentukan saat mengonfigurasi notifikasi Pub/Sub. Masukkan /integration/tutorial di kolom.

  5. Klik Create.

Setelah membuat profil koneksi sumber untuk database MySQL dan profil koneksi tujuan untuk Cloud Storage, Anda dapat menggunakannya untuk membuat aliran data.

Membuat aliran data di Datastream

Di bagian ini, Anda akan membuat aliran data. Aliran data ini menggunakan informasi dalam profil koneksi untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

Menentukan setelan untuk aliran data

  1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

    Buka halaman Streams

  2. Klik Buat aliran.

  3. Berikan informasi berikut di panel Define stream details pada halaman Create stream:

    • Di kolom Stream name, masukkan My Stream.
    • Pertahankan ID Aliran Data yang dibuat otomatis.
    • Dari menu Region, pilih region tempat Anda membuat profil koneksi sumber dan tujuan.
    • Dari menu Source type, pilih jenis profil MySQL.
    • Dari menu Destination type, pilih jenis profil Cloud Storage.

  4. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan Anda harus disiapkan untuk streaming. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkan Datastream ke bucket tujuan di Cloud Storage.

  5. Klik Lanjutkan. Panel Define MySQL connection profile di halaman Create stream akan muncul.

Menentukan informasi tentang profil koneksi sumber

Di bagian ini, Anda akan memilih profil koneksi yang Anda buat untuk database sumber (profil koneksi sumber). Untuk tutorial ini, pilih My Source Connection Profile.

  1. Dari menu Source connection profile, pilih source connection profile for MySQL database.

  2. Klik Run test untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

    Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu tes ulang.

  3. Klik Lanjutkan. Panel Configure stream source di halaman Create stream akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Di bagian ini, Anda akan mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema dalam database sumber yang Datastream:

  • Dapat mentransfer ke tujuan.
  • Dibatasi untuk ditransfer ke tujuan.

Anda juga menentukan apakah Datastream akan mengisi ulang data historis, serta men-streaming perubahan yang sedang berlangsung ke tujuan, atau hanya men-streaming perubahan pada data.

  1. Gunakan menu Objects to include untuk menentukan tabel dan skema di database sumber yang dapat ditransfer Datastream ke folder di bucket tujuan di Cloud Storage. Menu hanya akan dimuat jika database Anda memiliki hingga 5.000 objek.

    Untuk tutorial ini, Anda ingin Datastream mentransfer semua tabel dan skema. Oleh karena itu, pilih All tables from all schemas dari menu.

  2. Pastikan panel Select objects to exclude ditetapkan ke None. Anda tidak ingin membatasi Datastream untuk mentransfer tabel dan skema apa pun di database sumber ke Cloud Storage.

  3. Pastikan panel Choose backfill mode for data historis ditetapkan ke Automatic. Datastream mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

  4. Klik Lanjutkan. Panel Define Cloud Storage connection profile di halaman Create stream akan muncul.

Pilih profil koneksi tujuan

Di bagian ini, Anda akan memilih profil koneksi yang Anda buat untuk Cloud Storage (profil koneksi tujuan). Untuk tutorial ini, profil koneksi tujuan adalah My Destination Connection Profile.

  1. Dari menu Destination connection profile, pilih destination connection profile for Cloud Storage.

  2. Klik Lanjutkan. Panel Configure stream destination di halaman Create stream akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

Di bagian ini, Anda akan mengonfigurasi informasi tentang bucket tujuan untuk aliran data. Informasi ini mencakup:

  • Format output file yang ditulis ke Cloud Storage.
  • Folder bucket tujuan tempat Datastream mentransfer skema, tabel, dan data dari database sumber.

  1. Di kolom Output format, pilih format file yang ditulis ke Cloud Storage. Datastream mendukung dua format output: Avro dan JSON. Untuk tutorial ini, Avro adalah format filenya.

  2. Klik Lanjutkan. Panel Review stream details and create di halaman Create stream akan muncul.

Membuat aliran data

  1. Verifikasi detail tentang aliran data serta profil koneksi sumber dan tujuan yang digunakan aliran data untuk mentransfer data dari database MySQL sumber ke bucket tujuan di Cloud Storage.

  2. Untuk memvalidasi aliran data, klik Run validation. Dengan memvalidasi aliran data, Datastream memeriksa apakah sumber dikonfigurasi dengan benar, memvalidasi bahwa aliran data dapat terhubung ke sumber dan tujuan, serta memverifikasi konfigurasi end-to-end aliran data.

  3. Setelah semua pemeriksaan validasi lulus, klik Create.

  4. Dalam dialog Create stream?, klik Create.

Memulai streaming

Untuk tutorial ini, Anda akan membuat dan memulai aliran data secara terpisah jika proses pembuatan aliran data menimbulkan peningkatan beban pada database sumber Anda. Untuk menunda beban tersebut, Anda dapat membuat aliran data tanpa memulainya, lalu memulai aliran data saat database Anda dapat menangani beban tersebut.

Dengan memulai aliran data, Datastream dapat mentransfer data, skema, dan tabel dari database sumber ke tujuan.

  1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

    Buka halaman Streams

  2. Centang kotak di samping streaming yang ingin Anda mulai. Untuk tutorial ini, namanya adalah My Stream.

  3. Klik Mulai.

  4. Dalam dialog, klik Start. Status streaming berubah dari Not started menjadi Starting, lalu menjadi Running.

Setelah memulai streaming, Anda dapat memverifikasi bahwa Datastream mentransfer data dari database sumber ke tujuan.

Memverifikasi streaming

Di bagian ini, Anda akan mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

  1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

    Buka halaman Streams

  2. Klik aliran data yang Anda buat. Untuk tutorial ini, pilih My Stream.

  3. Di halaman Stream details, klik link bucket-name/integration/tutorial, dengan bucket-name adalah nama yang Anda berikan untuk bucket Cloud Storage. Link ini muncul setelah kolom Destination write path. Halaman Bucket details Cloud Storage akan terbuka di tab terpisah.

  4. Pastikan Anda melihat folder yang mewakili tabel database sumber.

  5. Klik salah satu folder tabel, lalu klik setiap subfolder hingga Anda melihat data yang terkait dengan tabel tersebut.

Membuat tugas Dataflow

Di bagian ini, Anda akan membuat tugas di Dataflow. Setelah Datastream mengalirkan perubahan data dari database MySQL sumber ke bucket Cloud Storage Anda, Pub/Sub akan mengirimkan notifikasi ke Dataflow tentang file baru yang berisi perubahan tersebut. Tugas Dataflow memproses file dan mentransfer perubahan ke BigQuery.

  1. Di konsol Google Cloud , buka halaman Jobs untuk Dataflow.

    Buka halaman Jobs

  2. Klik Create job from template.

  3. Di kolom Job name pada halaman Create job from template, masukkan nama untuk tugas Dataflow yang Anda buat. Untuk tutorial ini, masukkan my-dataflow-integration-job di kolom.

  4. Dari menu Regional endpoint, pilih region tempat Anda ingin menyimpan tugas. Region ini sama dengan yang Anda pilih untuk profil koneksi sumber, profil koneksi tujuan, dan aliran data yang Anda buat.

  5. Dari menu Dataflow template, pilih template yang Anda gunakan untuk membuat tugas. Untuk tutorial ini, pilih Datastream to BigQuery.

    Setelah membuat pilihan ini, kolom tambahan yang terkait dengan template ini akan muncul.

  6. Di kolom File location for Datastream file output in Cloud Storage., masukkan nama bucket Cloud Storage Anda menggunakan format berikut: gs://bucket-name.

  7. Di kolom Pub/Sub subscription being used in a Cloud Storage notification policy., masukkan jalur yang berisi nama langganan Pub/Sub Anda. Untuk tutorial ini, masukkan projects/project-name/subscriptions/my_integration_notifs_sub.

  8. Di kolom Datastream output file format (avro/json)., masukkan avro karena, untuk tutorial ini, Avro adalah format file yang ditulis Datastream ke Cloud Storage.

  9. Di kolom Name or template for the dataset to contain staging tables., masukkan My_integration_dataset_log karena Dataflow menggunakan set data ini untuk melakukan staging perubahan data yang diterimanya dari Datastream.

  10. Di kolom Template for the dataset to contain replica tables., masukkan My_integration_dataset_final karena ini adalah set data tempat perubahan yang di-stage dalam set data My_integration_dataset_log digabungkan untuk membuat replika tabel satu per satu di database sumber.

  11. Di kolom Dead letter queue directory., masukkan jalur yang berisi nama bucket Cloud Storage terpisah dan folder untuk antrean yang tidak diproses. Pastikan Anda tidak menggunakan jalur di folder root, dan jalur tersebut berbeda dengan jalur yang digunakan Datastream untuk menulis data. Setiap perubahan data yang gagal ditransfer Dataflow ke BigQuery akan disimpan dalam antrean. Anda dapat memperbaiki konten dalam antrean agar Dataflow dapat memprosesnya kembali.

    Untuk tutorial ini, masukkan gs://dlq-bucket-name/dlq di kolom Dead letter queue directory. (dengan dlq-bucket-name adalah nama bucket Cloud Storage yang dikhususkan untuk antrean pesan yang tidak terkirim dan dlq adalah folder untuk antrean pesan yang tidak terkirim).

  12. Klik Jalankan tugas.

Memverifikasi integrasi

Di bagian Memverifikasi aliran data dalam tutorial ini, Anda telah mengonfirmasi bahwa Datastream mentransfer data dari semua tabel database MySQL sumber ke folder /integration/tutorial di bucket tujuan Cloud Storage Anda.

Di bagian ini, Anda akan memverifikasi bahwa Dataflow memproses file yang berisi perubahan terkait data ini, dan mentransfer perubahan tersebut ke BigQuery. Hasilnya, Anda memiliki integrasi menyeluruh antara Datastream dan BigQuery.

  1. Di konsol Google Cloud , buka halaman SQL workspace untuk BigQuery.

    Buka halaman ruang kerja SQL

  2. Di panel Explorer, luaskan node di samping nama project Google Cloud Anda.

  3. Luaskan node di samping set data My_integration_dataset_log dan My_integration_dataset_final.

  4. Pastikan setiap set data kini berisi data. Hal ini mengonfirmasi bahwa Dataflow memproses file yang berisi perubahan yang terkait dengan data yang di-streaming Datastream ke Cloud Storage, dan mentransfer perubahan ini ke BigQuery.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan dalam tutorial ini, gunakan konsol Google Cloud untuk melakukan hal berikut:

  • Hapus project, aliran data Datastream, dan profil koneksi Datastream Anda.
  • Menghentikan tugas Dataflow.
  • Hapus set data BigQuery, topik dan langganan Pub/Sub, serta bucket Cloud Storage.

Dengan membersihkan resource yang Anda buat di Datastream, Dataflow, BigQuery, Pub/Sub, dan Cloud Storage, Anda mencegah resource tersebut menggunakan kuota dan Anda tidak akan ditagih untuk resource tersebut di masa mendatang.

Menghapus project Anda

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial ini.

  1. Di konsol Google Cloud , buka halaman Manage resources.

    Buka halaman Kelola resource

  2. Dalam daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.

  3. Untuk menghapus project, ketik project ID dalam dialog, lalu klik Shut down.

Menghapus aliran data

  1. Di konsol Google Cloud , buka halaman Streams untuk Datastream.

    Buka halaman Streams

  2. Klik aliran data yang ingin Anda hapus. Untuk tutorial ini, pilih My Stream.

  3. Klik Jeda.

  4. Pada dialog, klik Jeda.

  5. Di panel Stream status pada halaman Stream details, pastikan status aliran data adalah Paused.

  6. Klik Hapus.

  7. Dalam dialog, di kolom teks, masukkan Delete, lalu klik Delete.

Menghapus profil koneksi

  1. Di konsol Google Cloud , buka halaman Connection profiles untuk Datastream.

    Buka halaman Connection profiles

  2. Centang kotak untuk setiap profil koneksi yang ingin Anda hapus: My Source Connection Profile dan My Destination Connection Profile.

  3. Klik Hapus.

  4. Pada dialog, klik Hapus.

Menghentikan Tugas Dataflow

  1. Di konsol Google Cloud , buka halaman Jobs untuk Dataflow.

    Buka halaman Jobs

  2. Klik tugas yang ingin Anda hentikan. Untuk tutorial ini, namanya adalah my-dataflow-integration-job.

  3. Klik Stop.

  4. Dalam dialog Stop job, pilih opsi Drain, lalu klik Stop job.

Menghapus set data BigQuery

  1. Di konsol Google Cloud , buka halaman SQL workspace untuk BigQuery.

    Buka halaman ruang kerja SQL

  2. Di panel Explorer, luaskan node di samping nama project Google Cloud Anda.

  3. Klik tombol View actions di sebelah kanan salah satu set data yang Anda buat di Membuat set data di BigQuery. Tombol ini terlihat seperti elipsis vertikal.

    Untuk tutorial ini, klik tombol View actions di sebelah kanan My_integration_dataset_log.

  4. Pilih Hapus dari menu drop-down yang muncul.

  5. Pada dialog Delete dataset?, masukkan delete di kolom teks, lalu klik Delete.

  6. Ulangi langkah-langkah dalam prosedur ini untuk menghapus set data kedua yang Anda buat: My_integration_dataset_final.

Menghapus langganan dan topik Pub/Sub

  1. Di konsol Google Cloud , buka halaman Subscriptions untuk Pub/Sub.

    Buka halaman Langganan

  2. Klik kotak centang di samping langganan yang ingin Anda hapus. Untuk tutorial ini, klik kotak centang di samping langganan my_integration_notifs_sub.

  3. Klik Hapus.

  4. Pada dialog Delete subscription, klik Delete.

  5. Di konsol Google Cloud , buka halaman Topics untuk Pub/Sub.

    Buka halaman Topik

  6. Klik kotak centang di samping topik my_integration_notifs.

  7. Klik Hapus.

  8. Di dialog Delete topic, masukkan delete di kolom teks, lalu klik Delete.

Menghapus bucket Cloud Storage

  1. Di konsol Google Cloud , buka halaman Browser untuk Cloud Storage.

    Buka halaman Browser

  2. Centang kotak di samping bucket Anda.

  3. Klik Hapus.

  4. Dalam dialog, masukkan Delete di kolom teks, lalu klik Delete.

Langkah berikutnya