Pemberitahuan siap pakai untuk Dataflow

Untuk memantau kondisi pipeline streaming dan konsumsi resource tanpa mengonfigurasi kebijakan secara manual di Cloud Monitoring, Anda dapat mengaktifkan pemberitahuan siap pakai di Dataflow. Pemberitahuan siap pakai menyediakan rangkaian kebijakan pemberitahuan yang direkomendasikan dan telah dikonfigurasi sebelumnya, yang dapat Anda aktifkan selama startup tugas.

Dengan fitur ini, Anda dapat:

  • Dapatkan visibilitas instan: Lacak metrik streaming penting secara otomatis, seperti waktu pemrosesan backlog dan pertumbuhan vCPU, tanpa penyiapan manual.
  • Menstandarkan pemantauan: Terapkan kebijakan pemberitahuan dasar dengan cepat di seluruh workload produksi baru dan yang sudah ada.
  • Sesuaikan pemberitahuan: Sesuaikan nilai minimum pemberitahuan default, nonaktifkan kebijakan individual, atau tambahkan kebijakan pemberitahuan kustom Anda sendiri ke suite.

Anda dapat menyesuaikan kebijakan default ini kapan saja di Cloud Monitoring atau mengintegrasikan kebijakan pemberitahuan kustom Anda sendiri dengan rangkaian pemberitahuan siap pakai.

Prasyarat

Untuk menggunakan pemberitahuan siap pakai, project Anda harus memenuhi persyaratan berikut:

  1. Saluran notifikasi: Anda harus mengonfigurasi minimal satu saluran notifikasi (misalnya, email, Slack, atau PagerDuty). Sebaiknya konfigurasikan Kontak Penting untuk memastikan pemberitahuan sampai kepada pemangku kepentingan yang tepat. Persyaratan ini tidak diterapkan oleh layanan Dataflow. Untuk informasi selengkapnya, lihat Membuat dan mengelola saluran notifikasi.

  2. Izin: Akun Layanan Dataflow (P4SA) memerlukan izin IAM tertentu untuk membuat dan mengelola kebijakan ini atas nama Anda:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    Untuk project baru, izin ini ditambahkan secara otomatis. Untuk project yang sudah ada, Anda mungkin perlu menetapkan izin ini secara manual di akun P4SA.

Memperbarui izin P4SA

Agen Layanan Dataflow (sering disebut sebagai P4SA, atau Akun Layanan Per Produk, Per Project) adalah akun layanan terkelola yang dibuat secara otomatis saat Anda mengaktifkan Dataflow API. Alamat emailnya menggunakan format berikut:

service-PROJECT_NUMBER@dataflow-service-producer-prod.

Untuk memperbarui P4SA, Anda memerlukan izin resourcemanager.projects.setIamPolicy atau peran yang menyertakan izin ini, seperti Project IAM Admin (roles/resourcemanager.projectIamAdmin).

Untuk memberikan peran yang diperlukan menggunakan konsol Google Cloud , ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman IAM.

    Buka IAM

  2. Pilih project Anda.

  3. Centang kotak Include Google-provided role grants.

  4. Dalam daftar akun utama, temukan baris untuk Agen Layanan Dataflow (service-PROJECT_NUMBER@dataflow-service-producer-prod. atau dengan peran Cloud Dataflow Service Agent).

  5. Di baris tersebut, klik Edit principal.

  6. Di panel Edit permissions, klik Add another role.

  7. Di daftar Select a role, pilih Monitoring Editor (roles/monitoring.editor).

  8. Klik Simpan. Mungkin perlu waktu beberapa menit hingga pembaruan izin diterapkan.

Mengaktifkan pemberitahuan siap pakai

Anda dapat mendaftarkan tugas dalam pemberitahuan siap pakai menggunakan gcloud CLI.

Mengaktifkan pemberitahuan menggunakan gcloud CLI

Tambahkan salah satu flag berikut selama pengiriman tugas untuk mengaktifkan atau menonaktifkan fitur:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

Jika akun layanan Anda tidak memiliki izin yang diperlukan, CLI akan menolak permintaan dan menampilkan izin yang tidak ada. Untuk mengetahui informasi selengkapnya, lihat Prasyarat.

Setelan pemberitahuan turnkey dipertahankan di seluruh update tugas. Saat Anda memperbarui tugas, setelan pemberitahuan turnkey sebelumnya akan dipertahankan, sehingga Anda tidak perlu menentukan flag --enable-turnkey-alerts atau --no-enable-turnkey-alerts lagi kecuali jika Anda ingin mengubah setelan tersebut.

Rangkaian kebijakan default

Notifikasi siap pakai mencakup dua kebijakan utama yang dirancang untuk workload streaming standar, yang berfokus pada KPI real-time seperti waktu pemrosesan dan pemakaian resource. Kebijakan yang disediakan Google diawali dengan Default Policy: untuk identifikasi, meskipun layanan menggunakan label sebagai ID utama.

Pelanggan otomatis terdaftar dalam semua kebijakan di rangkaian kebijakan default. Jika perlu, Anda dapat menonaktifkan kebijakan default tertentu di Pemberitahuan Cloud Monitoring.

Nama kebijakan Metrik dasar Nilai minimum default Alasan
Kebijakan Default: Estimasi Backlog job/estimated_backlog_processing_time 30 menit Memperkirakan waktu yang diperlukan untuk menyelesaikan backlog saat ini. Backlog yang lebih dari 30 menit menunjukkan bahwa tugas mengalami kesulitan untuk membuat progres.
Kebijakan Default: Kebijakan Pertumbuhan vCPU job/current_num_vcpus Peningkatan lebih dari 5x lipat dalam penggunaan vCPU rata-rata 1 jam dibandingkan dengan rata-rata 7 hari Memantau perubahan relatif dalam jumlah vCPU untuk membantu mengukur biaya tugas yang tidak terduga.

Siklus proses kebijakan

  • Kebijakan beta: Kebijakan ini memiliki awalan BETA dalam namanya dan dapat berubah atau dihapus seiring penyempurnaan nilai minimum.
  • Kebijakan GA: Setelah kebijakan dianggap stabil, awalan BETA akan dihapus.

Menyesuaikan dan mengelola notifikasi

Pemberitahuan siap pakai berfungsi sebagai titik awal. Sebaiknya sesuaikan template tersebut agar sesuai dengan persyaratan bisnis spesifik Anda.

  1. Di konsol Google Cloud , buka Cloud Monitoring > Alerting.
  2. Temukan kebijakan (misalnya, Default Policy: Estimated Backlog).
  3. Edit nilai minimum ke nilai yang Anda inginkan.

Membuat kebijakan kustom

Anda dapat menambahkan kebijakan pemberitahuan Cloud Monitoring apa pun ke suite pemberitahuan siap pakai dengan menambahkan label goog-turnkey-alerts ke kebijakan tersebut. Dengan demikian, Anda dapat mengelola aturan kustom khusus bisnis bersama dengan suite default.

Menonaktifkan atau menghapus kebijakan pemberitahuan

Anda dapat menonaktifkan atau menghapus kebijakan default tertentu menggunakan Monitoring. Saat Anda menonaktifkan kebijakan, Monitoring akan berhenti mengevaluasi kondisi kebijakan dan tidak ada insiden baru yang dibuat, tetapi konfigurasi kebijakan akan dipertahankan. Jika Anda menghapus kebijakan, kebijakan tersebut akan dihapus secara permanen dari project Anda. Untuk mengetahui informasi selengkapnya tentang cara mengelola siklus proses kebijakan, lihat Mengelola kebijakan pemberitahuan dan Kebijakan pemberitahuan yang dinonaktifkan.

Pemecahan masalah

Masalah Resolusi
PERMISSION_DENIED Pastikan P4SA Dataflow memiliki izin monitoring.alertPolicies.* yang diperlukan yang tercantum dalam Prasyarat. Jika P4SA tidak memiliki peran ini, pipeline Anda akan tetap berhasil diluncurkan, tetapi error PERMISSION_DENIED akan muncul di output command line dan di log tugas yang menunjukkan bahwa pemberitahuan default tidak dapat dibuat.
Tidak ada pemberitahuan yang diterima Tentukan apakah kondisi pemberitahuan terpenuhi dengan memeriksa insiden. Anda dapat melihat pemicu pemberitahuan dan linimasa insiden di Monitoring (lihat Melihat insiden dan peristiwa).
Kebijakan duplikat Hal ini biasanya terjadi jika beberapa kebijakan menggunakan label goog-turnkey-alerts dan konfigurasi metrik yang sama. Dataflow memeriksa label dan metrik yang tumpang-tindih, bukan kecocokan nama yang sama persis. Tinjau kebijakan Anda dan hapus label dari konfigurasi yang redundan.