Avvisi chiavi in mano per Dataflow

Per monitorare l'integrità della pipeline di streaming e il consumo di risorse senza configurare manualmente le policy in Cloud Monitoring, puoi attivare gli avvisi pronti all'uso in Dataflow. Gli avvisi pronti all'uso forniscono una suite preconfigurata di policy di avviso consigliate che puoi attivare durante l'avvio del job.

Questa funzionalità ti consente di:

  • Ottieni visibilità immediata: monitora automaticamente le metriche di streaming critiche, come il tempo di elaborazione del backlog e la crescita delle vCPU, senza configurazione manuale.
  • Standardizza il monitoraggio: applica rapidamente policy di avviso di base ai workload di produzione nuovi ed esistenti.
  • Personalizza gli avvisi: modifica le soglie di avviso predefinite, disattiva singole policy o aggiungi le tue policy di avviso personalizzate alla suite.

Puoi personalizzare queste policy predefinite in qualsiasi momento in Cloud Monitoring o integrare le tue policy di avviso personalizzate con la suite di avvisi pronta all'uso.

Prerequisiti

Per utilizzare gli avvisi chiavi in mano, il tuo progetto deve soddisfare i seguenti requisiti:

  1. Canali di notifica: devi aver configurato almeno un canale di notifica (ad esempio email, Slack o PagerDuty). Ti consigliamo di configurare Contatti necessari per assicurarti che gli avvisi raggiungano gli stakeholder corretti. Questo requisito non viene applicato dal servizio Dataflow. Per saperne di più, consulta la pagina Crea e gestisci canali di notifica.

  2. Autorizzazioni: il service account Dataflow (P4SA) richiede autorizzazioni IAM specifiche per creare e gestire queste policy per tuo conto:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    Per i nuovi progetti, queste autorizzazioni vengono aggiunte automaticamente. Per i progetti esistenti, potrebbe essere necessario impostare manualmente queste autorizzazioni sull'account P4SA.

Aggiorna le autorizzazioni P4SA

L'agente di servizio Dataflow (spesso indicato come P4SA o service account per prodotto, per progetto) è un account di servizio gestito automaticamente che viene creato quando abiliti l'API Dataflow. Il suo indirizzo email utilizza il seguente formato:

service-PROJECT_NUMBER@dataflow-service-producer-prod.

Per aggiornare il P4SA, devi disporre dell'autorizzazione resourcemanager.projects.setIamPolicy o di un ruolo che includa questa autorizzazione, ad esempio Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin).

Per concedere i ruoli richiesti utilizzando la console Google Cloud , segui questi passaggi:

  1. Nella console Google Cloud vai alla pagina IAM.

    Vai a IAM

  2. Seleziona il progetto.

  3. Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.

  4. Nell'elenco delle entità, individua la riga dell'agente di servizio Dataflow (service-PROJECT_NUMBER@dataflow-service-producer-prod. o con il ruolo Agente di servizio Cloud Dataflow).

  5. In quella riga, fai clic su Modifica entità.

  6. Nel riquadro Modifica autorizzazioni, fai clic su Aggiungi un altro ruolo.

  7. Nell'elenco Seleziona un ruolo, seleziona Editor Monitoring (roles/monitoring.editor).

  8. Fai clic su Salva. La propagazione dell'aggiornamento delle autorizzazioni potrebbe richiedere alcuni minuti.

Attiva gli avvisi pronti all'uso

Puoi registrare un job per gli avvisi chiavi in mano utilizzando gcloud CLI.

Abilita gli avvisi utilizzando gcloud CLI

Aggiungi uno dei seguenti flag durante l'invio del job per attivare o disattivare la funzionalità:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

Se il tuo account di servizio non dispone delle autorizzazioni richieste, l'interfaccia a riga di comando rifiuta la richiesta e visualizza le autorizzazioni mancanti. Per saperne di più, consulta i Prerequisiti.

Le impostazioni degli avvisi chiavi in mano vengono conservate durante gli aggiornamenti dei job. Quando aggiorni un job, l'impostazione precedente degli avvisi turnkey viene conservata, quindi non è necessario specificare nuovamente il flag --enable-turnkey-alerts o --no-enable-turnkey-alerts, a meno che tu non voglia modificare l'impostazione.

Suite di policy predefinita

Gli avvisi pronti all'uso includono due policy principali progettate per i workload di flussi di dati tipici, che si concentrano su KPI in tempo reale come i tempi di elaborazione e l'utilizzo delle risorse. Le policy fornite da Google sono precedute dal prefisso Default Policy: per l'identificazione, anche se il servizio utilizza le etichette come identificatore principale.

I clienti vengono registrati automaticamente a tutte le policy della suite di policy predefinita. Se necessario, puoi disattivare policy predefinite specifiche negli avvisi di Cloud Monitoring.

Nome del criterio Metrica di base Soglia predefinita Rationale
Policy predefinita: backlog stimato job/estimated_backlog_processing_time 30 minuti Stima il tempo necessario per cancellare l'arretrato attuale. Un backlog superiore a 30 minuti indica che il job ha difficoltà a procedere.
Policy predefinita: Policy di crescita delle vCPU job/current_num_vcpus Aumento di oltre 5 volte dell'utilizzo medio di vCPU in un'ora rispetto a una media di 7 giorni Monitora le variazioni relative dei conteggi delle vCPU per aiutarti a valutare i costi imprevisti dei job.

Ciclo di vita delle policy

  • Policy beta: queste policy hanno il prefisso BETA nel nome e sono soggette a modifiche o eliminazioni man mano che le soglie vengono perfezionate.
  • Policy GA: una volta che una policy è considerata stabile, il prefisso BETA viene rimosso.

Personalizza e gestisci gli avvisi

Gli avvisi pronti all'uso fungono da punto di partenza. Ti consigliamo di personalizzarli in base alle tue esigenze aziendali specifiche.

  1. Nella console Google Cloud , vai a Cloud Monitoring > Avvisi.
  2. Individua la policy (ad esempio, Policy predefinita: backlog stimato).
  3. Modifica la soglia impostando il valore che preferisci.

Crea policy personalizzate

Puoi aggiungere qualsiasi policy di avviso di Cloud Monitoring alla tua suite di avvisi pronti all'uso aggiungendo l'etichetta goog-turnkey-alerts. In questo modo puoi gestire regole personalizzate specifiche per l'attività insieme alla suite predefinita.

Disattiva o elimina le policy di avviso

Puoi disattivare o eliminare policy predefinite specifiche utilizzando Monitoring. Quando disattivi una policy, Monitoring interrompe la valutazione della condizione della policy e non vengono creati nuovi incidenti, ma la configurazione della policy viene conservata. Se elimini una policy, questa viene rimossa definitivamente dal progetto. Per saperne di più sulla gestione dei cicli di vita delle policy, consulta Gestisci le policy di avviso e Policy di avviso disabilitate.

Risoluzione dei problemi

Problema Risoluzione
PERMISSION_DENIED Assicurati che il P4SA di Dataflow disponga delle autorizzazioni monitoring.alertPolicies.* richieste elencate in Prerequisiti. Se il P4SA non dispone di questi ruoli, la pipeline viene comunque avviata correttamente, ma nell'output della riga di comando e nei log dei job viene visualizzato un errore PERMISSION_DENIED che indica che non è stato possibile creare gli avvisi predefiniti.
Nessun avviso ricevuto Determina se la condizione di avviso è stata soddisfatta controllando gli incidenti. Puoi visualizzare le attivazioni degli avvisi e le cronologie degli incidenti in Monitoring (consulta Visualizza incidenti ed eventi).
Norme duplicate In genere, questo accade se più policy condividono l'etichetta goog-turnkey-alerts e la stessa configurazione delle metriche. Dataflow verifica la presenza di etichette e metriche sovrapposte anziché di corrispondenze esatte dei nomi. Esamina le policy e rimuovi l'etichetta dalle configurazioni ridondanti.