Résoudre les problèmes de goulots d'étranglement dans Dataflow

Un goulot d'étranglement se produit lorsqu'une étape, une phase ou un nœud de calcul ralentit l'ensemble du job. Les goulots d'étranglement peuvent entraîner l'inactivité des nœuds de calcul et une latence accrue.

Si Dataflow détecte un goulot d'étranglement, le graphique du job affiche une alerte, et le panneau Informations sur l'étape indique le type de goulot d'étranglement et sa cause, si elle est connue. Dataflow exporte également les informations de détection des goulots d'étranglement vers une métrique Monitoring, qui présente les données sous forme de série temporelle. Cela vous permet d'afficher les goulots d'étranglement au fil du temps ou dans le passé.

Comprendre les goulots d'étranglement

Lorsque Dataflow exécute un pipeline de streaming, le job se compose d'une série de composants, tels que des brassages de streaming, des threads de traitement de fonctions définies par l'utilisateur (DoFn) et des points de contrôle d'état persistant. Pour faciliter le flux de données, Dataflow utilise des files d'attente pour connecter ces composants. Les données sont transmises de l'amont vers l'aval.

Dans de nombreux pipelines, la capacité de débit globale est limitée par un seul composant, ce qui crée un goulot d'étranglement dans le pipeline. La vitesse à laquelle les données peuvent passer par un goulot d'étranglement limite la vitesse à laquelle le pipeline peut accepter et traiter les données d'entrée.

Par exemple, considérons un pipeline dans lequel le traitement DoFn se produit en aval d'un brassage en flux continu. Une file d'attente entre eux met en mémoire tampon les données mélangées, mais non traitées. Si le traitement DoFn ne peut pas consommer les données aussi rapidement que le brassage en flux continu les produit, la file d'attente s'allonge. Un goulot d'étranglement prolongé peut entraîner l'atteinte de la capacité maximale de la file d'attente. À ce stade, le brassage est suspendu et l'arriéré se propage en amont. Les files d'attente plus en amont accumulent également des backlogs, ce qui finit par provoquer un ralentissement qui s'étend à la source de données, ce qui signifie que l'ensemble du pipeline ne peut pas suivre le rythme de l'entrée.

Lorsqu'un goulot d'étranglement se produit, une partie importante du pipeline peut sembler défaillante, même si un seul point du pipeline est à l'origine du backlog. Ce comportement peut compliquer le débogage des goulots d'étranglement. L'objectif de la détection des goulots d'étranglement est d'identifier la position exacte et la cause, en éliminant les approximations, afin que vous puissiez résoudre la cause principale.

Dataflow détecte un goulot d'étranglement lorsqu'un délai dépasse le seuil de cinq minutes. Si le délai ne dépasse pas ce seuil, Dataflow ne détecte pas de goulot d'étranglement.

La détection des goulots d'étranglement ne nécessite pas toujours d'agir et dépend de votre cas d'utilisation. Un pipeline peut fonctionner normalement avec des retards temporaires de plus de cinq minutes. Si cela est acceptable pour votre cas d'utilisation, vous n'aurez peut-être pas besoin de résoudre les goulots d'étranglement indiqués.

Types de goulots d'étranglement

Lorsque Dataflow détecte un goulot d'étranglement, l'interface de surveillance indique la gravité du problème. Les goulots d'étranglement se répartissent dans les catégories suivantes :

Le traitement est bloqué et ne progresse pas.
La progression du pipeline est complètement interrompue à cette étape.
Le traitement est en cours, mais il est en retard.
Le pipeline ne peut pas traiter les données entrantes aussi rapidement qu'elles arrivent. Le backlog augmente en conséquence.
Le traitement est en cours, mais le nombre d'éléments en attente reste stable.
Le pipeline progresse et le taux de traitement est comparable au taux d'entrée. Le traitement est suffisamment rapide pour que le nombre d'éléments en attente n'augmente pas, mais le nombre d'éléments en attente accumulés ne diminue pas non plus de manière significative.
Le traitement est en cours et rattrape le retard accumulé.
Le backlog diminue, mais le goulot d'étranglement actuel empêche le pipeline de rattraper son retard plus rapidement. Si vous démarrez un pipeline avec un backlog, cet état peut être normal et ne pas nécessiter d'intervention. Surveillez la progression pour voir si le backlog continue de diminuer.

Causes des goulots d'étranglement

Cette section liste les causes des goulots d'étranglement qui peuvent être détectés. Utilisez ces informations pour résoudre le problème. Dans certains cas, plusieurs causes peuvent être présentes et liées entre elles. Par exemple, si les nœuds de calcul sont sous-provisionnés, l'utilisation des processeurs virtuels peut être élevée. Une utilisation élevée des vCPU peut ralentir les opérations, ce qui peut entraîner un délai de file d'attente élevé. L'analyse des causes probables peut afficher tous ces éléments comme causes du goulot d'étranglement.

Opérations de traitement de longue durée

Certaines opérations de ce calcul ont un temps de traitement long. Cela se produit chaque fois qu'un bundle d'entrée est envoyé au nœud de calcul exécutant DoFn et qu'un temps important s'est écoulé sans que les résultats ne soient disponibles.

Cela est généralement dû à une seule opération de longue durée dans le code utilisateur. D'autres problèmes peuvent se manifester sous la forme d'opérations de traitement de longue durée. Par exemple, les erreurs générées et relancées dans DoFn, les nouvelles tentatives sur de longues périodes ou les plantages du système de nœuds de calcul en raison de facteurs tels que les erreurs de mémoire insuffisante peuvent tous entraîner ces longs temps de traitement.

Si le calcul concerné se trouve dans le code utilisateur, recherchez des moyens d'optimiser le code ou de limiter le temps d'exécution. Pour faciliter le débogage, les journaux de nœuds de calcul affichent les traces de la pile pour toutes les opérations bloquées pendant plus de cinq minutes.

Commit de clé trop volumineux

Consultez Exception de commit de clé trop volumineux.

Autorisation refusée pour le récepteur BigQuery

Cette erreur indique que le compte de service qui exécute le pipeline ne dispose pas des autorisations nécessaires pour écrire dans la ressource BigQuery.

Pour valider ce problème à l'aide des journaux de nœuds de calcul :

  1. Dans la console Google Cloud , ouvrez la page Détails du job de Dataflow.
  2. Dans le panneau inférieur, cliquez sur l'onglet Journaux, puis sélectionnez Journaux des nœuds de calcul.
  3. Recherchez les messages d'erreur indiquant que les autorisations ou l'accès sont refusés (par exemple, PERMISSION_DENIED, 403 Forbidden, Access Denied ou actuallyForbidden).
  4. Inspectez le message de journal pour identifier l'ensemble de données ou la table de destination, ainsi que l'autorisation manquante spécifique (par exemple, bigquery.tables.updateData).

Pour remédier à ce problème :

  • Vérifiez que le compte de service dispose du rôle Éditeur de données BigQuery (roles/bigquery.dataEditor) sur l'ensemble de données et la table de destination.
  • Si vous écrivez entre plusieurs projets, assurez-vous que les autorisations sont accordées au compte de service directement dans le projet de destination qui héberge l'ensemble de données BigQuery, et que VPC Service Controls (si activé) autorise la communication entre les deux projets.

Si ces étapes ne permettent pas de résoudre le problème, consultez Rôles et autorisations BigQuery prédéfinis pour identifier et accorder les autorisations précises manquantes requises pour votre configuration spécifique.

Ressource de récepteur BigQuery épuisée

Cette erreur indique que le pipeline a dépassé une limite de quota BigQuery. La cause la plus probable est un quota insuffisant dans le projet BigQuery de destination pour gérer le volume de données en cours d'écriture.

Pour valider ce problème à l'aide des journaux de nœuds de calcul :

  1. Dans la console Google Cloud , ouvrez la page Détails du job de Dataflow.
  2. Dans le panneau inférieur, cliquez sur l'onglet Journaux, puis sélectionnez Journaux des nœuds de calcul.
  3. Recherchez les messages d'erreur indiquant que les ressources ou les quotas sont épuisés, ou que les limites de débit sont dépassées (par exemple, RESOURCE_EXHAUSTED, 429 Too Many Requests, quotaExceeded ou rateLimitExceeded).
  4. Inspectez le message de journal pour confirmer l'opération et la limite de quota qui ont été dépassées (par exemple, les limites de débit ou de connexion de l'API Storage Write AppendRows, ou les limites de débit d'insertion en flux continu).

Pour remédier à ce problème :

  • Déterminez l'implémentation de récepteur BigQuery utilisée par votre pipeline (par exemple, l'API Storage Write ou les insertions en flux continu).
  • Examinez l'utilisation de vos quotas BigQuery dans la console Google Cloud . Recherchez spécifiquement les quotas liés à votre type de récepteur, tels que les connexions simultanées, le débit ou les lignes d'insertion en flux continu par seconde.
  • Si vous approchez ou dépassez régulièrement ces limites, envisagez de demander une augmentation de quota.

Si ces étapes ne permettent pas d'identifier la limite spécifique dépassée, consultez Résoudre les erreurs de quota et de limite pour approfondir vos recherches.

Échec du RPC du récepteur BigQuery

Cette erreur indique que les requêtes RPC du pipeline vers BigQuery échouent. Les causes potentielles incluent des problèmes temporaires de réseau ou de service, des charges utiles de requête non valides, des incohérences de schéma ou des erreurs de délai d'expiration et de dépassement de délai.

Pour valider ce problème à l'aide des journaux de nœuds de calcul :

  1. Dans la console Google Cloud , ouvrez la page Détails du job de Dataflow.
  2. Dans le panneau inférieur, cliquez sur l'onglet Journaux, puis sélectionnez Journaux des nœuds de calcul.
  3. Recherchez les messages d'erreur ou les exceptions liés aux opérations d'écriture BigQuery (par exemple, DEADLINE_EXCEEDED, UNAVAILABLE, INVALID_ARGUMENT ou des erreurs de validation de schéma).
  4. Inspectez la trace de la pile et le message d'erreur pour déterminer le mode d'échec spécifique renvoyé par l'API BigQuery.

Pour remédier à ce problème :

  • Une fois que vous avez identifié le message d'erreur ou le code d'état spécifique dans les journaux des nœuds de calcul, consultez la documentation de référence sur les messages d'erreur BigQuery pour obtenir des conseils de dépannage spécifiques à cette erreur.
  • Si votre pipeline utilise l'API Storage Write, consultez Gestion des exceptions dans la documentation de l'API BigQuery Storage Write pour savoir comment gérer les erreurs d'écriture et de flux spécifiques.
Récepteur BigQuery limité

Cette cause indique que les requêtes d'écriture du pipeline vers BigQuery aboutissent, mais qu'elles subissent une latence élevée ou une limitation. Ce problème se produit lorsque le pipeline approche des quotas de débit ou d'octets en cours de BigQuery, et que BigQuery ralentit les requêtes d'écriture pour réguler le trafic, ou lorsque BigQuery subit une latence de backend élevée.

Pour valider ce problème :

  1. Dans la console Google Cloud , ouvrez la page Détails du job de Dataflow.
  2. Cliquez sur l'onglet Métriques du job ou Informations sur l'étape pour vérifier que l'étape du récepteur BigQuery présente un temps de traitement élevé.
  3. Dans la console Google Cloud , ouvrez la page Quotas et limites du système du projet BigQuery de destination et vérifiez si votre utilisation approche des quotas d'écriture BigQuery.

Pour remédier à ce problème :

  • Déterminez l'implémentation de récepteur BigQuery utilisée par votre pipeline, par exemple l'API Storage Write ou les insertions en flux continu.
  • Examinez l'utilisation de vos quotas BigQuery dans la console Google Cloud . Recherchez spécifiquement les quotas liés à votre type de récepteur, tels que le débit d'ajout de l'API Storage Write, les connexions simultanées ou les lignes d'insertion en flux continu par seconde. Même lorsque les requêtes n'échouent pas avec des erreurs de quota explicites, BigQuery peut limiter les requêtes lorsque l'utilisation approche des limites de quota.
  • Si vous approchez régulièrement de ces limites, envisagez de demander une augmentation de quota.

Si ces étapes ne permettent pas d'identifier la limite spécifique qui est atteinte, consultez Résoudre les erreurs de quota et de limite pour approfondir vos recherches.

Temps de traitement long pour toutes les opérations

Les opérations de ce calcul prennent systématiquement beaucoup de temps, ce qui suggère un problème dans le DoFn fourni par l'utilisateur.

Cette cause est différente de Opérations à long temps de traitement. Alors que cette cause affecte certaines opérations, celle-ci indique que toutes les opérations de ce calcul sont affectées.

Recherchez dans les journaux des nœuds de calcul des erreurs, des exceptions ou des traces de la pile indiquant des threads lents ou bloqués. Si vous utilisez le SDK Apache Beam pour Python et que les opérations sont intrinsèquement de longue durée (par exemple, des appels d'API externes lents ou des E/S à latence élevée), envisagez d'utiliser un DoFn asynchrone. Cette fonctionnalité peut améliorer le débit en empêchant le blocage du traitement sur ces tâches de longue durée.

Lecture lente de l'état persistant

Le calcul passe beaucoup de temps à lire l'état persistant dans le cadre de l'exécution de DoFn. Cela peut être dû à un état persistant excessivement volumineux ou à un nombre excessif de lectures. Envisagez de réduire la taille de l'état persistant ou la fréquence des lectures. Optimisez les modèles d'accès à l'état en combinant plusieurs opérations de lecture d'état ou en utilisant l'état de mappage au lieu de l'état de valeur, le cas échéant. Il peut également s'agir d'un problème temporaire dû à la lenteur de l'état persistant sous-jacent.

Écriture lente de l'état persistant

Le calcul passe beaucoup de temps à écrire l'état persistant lors du commit des résultats du traitement. Cela peut être dû à un état persistant excessivement volumineux. Envisagez de réduire la taille de l'état persistant. Optimisez les modèles d'accès à l'état en combinant plusieurs opérations d'écriture d'état, le cas échéant. Il peut également s'agir d'un problème temporaire dû à la lenteur de l'état persistant sous-jacent.

Commit refusé

Le traitement des données ne peut pas être validé dans un état persistant, car il n'est pas valide. Cela est généralement dû au dépassement de l'une des limites opérationnelles. Pour en savoir plus, consultez les journaux ou contactez l'assistance.

Nombre insuffisant de partitions sources Apache Kafka

Le calcul de la source Apache Kafka ne comporte pas assez de partitions. Pour résoudre ce problème, essayez les solutions suivantes :

  • Augmentez le nombre de partitions Kafka.
  • Incluez la redistribution à l'aide de .withRedistribute() lors de la configuration de la lecture Kafka IO pour paralléliser les données plus efficacement. Incluez .withRedistributeNumKeys(N) où N > partitions pour fournir une limite supérieure au nombre total de clés. Le fait d'avoir un nombre limité de clés permet d'améliorer l'efficacité en regroupant les enregistrements.
  • Pour réduire le coût du brassage de redistribution, utilisez .withOffsetDeduplication(). Ce mode minimise la quantité de données à conserver dans le cadre du brassage, tout en fournissant un traitement de type "exactement une fois".

Pour en savoir plus, consultez la section Parallélisme de la page Lire des données depuis Apache Kafka vers Dataflow.

Volume important d'état persistant de la source Apache Kafka

Le calcul de la source Apache Kafka redistribue un volume élevé de données, ce qui peut entraîner une latence et des coûts élevés. Pour résoudre ce problème, procédez comme suit :

  • Si le traitement "exactement une fois" est requis pour le pipeline, réduisez le coût du brassage de redistribution en utilisant le mode de déduplication des décalages. Ce mode minimise la quantité de données à conserver dans le cadre du brassage, tout en fournissant un traitement de type "exactement une fois".
  • Si le traitement "au moins une fois" est suffisant pour le pipeline, vous pouvez activer la configuration Autoriser les doublons.

Pour en savoir plus, consultez Lire des données depuis Apache Kafka vers Dataflow.

Parallélisme de la source insuffisant

Un calcul source présente un parallélisme insuffisant. Si possible, augmentez la parallélisation dans la source. Si vous ne pouvez pas augmenter la parallélisation et que le job utilise le mode "Au moins une fois", essayez d'ajouter une transformation Redistribute au pipeline.

Clés chaudes ou parallélisme de clés insuffisant

Le job comporte des clés chaudes ou un parallélisme de clés insuffisant.

Pour chaque clé de segmentation, Dataflow traite les messages de manière séquentielle. Pendant que Dataflow traite un lot de messages pour une clé donnée, les autres messages entrants pour cette clé sont mis en file d'attente jusqu'à ce que le lot actuel soit terminé.

Si Dataflow ne peut pas traiter suffisamment de clés distinctes en parallèle, cela peut entraîner un goulot d'étranglement. Par exemple, les données peuvent comporter trop peu de clés distinctes, ou certaines clés peuvent être surreprésentées dans les données ("clés chaudes"). Pour résoudre ce problème, modifiez la logique de votre pipeline pour redistribuer les données. Par exemple, ajoutez un suffixe aléatoire aux clés de regroupement pour diviser les clés chaudes, puis agrégez les résultats lors d'une étape ultérieure. Pour en savoir plus, consultez Résoudre les problèmes liés aux clés chaudes.

vCPU sous-provisionnés

Le job ne dispose pas de suffisamment de processeurs virtuels de nœud de calcul. Cette situation se produit lorsque le job est déjà mis à l'échelle au maximum, que l'utilisation des processeurs virtuels est élevée et qu'il reste un backlog. Vous devrez peut-être augmenter le nombre maximal de nœuds de calcul provisionnés pour ce job. Par exemple, vous pouvez augmenter ce nombre en mettant à jour la plage d'autoscaling. Vous pouvez également chercher des moyens de réduire l'utilisation des processeurs virtuels en modifiant le code ou la charge de travail du pipeline. Vous pouvez utiliser Cloud Profiler pour rechercher des opportunités d'optimisation.

Utilisation élevée des vCPU, en attente d'un scaling à la hausse

Le job utilise beaucoup de vCPU, mais il est possible d'effectuer un scaling à la hausse. Cette condition est probablement temporaire jusqu'à ce que le scaling à la hausse puisse se produire. Vous pouvez surveiller l'autoscaling pour voir les décisions d'autoscaling. Si cette condition persiste pendant une longue période ou se produit fréquemment, vous devrez peut-être modifier la configuration de l'autoscaling en définissant une autre indication d'utilisation des nœuds de calcul pour permettre au job d'effectuer un scaling à la hausse de manière plus proactive.

Charge vCPU déséquilibrée créant des goulots d'étranglement sur certains nœuds de calcul aberrants

Le job dispose de suffisamment de processeurs virtuels de nœuds de calcul, mais certains nœuds de calcul affichent une utilisation très élevée des processeurs virtuels. Cela est souvent dû à une répartition inégale du travail. Les causes potentielles incluent des partitions sources chargées de manière inégale ou des clés chaudes.

Pour résoudre ce problème, procédez comme suit :

  • Déterminez la cause de la charge inégale et essayez de la corriger. Par exemple, assurez-vous que les partitions sources sont réparties de manière homogène.
  • S'il n'est pas possible de corriger la charge inégale, envisagez de modifier la forme de la VM de nœud de calcul pour augmenter le nombre de processeurs virtuels par nœud de calcul afin de réduire l'utilisation maximale. Pour en savoir plus sur la configuration des processeurs virtuels par nœud de calcul, consultez Configurer des VM de nœud de calcul Dataflow.
Problème de communication avec les nœuds de calcul

Dataflow ne peut pas communiquer avec toutes les VM de nœud de calcul. Vérifiez l'état des VM de nœud de calcul du job. Les causes possibles sont les suivantes :

  • Un problème est survenu lors du provisionnement des VM de nœud de calcul.
  • Le pool de VM de nœuds de calcul est supprimé pendant l'exécution du job.
  • Problèmes de Mise en réseau.
La source Pub/Sub présente des erreurs de récupération.

Des erreurs se sont produites lors de la récupération à partir de la source Pub/Sub. Vérifiez que le sujet et les abonnements requis existent, puis vérifiez le quota et la configuration. Vous pouvez également vérifier les journaux pour détecter d'éventuelles erreurs.

La source Pub/Sub présente un parallélisme insuffisant

Le calcul de la source Pub/Sub ne dispose pas d'un nombre suffisant de clés Pub/Sub. Pour augmenter le nombre de clés, définissez l'option de service num_pubsub_keys. Pour en savoir plus, consultez Parallélisme des sources Pub/Sub.

La source Pub/Sub est limitée pour une raison inconnue

Le calcul de la source Pub/Sub est limité lors de la lecture à partir de Pub/Sub, pour une raison inconnue. Il s'agit peut-être d'un problème temporaire. Vérifiez s'il existe des problèmes de configuration Pub/Sub, des autorisations IAM manquantes ou des limites de quota. Toutefois, si aucune des causes précédentes n'est la cause principale et que le problème persiste, contactez l'assistance.

La publication au niveau du récepteur Pub/Sub est lente ou bloquée

Le calcul du récepteur Pub/Sub est lent ou bloqué. Ce problème peut être dû à un problème de configuration ou à une limite de quota.

Temps d'attente élevé dans la file d'attente de travail

L'âge de travail éligible le plus ancien est élevé en raison d'un grand nombre de clés et de la vitesse à laquelle les clés sont traitées. Dans ce cas, chaque opération n'est pas forcément anormalement longue, mais le délai de mise en file d'attente global est élevé.

Dataflow utilise un seul thread de traitement par clé de segmentation, et le nombre de threads de traitement est limité. Le délai de mise en file d'attente est approximativement égal au rapport entre le nombre de clés et le nombre de threads, multiplié par la latence sur le thread pour chaque bundle de traitement d'une clé :

(key count / total harness threads) * latency per bundle

Essayez les solutions suivantes :

  • Augmentez le nombre de nœuds de calcul. Consultez la section Autoscaling de flux.
  • Augmentez le nombre de threads de l'outil de gestion des nœuds de calcul. Définissez l'option de pipeline numberOfWorkerHarnessThreads / number_of_worker_harness_threads.
  • Réduisez le nombre de clés.
  • Réduire la latence de l'opération.
Problème temporaire avec le backend Streaming Engine

Il existe un problème de configuration ou de fonctionnement avec le backend Streaming Engine. Il s'agit peut-être d'un problème temporaire. Si ce problème persiste, contactez l'assistance.

Cause indéterminée

La cause du backlog ne peut pas être déterminée avec certitude. Ce problème est peut-être temporaire. Si ce problème persiste, contactez l'assistance.

Métriques de goulot d'étranglement

Les métriques de job suivantes fournissent des informations sur les goulots d'étranglement :

Étapes suivantes