Améliorer la disponibilité des ressources pour les jobs

Ce document explique comment obtenir des ressources et recommande comment améliorer l'obtention de ressources lorsque vous créez et exécutez des jobs par lot.

Qu'est-ce que l'accessibilité ?

La disponibilité est la probabilité que des ressources soient disponibles pour exécuter votre charge de travail. Lorsque les ressources ne sont pas disponibles, votre charge de travail échoue en raison d'erreurs de disponibilité des ressources. L'accessibilité est liée à la fiabilité, mais distincte de celle-ci, qui correspond à la probabilité que votre charge de travail soit disponible pour ses utilisateurs. (La disponibilité peut signifier l'un ou l'autre, ou les deux.)

La relation entre l'accessibilité et la fiabilité est complexe. Votre charge de travail doit obtenir des ressources pour être fiable. Cependant, si toute flexibilité en termes d'emplacement, de temps et de matériel augmente l'accessibilité, la fiabilité n'augmente qu'avec une flexibilité qui répond aux exigences de votre charge de travail. Par exemple, notez les complexités suivantes :

  • Les types de machines plus performants peuvent être moins disponibles en raison d'une demande plus élevée, mais la fiabilité diminue lorsque votre charge de travail n'est pas assez performante.
  • La flexibilité de l'emplacement augmente la disponibilité, mais les machines allouées de manière dense améliorent les performances du réseau.
  • La flexibilité temporelle augmente la disponibilité, mais une attente excessive peut entraîner des retards inutiles.

Par conséquent, une disponibilité plus élevée n'est pas toujours préférable. Le niveau optimal d'accessibilité varie en fonction de vos priorités et de vos exigences. Par exemple, vous pouvez souhaiter une disponibilité plus faible pour donner la priorité à la réduction des coûts. Même si vous souhaitez donner la priorité à la fiabilité, vous devrez peut-être trouver un équilibre entre les avantages d'une meilleure disponibilité et les risques de performances moindres ou de retards accrus.

Recommandations pour améliorer l'obtention d'emplois

Consultez les sections suivantes pour améliorer l'obtention des jobs par lot :

Recommandations pour toutes les options de consommation

  • Réduisez vos besoins en types de machines volumineux et hautes performances en séparant votre charge de travail. Par exemple, commencez par séparer les opérations nécessitant beaucoup de ressources de calcul des opérations à faible demande à l'aide de jobs dépendants. Ensuite, réduisez autant que possible les ressources de calcul minimales requises par chaque job en maximisant le traitement parallèle et en minimisant les tâches à couplage fort.

    En savoir plus sur les jobs dépendants, les ressources de calcul et le parallélisme.

  • Maximisez le nombre d'emplacements autorisés pour les ressources Compute Engine de votre job. C'est le cas par défaut. Sauf si vous spécifiez le champ allowedLocations[] pour un job, les ressources Compute Engine du job sont autorisées à s'exécuter dans toutes les zones de l'emplacement du job.

    En savoir plus sur les emplacements

  • Envisagez d'utiliser des stratégies d'échec rapide avant d'attendre une meilleure disponibilité. Pour éviter les retards, envisagez des stratégies fail-fast telles que les suivantes :

    • Bien que vous puissiez résoudre les erreurs de disponibilité des ressources en réessayant votre requête ultérieurement, il est souvent plus rapide d'essayer d'abord d'autres emplacements ou matériels.
    • Si vous êtes prêt à utiliser plusieurs options de consommation, il est souvent plus rapide d'essayer d'abord les options de consommation sans délai : réservations à la demande, VM à la demande et VM Spot.
    • Pour les nouvelles charges de travail que vous prévoyez de répéter, vous préférerez peut-être accélérer les tests initiaux et le dépannage en utilisant temporairement des options plus rapides à obtenir.

Recommandations basées sur l'option de consommation

L'option de consommation que vous sélectionnez est un facteur principal pour l'obtention d'un job. Cette section résume brièvement chaque option de consommation et recommande comment optimiser l'obtention pour chaque option de consommation.

Les options de consommation suivantes sont classées de la plus élevée à la plus faible :

  • Pour les charges de travail présentant des exigences de disponibilité élevées, utilisez des réservations. Les réservations offrent un niveau d'assurance plus élevé pour l'obtention de la capacité que toutes les autres options de consommation. Pour utiliser la capacité réservée, commencez par créer ou identifier les réservations existantes que vous pouvez utiliser. Ensuite, configurez les instances pour qu'elles utilisent cette capacité réservée. Contrairement à d'autres options de consommation, les instances réservées entraînent des coûts même lorsqu'elles ne sont pas utilisées, jusqu'à ce que vous les supprimiez, en raison de leur garantie de capacité. Lorsque vous tenez compte de la disponibilité, choisissez entre les types de réservations suivants :

    • Pour exiger une capacité réservée, utilisez une réservation spécifiquement ciblée. Ces réservations permettent de vérifier plus facilement que la capacité réservée est disponible et utilisable par votre charge de travail. Chaque fois que la capacité réservée n'est pas disponible et compatible, votre charge de travail échoue et renvoie une erreur. Une réservation spécifiquement ciblée inclut toutes les réservations pour le modèle de provisionnement RESERVATION_BOUND et certaines réservations pour le modèle de provisionnement STANDARD.

      Découvrez comment créer un job qui utilise des réservations.

    • Pour une capacité réservée facultative, consommez une réservation consommée automatiquement et utilisez la flexibilité des instances. Ces options de réservation offrent un niveau élevé d'assurance pour l'obtention de la capacité, mais uniquement lorsque la capacité réservée que votre charge de travail peut consommer est disponible. Pour les réservations utilisées automatiquement, vous devez spécifier le modèle de provisionnement STANDARD et vérifier manuellement que la capacité réservée est disponible et correspond à la configuration d'instance de votre charge de travail. Chaque fois que la capacité réservée n'est pas disponible ou ne correspond pas, votre charge de travail tente d'utiliser la capacité à la demande. Toutefois, contrairement aux réservations spécifiquement ciblées, vous pouvez utiliser la flexibilité des instances avec les réservations consommées automatiquement pour permettre à votre charge de travail d'essayer de consommer plusieurs réservations consommées automatiquement.

      Découvrez comment créer un job qui utilise des réservations et la flexibilité des instances.

  • Pour les charges de travail ayant des exigences de disponibilité moyennes, utilisez la capacité à la demande avec la flexibilité des instances ou les VM à démarrage flexible. Choisissez l'une des options suivantes :

    • À moins que votre type de machine ne fasse partie de la série de machines A3 ou qu'il ne soit pas compatible, envisagez d'utiliser la capacité à la demande avec la flexibilité des instances. L'option de consommation à la demande nécessite le modèle de provisionnement STANDARD (par défaut). Sauf si vous bloquez explicitement l'utilisation des réservations, votre charge de travail tente également d'utiliser par défaut les réservations consommées automatiquement. En particulier, nous ne recommandons pas l'utilisation de la série de machines A3 à la demande.

      Découvrez comment créer un job qui utilise le modèle de provisionnement standard et la flexibilité des instances.

    • Sinon, ou si la capacité à la demande est indisponible à plusieurs reprises, envisagez d'utiliser des Flex-start VM. Pour utiliser l'option de consommation des VM Flex-start, spécifiez le modèle de provisionnement FLEX_START. Les VM à démarrage flexible nécessitent que votre charge de travail tolère un temps d'attente et une durée d'exécution limitée, mais elles offrent également des remises grâce à la tarification du programmeur de charge de travail dynamique.

      Découvrez comment créer un job qui utilise des VM à démarrage flexible.

  • Pour les charges de travail ayant des exigences de disponibilité faibles, utilisez des VM Spot avec plusieurs fonctionnalités de disponibilité. Pour utiliser l'option de consommation des VM Spot, spécifiez le modèle de provisionnement SPOT. Les VM Spot ne sont pas toujours disponibles et peuvent être préemptées à tout moment. Elles ne sont donc recommandées que pour les charges de travail tolérantes aux pannes, mais elles peuvent offrir les remises les plus importantes grâce à la tarification des VM Spot.

    Nous vous recommandons généralement de vérifier la disponibilité des VM Spot avant de les créer et de vous assurer que votre charge de travail peut gérer la préemption. Ensuite, pour améliorer l'obtention des VM Spot dans les jobs par lot spécifiquement, nous vous recommandons d'utiliser la flexibilité des instances avec plusieurs types de machines de même rang et d'utiliser de nouvelles tentatives automatiques pour tenter de recréer automatiquement les VM Spot après la préemption.

    Découvrez comment afficher la disponibilité des VM Spot et gérer la préemption des VM Spot dans la documentation Compute Engine. Ensuite, découvrez comment créer un job qui utilise le modèle de provisionnement des VM Spot, la flexibilité des instances et les nouvelles tentatives automatiques en cas de préemption.

Étapes suivantes