Code d'erreur 429

Si le nombre de vos requêtes dépasse la capacité allouée pour les traiter, le code d'erreur 429 est renvoyé. Le tableau suivant affiche le message d'erreur généré par chaque type de framework de quota :

Framework de quota Message
Paiement à l'usage Resource exhausted, please try again later.
Débit provisionné Too many requests. Exceeded the Provisioned Throughput.

Si vous disposez d'un abonnement de débit provisionné, vous pouvez réserver un certain débit pour des modèles d'IA générative spécifiques. Si vous ne disposez pas d'un abonnement de débit provisionné et que les ressources ne sont pas disponibles pour votre application, un code d'erreur 429 est renvoyé. Bien que vous ne disposiez pas de capacité réservée, vous pouvez relancer votre requête. Toutefois, la requête n'est pas comptabilisée dans votre taux d'erreur, comme indiqué dans votre contrat de niveau de service (SLA).

Pour les projets ayant acheté un débit provisionné, Gemini Enterprise Agent Platform mesure le débit d'un projet et réserve la quantité de débit achetée pour l'utilisation réelle du projet.

Pour le débit provisionné standard, lorsque vous utilisez moins que votre montant de l'achat, les erreurs qui pourraient être renvoyées en tant qu'erreur 429 sont renvoyées en tant qu'erreur 5XX et sont comptabilisées dans le taux d'erreur du contrat de niveau de service. Pour le Débit provisionné d'une seule zone, lorsque vous utilisez moins que votre montant de l'achat, les erreurs 429 liées à la capacité sont traitées comme des erreurs 5XX, mais ne sont pas comptabilisées dans le taux d'erreur du contrat de niveau de service. Lorsque vous dépassez le montant acheté, les requêtes supplémentaires sont traitées à la demande selon le paiement à l'usage.

Paiement à l'usage

Dans le framework de quota de paiement à l'usage, vous disposez des options suivantes pour résoudre les erreurs 429 :

  • Utilisez le point de terminaison global au lieu d'un point de terminaison régional chaque fois que possible.
  • Implémentez une stratégie de nouvelle tentative à l'aide d'une temporisation de retransmission exponentielle tronquée.
  • Si votre modèle utilise des quotas, vous pouvez envoyer une demande d'augmentation de quota (DAQ). Si votre modèle utilise le paiement à l'usage standard, lisser le trafic et réduire les pics importants peut vous aider.
  • Vous pouvez rencontrer des erreurs 429 en raison des limites d'accélération si l'utilisation de votre projet augmente fortement. Pour éviter d'atteindre les limites d'accélération, augmentez progressivement votre trafic et maintenez des modèles d'utilisation cohérents.
  • Abonnez-vous au débit provisionné pour un niveau de service plus cohérent. Pour en savoir plus, consultez la section Débit provisionné.
  • Pour voir quelles secondes et quels modèles ont reçu des erreurs 429, activez les journaux de métadonnées des requêtes d'inférence et exécutez la requête de taux d'erreur.

Débit provisionné

Pour corriger l'erreur 429 générée par le débit provisionné, procédez comme suit :

Étapes suivantes