Fehlercode 429

Wenn die Anzahl Ihrer Anfragen die für die Verarbeitung von Anfragen zugewiesene Kapazität überschreitet, wird der Fehlercode 429 zurückgegeben. In der folgenden Tabelle sind die Fehlermeldungen aufgeführt, die von den einzelnen Kontingentframeworks generiert werden:

Kontingent-Framework Nachricht
Pay as you go Resource exhausted, please try again later.
Bereitgestellter Durchsatz Too many requests. Exceeded the Provisioned Throughput.

Mit einem Abo für bereitgestellten Durchsatz können Sie eine bestimmte Menge an Durchsatz für bestimmte generative KI-Modelle reservieren. Wenn Sie kein Abo für bereitgestellten Durchsatz haben und Ihrer Anwendung keine Ressourcen zur Verfügung stehen, wird der Fehlercode 429 zurückgegeben. Obwohl Sie keine reservierte Kapazität haben, können Sie Ihre Anfrage noch einmal senden. Die Anfrage wird jedoch nicht auf Ihre Fehlerrate angerechnet, wie in Ihrem Service Level Agreement (SLA) beschrieben.

Bei Projekten, für die ein bereitgestellter Durchsatz erworben wurde, misst die Gemini Enterprise Agent Platform den Durchsatz eines Projekts und reserviert die erworbene Durchsatzmenge für die tatsächliche Nutzung des Projekts.

Wenn Sie beim standardmäßigen bereitgestellten Durchsatz weniger als die gekaufte Menge verwenden, werden Fehler, die sonst 429 wären, als 5XX zurückgegeben und auf die SLA-Fehlerrate angerechnet. Wenn Sie bei einem bereitgestellten Durchsatz für eine einzelne Zone weniger als die gekaufte Menge verwenden, werden kapazitätsbezogene 429-Fehler als 5XX behandelt, aber nicht auf die SLA-Fehlerrate angerechnet. Wenn Sie Ihren Kaufbetrag überschreiten, werden die zusätzlichen Anfragen on demand als „Pay as you go“ verarbeitet.

Pay as you go

Im Rahmen des „Pay as you go“-Kontingents haben Sie die folgenden Optionen, um 429-Fehler zu beheben:

  • Verwenden Sie nach Möglichkeit den globalen Endpunkt anstelle eines regionalen Endpunkts.
  • Implementieren Sie eine Wiederholungsstrategie mit abgeschnittenem exponentiellem Backoff.
  • Wenn Ihr Modell Kontingente verwendet, können Sie eine Anfrage zur Kontingenterhöhung einreichen. Wenn Ihr Modell Standard-Pay-as-you-go verwendet, kann es hilfreich sein, den Traffic zu glätten und große Spitzen zu reduzieren.
  • Wenn die Nutzung in Ihrem Projekt stark ansteigt, können aufgrund von Beschleunigungslimits 429-Fehler auftreten. Um die Beschleunigungslimits nicht zu erreichen, sollten Sie den Traffic schrittweise erhöhen und einheitliche Nutzungsmuster beibehalten.
  • Abonnieren Sie den bereitgestellten Durchsatz, um ein einheitlicheres Serviceniveau zu erhalten. Weitere Informationen finden Sie unter Bereitgestellter Durchsatz.
  • Wenn Sie sehen möchten, in welchen Sekunden und bei welchen Modellen 429-Fehler aufgetreten sind, aktivieren Sie die Metadatenlogs für Inferenzanfragen und führen Sie die Abfrage der Fehlerrate aus.

Bereitgestellter Durchsatz

So beheben Sie den Fehler 429, der durch Bereitgestellter Durchsatz generiert wird:

Nächste Schritte