Se il numero di richieste supera la capacità allocata per l'elaborazione delle richieste, viene restituito il codice di errore 429. La tabella seguente mostra il messaggio di errore generato da ogni tipo di framework di quota:
| Framework di quote | Messaggio |
|---|---|
| Pagamento a consumo | Resource exhausted, please try again later. |
| Throughput riservato | Too many requests. Exceeded the Provisioned Throughput. |
Con un abbonamento al Throughput riservato, puoi prenotare una quantità di throughput per modelli di AI generativa specifici. Se non hai un abbonamento con Throughput riservato e le risorse non sono disponibili per la tua applicazione, viene restituito un codice di errore 429. Anche se non hai capacità prenotata, puoi riprovare a inviare la richiesta. Tuttavia, la richiesta non viene conteggiata nella percentuale di errore, come descritto nell'accordo sul livello del servizio (SLA).
Per i progetti che hanno acquistato il throughput riservato, Gemini Enterprise Agent Platform misura il throughput di un progetto e riserva la quantità di throughput acquistata per l'utilizzo effettivo del progetto.
Per il throughput riservato standard, quando utilizzi un importo inferiore all'importo di acquisto, gli errori che altrimenti potrebbero essere 429 vengono restituiti come 5XX e vengono conteggiati ai fini del tasso di errore dello SLA. Per il throughput riservato a zona singola,
quando utilizzi una quantità inferiore a quella acquistata, gli errori 429 relativi alla capacità vengono
trattati come 5XX, ma non vengono conteggiati ai fini della percentuale di errori dello SLA. Quando superi l'importo di acquisto, le richieste aggiuntive vengono elaborate on demand con pagamento a consumo.
Pagamento a consumo
Nel framework delle quote con pagamento a consumo, hai le seguenti opzioni per
risolvere gli errori 429:
- Utilizza l'endpoint globale anziché un endpoint regionale, se possibile.
- Implementa una strategia di nuovi tentativi utilizzando il backoff esponenziale troncato.
- Se il tuo modello utilizza quote, puoi inviare una richiesta di aumento della quota (QIR). Se il tuo modello utilizza il pagamento a consumo standard, può essere utile uniformare il traffico e ridurre i picchi elevati.
- Se il tuo progetto registra un forte aumento dell'utilizzo, potresti riscontrare errori
429a causa dei limiti di accelerazione. Per evitare di raggiungere i limiti di accelerazione, aumenta gradualmente il traffico e mantieni pattern di utilizzo coerenti. - Abbonati al throughput riservato per un livello di servizio più coerente. Per saperne di più, consulta Throughput riservato.
- Per vedere quali secondi e quali modelli hanno ricevuto errori
429, attiva i log dei metadati delle richieste di inferenza ed esegui la query sul tasso di errore.
Throughput riservato
Per correggere l'errore 429 generato dal throughput riservato, segui questi passaggi:
- Utilizza l'esempio di comportamento predefinito, che non imposta un'intestazione nelle richieste di previsione. Eventuali eccedenze vengono elaborate on demand e fatturate con pagamento a consumo.
- Aumenta il numero di GSU nel tuo abbonamento con throughput riservato.
- Per vedere quali secondi e quali modelli hanno ricevuto errori
429, attiva i log dei metadati delle richieste di inferenza ed esegui la query sul tasso di errore. Per vedere quali richieste sono state trasferite, esegui la query di spillover per minuto.
Passaggi successivi
- Per scoprire di più sul pagamento a consumo Standard, consulta Pagamento a consumo Standard.
- Per saperne di più sul throughput riservato, consulta Throughput riservato.
- Per informazioni su quote e limiti per l'AI generativa su Agent Platform, consulta Quote e limiti di sistema.
- Per saperne di più sulle quote e sui limiti di sistema di Google Cloud , consulta la documentazione sulle quote di Cloud.