Se o número de solicitações exceder a capacidade alocada para processar solicitações, o código do erro 429 será retornado. A tabela a seguir mostra a
mensagem de erro gerada por cada tipo de framework de cota:
| Framework de cotas | Mensagem |
|---|---|
| Pagamento por uso | Resource exhausted, please try again later. |
| Capacidade de processamento provisionada | Too many requests. Exceeded the Provisioned Throughput. |
Com uma assinatura de Capacidade de Processamento Provisionada, é possível reservar uma
quantidade de capacidade de processamento para modelos específicos de IA generativa. Se você não tiver uma
assinatura de Capacidade de Processamento Provisionada e os recursos não estiverem disponíveis
para seu aplicativo, um código do erro 429 será retornado. Embora você não tenha capacidade reservada, tente fazer a solicitação novamente. No entanto, a solicitação
não é contabilizada na taxa de erros, conforme descrito no contrato de nível de
serviço (SLA).
Para projetos que compraram a Capacidade de Processamento Provisionada, a Gemini Enterprise Agent Platform mede a capacidade de processamento de um projeto e reserva a quantidade comprada para o uso real do projeto.
Para a Capacidade de Processamento Provisionada padrão, quando você usa menos do que o montante da compra, os erros que poderiam ser 429 são retornados como 5XX e contam para a taxa de erro do SLA. Para a Capacidade de Processamento Provisionada de Zona Única,
quando você usa menos do que o montante da compra, os erros de 429 relacionados à capacidade são
tratados como 5XX, mas não são contabilizados na taxa de erros do SLA. Quando você excede o montante da compra, as solicitações adicionais são processadas on demand como pagamento por uso.
Pagamento por uso
No framework de cotas de pagamento por uso, você tem as seguintes opções para
resolver erros 429:
- Use o endpoint global em vez de um endpoint regional sempre que possível.
- Implemente uma estratégia de repetição usando a espera exponencial truncada.
- Se o modelo usa cotas, envie uma solicitação de aumento de cota (QIR, na sigla em inglês). Se o modelo usa o pagamento por uso padrão, suavizar o tráfego e reduzir grandes picos pode ajudar.
- Se o projeto tiver um aumento acentuado no uso, talvez ocorram erros
429devido aos limites de aceleração. Para evitar atingir os limites de aceleração, aumente o tráfego gradualmente e mantenha padrões de uso consistentes. - Assine a Capacidade de Processamento Provisionada para ter um nível de serviço mais consistente. Para mais informações, consulte Capacidade de Processamento Provisionada.
- Para ver quais segundos e quais modelos receberam erros
429, ative os registros de metadados de solicitação de inferência e execute a consulta de taxa de erros.
Capacidade de processamento provisionada
Para corrigir o erro 429 gerado pela capacidade de processamento provisionada, faça o seguinte:
- Use o exemplo de comportamento padrão, que não define um cabeçalho nas solicitações de previsão. Os excedentes são processados sob demanda e faturados como pagamento por uso.
- Aumente o número de GSUs na sua assinatura de capacidade de processamento provisionada.
- Para ver quais segundos e quais modelos receberam erros
429, ative os registros de metadados de solicitação de inferência e execute a consulta de taxa de erros. Para ver quais solicitações foram transferidas, execute a consulta de transbordamento por minuto.
A seguir
- Para saber mais sobre o pagamento por uso Standard, consulte Pagamento por uso Standard.
- Para saber mais sobre a Capacidade de Processamento Provisionada, consulte Capacidade de Processamento Provisionada.
- Para saber mais sobre cotas e limites da IA generativa na plataforma de agentes, consulte Cotas e limites do sistema.
- Para saber mais sobre as cotas do Google Cloud e os limites do sistema, consulte a documentação sobre as cotas do Cloud.