Código de error 429

Si la cantidad de solicitudes supera la capacidad asignada para procesar solicitudes, se muestra el código de error 429. En la siguiente tabla, se muestra el mensaje de error que genera cada tipo de framework de cuota:

Marco de trabajo de cuotas Mensaje
Pago por uso Resource exhausted, please try again later.
Capacidad de procesamiento aprovisionada Too many requests. Exceeded the Provisioned Throughput.

Con una suscripción de capacidad de procesamiento aprovisionada, puedes reservar una cantidad de capacidad de procesamiento para modelos de IA generativa específicos. Si no tienes una suscripción a la capacidad de procesamiento aprovisionada y los recursos no están disponibles para tu aplicación, se muestra un código de error 429. Aunque no tengas capacidad reservada, puedes volver a enviar la solicitud. Sin embargo, la solicitud no se toma en cuenta en la tasa de error, como se describe en el Acuerdo de Nivel de Servicio (ANS).

En el caso de los proyectos que compraron la capacidad de procesamiento aprovisionada, Gemini Enterprise Agent Platform mide la capacidad de procesamiento de un proyecto y reserva la cantidad de capacidad de procesamiento comprada para el uso real del proyecto.

En el caso de la capacidad de procesamiento aprovisionada estándar, cuando usas menos del importe de la compra, los errores que, de otro modo, podrían ser 429 se devuelven como 5XX y se tienen en cuenta para el porcentaje de errores del ANS. En el caso de la capacidad de procesamiento aprovisionada de una sola zona, cuando usas menos del importe de la compra, los errores 429 relacionados con la capacidad se tratan como 5XX, pero no se tienen en cuenta para el porcentaje de errores del ANS. Cuando superas el importe de la compra, las solicitudes adicionales se procesan a pedido como pago por uso.

Pago por uso

En el framework de cuota de prepago, tienes las siguientes opciones para resolver los errores 429:

  • Usa el extremo global en lugar de un extremo regional siempre que sea posible.
  • Implementa una estrategia de reintento con la retirada exponencial truncada.
  • Si tu modelo usa cuotas, puedes enviar una solicitud de aumento de cuota (QIR). Si tu modelo usa el pago por uso estándar, puede ser útil suavizar el tráfico y reducir los picos grandes.
  • Es posible que encuentres errores 429 debido a los límites de aceleración si tu proyecto tiene un aumento repentino en el uso. Para evitar alcanzar los límites de aceleración, aumenta el tráfico de forma gradual y mantén patrones de uso coherentes.
  • Suscríbete a la capacidad de procesamiento aprovisionada para obtener un nivel de servicio más coherente. Para obtener más información, consulta Capacidad de procesamiento aprovisionada.
  • Para ver qué segundos y qué modelos recibieron errores 429, activa los registros de metadatos de solicitudes de inferencia y ejecuta la consulta de tasa de errores.

Capacidad de procesamiento aprovisionada

Para corregir el error 429 que genera la capacidad de procesamiento aprovisionada, haz lo siguiente:

¿Qué sigue?