Jika jumlah permintaan Anda melebihi kapasitas yang dialokasikan untuk memproses permintaan, kode error 429 akan ditampilkan. Tabel berikut menampilkan pesan error yang dihasilkan oleh setiap jenis framework kuota:
| Framework kuota | Pesan |
|---|---|
| Bayar sesuai penggunaan | Resource exhausted, please try again later. |
| Throughput yang Disediakan | Too many requests. Exceeded the Provisioned Throughput. |
Dengan langganan Throughput yang Disediakan, Anda dapat mencadangkan
jumlah throughput untuk model AI generatif tertentu. Jika Anda tidak memiliki langganan Throughput yang Disediakan dan resource tidak tersedia untuk aplikasi Anda, kode error 429 akan ditampilkan. Meskipun tidak memiliki kapasitas yang dipesan, Anda dapat mencoba permintaan Anda lagi. Namun, permintaan tersebut tidak dihitung terhadap rasio error Anda seperti yang dijelaskan dalam perjanjian tingkat layanan (SLA).
Untuk project yang telah membeli Throughput yang Disediakan, Gemini Enterprise Agent Platform mengukur throughput project dan mencadangkan jumlah throughput yang dibeli untuk penggunaan aktual project.
Untuk Throughput yang Disediakan standar, jika Anda menggunakan kurang dari jumlah pembelian, error yang mungkin berupa 429 akan ditampilkan sebagai 5XX dan dihitung dalam tingkat error SLA. Untuk Throughput yang Disediakan Zona Tunggal,
jika Anda menggunakan kurang dari jumlah pembelian, error 429 terkait kapasitas akan
diperlakukan sebagai 5XX, tetapi tidak dihitung dalam rasio error SLA. Jika Anda melebihi jumlah pembelian, permintaan tambahan akan diproses on-demand sebagai bayar sesuai penggunaan.
Bayar sesuai penggunaan
Pada framework kuota bayar sesuai penggunaan, Anda memiliki opsi berikut untuk
menyelesaikan error 429:
- Gunakan endpoint global, bukan endpoint regional, jika memungkinkan.
- Terapkan strategi percobaan ulang menggunakan backoff eksponensial terpotong.
- Jika model Anda menggunakan kuota, Anda dapat mengirimkan Permintaan Penambahan Kuota (QIR). Jika model Anda menggunakan Standard bayar sesuai penggunaan, memperlancar traffic dan mengurangi lonjakan besar dapat membantu.
- Anda mungkin mengalami error
429karena batas akselerasi jika project Anda mengalami peningkatan penggunaan yang tajam. Untuk menghindari tercapainya batas akselerasi, tingkatkan traffic secara bertahap dan pertahankan pola penggunaan yang konsisten. - Berlangganan Throughput yang Disediakan untuk mendapatkan tingkat layanan yang lebih konsisten. Untuk mengetahui informasi selengkapnya, lihat Throughput yang Disediakan.
- Untuk melihat detik dan model mana yang menerima error
429, aktifkan log metadata permintaan inferensi dan jalankan kueri tingkat error.
Throughput yang Disediakan
Untuk memperbaiki error 429 yang dihasilkan oleh Throughput yang Disediakan, lakukan hal berikut:
- Gunakan contoh Perilaku default, yang tidak menetapkan header dalam permintaan prediksi. Setiap kelebihan akan diproses on-demand dan ditagih sebagai bayar sesuai penggunaan.
- Tingkatkan jumlah GSU dalam langganan Throughput yang Disediakan.
- Untuk melihat detik dan model mana yang menerima error
429, aktifkan log metadata permintaan inferensi dan jalankan kueri tingkat error. Untuk melihat permintaan mana yang meluap, jalankan kueri spillover per menit.
Langkah berikutnya
- Untuk mempelajari lebih lanjut paket Standard bayar sesuai penggunaan, lihat Standard bayar sesuai penggunaan.
- Untuk mempelajari lebih lanjut Throughput yang Disediakan, lihat Throughput yang Disediakan.
- Untuk mempelajari kuota dan batasan untuk AI generatif di Agent Platform, lihat Kuota dan batasan sistem.
- Untuk mempelajari lebih lanjut kuota dan batas sistem Google Cloud , lihat dokumentasi Cloud Quotas.