如果要求數量超過處理要求所分配的容量,系統會傳回錯誤代碼 429。下表列出各類配額架構產生的錯誤訊息:
| 配額架構 | 訊息 |
|---|---|
| 即付即用 | Resource exhausted, please try again later. |
| 佈建輸送量 | Too many requests. Exceeded the Provisioned Throughput. |
訂閱佈建輸送量後,即可為特定生成式 AI 模型預留輸送量。如果您未訂閱佈建輸送量,且應用程式無法使用資源,系統會傳回錯誤代碼 429。雖然您沒有預留運算資源,但可以再次嘗試要求。不過,系統不會將這項要求計入服務水準協議 (SLA) 中所述的錯誤率。
如果專案已購買佈建輸送量,Gemini Enterprise Agent Platform 會測量專案的輸送量,並保留購買的輸送量,供專案實際使用。
如果是標準佈建輸送量,當用量低於購買金額時,原本可能為 429 的錯誤會以 5XX 傳回,並計入服務水準協議錯誤率。如果是單一可用區佈建輸送量,當用量低於購買金額時,與容量相關的 429 錯誤會視為 5XX,但不會計入服務水準協議錯誤率。如果超過購買量,系統會依需求處理額外要求,並按即付即用費率計費。
即付即用
在即付即用配額架構中,您可以透過下列方式解決 429 錯誤:
- 請盡量使用全域端點,而非區域端點。
- 使用截斷指數輪詢,實作重試策略。
- 如果模型使用配額,您可以提交配額提高要求 (QIR)。如果模型採用標準即付即用方案,則可透過平緩流量和減少大幅尖峰來降低費用。
- 如果專案用量急遽增加,可能會因加速限制而發生
429錯誤。為避免達到加速限制,請逐步增加流量,並維持一致的使用模式。 - 訂閱佈建輸送量,享有更穩定的服務。詳情請參閱「佈建輸送量」。
- 如要查看哪些秒數和模型收到
429錯誤,請啟用推論要求中繼資料記錄,並執行錯誤率查詢。
佈建輸送量
如要修正佈建輸送量產生的 429 錯誤,請按照下列步驟操作:
- 使用預設行為範例,不在預測要求中設定標頭。任何超額用量都會隨選處理,並以即付即用模式計費。
- 增加佈建輸送量訂閱方案中的 GSU 數量。
- 如要查看哪些秒數和模型收到
429錯誤,請啟用推論要求中繼資料記錄,並執行錯誤率查詢。如要查看哪些要求溢出,請執行溢出查詢 (依分鐘)。
後續步驟
- 如要進一步瞭解標準即付即用模式,請參閱「標準即付即用模式」。
- 如要進一步瞭解佈建輸送量,請參閱「佈建輸送量」。
- 如要瞭解 Agent Platform 生成式 AI 的配額和限制,請參閱「配額和系統限制」。
- 如要進一步瞭解 Google Cloud 配額和系統限制,請參閱 Cloud Quotas 說明文件。