配額與限制

Dataform 會使用配額和系統限制,確保資源分配公平、防止服務過載,並協助您管理資源用量。

配額和系統限制類似,但有以下差異:

  • 「配額」有預設值,但通常可以申請調整。
  • 「系統限制」是固定值,無法變更。

Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,配額適用多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能:

如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Dataform 資源也設有系統限制。而且無法變更。

配額補充

在一天當中,系統會定時為您補充每日配額,以便達到控管頻率限制行為的目標。系統也會間歇性重新整理,避免配額用盡時長時間中斷。通常幾分鐘內就會提供更多配額,而不是每天一次全面補充。

申請提高配額

如要提高或降低大部分配額,請使用 Google Cloud 控制台。 詳情請參閱「要求調整配額」。

設定配額用量上限

如要瞭解如何指定低於預設值的配額,藉此限制特定資源的使用量,請參閱「設定用量上限」。

所需權限

如要在Google Cloud 控制台查看及更新 Dataform 配額,您必須具備與任何 Google Cloud配額相同的權限。詳情請參閱「配額權限」。

疑難排解

如要瞭解如何排解與 Dataform 配額和限制相關的錯誤,請參閱「疑難排解」。

Dataform 配額

Dataform 的 API 配額如下:

配額 限制
每個專案和區域的要求總數 6000/minute/project/region
每項專案在各區域的編譯要求數 120/minute/project/region
每個專案和區域的檔案存取要求數 120/minute/project/region
每項專案在各區域的套件安裝要求數 120/minute/project/region
每個專案、每個區域的移動資料夾要求數 6/minute/project/region
每個專案、每個區域的移動檔案要求數 60/minute/project/region
每個專案、每個區域的資料夾樹狀結構刪除要求 20/minute/project/region
每個專案、每個區域的工作流程叫用要求數 60/minute/project/region
每次執行的工作流程動作 5000

Dataform 所用服務的配額

Dataform 會使用其他 Google Cloud 服務。這些服務設有專案層級配額,適用於使用 Dataform 時。

Dataform 使用下列 Google Cloud 服務,這些服務有各自的配額限制:

Dataform 編譯資源限制

Dataform 對編譯資源強制執行下列用量限制:

用量限制 值
每個存放區編譯作業的動作數量上限 5000
編譯圖表中每項動作的依附元件數量上限 50
動作編譯圖的序列化資料大小總和上限 20 MB
編譯程序 CPU 作業時間上限 8 秒
編譯程序的最長 wall time 30 秒
編譯程序的 RSS 用量上限 200 MB
NPM 依附元件大小上限 200 MB
以 CMEK 加密的存放區大小上限 512 MB
CMEK 加密存放區中的工作區大小上限 512 MB

此外,Dataform 也會限制編譯期間的 CPU 和記憶體用量。如果編譯程式碼時超過這些限制,編譯就會失敗,Dataform 也會擲回編譯錯誤。

如要估算存放區的編譯資源用量,請參閱「估算存放區的編譯資源用量」。

存放區可能因下列原因超出用量限制:

  • 存放區程式碼中的無限迴圈錯誤。
  • 存放區程式碼中的記憶體流失錯誤。
  • 存放區規模較大,約超過 1000 個工作流程節點。
  • 大量並行查詢。

如要進一步瞭解 Dataform 的存放區大小,請參閱「存放區大小總覽」。