Hyperdisk 集區總覽

本文將說明 Compute Engine 中 Hyperdisk 集區的功能和優點，以及如何為工作負載選擇合適的集區。

您可以使用 Hyperdisk 集區簡化磁碟管理作業並降低成本。Hyperdisk 集區可讓您大量購買容量和效能，不必為個別磁碟購買。接著，您可以在集區中建立磁碟，使用購買的資源。集區中的磁碟可做為執行個體和容器的開機磁碟和資料磁碟。

集區使用時機

如果工作負載規模龐大，且需要高並行效能，Google 建議使用集區。

Compute Engine 提供兩種集區：Hyperdisk 儲存空間集區和 Hyperdisk Exapool。如要選擇集區類型，請參閱「如何選擇集區類型」。

一般來說，如果工作負載在單一專案和可用區內有下列一或多項需求，建議使用 Hyperdisk 集區支援工作負載：

工作負載類型 使用 Hyperdisk 集區的門檻 建議的集區類型

加速器 (GPU/TPU) 執行個體，並連接開機磁碟和暫存磁碟

HDFS 或 Lustre 等平行檔案系統，且並行用量高
  • 每個可用區的佈建容量至少 1 PiB
  • 佈建輸送量效能達 1 TiB/秒以上
  • 佈建的 IOPS 達 1,000 萬 (10,000,000) 以上
  • Hyperdisk Exapool
  • Hyperdisk 儲存空間集區

大型企業工作負載，例如企業應用程式、DBMS 或業務範圍應用程式

AI/機器學習和 HPC 模擬工作負載
  • 每個可用區佈建的容量至少 20 TiB
  • Hyperdisk 儲存空間集區

以下是適合 Hyperdisk 集區的工作負載範例：

  • Hyperdisk Exapools 的工作負載範例：

    • AI/機器學習工作負載橫跨 4,000 個 TPU VM，並使用 2 PiB 的 Hyperdisk Balanced，佈建效能為 20,000,000 IOPS，處理量為 3 TiB/s，並行匯總尖峰處理量為 500 GiB/s。
    • AI/機器學習訓練工作負載，使用 15,000 個 GPU 執行個體，並使用 Hyperdisk Balanced 做為開機和臨時磁碟，總容量為 8 PiB，可驅動 1 TiB/s 的並行匯總尖峰處理量。
    • 平行檔案系統，容量至少 6 PiB，並行匯總峰值為 800 GiB/s 的讀取密集處理量。

  • Hyperdisk 儲存空間集區的工作負載範例：

    • AI/機器學習和 HPC 模擬工作負載，使用 1,000 個 GPU 執行個體，並搭配 Hyperdisk Balanced 磁碟區和本機 SSD 做為共用快取。
    • 工作負載分散於多個資料庫和應用程式，資料庫和應用程式使用的多個磁碟區共佈建 100 TiB 的容量。

匯總尖峰用量是指工作負載中所有磁碟消耗的尖峰容量和效能總和，與所有磁碟的佈建效能總和不同。如要計算並行匯總尖峰用量，請參閱「查看磁碟效能指標」。

集區可解決的磁碟管理問題

集區有助於降低成本，並簡化資源預測和磁碟管理作業，特別是在下列情境中：

  • 從地端部署 SAN 遷移：集區可避免複雜的單一磁碟容量和效能預測，有助於簡化並縮短轉換至 Google Cloud 的時間。
  • 解決資源使用率偏低的問題：磁碟通常會佈建為提供最高效能，但這可能會造成浪費。有了集區，您就能使用自動精簡配置功能，視需要分配資源。集區可協助您提高區塊儲存空間使用率，同時簡化作業。
  • 成本較高且磁碟管理複雜：集區旨在避免效能或容量需求增加時，因調整磁碟大小而需要停機，同時降低總持有成本。這樣一來，您就不必費心管理數百或數千個個別磁碟。

集區的優點

Hyperdisk 集區具有下列優點：

  • 簡化成本管理：根據集區佈建的資源 (而非個別磁碟) 更準確地預測帳單。
  • 共用效能：集區中的所有磁碟共用佈建效能，因此不必為每個磁碟購買效能。
  • 提高效率和資源使用率：
    • 使用自動精簡配置功能，視需要為磁碟分配資源，降低成本並減少浪費。
    • 為磁碟佈建資源，滿足尖峰效能需求，同時避免為未使用的資源付費。
    • 根據寫入磁碟的資料 (而非磁碟的佈建容量) 衡量集區的已用容量，減少未充分利用的情況。
    • 使用資料縮減策略，更有效率地將資料儲存在磁碟上，降低成本。
  • 彈性磁碟管理：增加或減少集區容量，而非調整個別磁碟的大小。

集區的運作方式

集區是預購的 Hyperdisk 資源集合，包括可用區內的容量、處理量和 IOPS。為工作負載建立磁碟時，您會在集區中建立磁碟，並將集區的部分資源分配給每個新磁碟。

您不必為個別磁碟的已佈建容量或效能付費，只需支付集區購買費用。刪除集區中的磁碟後，分配給該磁碟的資源會歸還給集區，供其他磁碟使用。

使用 Hyperdisk 集區時，工作負載使用 Hyperdisk 磁碟區的方式不會改變。集區中個別磁碟上的資料，會維持與未在集區中建立磁碟時相同的隔離狀態。

如何選擇集區類型

Compute Engine 提供 Hyperdisk 儲存空間集區和 Hyperdisk Exapool。您使用的集區類型取決於工作負載的規模。

集區支援的 Hyperdisk 類型

建立集區時，您必須指定集區的 Hyperdisk 類型。集區中的所有磁碟必須屬於相同的 Hyperdisk 類型。Hyperdisk Exapools 和 Hyperdisk 儲存空間集區支援下列 Hyperdisk 類型：

如要瞭解 Hyperdisk 類型之間的差異，請參閱「選擇 Hyperdisk 類型」。

集區的佈建類型

建立集區時，您需要選取容量和效能的佈建類型。您選取的佈建類型會決定可用的集區功能。Hyperdisk 集區提供下列佈建類型：

使用進階容量佈建的集區稱為「進階容量集區」，使用標準容量佈建的集區則稱為「標準容量集區」。

Hyperdisk 儲存空間集區可使用標準或進階容量佈建。您也可以結合不同的佈建類型，以滿足容量和效能需求。舉例來說，您可以建立儲存空間集區，使用進階佈建功能來管理容量，並使用標準佈建功能來管理效能。

如果是 Hyperdisk Exapool，只能使用進階佈建功能來設定容量和效能。

標準和進階容量佈建

與標準佈建相比，進階佈建可節省成本、更靈活地管理磁碟，以及更有效率地使用集區資源。標準容量集區中的磁碟不提供任何額外的節省費用功能。

下表列出標準容量和進階容量佈建的差異。

功能 標準容量 進階容量 進階容量的優點
運算資源用量 依據建立時佈建的容量 根據實際寫入的位元組 (資料縮減後) 效率更高：您只需為集區中的實際用量付費，而非為佈建至磁碟的容量付費。減少浪費的空間。
超額佈建 無法使用 磁碟總容量可以超過集區容量 簡化容量規劃和磁碟管理：為未來的尖峰需求佈建磁碟，不需預先付費。避免因頻繁調整磁碟大小而導致停機。
集區大小調整條件 已佈建磁碟容量總和達到集區容量 實際寫入的資料 (縮減後) 達到集區容量 提升容量使用率：集區容量可持續使用，直到填滿資料為止，而非僅分配給磁碟。
支援自動擴充 無法使用 適用於儲存空間集區 (使用率達 80%)；不適用於 Exapool 主動管理：根據寫入量自動增加容量，避免發生空間不足錯誤。
成本基礎 為個別磁碟佈建的容量總和 為集區佈建的總效能 降低成本：根據初步預估用量佈建資源，降低整體成本。

標準容量佈建

如果工作負載具有下列任一屬性，則最適合採用標準容量佈建：

  • 主要目標是簡化容量規劃和成本管理。
  • 每個磁碟的容量需求固定。
  • 磁碟會頻繁建立及刪除。有了集區，您只需購買一次容量，即可視需要建立及刪除磁碟。

使用標準容量佈建的集區磁碟具有下列屬性：

  • 容量用量是根據佈建量計算，而非寫入磁碟的資料量。舉例來說，如果您在標準容量的集區中建立 1 TiB 的磁碟，即使磁碟不含任何資料，集區的可用容量也會減少 1 TiB。
  • 如果集區使用標準容量佈建，且所有佈建容量都已分配給集區內的磁碟，則視為已滿。您無法再為磁碟佈建容量，也無法建立新磁碟。您必須為集區佈建更多容量，或刪除部分磁碟。即使所有磁碟都是空白的，也一樣。

進階容量佈建

進階容量集區中的磁碟，容量消耗方式與標準容量集區中的磁碟，以及不在集區中的磁碟不同。

使用進階容量佈建的集區磁碟具有下列功能：

過度佈建容量

超額佈建容量可讓您為磁碟佈建尖峰容量，而不必為集區佈建磁碟的總容量。這樣一來，您就能為磁碟佈建充足的效能、降低成本，並避免因調整大小而造成停機。

磁碟的已佈建總容量取決於集區類型和已佈建容量。如果是 Hyperdisk 儲存空間集區，超額佈建上限為集區佈建容量的 5 倍。如果是 Hyperdisk Exapool，過度佈建上限為集區佈建容量的 50 倍。每個磁碟最多可耗用佈建效能和容量。不過，集區中所有磁碟的累計用量不得超過集區的佈建容量。

自動精簡配置容量

系統會視需要將容量分配給磁碟，而不是在佈建磁碟時分配。因此，當所有佈建的空間都分配給磁碟時，集區並未滿載。當所有佈建空間都已用於寫入資料時，集區就會滿載。

資料縮減

為減少寫入資料所占用的空間，Compute Engine 會對應用程式寫入的資料套用資料縮減策略，減少寫入磁碟的資料。

進階容量集區自動擴充

如果 Compute Engine 偵測到進階容量集區已佈建容量的使用率達到 80%，就會嘗試自動擴充，增加集區的已佈建容量。

如果自動擴充失敗，且集區容量已全用於寫入資料，則寫入集區所有磁碟的作業都會失敗，直到您執行下列任一操作：

  • 增加集區的已佈建容量。
  • 刪除集區中的磁碟。
  • 刪除集區中磁碟上的資料。

如要刪除集區中磁碟的資料來釋出空間，請注意下列事項：

  • 大多數軟體應用程式會以類似硬體故障的方式，解讀集區空間用盡時傳回的錯誤。請務必監控集區，以免磁碟空間用盡。您也應該瞭解工作負載在磁碟空間用盡時的反應。

  • 集區無法查看檔案系統，因此刪除的資料會視為使用中，直到作業系統 (OS) 使用 DISCARD 或 TRIM 指令將其標示為未使用。根據預設，所有 Google 提供的 OS 映像檔都會執行這項操作。如果您使用的不是 Google 提供的 OS 映像檔，請確認這項功能是否可用。詳情請參閱「停用延遲初始化並啟用 DISCARD 指令」。

比較容量佈建類型

在以下範例中，假設您有兩個 Hyperdisk Throughput 儲存空間集區：std-pool 和 adv-pool，分別佈建標準容量和進階容量。每個集區都佈建了 100 TiB 的容量。

過度佈建容量範例

由於過度佈建，adv-pool 中所有磁碟的累計容量上限為 500 TiB，但 std-pool 只有 100 TiB。

精簡佈建容量範例

假設您在每個集區中建立一個空白的 20 TiB 磁碟。由於自動精簡配置，adv-pool 的已用容量 (即寫入集區中所有磁碟的資料量) 為 0。這是因為您建立的磁碟是空白的。如果是 std-pool，空白磁碟會耗用 20 TiB 的容量。使用進階容量佈建功能，應用程式可以寫入更多資料，您不必增加集區容量。

運算資源用量範例

假設您將 500 GiB 的資料寫入每個集區的磁碟。adv-pool 仍有 99.5 TiB 的可用空間可存放新資料，而 std-pool 則有 80 TiB 的空間。這是因為 adv-pool 的資料消耗量是依據用量計算，而非佈建容量。

增加容量範例

如果進階容量集區的已用容量接近上限，您可以增加集區容量，不必調整個別磁碟的大小。舉例來說，假設有以下情境：

  • adv-pool 的容量為 100 TiB，但包含 50 個 5 TiB 磁碟，因此佈建總容量為 250 TiB。
  • 每個磁碟寫入 1 TiB 的資料。
  • 應用程式的需求指出，每個磁碟會額外寫入 3 TiB 的資料，預期總容量現在為 200 TiB。
  • 集區的實際容量為 100 TiB，剩餘容量只有 50 TiB。

有了 adv-pool，您就能將集區容量增加到 500 TiB，而不必調整個別磁碟的大小，因為這些磁碟都已佈建為 5 TiB。

如果使用 std-pool，您必須同時增加集區和每個磁碟的容量。

標準和進階效能佈建

建立集區時，您必須選擇效能佈建類型。您選擇的佈建類型會決定可用的集區功能。

如果是 Hyperdisk 儲存空間集區，您可以選擇標準或進階效能佈建。您也可以結合不同的佈建類型，以滿足容量和效能需求。舉例來說，您可以建立一個集區，使用進階佈建功能來處理容量，並使用標準佈建功能來處理效能。

Hyperdisk Exapools 只能使用進階效能佈建。

下表列出標準效能和進階效能佈建的差異。

功能 標準效能 進階效能 進階效能的優勢
集區用量 根據佈建的 IOPS 或處理量 根據已用 IOPS 或處理量 更有效率地運用佈建集區效能：針對匯總使用量進行佈建，而非針對每個磁碟的尖峰效能。
成效分享 不支援 磁碟會共用集區的效能資源 提高使用率：閒置磁碟未使用的效能可供使用中的磁碟使用。
超額佈建 不支援 磁碟的佈建總效能可以超過集區的佈建效能 簡化效能規劃和磁碟管理：為未來的高峰需求佈建磁碟，不需預先付費。避免頻繁更新磁碟效能。
爭用風險 低風險；適合相關聯的高峰 風險較高；如果多個磁碟同時達到尖峰，可能會發生爭用 降低成本：如果磁碟不需要同時達到最高效能，就能節省成本並提高效率
成本基礎 佈建至個別磁碟的效能總和 為集區佈建的總效能 降低成本：根據預期的匯總用量高峰 (而非個別磁碟高峰的總和) 佈建

標準效能佈建

如果工作負載具有下列任一屬性，建議採用標準效能佈建：

  • 如果效能受限於集區資源，工作負載就無法順利執行。
  • 集區中的磁碟可能會有相關聯的效能尖峰，例如資料庫的資料磁碟每天早上達到使用率高峰。

標準效能集區中的磁碟具有下列屬性：

  • 效能消耗量的計算依據是佈建給磁碟的效能，而非磁碟實際消耗的效能。舉例來說，如果您在標準效能集區中佈建處理量為 500 MiB/s 的磁碟，即使磁碟處於閒置狀態，集區的可用效能也會降低。
  • 如果集區的所有效能都已佈建給集區內的磁碟，您就無法在集區中建立新磁碟，也無法為現有磁碟增加效能。即使所有磁碟都處於閒置狀態，也是如此。如要建立新磁碟，請為集區佈建更多效能、降低部分磁碟的佈建效能，或刪除部分磁碟。

進階效能佈建

進階效能集區適用於尖峰用量時間不相關的磁碟。使用進階效能佈建的集區磁碟具有下列屬性：

過度佈建以提升效能

超額佈建可讓您佈建磁碟，以達到最高效能，而不必佈建集區，以達到磁碟的總效能。每個磁碟的效能用量上限，取決於佈建的限制。不過，集區的總並行效能，在任何時刻都不得超過集區的佈建效能。

Hyperdisk 儲存空間集區的超額佈建上限，是集區佈建效能的 5 倍。如果是 Hyperdisk Exapools，超額佈建上限為集區佈建寫入效能的 50 倍。

自動精簡配置和共用效能

效能會視需要分配給磁碟，而非在佈建磁碟時分配。此外，進階效能集區中的磁碟可共用佈建效能，上限為各磁碟的佈建效能限制。如果磁碟的用量高峰時間不同，這種做法可以節省成本。

集區效能自動擴充

如果進階效能集區中的磁碟同時消耗的總效能達到集區的佈建效能，這些磁碟可能會互相爭奪效能資源。

效能爭用代表磁碟可能無法達到最大佈建效能。如果 Compute Engine 偵測到效能資源長期爭用，就會嘗試自動將效能新增至集區。

如果集區中磁碟佈建的總效能達到集區效能的 80% 以上，系統就不會嘗試自動擴充。只有在磁碟同時耗用集區 80% 以上的效能時，系統才會嘗試自動擴充。

使用進階效能集區時，請注意下列事項：

  • 請監控集區，以免佈建效能用盡。
  • 瞭解工作負載在佈建效能用盡時的反應。

比較效能佈建類型

在以下範例中，假設您要設計一個包含 1,000 個磁碟的工作負載，每個磁碟都需要佈建 10,000 IOPS，且您需要選擇效能佈建類型。

為提升效能而過度佈建的範例

假設所有磁碟的累積效能需求為 10,000,000 IOPS。

如果是標準效能集區，您必須佈建 10,000,000 IOPS 並支付相關費用。

如果是進階效能集區，則可佈建 1,000,000 IOPS。由於集區支援過度佈建，您可以為每個磁碟佈建 10,000 IOPS，總計 10,000,000 IOPS。不過，您只需支付為集區佈建的 1,000,000 IOPS 費用。

共用成效範例

假設每個磁碟都需要 10,000 IOPS，但尖峰時間不同。您判斷集區中的磁碟在任何時間點，最多需要 1,000,000 IOPS。

如果是標準效能集區，您必須佈建 10,000,000 IOPS (每個磁碟 10,000 IOPS) 並支付費用，即使磁碟一次需要的 IOPS 不超過 1,000,000。

如果進階效能集區的 IOPS 為 1,000,000，磁碟可以共用集區的效能。由於磁碟的效能峰值不同，即使佈建的總效能為 10,000,000 IOPS，磁碟最多也只能同時耗用 1,000,000 IOPS。

預留集區

您可以搭配使用集區和 Compute Engine 可用區資源的預留項目，如下所示：

  • 預留儲存空間集區容量和運算資源：如要預留儲存空間集區容量和 GPU、TPU 或 H4D 執行個體，請使用容量區塊的未來預留項目。Google 會在您選擇的開始時間，一併提供您要求的運算資源和自動建立的儲存空間集區或 Exapool。

  • 將獨立儲存空間集區的磁碟連接至預留的運算執行個體：如果您在預留項目之外，另外建立儲存空間集區或 Exapool，仍可將該集區的磁碟連接至使用運算預留項目的運算執行個體。您可以在啟動運算執行個體時，或在運算執行個體執行期間，連接這些磁碟。詳情請參閱「使用預留項目」。

定價

Hyperdisk 集區的費用取決於您為集區購買的容量和效能。您不需為儲存空間集區中建立的磁碟，支付已佈建 IOPS、處理量或容量的費用。

Hyperdisk Exapool 適用依資源計算的承諾使用折扣 (CUD)，承諾使用合約期限至少 1 年，最長 3 年。購買 1 年或 3 年期 Exapool，即自動符合 1 年或 3 年期承諾使用合約的資源 CUD 資格。

Hyperdisk 儲存空間集區不適用 CUD 或續用折扣 (SUD)。

詳情請參閱「磁碟定價」。

後續步驟