記憶體內層總覽

Bigtable 記憶體內層是叢集層級設定,會使用專門節點,直接從記憶體提供高處理量的點讀取工作負載。

記憶體內層可縮短回應時間、減少熱點,並根據存取模式最佳化儲存空間成本。詳情請參閱「瞭解效能」。

記憶體內級別的使用時機

圖 1. 啟用 Bigtable 記憶體內層,可縮短讀取延遲時間,並減少高處理量點讀取工作負載的節點數量 (按一下即可放大)。

建議您在下列用途啟用記憶體內層:

  • 延遲時間要求低於毫秒:讀取延遲時間必須低於 1 毫秒的工作負載,通常會透過在資料庫前端採用自行管理的快取解決方案來解決。
  • 高處理量點讀取:應用程式對特定資料子集有高讀取流量處理量需求。您可以使用「Access patterns」(存取模式) 頁面,找出點讀取量偏高的資料表和應用程式設定檔。詳情請參閱「分析存取模式」。
  • 熱點緩解:高處理量工作負載,可能包含流量高峰或特定資料列索引鍵上的熱點。
  • 成本最佳化:您想將高讀取量卸載至更具成本效益的記憶體內層,藉此減少 Bigtable 節點數量。

記憶體內層的運作方式

混合型儲存空間節點支援記憶體內層級。這些特殊節點可擴充 Bigtable 的運算和儲存空間分解功能,納入可垂直擴充處理量的記憶體內層。這個記憶體內層會使用遠端直接記憶體存取 (RDMA),以低延遲和高處理量提供點讀取。Bigtable 最多可能需要 30 分鐘,才能佈建專門的記憶體內層節點。在此期間,叢集會繼續提供永久儲存空間的流量。

您可以在叢集層級啟用記憶體內層。詳情請參閱「啟用記憶體內層級」。

記憶體內層的運作方式如下:

  • 取得記憶體層中的資料:記憶體內層提供讀取快取行為。資料列會透過您為記憶體內層設定的應用程式設定檔,進入記憶體層並執行讀取作業。如果資料列已在記憶體內層,任何應用程式設定檔的寫入作業都會更新記憶體層。
  • 淘汰和撤銷政策:記憶體內層級會在資料列層級使用最近最少使用 (LRU) 淘汰政策,並套用存留時間 (TTL) 撤銷政策,盡可能提高記憶體內層級命中率。
  • Negative caching:記憶體內層會記住資源是否遺失一段時間,以防止後端超載。
  • 安全性:記憶體內層支援靜態資料加密和傳輸中資料加密 (TLS)。
  • 複製:在多叢集執行個體中,不同叢集的記憶體層級不會同步。由於每個記憶體層級會根據收到的讀取流量,獨立決定要將哪些資料載入記憶體,因此不同叢集的記憶體層級可能含有不同的資料列索引鍵。Bigtable 會從本機叢集的 SSD 層將資料載入記憶體。寫入資料列後,系統最終會根據最終一致性的標準 Bigtable 複製模型,在所有記憶體層級中更新該資料列。
  • 垂直自動調度資源:記憶體內層支援節點層級的垂直自動調度資源,可與 Bigtable 自動調度資源搭配使用。

記憶體內層經過最佳化,可高效能存取目前資料。為維持這項效能,記憶體層級只會保留最新時間戳記版本的資料列。如果要求的是舊版資料 (也稱為歷來儲存格),系統會自動略過記憶體層級,並從永久儲存空間提供資料。

資料一致性

Bigtable 可確保記憶體內層資料與 SSD 或不常存取儲存空間層的永久資料一致。這種混合架構可讓 Bigtable 在所有儲存空間層級提供一致的儲存模型,無論資料實際位於 RAM 還是永久儲存空間,您都能透過相同的語意介面存取資料。啟用 Bigtable 記憶體內層後,您可以在叢集層級維持讀取寫入一致性。

垂直資源調度

啟用記憶體內層後,每個節點都能使用垂直資源調度功能,修改記憶體內層的處理量。啟用記憶體內層級後,每個節點的初始基本容量為每秒 40,000 次讀取。為因應點讀取流量激增,節點會自動以每秒 40,000 次讀取的增量調度資源,每個節點每秒最多可達 120,000 次讀取。

這項垂直資源調度功能與 Bigtable 自動調度資源功能整合。如果叢集中所有節點的記憶體內層容量都達到上限,且已啟用自動調度資源功能,Bigtable 會自動佈建額外節點,進一步提高記憶體內層處理量。

節點的垂直擴充功能只適用於記憶體內層每秒讀取次數,無論是否啟用叢集層級自動調度資源功能,都能正常運作。如果垂直資源調度超過每秒 40,000 次讀取的基本用量,則會將節點的每小時費用乘以調節係數來計費。詳情請參閱定價和限制。

限制

記憶體內層級有下列限制:

  • 記憶體內層需要 SSD 儲存空間。
  • 記憶體內層級僅支援單一資料列層級點讀取作業。
  • 記憶體內層不提供資料掃描服務,也不支援 SQL 查詢。
  • 記憶體內層應用程式設定檔僅支援單一叢集轉送。
  • 記憶體內層級會將資料列大小限制為每個資料列索引鍵 1 MiB。Bigtable 會從永久儲存空間讀取超過這項限制的資料列。
  • 記憶體內層需要下列版本的 Bigtable 用戶端程式庫:

    • Java 2.77.0 以上版本
    • BOM 26.80.0 以上版本
    • Go 1.52.0 以上版本

    不支援其他用戶端程式庫。

  • 如果叢集已啟用客戶自行管理的加密金鑰 (CMEK),則不支援記憶體內層級。

  • 記憶體內層每個叢集最多只能有 10 個節點。

後續步驟