Cloud Storage 提供了多种选项,可帮助您针对需要高性能的使用场景(例如人工智能 [AI]、机器学习 [ML] 和数据密集型分析)优化数据存储区。本页面将向您介绍这些选项,并指导您选择适合工作负载需求的选项。
Cloud Storage Rapid 产品系列
Cloud Storage Rapid 是 Cloud Storage 中的一系列高性能产品,旨在消除 AI/机器学习和数据分析工作负载的数据瓶颈。随着 AI/机器学习模型的复杂性不断增加,数据集达到拍字节级规模,存储性能往往成为昂贵的 GPU 和 TPU 集群的主要瓶颈。Cloud Storage Rapid 利用可用区级架构,将数据放置在更靠近计算资源的位置,从而帮助加速器保持饱和状态、缩短训练时间,并降低要求最严苛的工作负载的总拥有成本 (TCO)。
Cloud Storage Rapid 包括 Rapid Bucket 和 Rapid Cache。
使用 Rapid Bucket 将数据存储在 Rapid Storage 存储类别中
Rapid Bucket是一种高性能的可用区级对象存储区解决方案,可让您通过将可用区定义为存储桶的位置,将数据存储在 Rapid Storage中。Rapid 存储桶可让您将数据与 AI 加速器放置在同一物理可用区中,并帮助您在其他 Cloud Storage 产品中实现最低延迟和最高吞吐量。Rapid Bucket 可提供亚毫秒级延迟、高达 15 TB/s 的总吞吐量,并支持高达 2,000 万每秒查询次数 (QPS)。
Rapid Bucket 支持有状态的流式对象附加,允许应用实时将数据写入现有对象。借助此功能,您可以避免昂贵的对象重写,并实现即时数据可见性,从而使使用方应用能够在数据写入时读取数据。
最适合:训练、检查点和提供需要超低延迟和高确定性性能的 AI 模型
适用场景:您希望为读取和写入操作提供专用的高性能
如需了解如何使用 Rapid 存储桶创建可用区级存储桶,请参阅创建可用区级存储桶。
使用 Rapid Cache 创建可用区级缓存
Rapid Cache 是一种全代管式、由 SSD 提供支持的可用区级读取缓存,可与现有的单区域、双区域或多区域存储桶搭配使用,而无需更改 API。缓存可为您提供临时存储容量和带宽,并根据工作负载的需求自动扩缩。当数据由缓存所在可用区中的虚拟机读取时,系统会自动从存储桶将数据注入到缓存中。
Rapid Cache 可提供 2.5 TB/s 的总吞吐量,并通过将数据与虚拟机放置在同一可用区来降低延迟,从而加快读取速度。除了更快地传送数据之外,与直接从存储桶传送的数据相比,从缓存传送的数据产生的数据传输费用、数据检索费用和操作费用更低。如需了解详情,请参阅 Rapid Cache 的优势。
最佳用途:训练、检查点恢复以及提供需要从现有 Cloud Storage 存储桶中获得高读取带宽的 AI 模型
适用场景:您在 Cloud Storage 存储桶中已有数据存储区,并且希望加快访问速度
如需了解如何使用 Rapid Cache,请参阅创建和管理缓存。