「STORAGE」- 性能测试:基准指标

解决方案

针对不同类型的存储,其能达到的性能基线并不相同;

我们在这方面缺乏相关经验,所以我们将尝试参考云商(Alibaba Cloud,Google Cloud)提供的性能基准;

Block Storage

块存储需要关注 Bandwidth、IOPS、Latency、Capacity 四个指标;

Alibaba Cloud

1)块存储性能:其内容为各类存储性能概述介绍,涉及各个类型块存储的性能,及相关计算公式;
2)块存储介绍:其内容为特定存储性能的详细说明,涉及各种块存储,包含各类存储自身的性能;
3)存储I/O性能:是存储性能的变化规则,各存储规格的性能表现的行为;

如下表格,其来自阿里云云盘性能表格,是我们对部分内容的摘录:

_IDX_ 存储类型 单盘容量范围(GiB) 最大IOPS 最大吞吐量(MB/s) 单路随机写平均时延(ms) _DESC_
01 普通云盘 5~2,000 数百 30~40 5~10(Blk-Sz=4K)  
02 高效云盘 20~32,768 5,000 140 1~3(Blk-Sz=4K)  
             
             
             

普通云盘,其 IOPS 我们按照 55-180 计算(Know Your Storage Constraints: IOPS and Throughput

File Storage

单个文件系统的吞吐性能上限(峰值)与文件系统的当前使用容量线性相关,即存储量越大,吞吐性能上限(峰值)越高。支持上千个 ECS 通过 POSIX 接口并发访问,随机读写;

Alibaba Cloud

极速型,基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储。最大容量256 TiB,起步带宽150 MB/s,可扩展到1200 MB/s。稳定百微秒级时延。适合海量小文件、时延敏感的业务。

通用性能型,使用SSD作为存储介质,为应用工作负载提供高吞吐量与IOPS、低时延的存储性能。适用于高并发高吞吐,业务弹性扩展、对读时延有较高要求的文件共享存储服务。对于读写频繁、系统响应要求高的业务,有性能优势。

通用容量型,使用SATA HDD作为存储介质,以更低的成本提供高性能的存储空间。适用于高并发高吞吐,业务弹性扩展,成本敏感型的文件共享存储服务。对于读写访问不太频繁,时延响应要求不高的业务,有较好的成本优势。

规格,容量,时延(读 4KiB 数据块平均时延),IOPS
极速型 NAS,256TiB,百微秒级,10000~200000
通用性能型 NAS,1PiB,毫秒级,最大 30000(硬盘 4 k 随机 IO 读写)
通用容量型 NAS,10PiB,10 毫秒级,最大 15000(硬盘 4 k 随机 IO 读写)

Object Storage

对象存储并没有明确的基准线。

Alibaba Cloud

如果 Server 和 Storage 在同个地域,那么通过 Server 访问 Storage 中的数据理论上是最快的。OSS 的设计也使其服务端延迟相对于网络延迟来讲可以忽略不计。此外,OSS 对于存储量、请求数和用户数的扩展特性,使其可以很好的支持大量 Web 级应用程序。如果您使用多线程、多个应用程序或多个客户端同时访问 OSS,总的 OSS 聚合吞吐量通常会扩展到远超任何单个服务器可以生成或消耗的速率;

为了提升大文件(5 GB 以上)的上传性能,Storage 提供分片上传(Multipart Upload)功能,将要上传的 Object 分成多个数据块(Part)来分别上传,上传完成之后再将这些 Part 组合成一个 Object 来达到断点续传的效果。分片上传适用于网络条件不佳的场景,当出现上传失败的时候,可以对失败的 Part 进行独立的重试,而不需要重新上传整个 Object;

为了提升数据访问速度,许多开发者会将 OSS 和搜索引擎(如开放搜索 OpenSearch)或数据库(如表格存储、云数据库 RDS)搭配使用。OSS 用于存储实际的数据,而搜索引擎或数据库用于存储元信息,如文件名称、大小、关键词等。数据库中存储的元信息很容易被索引和查询。OSS 和搜索引擎或数据库结合使用可用于精确定位和检索 OSS 中的文件;

为了提升远距离大文件的上传下载体验,满足文件动态更新、非热点文件的下载加速需求,OSS 还提供传输加速功能,通过智能调度的系统、优化的传输链路、调优的协议栈与传输算法,并深度结合 OSS 服务端的配套策略,提供端到端的加速方案;

对于静态热点文件的下载加速场景,OSS 支持开启 CDN 加速服务。CDN 将 OSS 的 Bucket 作为源站,将源内容发布到边缘节点。CDN 配合精准的调度系统,将用户的请求分配至最适合的节点,使终端用户以最快的速度读取到所需的内容,有效解决 Internet 网络拥塞状况,提高用户访问的响应速度;

其他存储系统

文件存储CPFS:并行文件系统
文件存储HDFS版:
表格存储: