问题描述
基于 PCIE 的 SSD 或者基于 NVMe 的 SSD 在技术以及成本上没有可行性；
解决方案
FileStore 是 Ceph 的原始存储实现之一，并且是使用最广泛的实现方式。当 2004 年 Ceph 项目启动时，Ceph 完全依靠机械硬盘进行存储；
原理简述
FileStore 不是直接与原子块设备进行交互，而是与文件系统（通常为 xfs）进行交互。当对象存储处理完对象的语义并将其传递给 FileStore 时，FileStore 会将 PG 视为目录，将对象视为文件，并将元数据视为 XATTR 或 omap 条目，然后将剩下的操作交给文件系统处理，保证数据落盘；
数据的写入分为两个部分：Ceph 日志；Ceph 数据；
第一步、数据写入日志
用户数据文件在客户端写入 Ceph 集群时，将被客户端分割，生成多个以 4MB 为单位的对象。生成的每个对象将来都需要写入 OSD，但首先是写入日志。
Ceph 日志是事物日志系统。Ceph 采用的是全日志系统，即将所有数据存放在日志中。当有突发的大量写入操作时，Ceph 可以先把一些零散的、随机的 I/O 请求保存到缓存中并进行合并，然后再统一向内核发起 I/O 请求。以提高效率，但是一旦 OSD 崩溃，缓存中的数据就会丢失，所以数据在还未写入硬盘时，都会记录到事务日志系统中。当 OSD 崩溃后重新启动时，自动尝试从事务日志系统恢复因崩溃丢失的缓存数据。
写日志有两种模式： 1）Parallel 是日志和磁盘数据同时写； 2）Writeahead 是先写日志，只要日志写成功就返回，后台周期会同步日志中的写操作，实现落盘。其优点是能合并较小 I/O 请求，形成顺序写盘，提高 IOPS。
日志，是提高 FileStore 性能的关键因素，这些都是调优的考量参数： 2）日志同步时间的设置也会影响 Ceph 的性能； 1）日志系统空间大小代表能缓存的数据量； 3）计算日志大小的公式：如果 SSD 的预期吞吐量为 2GB/s，并且文件存储最大同步间隔为 10s，则日志大小应为 40GB（2×2×10）； 3）在生产环境中，我们通常使用 SSD 来单独存储日志文件，以提高 Ceph 读写性能；
第二步、日志写入磁盘
在 FileStore 存储模式中，每一个对象都要通过 FileStore 的相关功能写入底层的磁盘。
Ceph 数据就是 Ceph 的对象数据，其中包含元数据。Ceph 在写完日志后，返给 OSD 写完成消息（Writeahead 模式），然后处理下一次写请求。这意味着数据当前保留在日志系统中，还没有真正落入后端的存储磁盘。Ceph OSD 进程根据参数设置的时间定期向文件系统同步数据。此操作[……]