关键词:
分布式存储
数据中心
异构介质
CRUSH算法
摘要:
随着我国新基建的推广,企业数据存储需求呈现出了多样化、复杂性的特征,分布式存储模式开始从小集群模式逐步向大数据集群模式方向发展。为应对这些挑战,实现异构介质存储已经成为当前分布式存储发展的一种新趋势。论文基于当前分布式网络文件系统存储技术,立足于大数据集群模式发展趋势,研究与实现了一款基于CRUSH(Controlled Dump Under Scalable Hashing)算法的分布式网络文件系统,并通过异构存储改造,突破性能瓶颈。论文在统一存储架构上提出对存储系统进行分层改进设计,将分布式网络文件系统分为计算层和统一存储层。论文重点对计算层展开了研究设计,计算层主要负责元数据管理、用户数据索引、存储分层等工作,划分Proxy、Segment Server、Master Server三个模块进行实现。论文选择使用CRUSH算法作为不同磁盘介质上的数据分布算法,并对CRUSH算法进行异构介质存储优化,提出brother_rule概念,尽可能减少数据迁移时的数据迁移量。论文还提出了基于CRUSH算法的流量优化算法,通过带宽控制数据迁移流量,降低迁移数据对用户流量的影响,利用黑名单机制屏蔽故障区域,解决网络或磁盘故障导致的性能下降问题。在对数据进行分层改进设计中,计算层通过控制存储数据层次的介质来实现介质异构,研究将数据分为level 0、level 1、level 2三个层次,其中,level 0作为新数据写入和读取层,可以将文件系统的随机写转换为顺序写,采用高效的固态硬盘(SSD),提升用户数据写入速度,level 1和level 2则使用普通磁盘(HDD),用以应对大规模数据存储,数据在level 0中满足一定时间后通过Dump的形式迁移至level 1和level 2,以此保证系统既能兼顾读写性能又能节约成本。论文在Rhea-FS分布式网络文件系统上设计并完成了异构介质存储的方案,详细给出了Rhea-FS计算层的设计与实现过程,并将Rhea-FS与Ceph FS的性能进行对比分析验证,发现Rhea-FS在SSD条件下,具有与Ceph FS相似的性能,在4K的条件下,Rhea-FS的表现则更为优越。而论文研究的Rhea-FS主要优势在于构建了分层的混合存储系统,可以在控制成本的同时提升系统的读写性能,经测试验证,在SSD和HDD配比为1:10的集群上,能够实现接近SSD的写性能和热数据的读性能。此外,Rhea-FS还可以依据业务特征进行更加灵活的定制,包括流量控制、数据温度控制等,在数据迁移条件下,Rhea-FS分布式文件系统通过流量控制表现得更加优越。另外,Rhea-FS特有的黑名单机制能够有效降低集群故障和升级对整体性能的影响。目前,Rhea-FS已经在企业内部投入使用,并逐渐替换掉了公司的Ceph FS产品。