关键词:
脉冲星数据处理
分布式文件系统
Alluxio
HDFS
摘要:
随着500 m口径球面射电望远镜(fi ve hundred meters aperture spherical telescope,FAST)巡天扫描的数据量不断增加,现有分布式计算集群所采用的文件存储系统逐渐成为限制计算速度的瓶颈之一。通过对计算集群架构的分析,将脉冲星数据处理与分布式文件系统技术相结合,针对目前计算集群中存在的问题,提出使用Alluxio+HDFS的分布式文件系统代替原先使用的Lustre文件系统,并根据脉冲星数据处理计算的特点和文件系统机制重新设计了任务分配算法和计算任务。实验表明使用该存储系统能够在相同的网络环境下提高网络带宽和节点内存利用率,减少网络传输时延及冗余磁盘读写开销,提高集群脉冲星数据处理的整体计算效率。