关键词:
分布式数据库
负载均衡
热点
排名组合算法
负载因子
缓存移动
摘要:
分布式集群系统是应对当下大数据处理要求的主流方案之一,实现分布式集群系统的负载均衡性,有利于提高集群系统的稳定性和高效性。对于分布式集群数据库系统HBase在热点场景下的负载均衡机制的不足进行改进,增强Hbase在相关应用中的适应能力具有实际的意义。在分析了分布式系统的负载均衡机制和HBase工作流程的基础上,针对HBase的热点问题,设计了一个分布式数据库系统热点负载均衡机制。该机制在合理甄选负载因子的基础上,通过热点负载均衡排名组合算法和缓存移动等技术实现了对热点问题的负载均衡处理。在选择负载因子的过程中,结合软件、硬件、负载因子的特点、热点需求、实现难易程度等因素考虑,最后选择了CPU使用率、读请求个数、读请求响应时间来作为热点负载均衡机制中的负载因子。热点负载均衡机制中设计的排名组合算法是分别在不同单位级别的节点上将负载因子按照大小排名,计算出不同级别节点上的热点分布。采用缓存移动技术对热点负载均衡算法进行了优化,通过保留部分缓存数据并伴随节点移动到目的节点的方法,提高了节点的启动速度和服务性能。实验中用HBase-0.96.0作为测试环境,通过对比HBase原版负载均衡机制和热点负载均衡机制,表明热点负载均衡机制在应对热点场景方面有明显的优势,能使集群快速恢复负载均衡,有更大的吞吐量。