关键词:
分布式系统
数据管理
HTAP
气象
模式数据
摘要:
气象数据具有数据规模大、数据类型多样化等特点,对访问性能的要求也非常高,因此需要采用分布式数据管理系统进行管理。但是气象不是单纯的OLTP或单纯的OLAP应用,而是二者兼顾,同时具有大量的数据更新和高并发的数据查询需求,属于新型的HTAP应用。目前分布式数据管理系统在不断演变,但是对HTAP的支持并不好。因此,针对气象数据,特别是其中规模很大、使用最频繁的气象模式数据,设计和实现一套新的面向混合负载的分布式气象数据管理系统,通过格点、属性存储模式的并存和异构来高效满足不同类型复杂的需求,从而获得更高的整体性能。本系统可以在近似地写入性能前提下,将高并发查询的性能提升3.13倍。