关键词:
实时系统
数据库系统
工业数据
数据压缩
摘要:
实时数据库技术主要包括两个方面的内容,分别是实时系统和数据库技术。工业生产产生的大量数据利用数据库进行保存,形成了实时数据库。目前无论在工业生产领域还是在物联网平台构建中,实时数据库由于高实时性、大吞吐量等特点,受到广泛的关注。然而,由于实时系统往往在短时间内产生大量数据,因此在实时数据库中要保存的数据量非常巨大,给数据的存储、传输、应用都造成了较大的困难。为了解决这一问题,将数据压缩技术引入实时数据库的数据处理过程,目的是为了提高数据库的容量,并保证数据使用的高效性。主要工作包括:1、针对传统有损数据压缩算法无法应用于高精度实时数据库的问题,提出了基于不同类型数据采用不同数据压缩算法的解决方案,实现了高精度的数据压缩,解决了数据精度和数据库存储容量之间的矛盾,在实际的应用过程中取得了良好的效果。2、通过对大量历史数据的分析,将实时数据库中保存的数据划分为三种类型,分别是数值型数据、时间型数据、代码型数据,针对时间型数据和代码型数据的,由于其冗余度极高,所以采用RLE算法对其进行压缩,可以取得良好的效果,而对于数值型数据,又将其分为布尔型数据、百分量型数据、浮点型数据,对于布尔型采用按位存储的方式,对于百分量型数据采用LZW算法和LZ78算法相结合的方式进行处理,提高了压缩效率,对于浮点型数据采用改进的LZW算法进行处理,通过对数据预处理和设定模型等方法,解决了浮点型数据压缩率低的问题。3、以数据压缩技术在实时数据库中的应用为中心,以实现实时数据无损压缩为目的,首先对实时数据库技术和数据压缩技术分别进行了讨论,然后分析了目前常用的数据压缩算法流程和原理,阐述其优缺点以及适用的范围,再以现有的数据压缩算法为基础,通过对历史实时数据的分类分析,详细讨论了应用于实时数据压缩算法的设计方案,最后利用编程语言实现了压缩算法,并通过测试验证了算法在压缩率和压缩时间方面相对于其它压缩算法的优势。实时数据库技术在工业领域中的应用越来越广泛,目前对于大数据的挖掘研究是热点领域,因此对于数据压缩技术在实时数据库中应用的研究具有现实意义,同时,针对于不同实时数据的特点,对通用数据压缩算法的结合及改进,具有一定的理论研究价值。