课程文献中心 更多>>

关键词： 哈希索引   数据库管理系统   机器学习   自编码器  

摘要： 哈希索引作为一种高效的数据结构在各类数据库管理系统中有着广泛的应用。但是,面对数据规模的激增,传统的哈希索引冲突率高、计算效率低等问题日益凸显。随着硬件算力的不断提升,越来越多的研究人员开始关注使用机器学习技术来解决数据库领域的问题。学习索引正是在这一背景下被提出,其核心思想是使用机器学习模型来代替索引结构。本文在总结前人工作的基础之上,针对学习型的哈希索引技术展开研究,主要工作包括:(1)在已有的工作中,传统哈希函数无法利用原始数据本身的分布特征,因此会存在较高的哈希冲突,而且传统哈希函数由于数据依赖无法实现算法并行化,计算效率低下。针对这些问题,本文设计了一种基于浅层自编码器的学习型哈希函数。该方法在自编码器的基础上,通过最小化整体损失来学习数据的二进制哈希编码。由于本文提出的学习模型可以充分利用原始数据的特征以及矩阵运算的可并行性,因此较传统哈希函数会产生更少的冲突,同时具备更快的计算速度。通过大量实验证明,相对于现有的方法,本文提出的方法在减少冲突率和缩短数据计算时间、提高数据的检索效率上都具有明显优势。(2)针对信息检索系统查询效率和灵活性要求高的现实需求,本文在提出的学习型哈希索引技术的基础上构建了一个哈希索引系统。该系统包含特征提取层、模型层、存储查询层和应用层。每个功能层之间相互独立,通过数据传递协作完成具体的查询任务,通过该系统我们可以利用机器学习模型来提升数据查询效率。此外,系统组件可以灵活替换。对于具体的问题,系统能够提供高效易用的数据查询方案。

关键词： 透平叶片坯料   预成形优化   数据库管理系统   混合推理   UG二次开发  

摘要： 透平叶片是透平机械中数量种类最多的部件,叶片坯料成形质量的好坏直接关系到透平机械使用过程中的能量转换效率。由于模锻工艺操作简单、机械化程度高、生产率高的独特优越性,目前国内外企业普遍采用模锻完成透平叶片的终锻成形过程,其精度通过机械加工进行保证。然而前期的坯料设计工作需要耗费大量精力,其效率无法满足企业需求,增加了叶片的制造生产成本,进而制约了整个叶片制造产业的发展。因此本文通过研究透平叶片坯料终锻成形过程,同时运用知识工程技术进行分析和设计,建立了透平叶片终锻成形坯料库,开发出适用于坯料快速设计的辅助系统,实现整个透平叶片坯料终锻成形坯料库应用过程的规范化、自动化及系统化。主要内容有:(1)研究透平叶片坯料的终锻成形过程,以企业现有的RA1142型号叶片为例,运用DEFORM-3D软件进行数值模拟。基于响应面优化方法,提出了以坯料结构参数为自变量,以飞边余量、模具载荷和锻件变形均匀性为目标的综合优化函数,选用二次多项式回归模型,得到优化后的坯料结构并模拟验证,其结果表明终锻成形后坯料充型完整且各目标均得到明显改善,最后归纳总结出最优综合指标各设计变量的优化规律。(2)结合企业一线生产经验和透平叶片坯料设计的结构特点,归纳出各主要设计部位尺寸参数的计算形式及其应用规则,进行知识的规范表示处理。根据具体功能需求分析,构建透平叶片坯料库整体功能框架,设计坯料库概念模型和物理模型。将坯料库分为四个主要模块,通过关系型数据库My SQL Server5.5建立了透平叶片终锻成形坯料库,存储叶片的产品信息及对应的坯料信息和典型坯料结构的参数信息,通过SQL语言实现叶片坯料的数据提取和坯料库的管理维护,并与三维参数化模型库建立关联。(3)为解决坯料实例检索重用效率低下等问题,针对透平叶片成品锻件和对应坯料的系列化程度高的特性,采用基于规则和实例的混合推理机制,进行叶片成品信息推理。运用层次分析法将输入信息分为三个主要模块,以实例推理为主,采用最近相邻策略,提出能表征各属性特征及取值类型的相似度算法,从而完成叶片坯料的推理,显著提高问题求解的效率,便捷地对知识进行匹配重用。(4)基于UG二次开发技术,通过Visual Studio平台编写程序,实现透平叶片终锻成形坯料库的具体应用。为实现坯料设计效率的提高,基于客户的技术要求参数和叶片相关信息,开发交互式坯料检索重用系统,实现相似度最高的叶片坯料实例检索,并在结果中显示叶片型号和所属的坯料类型,导出模型并获取表达式,根据各设计变量优化规律进行一定程度的修改,参数驱动完成模型更新,最后以具体设计实例验证技术可行性。本文的研究内容充分利用了现有的设计知识,在较大程度上减少重复劳动,满足企业对透平叶片坯料设计的生产实际要求,具有灵活、快速和可靠的特点,增加了企业的市场竞争力。

关键词： 出土现场   文物保存环境监测   物联网技术   数据库系统  

摘要： 物联网技术在文物环境监测领域的应用相关学者已经开展了大量的研究,取得了十分丰富的研究成果,并基于物联网技术在文物环境监测实践中产生的海量的监测数据建立了种类丰富的数据库系统。但是在出土现场文物保存环境数据库建设方面仍缺乏一套具有较强针对性和适用性的数据库系统,因此开展适用于出土现场文物保存环境监测数据库开发设计工作。本项工作将通过对现有技术环节的优化设计,解决传统的数据库系统存在的功能单一,性能不足,针对性不强等问题。“出土现场文物保存环境数据库”的建设分为数据接入、数据存储、数据应用三部分。数据接入方面针对出土现场文物保存环境监测的现场条件复杂导致的数据协议不统一的问题采用云物联网平台技术实现了兼容多种硬件设备的数据接入模块的优化设计;数据存储方面针对监测数据的数据特点采用时间序列数据库替代原有的关系型数据库实现了数据库读写性能的提升;数据应用方面实现了监测数据的空间可视化与图表可视化,同时探索了一些文物环境监测方面的数据预测算法并将其在数据库功能上进行了实现。本研究以西安咸阳国际机场三期扩建工程M2苏童墓出土现场文物保存环境监测为例,从数据库对象的创建与使用、数据信息的查阅、监测数据描述性统计分析、数据可视化、数据预测模型的构建与应用五个方面开展“出土现场文物保存环境数据库”的实践与应用研究,为出土现场文物保护提供监测数据支撑,辅助相关研究者进一步高效制定文物保护策略。出土现场文物保存环境数据库系统使用演示视频二维码

关键词： 浮式风电工程   数据库系统   场地条件评价   系泊锚固基础   承载特性  

摘要： 海上风电工程的海况及场地条件适宜性评价对于海上风电项目非常重要,针对我国东南及南部沿海海域已建设的风机项目,基于Access的宏及VBA编制海上风电地质信息管理系统,使得海上风电信息规范化录入,方便风电领域课题对风机项目信息的查询与调用。通过分析作用于浮式风机的海洋环境载荷特征,设计出适宜于我国南部某海域的浮式风机的锚固基础。运用ABAQUS有限元分析软件对理论设计的基础进行承载力校核与分析,对锚固基础的适宜性展开综合评价。最后对吸力锚和重力锚进行结构优化,并分析影响锚体承载力的因素,为今后浮式风电的锚固基础技术探索提供借鉴意义。本论文主要研究成果如下:(1)收集我国目前已建设的海上风电工程项目关键信息,对其地质土层信息与相应的基础型式进行综合评价,并建立海上风电地质信息数据库系统,对海上风电项目的信息进行规范化录入,方便风电领域课题研究的查询及调用。(2)基于理论经验公式对风、浪和流三种海洋环境荷载对浮式风机的作用效应进行研究,分析了海域地点、浮式平台类型、作用工况等不同因素下,作用于浮式风机上的海洋环境载荷特征。(3)通过对我国某海域特定海况条件下的浮式风机场地条件综合评价,在以饱和软粘土为主的海床土质中,综合考虑承载特性、成本造价及施工安装等方面,吸力锚基础性价比高于同等条件下的重力锚基础。(4)对吸力锚和重力锚结构优化分析,传统吸力锚进行结构优化所得的裙板式吸力锚基础其承载力增大约25%以上;增加裙板式吸力锚的顶板外径和裙板高度,其承载力均增大。在体积一定时,对常规四键重力锚基础优化为棱台式重力锚,其承载力相较于原来提高了33.95%。

关键词： SQLite   可信执行环境   嵌入式系统   数据安全  

摘要： 随着物联网逐步走向智能化,SQLite作为嵌入式系统广泛使用的轻量级数据库,其关于数据安全保护的缺陷也日益突出。常用的安全技术手段往往采用加密算法对数据库进行加密,但此类方式无法保证数据在内存中动态处理过程的安全性,潜在的安全问题依然会导致隐私数据的泄露;而配合可信执行环境的安全机制虽然可以进一步提升SQLite的安全性,然而过度的安全设计往往导致SQLite的性能大打折扣。为此,本文基于可行执行环境Keystone的资源隔离机制,设计并实现了一个符合嵌入式应用场景对安全,性能等需求的可信安全SQLite数据库系统,以保护用户隐私数据的存储和处理过程。系统设计上,本文首先在原始的SQLite上扩展了认证加密算法AES-GCM用于保护数据静态存储时的机密性和完整性。为了进一步提高系统的安全性,本文结合了可信执行环境Keystone提供的远程认证和内存隔离机制,为系统提供了程序的身份真实性认证和处理重要数据的安全环境。结合RISC-V的PMP机制所带来的内存优势,本文还介绍了SQLite处于IN-MEMORY及TEMPDB模式与Keystone相结合的系统设计以应对实时任务中性能不足的缺陷。为了同时满足系统的安全性和实用性,本文提出了一种结合缓存机制的MT(Merkle Tree)算法,有效减少可信空间中的内存需求并提高了系统的数据采集性能。此外,为了减少MT扩充的时间开销,本文提出了一种约定式的MT扩充协议,在不破坏安全性的前提下避免了该过程中用户与系统之间的通信开销。本文利用QEMU搭建了以RISC-V架构为基础的虚拟平台,在该平台上完成了系统的性能测试,其中包括数据查询和插入以及MT扩充的执行时间开销。测试结果表明,系统在TPC-H测试基准中数据查询性能仅比扩展加密后的SQLite平均高出了11%,而系统在IN-MEMORY及TEMPDB模式下的查询能力,数据插入和MT扩充测试上都表现出较好的性能。最后根据系统的具体执行流程证明了系统安全性。

关键词： 性能测试工具   决策支持系统   数据库管理系统   基准测试   方言文件  

摘要： 为评估作为决策支持系统底层支撑的数据库管理系统的性能,事务处理性能委员会组织提出了TPC-DS基准。在该基准所提供的工具包的基础上,设计和实现了一个适应实际需求的测试工具,对开展数据库管理系统在TPC-DS基准符合程度方面的评测工作具有重要意义。从业务模型、数据模型、测试流程、性能指标、工具包内容等方面对TPC-DS基准进行了分析,设计和实现了一个面向决策支持系统的数据库管理系统性能测试工具,包含基础功能和扩展功能两大部分。基础功能完成所有测试流程,包含测试连接模块,脚本生成模块,资格验证模块,负载发生模块和结果处理模块。脚本生成模块依据用户配置的命令模板来生成数据库在命令行环境下进行登录、数据导入和执行结构化查询语句(Structured Query Language,SQL)的脚本,并将这些脚本和测试所需文件发送到被测端;资格验证模块负责在测试前建立临时数据库并导入数据以完成SQL语句的检查;负载发生模块通过远程执行脚本的方式来完成测试。扩展功能包括方言模块、SQL辅助修改模块和自定义测试模块。方言模块用于解决测试工具的通用性问题,通过在SQL模板中增加占位符,向方言文件中增加相应键值对,使生成的SQL语句能表达更多种类的语法格式,提高了SQL模板的通用性;对方言文件进行拆分来提高SQL语句生成效率。SQL辅助修改模块根据资格验证过程中数据库的报错信息来定位SQL语句对应的方言文件中的错误文本,并通过对比其他已验证方言文件中的类似文本,给出对错误SQL语句进行修改的建议。自定义测试模块通过定期采集被测端处理器、内存、磁盘输入/输出的状态信息并绘制实时曲线,以反映被测数据库在指定测试计划下的资源占用特点。通过在Gbase上进行完整测试,验证了测试工具在基础功能上的可用性。以My SQL,Oracle,Gbase作为被测数据库,通过设置对照实验,模拟SQL出错的场景,验证了测试工具在主要扩展功能上的可用性。

关键词： SQL语言  

ISBN: (纸本)9787313269980

摘要： 本书共12章，包括数据库设计概述、MySQL环境配置和创建数据库、MySQL表结构的管理、表记录的更新操作、表记录的检索、MySQL运算符和系统函数、视图和触发器、存储过程和存储函数、MySQL分区、MySQL查询优化、索引优化和数据库优化以及用户信息管理系统。

摘要： 近年来,数据库系统为了应对新应用和新数据类型对数据管理与分析提出的全新挑战,产生了一系列新的发展趋势,包括:(1)在数据管理方面,计算机硬件的创新与人工智能技术的深入为数据库系统带来了全新的发展机会,而伸缩性、容错性、可扩展性等应用需求又给数据管理带来了全新的挑战;(2)在数据分析方面,数据量的剧增、数据类型的异构与应用需求的多样对数据库系统的分析能力与性能提出了更高的要求;(3)在数据安全方面,多方安全计算、联邦学习等应用和需求的变化给数据库安全与隐私保护技术带来了全新的课题.因此,需要利用和发展现有的数据库理论,构建形成新的技术和系统经验.本专题立足于数据库系统核心技术,探讨在大数据环境下数据库与数据管理技术的新发展与新趋势,特别是聚焦如何利用数据管理技术的深厚理论积淀和丰富技术成果,促进数据库新型技术的发展,解决遇到的各类与管理、分析、安全相关的痛点、难点问题.本专题重点关注具有创新性和突破性的高水平研究成果,探讨相关基础理论、关键技术,以及在系统研发过程中关于系统设计原理、范式、架构、经验等方面的实质性进展,探讨其在相关产业和领域的应用前景.

关键词： 数据库系统   关系型数据库   键值对储存   SQL语法   数据库索引  

摘要： 关系型数据库在传统应用中取得了巨大成功,移动互联网的快速发展催生了No SQL数据库。随着大数据应用的持续渗透,数据库系统对可用性、扩展性、灵活性、高性能等特性的需求日益增强,给成熟的RDBMS和No SQL带来巨大挑战。面向新的需求,结合二者优势应用而生的New SQL系统正在成为研究热点。RDBMS需要预先设置数据模式,将数据标准化,即可使用结构化查询语言(SQL)执行灵活高效的数据管理,但模式变更代价较大,系统扩展性差。No SQL无需预设数据模式,灵活性、扩展性和性能较好,但用户接口简单,数据操作能力弱。作为No SQL系统的基础,键值对存储引擎有被广泛应用,为其增加SQL管理功能可极大增加其对结构化数据的操作能力,具有重要的实用价值。本文的主要研究内容包括:1.设计了基于键值对存储的SQL管理系统架构。面向上层用户提供对主要SQL语法的支持,完成了语法解析;面向下层对键值对存储引擎规范了一套API,屏蔽不同KV引擎的差异,保证上层实现的独立性,最终达到键值对数据库对标准SQL的支持。2.设计了关系模式到KV模型的映射方法。分析了现有基于键值对存储系统的开源数据库的系统架构与其SQL模型到键值对的映射方案,自行设计了一套映射方案与元信息管理模块,支持自动加载、存储元信息,其优势在于可以降低系统复杂度。3.设计了针对键值对数据的索引结构。本文通过对现有索引结构的研究,实现了对列数据的唯一性索引与非唯一性索引支持,可以在数据查找时加快查找效率。本文的原型系统基于Calcite和Rocks DB实现,支持基本的DDL、DML和DQL语句,数据库驱动和访问接口采用My SQL兼容协议。通过JMeter测试工具进行了功能验证和性能测试,达到了预期目的。

关键词： 边缘云   物联网   分布式   时序数据库  

摘要： 随着新基建时代的到来,层出不穷的物联网设备产生的海量时序数据给以传统云计算为基础架构的应用带来了巨大的挑战。针对于这种挑战,越来越多的应用采取面向边缘云场景的设计方式。在这种方式下,边缘云层离各种终端设备距离较近,负责对采集到的时序数据进行全量存储。之后将经过边缘云层处理后的数据按需汇集到中心云层,这样既可以降低网络传输的压力,也可以减轻中心云层的负载。针对时序数据存储来说,目前已有的时序数据库大都仅提供通用的数据读写服务,无法和边缘场景结合起来。为此,本文针对边缘云场景下时序数据库应该满足的需求进行了分析,得出了系统应该满足分布式集群、云边数据同步、数据压缩、异常监测和告警等功能的结论,并据此设计实现了一个边缘云场景下的分布式时序数据库系统。针对单机版的时序数据库难以满足边缘复杂环境下系统的安全性、可用性和数据持久性问题,本文首先以开源的单机Influx DB为基础,实现了分布式时序数据库模块。其中主要包括Meta集群和Data集群,前者使用Raft协议实现了强一致性的元数据管理中心;后者使用分片、副本以及异步数据传输等机制实现了最终一致性的数据存储中心。其次在分布式时序数据库之上提供了边缘云与中心云之间的数据同步模块。本文通过提供自定义的接口来达到按需同步数据的目的。同时实现了Influx DB、My SQL、Hive等多目标数据库的同步接口以适应中心云中不同的存储引擎;之后针对于时序数据的海量性、单位密度信息量低等特点,本文使用旋转门压缩算法设计实现了压缩模块,将采集的数据压缩之后进行存储,在基本不损失有效信息的前提下提高了系统的存储效率。同时系统还利用阈值过滤的方式,筛选出采集到的异常数据并通过告警触发机制将告警信息通知相关人员。最后,本文对完成的系统进行了功能性测试和基本的性能测试。得到的测试结果表明各项功能均符合预期设计,可以满足大多数物联网场景下的应用。