课程文献中心 更多>>

关键词： 存储端数据处理   智能存储设备   数据库管理系统   性能影响因素  

摘要： 在传统数据库管理系统中,数据处理的所有过程都是在主机中完成,需要从外存储设备传送大量数据到主机内部,因此数据传送过程是影响系统性能的瓶颈之一。随着智能存储设备(如Smart SSD,Smart Solid State Drive)的快速发展,其内部具备一定计算能力和高带宽,满足存储端数据处理模型的需求,该模型能够很好地解决这个性能瓶颈。存储端数据处理模型的核心思想是把部分计算下放到智能存储设备中运行,对数据进行预处理,减少总线上传输的数据量。然而,当前固态硬盘的数据计算能力要弱于主机内部的中央处理器,需要对下放计算进行筛选才能保证模型的优化效果。因此,在存储端数据处理模型中,为了能够有效提高系统性能,各方面影响因素下的下放计算的筛选工作是一个很重要的研究课题。但是从目前的研究来看,现有研究缺乏全面的存储端数据处理的性能影响因素分析模型,很难保证每一次优化后的效果,无法科学地指导系统性能优化工作。鉴于此,本论文的研究工作具体如下:1)DBMS数据处理及性能影响因素研究:首先在传统系统架构与存储端数据处理架构的基础上,分析存储端数据处理模型与传统数据处理模型的区别,进而识别出数据迁移以及数据处理过程中主要的性能开销部分;然后详细对比两个模型的数据处理开销公式,分析数据处理过程中的异同;最后结合传统DBMS思想与存储端数据处理模型的工作原理,总结出存储端数据处理模型中影响系统性能提高的三个方面因素。2)数据库算子的前置关系影响因素研究:针对在研究中发现数据库算子之间存在前置执行关系,如果下放算子不当则会造成数据逆向传输问题,导致总线上数据传输量进一步增大,使优化效果负增长。然后基于算子前置关系提出前置关系概率表,为算子的下放优先级排序。最后是结合前置关系和前人方案,提出基于前置关系的下放算子筛选方案,并通过实验对比该筛选方案的优越性。3)数据特征影响因素研究:数据特征是指数据基于DBMS进行存储时涉及的各类参数,如数据库表规模。数据特征会对查询过程中目标数据的查询速度和目标数据的处理速度造成直接影响,本章主要从数据库表的大小、数据库表的过滤比和数据库表的索引结构三个主要方面分析,给出不同影响因素下性能估算方法和性能变化趋势。最后实验表明,这三方面数据特征因素对系统性能的影响不是线性的;而是存在一个临界值。只有达到临界值时优化效果才慢慢凸显,而且临界值受到多方面因素共同影响,会随着环境的改变而改变。4)设备性能影响因素研究:系统设备性能是指系统硬件的工作参数,如CPU主频大小和系统带宽大小。由于CPU资源与数据处理速度直接关联,I/O资源与数据传输速度直接关联,这两方面资源都容易造成系统性能瓶颈,因此这两方面的优化工作十分有利于系统性能的提高。本章给出了不同影响因素下性能估算方法和性能变化趋势,并通过实验表明,在设备性能影响因素方面的优化对系统性能的提升是有限。优化效果存在临界值,并不会随着设备性能的提升而持续增长,只要到了临界值就不用再往设备性能影响因素方面优化。综上所述,本论文主要从理论分析和实验验证两方面对存储端数据处理模型下的性能影响因素进行研究。首先理论上通过传统系统架构和存储端数据处理系统架构分析相应的数据处理模型的异同点,并基于两者数据处理模型的差异归纳出影响系统性能的主要因素。通过实验表明,在各方面影响因素下基于前置关系的筛选方案的优化效果均要显著优于基于输入/输出的数据量之比的筛选方案,而且给出了在不同影响因素下性能估算方法和性能变化趋势,并对比不同系统架构的优化效果,根据实验结果作出相应评价,具体指导各方面影响因素下DBMS的优化工作。

关键词： 数据库系统  

ISBN: (纸本)9787111654902

摘要： 本书总共分为11章。第1章介绍ClickHouse的由来、发展历程、核心特点与核心特点。第2-6章介绍了ClickHouse基础使用部分, 包括整体架构、如何安装、数据定义、数据引擎、数据查询和函数的特性和使用方法。第7-9章介绍了ClickHouse高级特性部分, 包括数据库管理操作, 数据分片、数据副本和高可用的特性和使用方法。第10-11章介绍了如果自己手动实现ClickHouse中间件的思路和示例, 同时也介绍了几款可视化工具与ClickHouse集成的方法。

关键词： 专题数据库   JavaEE   立体化检索   文本嵌入   个性化推荐  

摘要： 随着信息技术的快速发展,越来越多的纸质资源转为数字化存储,古籍文献资源的管理方式也逐步由人工管理转向基于数据库的信息化管理。数字化的存储和管理不仅能提升文献资源的保护性和共享性,更能提高相关专业人员对文献资源的查找效率。本文构建中国近代农业团体专题数据库系统,并研究和实现电子文献资源的推荐方法。项目依托课题组的研究成果开发。将相应文献资料、资料长编以及编年成果,进行科学分类整理和数字化处理,建立立体化检索体系,构建首个中国近代农业团体资料及研究的大型专题数据库系统。为方便用户检索,提出基于文本嵌入和用户画像的推荐算法,主要工作如下:1)依据课题国家社科基金项目投标书,分析研究者、用户和文献资源之间的交互方式,完成项目的需求设计,技术架构选型、数据库设计和关键功能模块设计。主要功能包括:前台内容展示、后台内容管理、立体化检索、个性化推荐。2)基于Spring、Hibernate、FreeMarker等技术构建中国近代农业团体专题数据库系统。系统提供便捷的检索查询体系,方便高校及研究机构的研究者、政府部门相关人员及普通用户使用。3)提出基于文本嵌入和用户画像的推荐算法,提高为用户推荐文献资源的针对性,提升服务质量。采用TF-IDF方法将文本嵌入到向量空间,利用Cookie机制识别匿名用户,根据用户浏览历史生成用户画像,以欧氏距离作为相似度度量方式,在向量空间中取距离该用户画像最近的前N个未浏览过的内容为用户推荐。算法保证了被推荐的文献资源在内容上关联用户兴趣,提高了用户的使用感受。

关键词： 发动机缸盖   切削刀具   切削数据库   刀具管理   切削工艺优化  

摘要： 二十一世纪以来,中国装备制造业的发展是显而易见的,尤其是在高端装备制造业上取得了许多成果。但是,我国的制造业仍与发达国家有着一定的差距,主要体现在信息化、数字化的整体水平较低。面对这一系列问题,传统制造业逐渐向数字化、网络化、智能化方向转型。一方面在于提高信息化水平,另一方面在于借此提升生产效率,有效解决我国制造业综合成本上升的问题。刀具的性能、寿命和管理以及加工工艺的合理性直接影响到产品生产加工的质量和效率。因此建立一款行之有效的切削数据库系统,对提高产品的加工质量和效率有着重大的意义。本文主要从数字化制造类企业的角度出发,开发一套汽车发动机缸盖切削数据库系统,主要工作和研究内容包括:(1)调研了切削数据库系统、切削参数优化的国内外现状,分析了当前世界上主流切削数据库系统所具备的优点及不足。并针对汽车动力总成生产线,提出本文的研究目的及意义,并形成了论文内容的整体框架;(2)对切削数据库系统进行需求分析、功能分析、模块分析,搭建切削数据库系统构架。并从数据结构的角度出发,对切削数据库进行人机交互设计;(3)对汽车发动机缸盖生产线上大量切削过程数据采集、挖掘与分析问题进行研究,包括非结构化数据采集、非结构化数据转化以及数据清洗等;(4)对切削数据库系统的工业应用场景进行了研究,包括了刀具管理、切削参数优化、车间数据大屏等。提出了一种刀具全生命周期的管理模式,以及基于数据模型的切削参数优化方法;(5)在理论研究的基础上,开发了一套汽车发动机缸盖切削数据库系统。数据库系统采用***作为前端开发框架来构建用户界面,以C#作为开发语言来构建后端,以My SQL作为数据库平台来存储数据。初步实现了数字化企业的刀具全生命周期管理以及切削工艺优化,并且能为车间数据看板提供数据。

关键词： 广域分布式   实时数据库   实时数据标识   数据快速访问  

摘要： 为了适应多个调度系统间对实时数据的共享需求,文章设计了一种广域分布式实时数据库,对已有的实时库模块进行广域分布式扩展,把广域网络内各个独立的实时数据库子系统从逻辑上整合成一体化的大型分布式实时数据库。广域范围内的实时数据通过ID关键字和设备名两种方式统一构成实时数据统一标识,并根据标识实现了数据的快速访问,解决了广域范围内的实时数据存储和处理能力。最后通过现场运行,提升了省地调系统支撑平台的实时数据处理能力。

关键词： 数据库系统   被动式学习   实践   动手能力   IT   实训方法  

摘要： 传统的数据库系统管理课程教学主要以课堂讲解数据库系统理论结合数据库操作命令为主,是一种单向的被动式教学方法。数据库理论抽象、操作命令多、参数多,学生对此有畏难心理,从而导致学生学习兴趣下降,课堂学习内容留存度低。而且,学生毕业后,用人单位普遍反映学生实践动手能力差。为此,引入IT(Information Technology,信息技术)实训方法,以改善课堂教学效果。

关键词： SQL语句   开源软件   操作系统   比较教学   应用课程教学   盗版问题  

摘要： 1.引言许多学校计算机专业数据库开发与应用课程教学,已将课程从原来的Oralce数据库系统改为MySQL数据库系统,主要是基于目前许多公司已将数据库系统迁移到MySQL系统。这也极大方便了教学的开展,MySQL数据库系统安装简单,兼容不同的操作系统,占空间很小,卸载方便,因是开源软件也不存在盗版问题,相应的开发工具如Navicat使用方便,有效提高开发效率。在教学过程中发现MySQL数据库系统和Oralce数据库系统基本SQL语句大部分相同,但有一些地方不一样。本文主要探讨比较两者的异同。

关键词： 著作权转让   翻译权   汇编权   发行权   文献检索系统   网络出版   复制权   数据库系统  

摘要： 为简化作者和《安徽医学》之间的论文著作权转让手续,特声明加下:凡向《安徽医学》所投的稿件,均视为论文所有作者自愿将该文著作权及相关财产权转让给《安徽医学》,即《安徽医学》对该文的部分或全文具有但不限于以下的使用权:汇编权、发行权、复制权、翻译权、网络出版及信息传播权;许可国内外文献检索系统和网络、数据库系统检索;允许通过各种介质、媒体以及其他语言文字出版和使用本文的权利;以不违反中华人民共和国现行或以后出台的法律规定的方式使用该文。