课程文献中心 更多>>

关键词： 数据库系统   事务处理   并发控制算法   3TS   内存数据库  

摘要： 并发控制算法是数据库系统保证事务执行正确且高效的重要手段,一直是数据库工业界和学术界研究的核心问题之一.将并发控制算法的基本思想归纳为“先定序后检验”,并基于该思想对现有各类并发控制算法进行了重新描述和分类总结.基于在开源内存型分布式事务测试床3TS上的实际对比实验,系统性地探究了各类算法的优缺点和适用场景,为面向内存数据库的并发控制算法的后续研究提供参考.

关键词： 边坡稳定性快速评价   边坡处治方案优选   模糊综合评价   ArcGIS二次开发   数据库系统  

摘要： 随着“西部大开发”和“一带一路”的稳步推进,我国西部地区基础设施建设迅猛发展。西部地区地质条件复杂,公路沿线边坡众多,勘察设计周期短,传统边坡信息管理、稳定性评价与治理方法难以满足工程进度需求。因此,开发一套集成边坡信息管理、边坡稳定性快速评价、边坡处治方案决策等功能的综合管理决策系统,具有重要的工程实践意义。本文以G07乌尉高速公路勘察设计WYSJ-1合同段为背景,针对公路边坡可研、初测阶段传统的稳定性评价方法与处治方案决策方法不合时宜等问题,研究边坡稳定性快速评价方法、边坡处治方案决策方法,并以此为理论基础,使用Visual Studio程序开发、SQL Server数据库系统、Arc SDE空间数据库引擎等工具,基于Arc GIS Engine进行二次开发,研制公路边坡数据库管理系统,并将该系统应用于背景工程中,为乌尉高速公路勘察、建设提供技术支撑。本文的主要研究内容与成果如下:(1)公路边坡稳定性快速评价方法研究。对边坡主要影响因素进行定性分析与统计分析,建立岩质边坡、土质边坡稳定性快速评价指标体系。采取赤平极射投影法、[BQ]岩体质量分级法、模糊综合评价法快速评价岩质边坡,采取极限平衡法、模糊综合评价法快速评价土质边坡。对模糊综合评价法进行深入研究,采用层次分析法确定各评价指标权重,推荐一种简化获取变量隶属度的方法,建立岩质边坡、土质边坡模糊综合评价模型。(2)公路边坡处治方案决策方法研究。对边坡主要治理方案的分类及特点进行研究,明确各种处治措施的适用条件,针对具体边坡的地质环境条件,通过适用条件分析,进行边坡处治措施初选。基于模糊综合评价法,建立边坡治理方案优选模型,通过对初选结果进行综合评价,抉择最优处治措施。(3)公路边坡数据库管理系统设计。通过用户需求分析、功能需求分析、业务流程分析、数据流程分析、系统开发环境分析,基于系统开发原则,设计系统开发技术路线、系统逻辑结构,对系统总体结构及功能模块进行详细设计。基于背景工程公路勘察资料、边坡信息管理逻辑,设计数据库实体关系模型,对属性数据库、空间数据库进行详细设计。为系统开发奠定基础,提供指导路线。(4)公路边坡数据库管理系统开发。基于SQL Server数据库管理系统和Arc SDE空间数据库引擎开发系统数据库,实现属性数据和空间数据的关联关系。以Visual Studio为程序开发平台,使用C#程序设计语言,以边坡稳定性快速评价方法、边坡处治方案决策方法为核心算法,基于Arc GIS Engine各功能组件开发公路边坡数据库管理系统,实现边坡信息管理、边坡稳定性快速评价、边坡处治方案决策等功能模块。(5)公路边坡数据库管理系统工程应用。以G07乌尉高速公路研究路段两个典型边坡为例,使用公路边坡数据库管理系统进行边坡稳定性快速评判、边坡处治方案决策,验证了系统的正确性与可靠性。

关键词： 数据库管理系统   参数调优   负载预测   双延迟深度确定性策略梯度  

摘要： 数据库作为信息时代的基础设施,是每个组织、机构、应用、业务的重要支撑。数据库管理系统中的参数配置则是影响数据库运行以及性能的一个重要因素,这些参数决定在不同业务场景下是否能够提供稳定的服务和整体系统的性能,优化后的参数配置相比默认配置能够提升数据库以及应用系统的可用性。目前,数据库参数调优大多以当前工作负载状态作为依据,但是工作负载变化较为频繁,当前配置参数无法很好地适应未来一段时间内工作负载的需求,导致数据库的性能低下或系统崩溃等问题。因此,数据库参数调优需要考虑到负载的变化趋势,首先预测负载变化,然后基于负载变化进行数据库的参数调优。本文将聚焦于负载预测下深度强化学习参数调优模型的研究,旨在减少异常值与深度学习负载预测模型出遗失中长序列信息、未关注全局信息依赖的问题,以及基于深度强化学习方法的参数调优模型由于其固有最大化输出动作与估计值的原因,导致存在计算误差大和调优时间长的问题,构建基于负载预测的数据库参数调优框架。本文主要包括以下两个研究点:(1)针对负载预测中单向的长短期记忆网络仅利用正向信息和中长序列丢失信息的问题,提出一种过滤异常值的基于双向长短期记忆神经网络结合注意力机制的负载预测方法。利用数据库工作负载历史数据样本进行预测,对收集的数据库工作负载指标描述进行分析。首先,负载中存在的异常值会极大影响预测效果,使用孤立森林异常检测方法进行筛选。其次,反向信息也有利于改善模型对序列预测的精准度。最后,结合注意力机制以保证关注全局信息,并利用序列中重要信息的依赖,对未来的数据库工作负载变化进行预测。(2)针对预测负载调优中深度确定性策略参数调优模型中存在计算过估计、收敛速度慢的问题,提出一种基于双延迟深度确定性策略的负载预测参数调优方法。首先使用四个Critic网络交替更新,选择两个Critic目标网络计算出的最小估计值,消除过估计问题,然后采用延迟更新Actor网络,让Critic网络更加确定后Actor再行动,优化参数配置的搜索。最终提高数据库参数调优效果与加速模型收敛时间。最后,在方法实现阶段,采用本文提出的负载预测方法、负载预测参数调优方法和相应技术实现了基于负载预测的数据库参数调优框架FTune。收集数据库参数与性能信息并进行因子分析降维和聚类去除冗余项利用LASSO回归方法生成重要性参数列表,根据参数的重要性程度进行调优,减少搜索网络空间成本。实验结果表明本文方法在数据库的吞吐量上相比原始负载调优的吞吐量性能有22.5%的提升和36.7%的延迟下降,本文基于负载预测的参数调优方法相较于基于当前负载的参数调优方法完成了参数调优过程中的加速迭代,提前应对负载变化的情况。

关键词： 数据库   存算分离   重做日志   日志缓冲区   无锁机制   网络通信  

摘要： 在存算分离型数据库管理系统中,重做日志(redo log)在计算层和存储层的数据一致性上起到了关键作用。重做日志写入缓冲区和重做日志持久化是重做日志处理过程中比较重要的两个环节。因此,对这两个环节进行优化可以提高系统性能、简化节点之间的合作逻辑,使系统能更好的面对高并发、高连接且易于维护。针对存算分离型数据库管理系统在重做日志缓冲区结构、锁机制、线程调度和网络通信等方面的不足之处,给出了改进优化方案。首先,将重做日志缓冲区改造成逻辑上的圆环结构,可以循环使用,并且去掉了在存算分离型架构下不适用的冗余字段。其次,将重做日志缓冲区的写入锁机制改为无锁机制。无锁机制通过FAA(FetchAnd-Add)、CAS(Compare-And-Swap)等原子操作使用户线程将一组不可分割的重做日志写入到重做日志缓冲区,并维护重做日志缓冲区最大连续日志序列号。再次,由用户线程和一个后台线程专门负责重做日志缓冲区中重做日志的持久化,这两类线程会在持久化前推进最大连续日志序列号,并将最大连续日志序列号作为本轮日志持久化的结束位置。最后,计算节点和存储节点之间的网络通信采取基于Protobuf(Google Protocol Buffers)序列化的远程过程调用(Remote Procedure Call,RPC)机制,利用它屏蔽复杂通信细节、解耦服务并且数据压缩率高的特点,来更好的服务于计算节点将重做日志持久化到存储节点及向存储节点请求所需数据页等。该通信机制底层采用Muduo异步网络库,以提供多连接下高性能的网络IO(Input/Output)。利用sysbench压测工具进行压测,得到的实验结果表明,所实现的优化方案对系统性能有一定的提升,且高线程压测整体性能提升的幅度比低线程压测提升的幅度要大,说明优化后的系统能够较好的面对高并发。

关键词： 数据库系统  

ISBN: (纸本)9787522122083

摘要： 本书共7章。第1章数据仓库概述, 对数据仓库及其发展现状、特点、组成、体系结构等进行介绍 ; 第2章Python数据分析概述, 对Python及其开发平台的搭建、数据分析工具进行阐述 ; 第3章准备数据, 包括数据仓库读写文件、储存与检索、数据ETL过程、数据的初步处理 ; 第4章数据仓库设计, 阐述数据仓库的规划和需求分析以及数据仓库的建模 ; 第5章数据分类, 包括分类过程以及k-最邻近分类算法、决策树分类算法、贝叶斯分类算法、神经网络算法、支持向量机5种数据分类法 ; 第6章回归分析与时序分析, 对识别并解决数据中的多重共线性、构建线性回归模型、时间序列技术、时序分析模型、时序的相似性搜索进行阐述 ; 第7章基于数据仓库技术的数据分析实例。

关键词： 金课   中职混合式教学   实用数据库系统  

摘要： 线上线下混合式金课建设旨在利用信息化、现代化教学手段，结合线上和线下教学，推动教育质量的提升。职业教育作为教育阶段中的重要一环，必须进行高质量、高效率的教育改革，因此线上线下混合式金课建设便成为中职院校的最佳选择。研究针对中职院校的现实困境，结合在中职院校数据库课程的授课经历，从教师和学生两个主体入手，提出将线上线下混合式教学融入中职院校教学的应对策略。

关键词： 社区问答   SpringBoot框架   爬虫   数据库系统  

摘要： 近年来,人民生活越来越好。人们越来越需要通过一定的法律手段,来保障自己的权益不受他人侵害。鉴于法律条文比较复杂,大多数人在经济、合同等方面与他人产生纠纷时,他们都需要专业人士即律师的帮助。然而传统的现场咨询不足以满足所有用户的需求。例如,有的人更希望在他们遇到纠纷时,能够通过在线咨询的方式获得律师专业的解答。基于以上背景,设计并实现了法律服务平台,利用互联网的优势,为用户提供在线法律咨询服务。法律服务平台使用B/S结构来实现,根据软件工程中的方法,对法律服务平台进行了需求分析与系统设计。系统整体通过Spring Boot框架构建,并采用三层架构的模式进行系统的开发,使得系统具有低耦合、可扩展的特性。系统结合Web Socket完成了消息推送的功能,用户在浏览器中收到消息时,平台会给予用户提示。系统除了提供在线咨询、发帖交流、案件分享等功能,还提供了智能问答与律师推荐的功能。通过BERT、倒排索引等技术,实现了基于社区问答的智能问答,帮助用户解答常见的法律咨询。在律师推荐功能中,实现了相似律师的推荐与基于用户行为的律师推荐,缩短了用户找律师的时间。通过对系统进行功能测试与性能测试,法律服务平台基本满足了用户的功能需求。智能问答功能与律师推荐功能更是给用户带来了很好的使用体验。

关键词： 数据库系统  

ISBN: (纸本)9787522611709

摘要： 本书共10章，内容包括：Hive介绍、Hive架构、HiveQL表操作、HiveQL数据操作、HiveQL查询、Hive配置与应用、Hive自定义函数、Hive综合案例。

关键词： 拟态防御   数据库系统   数据库安全   异构数据库  

摘要： 数据库系统作为承载数据存储和分析功能的专用软件,经过半个多世纪的发展演进,已成为当今各类信息系统的核心组成部分。数据库系统在为社会的进步和发展带来便利的同时,也带来了许多安全隐患。近年来,随着数据库软件安全漏洞的频繁爆出,数据库系统面临的安全问题也愈发严重。然而现有的数据库防御技术主要基于已知的攻击方法或已知漏洞信息进行防御,在面对未知漏洞和后门威胁时难以应对。网络空间拟态防御是国内提出的一种主动防御理论,针对当前信息系统普遍存在的静态、相似、单一“基因缺陷”,通过引入动态、异构、冗余机制对其进行“拟态化”改造,使新的系统对未知漏洞和后门具备内生的抵御能力。因此,将拟态防御的相关思想和机制引入到数据库系统中,为其提供对未知漏洞后门的防御能力,能够弥补现有防御方法的局限和不足,从而改善当前数据库安全的严峻现状。基于上述考虑,本文借鉴拟态防御思想和动态异构冗余架构模型,对数据库系统的体系结构和运行策略等方面进行了拟态构建的关键技术研究,设计并实现了兼容My SQL通信协议的拟态数据库系统。论文的主要贡献如下:1.针对当前数据库系统无法有效应对未知漏洞和后门的问题,提出了一种基于动态异构冗余架构模型的数据库体系结构,从构造上增强系统对未知漏洞和后门的防御能力。2.针对异构数据库采用的通信协议不一致的问题,通过引入自定义消息包和Java数据库通信接口,将My SQL请求转换成其它异构数据库支持的通信协议格式。3.针对如何构建功能等价的异构数据库执行体的问题,通过引入执行体应用、元数据库和后端数据库,将异构数据库系统封装为表征一致的执行体。4.针对如何对异构数据库执行体输出的SQL结果集进行有效裁决的问题,设计并实现了基于多数一致性裁决策略的裁决器。通过对拟态数据库系统进行功能测试、性能测试和安全性测试,验证了系统的功能完整性和应对未知威胁的能力,为解决数据库安全问题提供了一种新思路。

关键词： 持久内存   键值存储   数据库系统   多版本并发控制  

摘要： 以CockroachDB为代表的数据库系统广泛应用于电子交易、搜索服务等在线事务处理场景，通过并发事务控制及持久化机制确保了事务的正确运行。持久内存(PMem)作为一种新存储介质，可提供比磁盘更快的持久化存储，以及类似传统内存的字节寻址特性，可以有效提高数据库系统并发控制的持久化性能。当前针对PMem实现了高效的数据结构与存储系统，改善了PMem的性能瓶颈，但仍存在以下问题:(1)面向PMem的优化工作仍存在性能缺陷，未能针对特定场景特征进行优化、缺乏适用于并发控制场景的针对性优化工作。例如未能有效解决PMem顺序存储产生的空间管理问题，以及索引结构存在性能不佳、不支持范围查询的问题。(2)当前的数据库并发控制系统尚未支持PMem与磁盘并存的存储架构，使得面向PMem的通用优化工作无法直接应用于并发控制系统中。　　为了应对上述问题和挑战，本文根据PMem读写特性设计了优化的键值存储结构，并将其应用于CockroachDB多版本并发控制系统中。具体内容如下:(1)针对PMem存储特性设计了专用的数据结构与存储引擎。利用地址对齐的块式存储对PMem进行顺序读写，并引入freelist进行碎片管理;利用DRAM内的改进基数树实现键值对的有序索引，支持数据库系统的范围查询操作。(2)针对CockroachDB的多版本并发控制系统设计了新的持久化机制，选取意向作为PMem持久存储的对象，对意向进行重新设计以适应于PMem临时存储，并改进了相应读写操作的执行逻辑;对改进的CockroachDB并发事务控制系统进行了性能测试。针对改版后的并发控制系统测试结果表明，与完全运行在固态硬盘上的原版系统相比，本文的方法能够在并发插入场景下降低46％的事务执行延迟、在读写混合场景下降低55％的事务执行延迟。