课程文献中心 更多>>

关键词： 数据库系统  

ISBN: (纸本)9787115614070

摘要： 本书对统称为NoSQL的分布式非关系数据库的原理和使用方法进行介绍。第1章，首先介绍NoSQL的起源背景和设计理念，以及相关技术概念。然后介绍大数据技术体系，以及NoSQL在云计算和容器化趋势下的发展。第2章，首先回顾关系型数据库的主要机制，然后介绍NoSQL数据库的常见技术原理，以及NoSQL的常见数据模型等。第3章，对MongoDB进行介绍，重点介绍基本使用方法和编程方法。 第4章，对MongoDB的集群部署、安全运维等原理和方法进行介绍。第5章，对Neo4J的基本原理、使用方法等进行介绍。第6章，对Redis的基本原理、使用方法和集群部署方法等进行介绍。第7章，介绍Cassandra的基本原理和使用方法。首先介绍Amazon Dynamo的相关原理，然后介绍Cassandra的安装、配置与CQL。第8章，对Hadoop大数据体系和HBase进行简要介绍。第9章，介绍其他一些知名的NoSQL数据库技术与工具。

关键词： 加密数据库   范围检索   范围聚合检索   可搜索对称加密  

摘要： 云存储作为数据存储的一种方式被广泛应用于各个行业,在降低存储成本的同时也带来了严峻的安全挑战。加密作为一种有效的保护手段,可以解决数据安全问题,但不利于数据检索。传统的密文环境下的检索方法是将密文数据解密后进行明文检索,检索过后再进行加密。该方法虽然能够达到一定的安全性,但效率较低,不适合海量数据的应用场景。因此,研究安全高效的密文数据检索方法,对云计算和云存储的应用发展具有重要意义。 现有密文下的范围检索方法是基于保序加密(Order Preserving Encryption,OPE)算法,该算法加密后的数据可以直接进行顺序比较。但是这种范围检索方法会泄漏明文的顺序信息,存在安全隐患。而范围聚合检索方法是基于半同态加密(Partially Homomorphic Encryption,PHE)算法,该算法加密后的数据可以直接进行数学运算。但是这种范围聚合方法需要复杂的密码学运算,带来很高的计算开销。本文针对上述方法存在的问题,提出具有安全性和高效性权衡的范围检索和范围聚合检索方法。具体来说,本文的主要研究内容如下: (1)基于范围覆盖二叉树的范围检索方法。针对基于OPE算法实现范围检索时存在泄漏数据顺序信息的问题,设计并实现基于范围覆盖二叉树的范围-多关键字检索转换算法,并在现有的可搜索对称加密(Searchable Symmetric Encryption,SSE)方法的基础上提出范围可搜索对称加密(Range Searchable Symmetric Encryption,RSSE)方法。在安全性方面,RSSE方法通过使用范围覆盖二叉树将范围检索简化为多关键字检索,再通过对多关键字的相等性检索得到满足范围的文档,避免使用OPE算法加密数据再进行范围检索带来泄漏数据顺序信息的问题。在检索效率方面,RSSE方法引入倒排索引和范围覆盖二叉树,避免在进行范围检索时需要对待检索范围中每一个数值进行检索,进而提高范围检索的效率。 (2)基于“最值转换”矩阵的范围聚合检索方法。针对基于PHE算法实现范围和检索时存在计算开销大的问题和基于OPE算法实现范围最值检索时存在泄漏数据顺序信息的问题,设计并实现基于“前缀和”数组的范围和差转换算法用于范围和检索和基于“最值转换”矩阵的最值转换算法用于范围最小值检索。在检索效率方面,通过构造“前缀和”数组与“最值转换”矩阵,将待检索的范围信息转换为数组或者矩阵的下标信息,再通过下标的相等性检索得到满足范围的和或最值,避免使用PHE算法或者OPE算法加密数据再进行范围聚合检索带来计算开销大或者泄漏数据顺序信息的问题,进而实现安全且高效的密文范围聚合检索。 (3)范围检索和范围聚合检索系统的设计与实现。基于上述方法,设计并实现面向加密数据库的范围检索和范围聚合检索系统。该系统实现数据库的导入与存储、密文数据下的范围检索和范围聚合检索等功能。本文将该系统应用于实验室密态数据服务系统项目中,通过对系统的功能测试和性能测试,验证所提方法的可行性和系统的可用性,对密文数据的范围检索和范围聚合检索有一定的促进作用。

关键词： 参数调优   数据库系统   多任务学习   高斯过程  

摘要： 为了实现最佳性能,数据库的配置参数必须根据部署的硬件环境和运行负载来调整。以往的数据库参数自动调优方法将数据库实例视为一个黑盒,并通过收集和观察各种配置下的性能数据来自动找到最佳配置参数。然而,这些基于黑盒的方法存在一些局限性。首先,它们通过观察数据库的整体性能(例如每秒事务吞吐量)来判断一组参数的质量,但无法准确识别哪些参数导致性能变化。在自动调优过程中,也会调整无关的参数。其次,以前的方法迭代搜索更好的配置,但每次迭代只花费很短时间。这对于实际生产环境中的复杂数据库(例如分布式数据库)来说远远不够,因为短时间内仅触发了很少的数据库功能模块。第三,数据库的功能是共同设计和维护其整体性能的。每个功能模块都有自己的度量指标来评估其状态。仅使用整体性能来调整所有参数无法使多个功能模块良好地协同工作。为了解决这些局限性,本文提出了模块化数据库系统的方法,并开发了一个功能感知的数据库参数自动调优系统,称为OBTune系统。OBTune采用多任务学习的思想,将数据库实例的调优任务分解为各种功能模块的调优任务。每个功能模块的参数调优任务被视作辅助任务,以帮助调整数据库整体性能。通过不同任务之间的信息共享,OBTune可以准确地找到哪个模块的参数导致性能变化,并避免调整无关的参数。在分布式数据库Ocean Base和传统数据库Postgre SQL上的实验结果表明,OBTune可以在复杂工作负载触发数据库的多个功能和优化数据库整体性能的同时,对参数进行精确调整,提升各个功能模块的性能,并且有良好的调优效果。本文的贡献总结如下。(1)设计了虚假参数实验,验证现有方法的局限性:设计了虚假参数并将其置入现有调优工具的参数调优列表中启动调优任务,观察虚假参数的调优结果。实验结果证明了现有基于黑盒自动调优方法会调整与整体数据库性能变化无关的参数。这可能将不合理的参数应用于在线数据库实例,从而引入潜在风险。(2)使用多任务高斯过程,解决调整无关参数的问题:将多任务学习映射到参数自动调优场景,应用多任务高斯过程解决调优问题。在参数自动调优场景下,经典的高斯过程有着高质量的特性,但无法处理多维输入、输出和获取多个任务间的潜在联系。多任务高斯过程是多任务学习在高斯过程背景下的拓展,利用多任务高斯过程很好的解决了调优场景存在的问题。(3)开发了功能感知的调优系统OBTune,实现数据库整体性能和各个功能模块的共同调优:提出了数据库功能的模块化方法,实现了功能感知的调优系统OBTune,并在分布式数据库Ocean Base和传统数据库Postgre SQL上进行了多组实验评估。实验结果表明,OBTune可以有针对性和准确性地调整触发功能模块的参数,相较于其他调优系统调优效果明显。本文以第三方工具的形式实现了功能感知的数据库参数自动调优系统OBTune,并通过相关实验验证了基于模块化和多任务学习的参数调优方法能够同时优化数据库整体性能和多个功能模块性能。并且不会调整与性能无关的参数,避免在数据库中引入潜在问题。同时,在分布式数据库Ocean Base和传统数据库Postgre SQL上与其他调优系统进行的多组对比实验验证了功能感知的调优系统OBTune调优效果的优越性。

摘要： Kistill is a museum artefact database that is being developed by Programm for Kvikmyndasafn Islands. Its purpose is to store information about artefacts, including their origin and collection information, along with details about the artefacts themselves. The aim of this project was to build a proof-of-concept mobile application for Kistill that supports all major capabilities of Kistill and to investigate the possibility of offering some functionality offline to support users without an internet connection.

关键词： 数据库系统   元数据管理   元模型映射   全局DDL锁   云数据仓库  

摘要： 随着企业数据量以指数级增长,新的数据业务层出不穷,传统数据仓库平台的性能和扩展能力已然无法应对目前的生产需求,云数据仓库逐渐成为企业存储和管理数据的首要选择。元数据是对数据仓库中所有数据对象、数据流程和数据处理过程的描述,对于数据仓库的稳定运行至关重要。随着云数仓的快速发展,其复杂性和异构性也随之增加,在云数据仓库的应用场景下如何保证元数据管理的高可用性、可扩展性以及数据一致性成为新挑战。本文针对云数仓场景下数据源异构、元数据存储格式不统一、查询效率低、扩展性差等问题,实现了基于Foundation DB的元数据管理系统,并设计了一种元数据管理下的元模型键值映射关系与表示规则。同时对于元数据统一管理下的全局DDL锁管理问题,提出一种基于键值数据库的外部锁管理策略。本文主要工作包括以下几个方面:1.实现基于Foundation DB的元数据管理系统:本文提出一种元数据管理系统FDML(Foundation DB Meta Layer)的方案设计,并基于Foundation DB实现了该系统。在处理大规模数据时,该系统能够有效存储和管理元数据。不同数据源统一调用本文FDML系统所提供的数据接口存取数据,这就避免了元数据分散存储在不同的数据源中所可能导致的管理复杂性增加和一致性难以保证的问题。本文FDML系统利用Foundation DB数据库的高性能、高可用和高可扩展性特点,支持对元数据的快速查询,并且提高了元数据管理的效率和可扩展性。2.提出一种元模型键值映射关系与表示的规则:本文提出一种表示元数据信息的规则,该规则将不同类型和不同结构的元数据信息转化为键值对并存储在键值数据库中。为了使元数据管理更加灵活和通用,同时降低元数据存储的冗余度并提高查询效率,该方法基于Foundation DB键值有序存储的特性,将元数据信息划分为不同的逻辑子空间。此外,本文还提出一种基于Protocol Buffer序列化与反序列化映射关系的方法,该方法可以构建类关系模型和半结构化模型的键值表示,实现了元数据信息的有效管理和查询,并且支持不同数据结构和类型之间的转换,为数据管理提供更好的支持。3.构建一种基于键值数据库的外部锁管理策略:本文构建一种键值数据库外部锁管理策略,该策略通过在每张元数据表中引入两组键值来模拟数据库外部锁请求队列,其中,这两组键值分别标识表的锁请求队列和最新版本号,并通过数据库的持久化方法实现元数据表的锁管理。为保证该策略中锁操作的原子性,该策略将获取锁和释放锁操作封装在Foundation DB事务中。相比于维护全局锁表或分布式协调器,本文所提出的基于键值数据库的锁管理策略减少了锁管理开销。同时,该策略引入全局时间戳,支持快照恢复功能,为数据管理提供更好的支持。总的来说,本文的三个工作对云数据仓库场景下的元数据管理问题进行研究,构建了一个基于Foundation DB的元数据管理系统,提升了元数据管理效率,降低了元数据管理成本,为大规模云数据仓库研究人员在处理元数据管理问题时提供了一定的参考意义。

关键词： 数据库系统  

ISBN: (纸本)9787521847918

摘要： 本书以Web of Science数据库为研究材料，运用知识图谱研究方法，依托交叉学科理论，刻画了文化旅游的宏观、中观和微观科学结构，专题构建了乡村文化旅游研究科学结构，梳理了目前文化旅游科学结构模型、乡村文化旅游科学结构模型，提出未来文化旅游科学结构的研究模型。

关键词： 数据库系统  

ISBN: (纸本)9787121459375

摘要： 本书从需求规划、需求实现到可视化展示等，遵循项目开发的主要流程，介绍了在线教育行业离线数据仓库的搭建过程。在整个数据仓库的搭建过程中，介绍了主要组件的安装部署、需求实现的具体思路、问题的解决方案等，并在其中穿插了许多大数据和数据仓库相关的理论知识，包括数据仓库的概念介绍、在线教育业务概述、数据仓库理论介绍和数据仓库建模等。

关键词： 气体敏感材料   材料数据库   敏感性   机器学习  

摘要： 得益于“大数据”时代,以及高通量制备和表征技术的发展,加速材料研发已然成为材料科学研究者关注的热点,基于大数据下的材料数据库平台更是材料基因工程发展的重点。因此,建立材料数据库平台,并利用机器学习模型对气敏材料的敏感性进行预测对于缩短新材料研发周期、高效管理并利用已有数据资源具有重要意义。气体敏感材料性能的影响条件多变,基于不同敏感机制的测试方法各不相同,尤其缺乏获得大样本气敏性能数据的高通量测试平台,造成目前气敏材料性能数据库研究处于起步阶段。本研究从课题组自主研制的气敏材料并行合成和高通量性能筛选平台获得的大样本数据量为基础,结合高通量测试和筛选试验中涉及的材料类型、工作温度、目标气体种类等可变参量,从气敏材料数据的内容与特点出发,基于灵活的实体-属性-值模式设计了数据库整体结构,构建了气体敏感材料性能数据库。主要研究内容如下:(1)数据库前台查询系统使用HTML、CSS、JS、JS render等技术,后台管理系统使用PHP框架Laravel,以My SQL为数据库,构建了气体敏感材料性能数据库系统。分为前端操作系统与后台管理系统,前端操作系统实现了对气敏数据常规属性查询和性能信息查询,后台操作系统实现了对数据和用户的管理。(2)采用Python设计程序,实现批量处理高通量测试平台生成气敏数据,自动上传与响应值的计算,简化了数据入库的繁杂过程,极大的提高了气敏材料数据收集及计算效率,目前已存有效气敏数据21.46万条,促进了气敏材料数据资源的挖掘与共享。(3)利用数据库收集到的数据集,利用随机森林(random forest)、多层感知机(Multilayer Perceptron,MLP)、XGBoost回归等模型对气敏材料敏感性进行预测,综合Score、RMSE、Time等模型判断标准,XGBoost回归模型以决定系数Score值0.863、均方根误差RMSE值26.412、Time值39.1,评价为最优气敏材料敏感性预测模型。

关键词： ANSYS资源数据库   MVVM架构   Java编程语言   Mybatis框架  

摘要： 大型有限元软件ANSYS是安全工程专业常用软件之一,用户在学习ANSYS软件时,需要参考大量学习资料,而且ANSYS软件模块众多,每个模块在建模、操作步骤、网格划分方式、后处理方法等方面都有差别。为帮助用户学习和使用ANSYS软件,以安全工程专业ANSYS用户的使用需求为设计基础,采用数据库技术,结合面向对象的编程思想,研究开发适用于安全工程专业的ANSYS资源数据库系统,为用户提供一个可查阅ANSYS软件学习资料和使用技巧的资源平台。本文主要工作内容如下:(1)以安全工程专业用户的实际需求为背景,对ANSYS资源数据库系统进行需求分析,总结用户有以下需求:查阅ANSYS软件各模块经典案例、查询材料参数、查看安全工程专业相关案例、解决ANSYS软件常见报错问题、保证数据库系统的安全性、了解ANSYS软件的相关信息、了解最新行业动态。围绕这些需求,确定了ANSYS资源数据库系统应包含满足对应需求的模块,包括:注册登录模块、案例查询模块、参数查询模块、安全专题模块、报错指南模块、软件介绍模块、行业动态模块。并对以上7个功能模块进行了详细分析。根据所确定的功能实体,以用户为中心,设计绘制了反映实体集关系的E-R图,描述了用户与已确定的功能模块之间的联系。在My SQL数据库管理系统基础上,设计了ANSYS资源数据库结构。(2)对ANSYS资源数据库系统进行概要分析,规划系统的体系结构,将系统分为前端页面、Web层、Service层、Dao层、数据库,ANSYS资源数据库系统将严格按照这五个层次结构进行开发。通过面向对象技术,确定了本系统的实体对象主要包括ANSYS软件模块对象和ANSYS资源数据库系统的功能对象这两种对象类型。分别对两种对象模型进行了分析,采用面向对象-关系映射法则,在My SQL数据库管理系统中,通过SQL语句分别构建了每个对象模型的数据表,用来存储对应实体的数据。(3)对ANSYS资源数据库系统进行详细设计,确定各模块的功能和结构,对各个功能模块进行分析,依次按照构建面向对象类、使用Java编程语言、axios网络请求库、Mybatis持久层框架,从Web层、Service层、Dao层进行功能开发,实现了系统功能的完整性,并通过类图、开发流程图等图表对开发流程加以说明,完成了系统中预定功能的开发。(4)对ANSYS资源数据库系统的人机交互页面进行开发,页面开发是基于MVVM架构,采用***框架以及HTML、CSS语言。基于网页设计原则,ANSYS资源数据库系统主页面结构分为四部分,分别为:导航栏、仿真宣传栏、行业动态信息展示栏、快速访问栏。(5)对ANSYS资源数据库系统已完成的功能,根据软件工程的测试方法进行了测试点规划和测试用例设计,对系统进行功能和性能测试,测试通过率达到了100%。从测试结果来看,ANSYS资源数据库系统的稳定性达到设计要求。

关键词： 区块链   Solidity   双数据库系统   教育资源共享   IPFS  

摘要： 随着教育信息化2.0时代的到来,作为推动教育信息化的关键环节,高校优质教育资源的共建共享构建显得尤为重要。然而当下教育资源共享平台普遍存在数据安全性低、教育资源版权保护弱、资源中心化存储等问题。伴随着区块链技术的发展和革新,区块链技术与教育教学的深度融合成为数字教育发展新方向,为教育创新生态系统的构建带来了机遇和挑战。“区块链+教育”已成为促进我国信息技术与教育教学进一步的融合、推进教育信息化2.0时代不可或缺的一部分。在此背景下,基于区块链技术的高校教育资源的共享共建对数字化教育资源服务体系的建立具有深刻意义。但是从目前相关实践研究来看“区块链+教育”发展仍存在拓展性弱、维护管理难、数据库负载重、数据读取慢等问题。基于此本文结合区块链技术特征和“区块链+教育”模式的发展现状,以省级重点项目《基于“区块链”技术的高校优质教育资源平台建设方案研究》为依托,在以太坊公链框架上引入双数据库系统,形成以传统数据库面向企业,“区块链+IPFS”数据库面向公共的双数据库高校教育资源共享系统,在保障教育资源在上传和共享过程去中心化同时,也方便企业对平台进行维护与管理。本文主要研究内容如下:(1)通过引入“区块链+IPFS”技术实现高校数字教育资源的云存储:通过智能合约,实现将数字教育资源存储IPFS,同时将IPFS返回的哈希值存储于区块链,以此来实现数字资源的确权,保障数字资源去中心化,进而加强教育资源的保护。(2)保留传统数据库作为平台功能架构的主要支撑,完成用户使用、用户管理、平台管理、资源管理、审核管理等多模块个性化功能的实现。提高系统开发的效率、方便用户的使用同时也便于将来系统的功能拓展。(3)提出双数据库系统,摒弃单独使用区块链或“区块链+IPFS”作为去中心化应用的开发模式,通过引入双数据库系统技术,将上传至平台资源存储“区块链+IPFS”,保留传统数据库作为平台功能结构的支撑,实现返回的IPFS哈希值以链接的方式备份于传统数据库。实现了链上索引,链下存储的存储模式,即减轻了企业端数据存储的压力、提高了系统读取效率,又得以实现数据永久存储。最后通过资源索引备份企业数据库的形式实现双数据库交互,保证整个系统的高拓展性和高效管理。(4)最后本文根据系统的具体实现给出相应功能测试,对智能合约部分进truffle test白盒测试和Mythril安全性测试;对系统整体进行性能分析,通过与传统数据库、“IPFS+区块链”数据库进行对比,证实“区块链+双数据库系统”既可以实现数据的高效存储也便于企业优化管理,证实系统具备可行性。