课程文献中心 更多>>

关键词： 关系型数据库系统   汉明向量相似性查询   非结构化数据   K-ANN查询   r-neighbor查询  

摘要： 随着移动互联网的高速发展,海量数据不断产生,数据类型也不断丰富,图片、文本等非结构化数据被广泛应用于生产和生活中。关系型数据库系统作为重要的系统软件被广泛应用于数据存储、处理和查询中,然而现有的关系型数据库系统大都不具备非结构化数据查询能力,因此赋予关系型数据库系统向量相似性查询的能力,从而在关系型数据库系统中高效的实现非结构化数据查询,成为重点研究问题。 现有的一些非结构化数据查询方法通常通过表示学习模型将非结构化数据转化成具有语义特征的高维度向量,然后通过向量相似性查询算法来实现非结构化数据的查询。汉明向量因存储开销小被广泛应用于非结构化数据查询领域,但是现有的汉明向量相似性查询算法并不具备持久性、高可用等实际应用中需要的重要特性,基于具备这些特性的关系型数据库系统来解决汉明向量相似性查询问题更能满足实际应用需要。因此基于现有的研究工作,本文研究解决关系型数据库系统中汉明向量相似性查询问题,并进一步解决关系型数据库系统中非结构化数据查询问题。 首先,本文提出了面向关系型数据库系统的汉明向量相似性查询框架,并在Postgre SQL数据库中基于该框架实现了汉明向量相似性查询系统HSP,解决了两类汉明向量相似性查询问题,即K-ANN查询问题以及r-neighbor查询问题。本文首先通过设计hmcode数据类型,解决了关系型数据库中汉明向量存储和处理问题,然后设计了高效的索引结构和索引查询方式,最后提出了面向关系型数据库系统的汉明向量相似性查询框架。本文进一步基于以上框架并结合关系型数据库系统特性,改进MIH算法和GPH算法在Postgre SQL数据库上实现了HSP系统。实验结果表明,在K-ANN查询问题上,相比于其他系统,HSP系统在大部分实验数据集上能够在较低查询时间开销下实现更高的召回率,同时在r-neighbor查询问题上,HSP系统也能取得较低的查询时间开销。 其次,本文进一步结合“AI+DB”的理念来解决关系型数据库系统中非结构化数据查询问题。本文提出了面向关系型数据库系统的非结构化数据查询框架,其主要包含数据存储、机器学习以及相似性查询模块,并通过表示学习模型推理与向量相似性查询结合,来解决非结构化数据查询问题。本文还基于汉明向量相似性查询系统HSP以及图片表示学习模型CSQ,在Postgre SQL数据库中构建了相似图片查询系统。实验结果体现了本文提出的面向关系型数据库系统的非结构化数据查询框架的应用价值。

关键词： 基数估计   机器学习   优化器   数据库系统   谓词选择性  

摘要： 数据库中的优化器会在多个查询计划中选择代价最低的计划执行。基数估计在底层查询计划的成本中有着不可忽视的重要性。在现代数据库系统中,大多使用谓词独立性等假设来提供基数估计值,虽然基于直方图等传统方法可以提供快速的估计,但由它们得到的估计值并不准确,这可能会诱导优化器选择次优的查询计划。基于此,本文提出了一个机器学习方案,将机器学习模型应用在基数估计问题上,以改进数据库中的基数估计不准确问题。本文首先实现了面向基数估计的工作负载生成,之后提出了一个改进型多属性基数估计模型,最后进行了与其他方法的对比实验,并给出一个基数估计模型与现代数据库进行集成的流程。具体内容如下:(1)实现了一个适用于基数估计问题的多样性工作负载。不同于按规则产生的其他工作负载,面向基数估计的工作负载抛开了谓词独立性等假设,对单表中的多列属性分别进行联合,具有广泛的分布及相关性,并符合生产使用。每一个工作负载都是由查询选择块联合构成,其中查询块由其查询中心和范围大小所控制。(2)提出了一个改进型多属性基数估计算法。该模型通过训练数据学习复杂的回归函数,将树状集成和神经网络进行迭代训练并加以结合,以改进特征提取功能以及回归能力。考虑到优化器对低延迟的要求,利用轻量级模型进行快速学习并实现高精度预测,同时以毫秒为单位生成估计值。(3)采用改进型模型与传统数据库及其他基于学习方法的模型进行对比实验和动态实验。将描述估计基数值与真实基数值之间的差距作为实验的准确性度量。除此之外还分析了My SQL数据库优化器结构并提出了一个与现代数据库集成的应用场景,以结合实际优化器进行计划选择。本文实验结果表明改进型多属性基数估计模型在相同数据集与工作负载中表现最为突出,达到了最高的精确度,且即使在较短的更新时间下也能达到较低的误差值,这为后续的应用实践提供了重要的保障。

关键词： 数据库系统  

ISBN: (纸本)9787111727170

摘要： 全书共10章：第1章和第2章介绍了ClickHouse的背景、核心特性以及环境配置方法；第3～6章详细介绍了ClickHouse的基础知识，包括基础数据类型、高级数据类型、函数、SQL基础和查询配置等内容；第7～10章是ClickHouse的具体项目实践。

关键词： 数据库系统   数据采集   软件工具   数据处理软件  

ISBN: (纸本)9787302625735

摘要： 本书介绍数据仓库与数据挖掘的基本概念和方法，包括数据预处理、数据仓库与联机分析处理、数据仓库设计与开发、回归分析、关联规则挖掘、分类、聚类、神经网络与深度学习、离群点检测以及文本和时序数据挖掘等内容。

关键词： 机器学习   查询优化   数据库管理系统   机器学习赋能数据库  

摘要： 在过去的二十年中,数据增长的速度是前所未有的。因此,存储、处理和分析数据的系统已成为人们常用且关键的系统。数据系统性能的关键在于查询优化器,它将高层次的声明性查询(例如SQL)转换为高效的执行计划。然而,查询优化是非常复杂的,存在两个关键挑战。首先,优化器使用大量手动设计的启发式方法来降低复杂性,但是启发式方法的性能不够优秀。其次,查询优化器的开发成本非常高,人工专家可能需要数月的时间编写第一个版本,并经过数年的完善。为了弥补传统优化器的缺陷,机器学习因为其强大的适应性和准确性成为了改进传统查询优化的新兴方向。因为机器学习可以从过去的查询执行日志中学习,可以用于预测新查询的最优执行计划。最近,关于机器学习赋能数据库(Machine Learning for Database,ML4DB)的研究引起了越来越多的关注,并显示了以数据驱动的方式提升传统数据库性能的优越性。其中,强化学习被应用于构建一个独立的查询优化器来生成查询计划,并展示了其在寻找有竞争力的查询计划方面的优势,而不需要传统查询优化器的帮助。然而,这些“替代传统优化器”的方法都没有被应用到实际使用中。商业数据库供应商仍然不愿意将它们纳入他们的数据库管理系统中。这是因为现有方法高估了机器学习模型的能力。机器学习模型是数据驱动的,它可以学习一个新的数据分布,部署的机器特征等,同样它也带来了冷启动,以及无法学到数据库内查询优化规则等问题。为了弥补机器学习的缺陷,以及利用当前成熟数据库多年的发展,本文提出了LEON(ML-aid Ed query Optimizatio N),一个以机器学习辅助的查询优化框架。通过利用机器学习和专家查询优化器中的基本知识来提高专家查询优化器的自我调整能力,以适应特定的部署环境。不同于前人所用的回归目标,本文提出了一个成对的排名训练目标来优化机器学习模型。为了帮助可学习优化器摆脱局部最优解同时避免性能回归,本文提出了一种基于排名和不确定性的探索策略,它可以发现有潜在价值的执行计划。此外,本文还提出了一个机器学习模型指导下的剪枝策略,以提高执行计划搜索效率,而不损害过多的性能。最后,本文在广泛的公开数据集上证明,所提出的框架可以在端到端延迟性能、训练效率和稳定性方面优于最先进的方法。

关键词： 数据库系统  

ISBN: (纸本)9787121467448

摘要： 本书介绍了利用国产达梦数据库管理系统对项目数据进行分析、设计、创建和管理。具体内容包括: 云商城数据库的环境部署、云商城数据库设计、云商城数据库的创建与管理、云商城数据库数据表的创建与管理等。

关键词： SQL语言  

ISBN: (纸本)9787302630579

摘要： 本书共12章。第1章讲解数据库的基本概念和MySQL的安装方法；第2章讲解MySQL的基本操作；第3、4章讲解数据表和数据库的设计；第5、6章讲解单表操作和多表操作；第7-9章讲解用户与权限、视图和事务；第10、11章讲解数据库编程和数据库优化；第12章讲解Linux环境下数据库的配置和部署。

关键词： 磷源基质   磷酸盐氧同位素   前处理方法   数据库系统  

摘要： 磷酸盐氧同位素(δ18OP)技术是识别流域磷来源的有效工具。本文以滏阳河邯郸段为研究对象,针对不同环境介质采集代表性磷源基质样品,优化并构建针对滏阳河不同环境介质的δ18OP前处理方法。针对目标流域采集大量磷源基质样品,采用优化的δ18OP前处理方法获得不同磷源基质δ18OP比值数据,并基于Postgre SQL数据库和React+Open Layers6构建用户界面实现流域尺度不同磷源基质δ18OP比值的存储、调用、拓展与可视化表达,有力支撑流域尺度磷源的精准溯源。本文主要结果如下: （1）采用DAX-8树脂能够有效提高磷酸盐提取液的有机质去除效果,通过对主流δ18OP前处理方法进行对比分析,明确了Blake法较Mc Lauglin法更适宜目标流域的环境基质,并据此优化并建立了针对不同环境基质的前处理方法流程,针对不同类型样品的前处理方法进行差异化处理,确保样品后续δ18OP的测定。 （2）采用优化的前处理方法测定目标流域不同环境基质的δ18OP比值。其中,沉积物为6.39‰至14.80‰;岸边带土壤为6.71‰至15.68‰;农田土壤为10.69‰至12.47‰;街尘为5.40‰至14.92‰;化肥为12.39‰至13.45‰;污水厂排水为12.86‰至15.47‰。并对其δ18OP数据集进行描述性分析以及探讨不同环境基质磷酸盐氧同位素比值差异可能的原因。 （3）构建流域基础磷源δ18OP比值数据库,核心数据管理系统采用Postgre SQL来存储磷酸盐氧同位素数据。前端使用React+Open Layers6设计用户界面和展示地理数据;后端基于Flask（Python3.7）框架,使用Py Charm作为开发工具,负责前端请求响应和数据库交互以提供功能完善、用户友好的界面进行数据的高效展示。 本研究构建流域磷酸盐氧同位素基础数据库有利于统一数据管理、推动流域磷源管理,同时为流域磷污染的追踪、评估和管理提供了一套完善的技术手段和方法体系,为今后的相关研究和实际应用提供参考。

ISBN: (纸本)9787536987593

摘要： 本书介绍了常见的生物数据库,这些数据库包括核昔酸序列数据库、基因组数据库、基因信息数据库、基因功能注释数据库、基因组突变数据库、高通量组学数据资源数据库和生物分子网络数据库。对于每个数据库,我们都提供了详细的介绍,以帮助读者更好地理解这些数据库的功能和应用。

关键词： 漏洞挖掘   数据库管理系统   模糊测试技术  

摘要： 数据库管理系统（Database Management System,DBMS）是现代软件系统的数据基础设施,为现代软件系统提供数据持久化服务,其安全性至关重要。近年来,DBMS的可靠性和安全性受到工业界和学术界越来越多的关注,研究人员广泛使用模糊测试技术验证DBMS的功能和挖掘漏洞,取得了有效的进展,证明了模糊测试技术在DBMS漏洞挖掘方面是一种行之有效的技术方案。但是传统的模糊测试技术在应用于DBMS漏洞挖掘方面存在一些问题:（1）当前手工编写初始种子的方式无法为DBMS模糊器提供足够全面的语法元素,生成的测试用例对DBMS的功能覆盖不够全面,导致代码覆盖率低;（2）测试用例生成过程对语法无感知,生成的测试用例难以通过DBMS的语法检查,导致测试用例过早地被DBMS拒绝执行;（3）测试用例生成过程对语义无感知,生成的测试用例难以通过DBMS的语义检查,导致对DBMS的深层代码测试不足;（4）以代码覆盖率为导向的灰盒模糊测试技术严重依赖源代码插桩,不适用于无源码场景。本文基于当前DBMS模糊测试技术的进展,进行以下研究:第一,针对有源码的灰盒场景,研究语法语义感知的灰盒DBMS模糊测试技术,主要包括种子挖掘技术、双重变异技术和语义修复技术。种子挖掘技术从目标DBMS的官方测试套件中挖掘初始种子供后续变异使用,以充分覆盖目标DBMS的功能模块;双重变异技术使用语句序列变异和抽象语法树变异充分变异测试用例,并保证生成的测试用例的语法正确性;语义修复技术修复生成的测试用例中存在的语义错误,以确保生成的测试用例的语义正确性。第二,针对无源码的黑盒场景,研究基于神经网络语言模型（Neural Network Language Model,NNLM）的黑盒 DBSM 模糊测试技术,该技术无需进行源代码插桩,适用于无法获取目标测试程序源代码的场景。技术要点包括构造训练集、训练模型和生成测试用例。本研究首先对语料库进行相应的预处理,构造出训练集;然后利用神经网络语言模型充分学习目标SQL语言的语法结构和语义信息,训练出语言模型;最后设计多种生成策略,利用训练好的语言模型生成语法结构正确的测试用例,并利用语义修复技术修复生成的测试用例中存在的语义错误,从而生成语法语义正确的测试用例。第三,基于灰盒场景和黑盒场景下的DBMS模糊测试技术的研究内容,研究适用于灰盒和黑盒场景的DBMS模糊测试框架,并分别实现了对应的原型系统。最后,本文对原型系统的有效性进行了评估,实验结果表明,在实验对象SQLite 3.38.0和PostgreSQL REL143上,相比于基准对象Squirrel,本文的原型系统在代码覆盖率方面分别有26%和12%的提升。另外,文本的原型系统发现了两个未被发现过的DBMS漏洞,现已申请到CNVD漏洞编号。