课程文献中心 更多>>

关键词： 机器学习   内存估计   开销预测   数据库管理系统  

摘要： 如今大数据普及全球,应用广泛。数据库为大数据的存储和管理提供了平台,让海量数据的处理和分析成为可能。资源管控是数据库系统中的一个关键问题。其中,大数据应用和实时处理系统对内存管控的需求尤为突出。在现有的数据库管理系统中,为了实现内存资源的有效管控,一般都依赖于查询优化器对每条查询的内存估计。但复杂的异构查询工作负载、算子的资源消耗模式、执行计划的并行度和当前资源的统计信息,都给数据库系统中的内存预测带来了挑战。 传统数据库在估计内存需求时通常采取基于启发式规则和统计信息的方法。这些方法往往难以实现准确的内存估计。因为它们十分依赖于基数估计和经验规则。基数估计由于数据的不均匀分布往往是不准确的,而经验规则也不会适用于所有查询。为了解决传统方法的弊端,近来越来越多的研究提出使用机器学习方法来实现准确的内存估计。与传统方法不同的是,这些基于机器学习的方法利用大量的历史执行数据和复杂的模型来学习内存需求的预测规律,通过分析挖掘数据之间的相关性和模式,实现更准确的内存估计。而且还能够根据不同的查询特征和工作负载的变化,自动调整模型参数以及内存需求的预测结果。虽然机器学习方法可以解决传统方法的缺点,但也存在几个基本缺陷。首先,内存预测受到多种因素的影响,传统的机器学习方法无法有效捕捉这些因素之间的复杂关系,导致准确度不足。其次,它们缺乏对机器学习模型决策过程的解释和理解,导致无法准确评估模型的健壮性和稳定性。最后,在真实系统中部署机器学习模型仍然是一个尚未解决的挑战。 为了解决上述问题,本文提出了一种基于机器学习的内存估计方法。首先,本文对查询计划树中的阻塞算子进行了详尽的编码,通过特殊的树卷积层的计算,使得模型能够更有效捕捉到数据之间的复杂特征关系,从而提高内存预测的准确性。其次,本文的方法注重模型的安全性和可解释性,通过采用贝叶斯神经网络对数据进行学习,提供对内存预测值的置信度评估,保证模型在内存预测时的准确性和可靠性。最后,将本文的模型部署在了真实的数据库open Gauss上,并进行了一系列实验。实验结果表明,本文的方法不仅能够实现准确的内存估计,还将性能融入到端到端吞吐量的提升中。通过在实际系统中的实验,验证了本文内存估计模型的有效性和实用性,为内存优化和性能提升提供了有力支持。

关键词： 数据库系统  

ISBN: (纸本)9787115631824

摘要： 本书对数据库系统的概念、原理、技术和方法进行系统、全面的阐述。本书共14章，内容括数据库概述、关系数据库、关系数据库标准语言SQL、关系数据库编程、关系数据库和护、关系数据库的规范化理论、关系数据库设计、NoSQL数据库、分布式数据库HBase、文档数据库MongoDB、键值数据库Redis、云数据库、数据仓库和数据湖、SQL与大数据。本书在关系数据库标准语言SQL、关系数据库编程、关系数据库和护、分布式数据库HBase、键值数据库Redis等重要内容中安排了丰富的实践 作，以帮助读者更好地学和掌握数据库技术。

关键词： 数据库系统   查询编译   查询优化   多级中间表示形式  

摘要： 随着数据规模的爆炸式增长,传统数据库系统的查询优化架构面临着日益严峻的挑战。一方面,随着查询数据量的剧增,数据库系统对查询优化提出了更高的性能要求;另一方面,随着数据处理需求的日益复杂,查询优化的有效性和扩展性也受到了更大的挑战。在这样的背景下,伴随着中间表示形式(Intermediate Representation,IR)在编译优化领域取得长足发展与研究突破,围绕中间表示形式重新构建查询优化框架逐渐成为数据库理论研究的主流范式。中间表示形式不仅具有内在的高可扩展性,而且可以给查询优化设计带来极大的灵活度。而随着多级中间表示形式(Multi-Level Intermediate Representation,MLIR)的产生与发展研究,基于MLIR构建数据库查询优化系统为数据库查询优化注入了新的活力与可能性。本文提出了一种全新的基于MLIR的查询优化框架,旨在提供高效、高可扩展的查询优化实现,并且实现对高级SQL语义的编译支持与有效优化。本文的主要工作如下: ·设计并构建了一套完整的面向数据库高级SQL语义支持的方言系统,统一了传统关系算子与复杂SQL语义的优化过程。该方言体系在语法结构和操作符设计方面充分考虑了数据库查询的特性。它不仅能够准确映射SQL语法,为数据库操作提供了更加灵活和有效的中间表示,而且还能够有效地转义和优化高级SQL语义。 ·利用MLIR构建了一套全新的渐进式分层查询优化框架,充分发挥了MLIR的灵活性和多层次表示在数据库查询优化中的作用。通过合理设计方言下降系统和优化通路系统,我们实现了不同粒度的查询优化,包括谓词下推、连接引入和多表连接顺序优化等,为数据库系统提供了高效的查询执行计划生成方法。 ·在数据库基准测试上进行了的一系列性能测试实验,结果显示,本文全新的查询优化架构相较于传统数据库DuckDB,可实现平均性能加速比为4.9倍(TPC-H)与 2.5 倍(TPC-DS)。

关键词： 数据库   肺结核   胸外科   信息共享  

摘要： 目的 建立肺结核外科数据库系统,实现病例数据结构化、海量存储,促进与专科联盟医院数据共享与科研合作。方法 主要使用CouchBase为数据存储库,回顾性采集成都市公共卫生临床医疗中心2017年1月—2023年6月胸外科门诊、住院确诊和临床诊断肺结核及结核性脓胸患者的临床数据。基于数据库管理系统搜集放射科信息系统、医院信息管理系统、影像归档和通信系统、实验室信息管理系统等各系统数据,通过人工智能结构化病例数据融合微信患者用户端形成数据库系统。各医院数据经前置机外网数据传输,实现与专科联盟医院临床数据共享。结果 最终纳入124例患者,男86例、女38例,年龄43(26,56)岁。初步建立了肺结核外科数据库系统,包含门诊、住院与随访信息的结构化数据;其中随访界面可查看待随访、逾期未随访患者。所有结构化数据可以Excel文件导出,用于数据统计与分析;能满足不同课题需求,可将存储数据自动导入各种病例报告表对应条目。结论 肺结核外科数据库系统实现了病例数据的结构化存储,加快了科研产出效率,促进了与专科联盟医院数据共享与科研合作。

关键词： OBE   数据库系统原理   教学改革  

摘要： 通过分析数据库系统原理课程实际教学中存在的问题,提出将OBE理念融入课程教学改革中,从教学内容、教学手段、教学评价几方面优化课程体系,深化教学改革。目的是促进专业人才培养目标的达成以及综合能力的提升。

关键词： 数据管理平台   CFD   验证与确认   标模   可视化  

摘要： 为了满足CFD软件验证与确认的需要,针对当前搜集的各类标模,分析其中各类算例及算例包含的有效数据特征,提出一种基于ASAM-ODS(Open Data Service)的算例数据模型及覆盖完整算例数据的数据管理解决方案。采用自主可控国产关系型数据库,利用跨平台编程技术,搭建验证与确认数据库平台体系框架。实现基于模型的算例数据完整管理、基于不确定度分析的试验数据和仿真计算数据的比对、以及算例数据可视化在线展示等主要功能,最终完成了验证与确认数据库系统建设工作。为验证与确认体系的CFD软件自动化测试平台和可信度评价平台提供有效的数据支撑。

关键词： 数据库管理系统   微课   应用实践  

摘要： 数据库管理系统是是一门实践性较强的课程,由于数据库管理系统教学过程中存在的一系列问题导致学生学习缺乏积极性与主动性,严重影响了课程的教学效果。而微课教学作为当下一种新兴的教学方法,解决了数据库管理系统教学过程中的许多问题。文章将微课应用于《数据库管理系统》课程教学中,归纳整理了数据库管理系统微课知识点框架体系,并以知识点“数据库的创建”为例进行了微课程教学设计、教学课件及脚本的设计,更好地促进数据库管理系统微课的建设与应用实践。