课程文献中心 更多>>

关键词： 工程数据库   数据建模   流程设计   船用柴油机涡轮增压器   可配置  

摘要： 《中国制造2025》把“智能制造”作为重点实施的五大工程之一,明确了提出了制造企业进行智能化提升的重要性。构建成熟可靠的工业软件是智能制造中亟待解决的关键技术之一,其中工程数据库作为工业软件的组成部分之一,对企业实现产品全生命周期的工程数据管理,为企业的设计、工艺、制造和运维等环节提供有效的数据支撑具有重要作用。论文以船用柴油机涡轮增压器产品为研究对象,针对其设计过程复杂、涉及众多工程数据的特点,研究了工程数据库的构建以及部分关键技术,从而能够将船用柴油机涡轮增压器产品在各个阶段的设计参数、设计资料、设计经验等数据进行统一管理,从而促进企业设计知识和设计过程的传承和优化,为制造企业高质量发展提供帮助。研究了企业主要产品的特点以及对工程数据库的需求并提出了工程数据库的整体思路,建立了一种包含八个层次的船用柴油机涡轮增压器工程数据库的系统总体框架,描述了各个部分的主要功能、作用和关系;结合系统的总体框架和功能模型,详细阐述了其运行模式,并建立工程数据库中数据的IDEF1x模型,为后续船用柴油机涡轮增压器工程数据库的开发打下了基础。围绕六个基础数据库和三个应用数据库,使用UML类图建立了数据库概念模型,通过一定映射规则形成XML模式的逻辑模型,最后生成SQL数据库中的物理模型。其中,采用XML模式将概念模型和物理模型进行了松耦合的处理,从而可以通过XML的配置实现概念模型和物理模型之间的匹配。提出了一种基于知识的可配置设计流程总体模型。通过该模型,建立了产品设计或者不同零件设计流程的构建方法,通过可配置的特性,利用计算节点定义、设计规则定义、参数结构定义、计算节点连接等技术快速搭建零件设计流程,并且通过设计知识库的搭建,对企业积累的设计经验进行继承和管理,与可配置的零件设计流程进行融合,将设计知识体现在设计流程中,使企业可以通过设计流程快速、高效的进行零件设计。设计并开发了一套船用柴油机涡轮增压器工程数据库系统,完成了各个组成部分的功能开发,在企业的实际设计环节进行了使用,取得了良好的应用效果。

关键词： 存储结构   自治数据库   混合负载   数据库系统   机器学习  

摘要： 在数据库系统的设计中,数据表的存储结构在理论上决定了数据访问过程的复杂度,因此对数据表存储结构的选择是由系统所面向的工作负载决定的。如对于高写入负载,基于LSM存储结构的数据库系统较传统数据库有更强的性能表现,而对于分析型负载,基于列式存储的数据库系统可以在更短时间完成大型查询。但是在混合负载中,数据表的不同水平分区上需要处理的负载不同,并且同一分区上需要处理的负载可能发生变化,这也导致了不同数据表分区下的最优存储结构在持续变化。过去使用静态存储结构或者由人工方法调整存储结构的方法不能够实现对存储结构的充分使用,因此本文提出了一个基于学习代价的存储结构自动选择系统。该系统解决了对多引擎数据库下存储引擎的选择问题,以及针对工作负载的数据布局选择问题。除此之外,本文还提出了基于机器学习的,用于跨存储引擎进行代价比较的代价模型,并提出了用于建立该代价模型的数据库性能测试流程。实验结果表明,基于学习的代价模型可以对跨存储引擎的操作性能给出较为准确的估计。在使用TPC-H公开测试集上,事务型数据分区和分析型数据分区中自动选择得到的存储结构较静态存储结构总体查询时间降低了约35%。因此在分析型负载和事务型负载对数据的访问相对分散时,本系统对查询的总体时间有较大提升,并且过程中无需人工干预。

关键词： 核安全数据   核安全云   NCloud   异构数据管理  

摘要： 核安全是核能与核技术健康持续发展的首要前提,是国家安全的重要组成部分,也是核能发展的生命线。为提升我国核安全能力和水平,针对我国核安全领域科技资源分散、长期缺乏大规模集成仿真能力等问题,中国科学院核能安全技术研究所·凤麟团队在中国科学院信息化专项项目支持下,开展核安全云平台研究,旨在为核安全研究提供大规模在线集成仿真环境。核安全数据是开展核安全大规模集成仿真的重要基础。在核安全数据的研究及应用过程中,主要存在异构数据存储困难、数据收录完备度校验困难、数据资源分散且增长迅速三个问题。核安全数据具有数据资源分散、数据类型多样的特点,如何实现异构数据的统一存储,并在此基础上针对跨学科、跨领域数据进行检索是实现核安全数据高效存储、检索与应用的关键问题;核安全异构数据类型繁多,学科领域跨度大,数据管理及应用过程中如何快速掌握数据库内已收录数据情况,分析已收录数据的覆盖范围,评估已收录数据的完备度是数据库管理人员面临的另一难题;核安全数据资源分散且资源类型和数量会随着核安全研究的不断推进而不断扩张,如何实现资源整合并保证系统的灵活扩张,提供稳定可靠的数据服务是系统设计过程中面临的主要问题。针对以上问题,本文基于核安全云平台设计并研发了核安全异构数据库系统,实现对多源异构核安全数据的统一存储并提供跨库检索服务。发展了数据完整度校验方法,实现数据资源智能化管理,同时针对不同应用场景设计了对应的系统部署方案,保证系统的拓展的灵活性和服务健壮性。本文主要研究内容包括:(1)针对核安全数据多源异构、难以统一存储、跨库检索不便的问题,开展了核安全异构数据一体化存储方案研究,解决核安全研究所需的结构化、半结构化、非结构化等异构数据的统一存储问题,实现多源异构数据的一体化存储,在此基础上开发实现数据跨库检索功能,为核安全云用户提供“一站式”数据服务。(2)针对数据覆盖面广,难以把握数据收录现状,缺乏数据收录完备度分析方法的问题,发展了数据收录完备度分析方法,实现数据收录的快速全局分析。并以核数据为分析对象,开发了核数据完备度自动化分析工具,实现了核数据的自动化入库与自动化完备度校验功能。(3)为解决数据分散的问题,采用MVVM(Model-View-ViewModel,模型-视图-视图模型)模式设计了核安全异构数据库系统,并实现原型系统开发,提供一体化数据服务。同时为解决数据类型、资源总量增长迅速问题,系统设计阶段针对不同应用阶段设计了多场景负载均衡方案,保障系统扩张的灵活性,提高数据服务的稳定性。通过部署测试,验证了本文设计的核安全异构数据库系统中多源异构数据存储及检索方案的有效性,收录整理了核数据、材料数据、部件模型、法律法规等多学科、多领域的核安全异构数据,并提供跨库检索服务,为核安全云应用及平台用户提供多领域一站式数据服务。

关键词： 民航气象数据库系统   资料归档   数据泵   故障处理  

摘要： 本文主要介绍一起民航气象数据库系统气象资料不归档故障事例,根据此故障事例采取了针对性措施,以便提供参考.

关键词： Computer science   Operations research   Graph databases   Artificial intelligence   Graph theory--Data processing  

摘要： This thesis describes the development of the SmartGraph, an AI enabled graph database. The need for such a system has been independently recognized in the isolated fields of graph databases, graph computing, and computational graph deep learning systems, such as TensorFlow. Though prior works have investigated some relationships between these fields, we believe that the SmartGraph is the first system designed from conception to incorporate the most significant and useful characteristics of each. Examples include the ability to store graph structured data, run analytics natively on this data, and run gradient descent algorithms. It is the synergistic aspects of combining these fields that provide the most novel results presented in this dissertation. Key among them is how the notion of “graph querying” as used in graph databases can be used to solve a problem that has plagued deep learning systems since their inception; rather than attempting to embed graph structured datasets into restrictive vector spaces, we instead allow the deep learning functionality of the system to natively perform graph querying in memory during optimization as a way of interpreting (and learning) the graph. This results in a concept of natural and interpretable processing of graph structured data. Graph computing systems have traditionally used distributed computing across multiple compute nodes (e.g. separate machines connected via Ethernet or internet) to deal with large-scale datasets whilst working sequentially on problems over entire datasets. In this dissertation, we outline a distributed graph computing methodology that facilitates all the above capabilities (even in an environment consisting of a single physical machine) while allowing for a workflow more typical of a graph database than a graph computing system; massive concurrent access allowing for arbitrarily asynchronous execution of queries and analytics across the entire system. Further, we demonstrate how this methodology is

关键词： 近数据处理   数据库   远程过程调用   存储引擎   查询优化  

摘要： 为了应对数据爆发式增长带来的数据等待问题,数据中心迫切需要提高数据处理能力。其中海量数据从存储设备向主机进行数据传输是大规模数据处理的瓶颈之一,近年来得到大量关注。近数据处理提出了将计算下移到离存储更近位置的方式来解决数据传输等待问题。作为数据处理和存储最频繁的应用,数据库是进行近数据处理研究的良好载体。为应对数据等待的挑战,以近数据处理为框架,利用新型存储设备计算能力、高带宽、低延迟的特性,进行数据库优化成为热点。本文通过设计远程过程调用(Remote Procedure Call,RPC),实现了数据库系统存储引擎的分离,并提出了近数据处理框架下的数据库优化方法。从性能、功耗和可靠性上解决了大规模数据传输带来计算资源的损耗问题。本文的具体研究内容如下:(1)近数据处理框架是实现数据密集型计算向存储节点转移,减少频繁数据传输带来系统损耗的关键。为保证数据库能够支持近数据处理的模式,需要选择合理的通信协议使主机与存储器之间的计算任务能够协同运行。由此,提出了基于RPC通信的数据库协同处理方法。通过分离数据库的存储引擎,使之独立运行在存储设备系统中,从而能支持数据密集型计算的下移。理论分析和实验表明,待处理数据达到一定规模时,近数据处理极大地减少了数据传输损耗,能有效提高数据库系统处理数据的性能。(2)为进一步提高近数据处理框架下的数据库处理性能,提出了一种数据密集型算子优化方法。其基本思路是将数据密集型计算相关的算子分离后选择性地下移。算子选择和分离能减少数据逆向传输,缓解存储器的计算压力。在此基础上,结合存储引擎分离模式提出数据库算子下移处理方法。通过实验分析证明,该方案能避免不必要的计算下移。通过减少算子调用过程中的数据传输,从而整体上提高数据库系统的计算性能。(3)在对数据密集型算子下移的过程中,传统查询执行器只能根据代价或者经验规则的方式下移相关算子,并不能判断是否采用了近数据处理模式,也不能客观地评估算子是否适合下移。有鉴于此,提出了基于抽样代价估算的近数据处理查询优化方案。在查询引擎生成查询计划之前,采用主机端抽样获取查询操作的过滤效果。再通过代价估算的方式,对采用数据密集型算子下移的查询计划与原有查询计划进行比较,选择性地执行近数据处理方案。实验结果表明,本方案在原有方案的基础上,能够有效选择合适的查询计划,提高数据库系统查询处理效率。

关键词： 数据库管理系统   海员管理   系统建模   敏捷开发  

摘要： 政务信息化对于提高政府部门的工作效率,有效利用业务处理过程中的大量信息,降低整个过程的运营成本,提供更好、更快捷、更优质的服务,具有重要意义.本文面向缅甸海事部门的海员证件及记录等业务管理,进行了系统的分析、设计与开发。通过科学化的管理方法和技术实现,以有效管理部门信息和海员证件记录管理,使海员及政府部门用户通过本系统进行协同工作,申请、审批、签发等业务实现集成化操作,减轻工作的繁杂程度。本文首先构建了一个海员证件和证书数据库系统,该系统为管理人员提供了登录到应用程序并注册证件的方法,以一种简便的方式颁发证书,存储和记录证件。海员数据库系统将允许登录名登录缅甸海员证书,批准注册,查看证书,签发证书,编辑,更新海员的详细记录并注销系统。本系统旨在简化线下业务办理过程,为用户提供更好的服务,同时,提供一致且及时的信息传递,并最终将纸质处理过程转化为电子表格形式。本系统采用的数据库系统是Microsoft SQL,针对海员证件和证书管理过程,进行了详细的数据库设计。

关键词： 实训类课程   超星学习通   数据库系统设计   混合式教学  

摘要： 传统教学手段在信息技术实训类课程的教学中存在诸多不足。本文构建基于超星学习通平台的线上线下相结合的混合式教学模式,并将其运用到"数据库系统设计"的实践教学中。

关键词： 数据库系统  

ISBN: (纸本)9787111644323

摘要： 本书是一本关于Apache Hive调优的书籍, 旨在介绍如何进行Hive的调优, 以及调优时如果使用的工具。本书在最开始会介绍Hive优化多面性, 以及如何在众多的调优技巧中寻找一条调优的思路。接着介绍Hive安装, 为了方便读者的练习, 我们主要介绍Docker安装Hive的方式和使用cloudera提供工具Hive的方式。介绍完安装Hive方式, 我们会继续介绍Hive在优化时涉及的Hadoop组件和Hive工具。最后会介绍如何监控Hive在运行时出现性能问题。

关键词： Blockchain  

摘要： The software and hardware applications are clearly on the way of becoming an integral tool of business, communication and popular culture in many parts of the world. People are interacting with the environment via the Internet to perform physical activities remotely. These applications are hosted in the public or private servers under the control of the server admin. The users' online usage data can be stored in public or private cloud platforms, used for processing and monitoring users' online behaviour and emotional factors and shared with third parties to facilitate making their business decisions. When users allow their data to be collected via software applications and mobile devices, users need to have some level of trust and control over their data. But, software applications or mobile devices connected to the cloud server using client-server architecture does not ensure the reliability, security and integrity among their data. To get over these kinds of limitations, we propose a database management system using blockchain technology that can be used by any software applications. The blockchain database connected to the cloud server can be used to increase the trustfulness of the application. Blockchain has the capability to provide decentralization, immutability and owner-controlled digital assets among software applications. Since users can save their data in a shared transaction repository with tamper-resistant records, it enables related parties to access and control users' data without the need for a central control system.