关键词： 航天工程   大数据   分布式存储   数据挖掘  

摘要： 针对传统数据组织管理方式难以满足后续大数据处理要求的问题,提出一种面向海量任务数据处理的通用型技术架构,围绕任务系统实际需求开展数据采集、数据预处理、数据存储、数据查询和数据挖掘等关键技术研究,并以开源组件、中间件和第三方组件的方式实现原型系统。分别构建单目标多测站、多目标多测站等任务场景,对系统数据采集效率、入库效率、查询能力进行用例测试验证,指标均优于传统任务系统,且满足任务使用需求;使用天宫一号数据对系统数据挖掘功能进行决策树和回归分析验证,系统目标评估指标的准确率、覆盖率都达到了100%。研究结果可为面向航天工程任务数据的组织管理、知识挖掘以及智能决策等问题提供参考。

关键词： 大数据   数据处理   数据挖掘  

摘要： 随着移动互联网、无线传感网等技术的的发展,新兴应用不断涌现,数据成爆炸式增长。大数据成为重要的生产要素,蕴含着巨大的知识价值。本文介绍了了大数据的定义和面临的技术挑战,归纳了大数据集成与预处理技术、数据分析与挖掘技术、数据展现技术,最后总结了大数据的发展趋势,为大数据的研究提供有益参考。

关键词： 时空大数据   高性能软硬件   并行空间分析   数据挖掘   进展及趋势  

摘要： 随着互联网、物联网和云计算的高速发展,与时间、空间相关的数据呈现出"爆炸式"增长的趋势,时空大数据时代已经来临。时空大数据除具备大数据典型的"4V"特性外,还具备丰富的语义特征和时空动态关联特性,已经成为地理学者分析自然地理环境、感知人类社会活动规律的重要资源。然而在具体研究应用中,传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、智能挖掘的性能需求。因此,时空大数据与高性能计算/云计算融合是必然的发展趋势。在此背景下,本文首先从大数据的起源出发,回顾了大数据概念的发展历程,以及时空大数据的特有特征;然后分析了时空大数据研究应用产生的性能需求,总结了底层平台软硬件的发展现状;进而重点从时空大数据的存储管理、时空分析和领域挖掘3个角度对并行化现状进行了总结,阐述了其中存在的问题;最后指出了时空大数据研究发展趋势。

关键词： 聚类方法   数据处理算法   划分聚类   质心位置   数据分类   联网技术   数据挖掘   常用方法  

摘要： 目前,随着物联网技术的发展,对大数据进行高效的数据挖掘有着重要的意义,其中聚类是一个数据分析的常用方法,能够在缺少先验信息的情况下分析数据的分类[1].常用的聚类方法分为层次聚类和划分聚类,本文采用的是后者.划分聚类首先要确定自然簇的质心位置,再根据质心进行数据的分类划分.本文在划分聚类的基础上进行了改进,主要分为4个步骤：抽样、确定自然簇质心的初始位置、初始位置更新和数据分类划分.以下进行详细说明.

关键词： 数学模型   环境监测   数据挖掘   数据处理  

摘要： 传统的环境数据挖掘方法,能够实现对环境监测数据的进一步分析整理,由于数据命中率不高,造成数据挖掘层级较低,为此提出基于数学模型的环境监测数据挖掘方法。对环境监测数据进行多次数据筛选与处理,结合Richard Henderson数学挖掘理论,对检测数据进行拟合与离散检测;依托计算机计算优势,实现监测数据挖掘计算以及参数权重最优值挖掘计算,完成基于数学模型的环境监测数据挖掘方法研究。总结提出的数据挖掘方法比传统的环境数据挖掘方法命中率提升50. 7%,且具备高层级数据挖掘能力。

关键词： Apriori   飞参   关联分析   故障  

摘要： 针对飞参数据信息量大,单一趋势分析技术不能很好处理相关参数间关联问题,将基于Apriori算法的数据挖掘技术用于某型发动机飞参数据进行关联分析。在对典型故障原因进行分类基础上,形成布尔矩阵,经过兴趣度筛选,去掉不符合某型发动机使用需求的关联规则,找出5种典型故障因素之间的关联规则,并确定了各种发动机反常数值之间的因果关系,为某型发动机的故障分析和使用保障提供理论支持。

关键词： 电子病历   数据挖掘   信息技术  

摘要： 本文针对电子病历数据中存在的数据结构复杂、数据冗余性、数据不完整性、数据不一致性等特点,采取数据抽取、数据清理、数据集成和数据转换等方法对这些数据进行了处理,旨在提取电子病历数据库中有价值的信息并挖掘隐含在其中的医学诊断规则和模式,从而为疾病的诊断和治疗提供科学的、准确的辅助决策。

关键词： 数据挖掘   Map/Reduce   Apriori算法   水利普查  

摘要： 将传统的关联规则Apriori算法部署到云平台,数据挖掘的效率有很大的提升,但数据类型复杂程度和数据量的不断增加,Apriori算法需频繁扫描事务数据库,产生的频繁项明显增多,耗费大量的系统I/O、内存资源。提出一种基于Map/Reduce编程模型的并行HD-Apriori算法。该算法通过采用0-1矩阵从而达到简化计算并有效减少扫描数据库次数,实现Apriori算法的并行化。实验证明,HD-Apriori算法的挖掘效率优于Apriori算法,且数据规模越大,效果愈显著。

关键词： 商业信息  

ISBN: (纸本)9787302497660

摘要： 本书采用SAS公司的统计软件包JMP Pro进行实践性应用，使用实际案例来构建关键数据挖掘方法（尤其是分类和预测的预测模型）的理论及其实践理解。书中所讨论的主题包括数据可视化、降维、聚类、线性和逻辑回归、分类和回归树、判别分析、朴素贝叶斯、人工神经网络、增量模型、集成算法以及时间序列预测等。