关键词： 数据处理  

ISBN: (纸本)9787502467807

摘要： 本书针对大数据的海量性、高维性、异构性、动态性、多样性、多源性、多尺度性、时空性和模糊性等特征, 对数据挖掘技术中的聚类分析和关联规则分析进行系统的研究 ; 研究与开发了基于密度和自适应密度可达聚类算法、动态增量聚类算法、并行聚类算法等。

关键词： 云计算   大数据   数据挖掘   数据处理   存储  

摘要： 近年来,随着网络的发展和新兴技术的出现,尤其是物联网技术的推广,大数据成为眼下最流行的技术,这必然会给目前的数据库和信息处理技术带来新的挑战,旧的数据处理、数据挖掘技术已经很难满足要求,必然要求数据处理技术进行新的革命性的变革。近年来,云计算技术也在不断的发展,二者的结合会给信息处理带来很多新的挑战和机遇。

关键词： 地质灾害   监测数据   大数据   云技术   物联网   数据挖掘  

摘要： 随着地质灾害信息化管理的快速发展以及云技术、物联网、移动互联网技术的广泛应用,极大地推动了地质灾害无线自动化监测技术的进步,随着这一技术的成熟,地质灾害监测数据量突飞猛涨、数据类型也越来越复杂。本文结合具体科研项目,在总结地质灾害无线自动化监测流程和监测数据特征的基础之上,针对地质灾害海量监测数据对存储、检索方面的新要求,在硬件、软件方面进行了相应的优化工作,并开发了地质灾害监测数据自动入库系统,解决了多源监测数据集成的难题,同时基于数据挖掘技术,构建了地质灾害监测数据调试系统,充分挖掘大数据的隐藏价值,最终开发了地质灾害监测数据展示平台。

关键词： 海量数据   数据分析处理   数据挖掘算法  

摘要： 信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战.数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法.

关键词： 大数据   数据处理   数据挖掘  

摘要： 主要从大数据的概念着手,对比分析了国内外大数据研究和应用现状,重点分析比较当前大数据主流处理工具的优缺点,并深入归纳总结了基于数据存储的大数据处理技术、基于数据挖掘的大数据处理技术、基于查询的大数据处理技术的优缺点和适用场景。最后,在前面比较和分析的基础上给出了大数据研究和发展的方向,为大数据的研究提供有益参考。

关键词： 图书馆大数据   数据挖掘   数据处理   知识服务  

摘要： 图书馆变革的关键在于技术支撑下的理念革新,大数据的备受关注除了让人们认识到数据本身的意义外,更重要的是提供了一个新的思维方式,即发现数据、从数据的视角分析资源和挖掘数据新价值的大数据理念。图书馆在长期的数字化工作中已经积累并源源不断产生着大量数据,包括馆藏知识数据、书目数据、用户数据、工作数据,对它们的开发利用不仅能促进图书馆知识服务等新理念的实现,而且能在大数据研究和图书馆工作创新中发挥重要作用。

关键词： 大数据   数据挖掘   空气质量   函数型  

摘要： 大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据的具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。

关键词： 数据挖掘技术   财务风险   潜在信息   数据处理  

摘要： 数据挖掘技术是上世纪八十年代末提出的新课题，面对日益海量的日常数据，分析数据、处理数据成为我们寻找数据隐藏规律的重要手段，数据挖掘技术可以从公司看似平常的数据中发现隐藏的信息和潜在的风险，从而对财务风险的分析和对策的研究产生积极的效果，提高公司处理风险的能力，一定层次上规避风险，稳健经营。

关键词： 数据挖掘   网络学习   教学评价   指标体系   数据处理  

摘要： 目前,越来越多的人利用网络课程进行学习,但因为网络学习中缺少对教师教学的有效评价,教师在网络学习中主动性不够,作用发挥不明显。为充分调动教师利用网络课程教学的积极性,从构建网络学习中教师教学评价指标体系入手,利用数据挖掘技术,通过对网络日志和后台数据库进行数据挖掘,获取评价原始数据,并对数据进行处理,得到教师网络教学评价等级,从而实现网络学习中教师教学评价的自动化、智能化。

关键词： 数据挖掘   光谱巡天   模板库构建   特殊天体搜寻  

摘要： 天文是一门高度依赖于观测的科学，而随着观测仪器设备以及数据收集能力的大幅度提高，大量的巡天项目会产生海量的巡天数据。如何对这些海量的数据进行有效的处理与分析，是天文学研究中一个重要的研究内容。本文利用数据挖掘方法来解决LAMOST巡天数据处理与分析中的实际问题，主要工作有:\n 1.总结数据挖掘方法在巡天数据中的相关应用。\n 受观测设备及观测条件的限制，传统的天文学及天体物理学研究基本都是基于小样本数据开展的。而随着望远镜观测设备及观测能力的不断提高，越来越多的望远镜及观测设备投入到巡天观测中。随着这些巡天项目的不断进行，越来越多的数据积攒下来。同时随着多波段巡天项目的相继开展，巡天数据也变的越来越复杂。如何对如此海量的复杂数据进行有效的处理和分析，是天文学和相关科学领域面临的一个亟需解决的问题。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析数据，做出归纳性的推理，从中挖掘出潜在的模式。结合相关背景知识，数据挖掘方法已经被大量应用于对海量巡天数据的处理与分析中去。本文在简单介绍不同类型的巡天项目基础上，系统总结了数据挖掘方法在巡天数据处理及分析中的应用。\n 2.重构LAMOST光谱分析软件中的恒星分类模板库。\n LAMOST光谱分析软件的主要目的是对LAMOST巡天中观测到的光谱进行分类和物理参数测量。通过和模板光谱进行匹配，观测到的恒星光谱会被分成不同的子类。因此，恒星分类的性能很大程度上依赖于模板光谱的质量。本文工作中构建出来一个新的LAMOST恒星分类模板库，用以提高当前LAMOST恒星的分类精度与可靠性。约100万条恒星从LAMOST DR1数据筛选出来来构建新的恒星模板。这些光谱按照两个不同的判据分成了233个分组，每个分组按照以下三个步骤来构建模板:1）首先利用局部孤立性概率算法(Local Outlier Probability，简写LoOP)来去掉离群数据，然后对所有剩余光谱进行主成分分析（Principle Component Analysis，简写PCA）。2）所有的观测光谱均利用前面得到的前几个主成分进行重构;3）每个分组中，所有剩余光谱通过加权平均得到一条模板光谱。按照这三个步骤，成功构建出216条模板光谱。通过人眼检查这些模板光谱，去掉了其中的29条低质量光谱。然后，通过人眼检查和三个恒星模板库的匹配结果对剩余的187条模板光谱进行类型标记。同时在这个过程中，去掉了10条难以分类的模板光谱。最终，通过和现有模板库进行融合，得到了一个包含183条模板光谱（61个不同的子类型）的恒星分类模板库。将该光谱库应用到LAMOST实际光谱的分析中，结果表明新模板大大的提高了恒星分类精度。\n 3.搜寻特殊、稀少及未知天体光谱。\n 大规模光谱巡天将产生海量的光谱数据，为搜寻一些奇异甚至于未知类型的光谱提供了机会。本文提出了一种新的离群数据挖掘方法:蒙特卡罗局部孤立性因子（Monte Carlo Local Outlier Factor，简写MCLOF）。该方法可用于在海量的光谱巡天数据集中搜寻异常及稀少的光谱。MCLOF方法通过给每一条光谱标记一个数值（离群因子）来作为异常及稀少光谱的标记，进而快速、自动并有效的挖掘其中的离群数据。局部孤立性因子（Local Outlier Factor，简写LOF）表明了一条光谱相对于其它光谱异常和稀少的程度。蒙托卡罗方法通过每次迭代中随机选取一个子样本，然后综合每次迭代的结果计算全局的局部孤立性因子。将本文提出的方法应用于SDSS DR8中接近65万条恒星光谱中，按照信噪比大于3、离群因子大于0.85的标准共筛选出37033条离群数据。离群数据中包括发射线恒星、双星、碳星及连续谱异常的恒星等。结果表明本文方法可以有效的从海量巡天光谱数据中发现这些异常的恒星光谱。此外，一些相对稀少而且有趣的光谱也被挖掘出来，这表明该方法同样可以适用于发现一些稀少甚至于未知类型的光谱。该方法不仅只适用于光谱巡天数据，同样也适用于其他类型巡天的数据中。