关键词： 数据挖掘   决策树   分类技术   数据处理  

摘要： 随着计算机技术与信息化技术的发展，信息化与现代化在社会各行各业都得到了极大的普及与覆盖，而这些信息化的普及给各行各业带了一个最大的问题就是数据呈指数级增长。为了充分利用这些数据，数据挖掘技术随之迅速发展。分类技术是数据挖掘的一种重要手段，也得到了广泛的发展。\n 决策树分类技术是分类技术的一个重要的分支，本文主要对决策树分类技术进行了深入的研究，详细介绍了决策树分类技术的一些关键概念、决策树的处理过程、决策树技术主要的研究内容等。决策树主要的研究内容包括：数据预处理技术、分割属性的选取策略、决策树的剪枝、决策树的并行化和增量式决策树。其中，属性的选取标准是决策树最关键的研究内容，不同的决策树之间最大的区别就是属性选取标准的区别。\n 本文还详细的介绍了CART这一决策树算法，包括其属性选取的标准、两种不同类型的属性（离散型属性和连续型属性）的不同处理方式以及其剪枝算法等，然后以示例的方式详细地描述了 CART算法的“建树”和“剪枝”两个重要的处理流程。\n 本文还对Spark分布式处理框架进行了研究，详细的介绍了Spark分布式处理框架的特点以及其与Hadoop分布式处理框架的不同之处。本文还列举了Spark在国内外大公司的成功使用案例。\n 本文还分析了CART决策树算法的不足之处，并以此提出了自己的改进，包括对CART算法的并行化改进以及减少不必要计算量的改进；同时，我们还结合Spark这一种新兴的分布式处理框架来对我们CART算法进行了另一种的并行化改进。\n 最后，本文还介绍了我们搭建的Spark集群环境，并且也描述了我们的实验过程与实验步骤，然后我们再通过实验来验证我们对 CART算法改进的有效性，实验证明我们的改进能够有效的提高CART算法的计算效率。

关键词： 电子表格系统   Excel  

ISBN: (纸本)9787561560129

摘要： 本书共分三篇，内容包括：大数据与数据挖掘；数据挖掘运用理论及技术；安装与配置Excel 2013数据挖掘加载项；Excel 2013数据挖掘入门等。

关键词： 土壤属性   数据挖掘   数据处理   聚类分析   灰色关联分析   大数据  

摘要： 传统土壤属性数据处理一般是以具体应用为导向,对单一行业及小规模数据进行处理,忽略数据本身的数学特征,存在数据处理过程繁琐、分析受专业限制、数据跨行业不共享等问题。数据挖掘技术则是基于数据本身数学特征,忽略数据本身的专业意义去探索、发现其内在价值的数据处理技术。本研究系统性地引入数据挖掘技术处理土壤属性数据,并将其处理方法与传统的土壤学方法进行比对以探索其关联性,可为传统土壤数据处理打通一条进行大规模数据处理、跨行业数据共享通道,为土壤学数据处理方法的改进及与大数据时代接轨提供理论依据。本研究的研究目标主要是通过对基于数据挖掘技术与基于传统土壤学数据处理方法的比对,探索两种方法所存在的关联关系。以广东省74个县市区176种土壤剖面样本为数据来源,开展数据挖掘技术在土壤属性数据处理方面应用研究,并得出以下研究结果:(1)构建了基于数据挖掘算法的土壤属性数据分析与处理模型,包括聚类法、ID3决策树法、灰色关联系数法、数据挖掘可视化展示工具法等。利用数据挖掘技术对土壤属性元数据进行清洗、整理、转换,将部分重复数据、空数据、明显不合理偏离值脏数据进行删除或修正处理,最终确定797条最终数据作为本次研究对象。通过研究发现了基于土壤属性本身天然数据特征的数据挖掘分类方法与基于土壤学学科传统分类(评价)方法的土壤属性数据分类结果之间存在紧密的关联关系。(2)基于土壤学方法的土纲分类与基于土壤属性数据本身数据特征的数据挖掘方法分类存在紧密关联关系。在粗略或非专业分类以及跨行业大数据应用领域可考虑应用基于数据特征的土纲分类作为土壤类别分类依据参考,以方便利用数据挖掘技术领域成果对海量土壤属性数据进行非土壤专业领域的分析处理。(3)利用数据挖掘方法对原综合指数法进行了模型修改和验证。根据在广东省各地市采集的土壤属性数据对广东省各地水稻土进行了粗略等级分类及评价。在评价过程中发现原评价方法的不足,运用数据挖掘方法提出新的综合指数法。分类评价方法为综合指数评分法,结果为:一等占6.78%,二等37.14%,三等55.96%,四等为0.13%。(4)利用数据挖掘技术的ID3算法对影响土壤评价传统各因子进行分析,构建了最大影响因子寻找模型。按影响因子大小排序:有机质含量>全氮>速效磷>碱解氮>速效钾>pH值。通过该方法,可快速地得出对土壤质量影响的影响因素排序并可计算出其量化指标,并根据量化指标计算出了用于土壤质量评价的评价因子权重。(5)构建和研究了土壤属性数据关联分析模型。用灰色关联方法对所采样土壤属性数据进行了关联分析,并根据关联因子计算结果进行关联度排序。计算出了17种土壤属性数据分别与土壤有机质含量的关联系数,排序结果为:全氮、全磷、全钾、碱解氮、有效磷、速效钾、阳离子交换、交换性钾、交换性钠、交换性钙、交换性镁、交换性盐基、盐基饱和度、全铁、游离铁、非晶铁、铁游离度。(6)利用数据挖掘工具tableau可视化展示技术,分别用条形图、线形图、饼图、散点图、盒须图等对土壤数据分析结果进行了可视化直观展示。

关键词： 数据挖掘   决策树   数据清洗  

摘要： 分析医保联机结算系统中的数据,采用数据采集,数据清洗以及数据的消减等方法,完成对系统数据的处理,为数据挖掘的决策树的实现提供重要数据。

关键词： 云计算   大数据   数据分析   数据挖掘   Hadoop   MapReduce   HDFS  

摘要： 近年来伴随着云计算技术和大数据处理技术的飞速发展,数据分析与数据挖掘等领域在企业中越来越被重视。通过对数据的处理,可以帮助优化现有的业务处理流程,甚至为企业制定今后业务的发展方向提供必要的数据支持。所以在各个行业各个领域里,数据已经变成企业的财富,希望利用新兴数据处理技术获取数据的潜在价值。在每个企业发展过程中,无疑积累了大量的与销售活动相关的数据。这些数据中囊括了客户信息、产品信息和合同信息等等,种类繁多且数据量庞大。然而,这些数据往往很少能够被充分利用,更多的是用作绩效考核以及信息查询。云计算技术及大数据处理技术出现之前,传统的数据处理方式已经不能在有效的时间范围内处理如此海量的数据。本课题利用云计算和大数据处理技术对隐藏在销售业绩背后的大量数据进行分析和挖掘,设计并实现一个高效的、易用的数据处理平台。希望通过本数据处理平台,可以帮助简化,甚至优化现有的业务处理流程,并能够为业务发展方向的制定提供必要的数据支持。本文首先介绍了本课题的研究背景和意义以及主要内容,然后对本课题中使用到的主要技术进行阐述。在此基础上,结合这些技术的特点、业务数据的特性和业务需求,论述了平台的设计方法和实现方式,提出了具体的系统解决方案。并重点对两个具有代表性的共通数据处理功能和跨平台数据聚合功能进行详细说明。最后通过系统测试验证功能的正确性,通过大数据量的测试验证数据处理的高效性。本课题寄希望借助云计算技术和大数据处理技术的特点,提高系统资源使用率的同时,可以把海量数据的处理时间控制在可以接受的范围内。数据分析和挖掘处理利用Hadoop的MapReduce计算框架对海量数据先拆分然后并行分析处理,使海量数据的处理速度达到质的提升。由于销售相关数据分布在多个独立的外部既存系统中,在数据分析处理之前需要把所有的相关数据聚集到本处理平台的基于Hadoop的HDFS（分布式文件系统）的数据仓库中。例如,客户信息需要从客户信息系统中获取,产品信息需要从产品管理系统中获取,合同信息需要从合同管理系统中获取等等。另外,为了确保本数据处理平台的数据有效性,将会定期与其他外部既存系统同步所管理的信息。基于用户可操作性的考虑,本数据处理平台以网页的形式呈现给用户。用户可以通过网页提交每一个数据处理请求,然后通过网页查看处理结果或者下载处理结果文件。网页作为与用户的接口,需要简单实用,便于用户操作。数据处理结果以表格、图表等形式呈现给用户,方便用户查看,同时用户也可以下载原始的数据文件。目前,本数据处理平台的系统设计和主要功能实现已经基本完成,某些次要功能还在设计并不断完善中。用户已经可以通过本数据处理平台获取数据分析结果,并给与了积极的反馈。同时,大数据处理功能和跨平台数据聚合功能的测试结果表明本数据数据处理平台的数据处理性能已基本达到了设计目的。

关键词： 装备   数据挖掘   数据采集   数据处理   决策创新  

摘要： 0引言党的十八大明确提出"实施创新驱动发展战略"的伟大构想,并指出"科技创新是提高社会生产力和综合国力的战略支撑,必须摆在国家发展全局的核心位置"。要求"以全球视野谋划和推动创新,提高原始创新、集成创新和引进消化吸收再创新能力,更加注重协同创新"。这是党中央深刻把握当代科学技术与经济发展特征的基础上,为我国未来发展打造核心驱动力所做出的重大战略部署。如何实现装备管理工作的技术创新是摆在装备管理

关键词： 智能交通   系统构建   数据处理   Hadoop   数据挖掘   交通数据   数据定义   加工者   数据种类   分布式文件系统   大数据   数据系统   数据资源   Map  

摘要： 引言提起大数据,人们第一个反应就是数据量要大。其实,数据量多少只是大数据的一个特性,上海市科学技术委员会发布的《上海推进大数据研究与发展三年行动计划(2013—2015年)》中,认为"大数据是一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上,大数据有三层内涵:一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领域

关键词： 智能交通   系统构建   加工者   大数据时代   数据系统   数据定义   特征分析   数据处理   数据挖掘   大数据  

摘要： 本文以大数据时代的数据加工者为出发点,面向交通大数据的定义和特征分析开展了交通大数据平台建设的需求分析、方案选型及系统构建研究工作,搭建了基于HADOOP系统为核心的交通大数据实战应用系统,并以历史车牌识别数据为案例开展了挖掘分析应用,该研究为交通大数据系统的产品化与市场化发展奠定基础。

关键词： 数据挖掘   关联规则   内容推荐   生理数据  

摘要： 随着可穿戴医疗设备的普及,越来越多的人开始关注个人健康问题。这些设备每时每刻都会采集大量的生理数据。随着时间的推移,越来越多的采集终端形成的海量、异构的数据会给数据的存储以及查询系统带来严峻考验,传统的数据存储、查询以及分析系统已经不能满足大数据的需求。同时,人们渴望得到的不仅仅是简单的个人生理数据,而且更需要隐藏在这些数据背后真正有价值的信息。本文正是以上述需求为出发点,设计和实现了一套面向大数据处理的内容服务器软件,旨在充分利用和挖掘用户生理大数据,将挖掘结果转化为用户可理解的,针对用户具体情况的健康医疗信息。在充分研究系统设计相关的大数据、数据挖掘等理论之后。结合健康医疗系统的实际情况,首先对面向大数据处理的内容服务器软件进行系统需求分析以及软件设计方案的制定,逐步细分了软件的功能,编写了通用数据采集接口,根据规则进行了数据的解析,根据数据类型建立数据库表以及表与表之间的关联关系,并且设计了一套用户生理数据管理系统,通过该系统用户可以实时查看自身生理状况变化信息。紧接着本文根据权威医学指导,利用Hadoop作为分布式数据计算平台和基于Mahout机器学习工具的关联规则挖掘算法FP-Growth的并行化实现,设计并实现了用户生理数据挖掘系统,用于发现用户生理数据随时间的变化规律,从而使用户更加清楚了解自身生理状况变化的具体情况。最后针对用户的个性化健康护理需求,仅仅依靠单一的测量数据,并不能为用户提供有益的信息,本文最后根据用户生理数据挖掘的具体结果设计了一个向用户提供健康护理信息的内容推荐系统,该系统借鉴了搜索引擎的设计思路,通过内容抓取,内容预处理及结果查询等若干个子模块组成了内容推荐系统,为用户提供针对性的健康资讯。论文所设计的面向大数据处理的内容服务器软件综合运用数据挖掘方法,将用户的生理信息数据转化为用户易于理解的健康护理信息。以上研究成果进一步完善后,可用于用户生理信息监测,亚健康人群健康护理以及愈后患者的康复指导。对于疾病的预防和用户身体素质的提高有重要意义。

关键词： Data mining  

摘要： WUM is the part of web mining that identifies usages data from the web log server,in order to known and improved serve the requirements of the web applications. The WUM involves three types, Data Preprocessing, Pattern Discovery & Pattern Analysis. pattern discovery phase contains many web data mining methods are apply to process the data so as to discover patterns. Once the pattern discovered. Analysis is done using various operation with unique session and unique user. This paper gives a brief overview of WUM and its phases. © 2016 SERSC.