关键词： MapReduce框架   Hadoop   数据挖掘方法   数据处理   聚类算法  

摘要： 大规模数据处理分析工作,在单个处理节点上部署时往往会遇到机器性能局限所带来的计算瓶颈。如今,技术更加先进且成本低廉的分布式计算平台为这一问题带来了改善的解决方案。文章运用MapReduce框架这一优势,研究了将数据挖掘的任务部署到分布式平台上的方案以及提出了相关研究展望。

关键词： E-Learning   数据挖掘   设计改进   数据处理  

摘要： 受到用户数据复杂性和多变性的影响,传统数据挖掘系统往往难以精确掌控用户数据走向。为加强数据挖掘系统的挖掘精度与稳定性,提出基于E-Learning的数据挖掘系统。该系统包括E-Learning编辑服务器和数据处理体系,ELearning编辑服务器由准备模块、展示模块和生成模块构成。准备模块为不了解E-Learning数据挖掘系统的用户提供帮助,将挖掘出的用户行为数据传递给展示模块,经展示模块对用户数据进行控制、筛选和解析并传输到生成模块与知识库,生成模块对挖掘出的用户数据进行个性化定制。数据处理体系利用数据挖掘查询语言进行数据查找与解析,将解析后的数据保存于知识库,并将数据传回E-Learning编辑服务器进行循环使用。软件设计中,给出通过数据挖掘查询语言衡量用户兴趣点,对知识库进行数据的多样性非标准挖掘过程。实验结果表明,所提方法拥有较高的挖掘准确度与稳定性。

关键词： R语言   大数据处理平台   EP1C6Q240C8   数据挖掘  

摘要： R语言是一种基于统计、运算和绘图的数据处理方式,其能够较为理想地进行大数据处理工作。因此,设计基于R语言的大数据处理平台。当平台的用户请求层向技术层发送大数据处理指令,技术层随即开始工作,其处理结果也将反馈至用户请求层。技术层由大数据管理模块、大数据处理模块和R语言控制模块组成,大数据处理模块的EP1C6Q240C8芯片通过借鉴大型数据库内容,进行大数据的挖掘工作,并将其挖掘结果提供给大数据处理模块进行大数据的筛选、汇总、转换和标准控制。经大数据处理模块处理后的大数据,将通过串口通信电路回传给用户请求层。R语言控制模块为整个平台制订处理标准。软件方面利用R语言的类聚性能设计技术层挖掘功能图和大数据向量化处理代码。实验结果表明,所设计的平台能够对大数据进行高性能的处理。

关键词： 数据处理  

ISBN: (纸本)9787111555469

摘要： 本书详细介绍了大数据分析，尤其是数据分类相关算法的原理及实现细节，并给出了每个算法的编程实例。全书共计21章，内容包括十大数据分类算法、十大从二元分类到多类分类的算法、九大属性选择算法、五大数据选择算法，若干集成学习方法和不均衡数据分类算法，以及大数据分析的平台与技术。

关键词： 一次风机   数据挖掘   数据处理   关联规则   故障预警  

摘要： 风机是火电厂最重要的辅机设备之一,其运行状态直接关乎火电厂能否安全经济运行。风机的工作环境恶劣,比较容易发生故障,而目前对风机的管理还停留在定期巡检、停机检修和事后处理的低层次阶段。加之经济环境的影响,火电厂迫切需要提质增效,降低设备的检修成本。为此,本文提出了一种基于数据挖掘技术的故障预警方法,可以在风机故障形成早期,还未对机组运行造成实质影响之时发现故障,从而为工作人员及时地制定检修方案,避免故障发生赢得时间。本文以一次风机为例展开研究,从某火电厂SIS系统的PI数据库中获取一次风机的历史数据进行挖掘分析。首先对现场采集的数据进行插值、离散化等预处理,建立风机正常状态下的数据库,为数据挖掘做好准备工作。接下来用布尔型关联规则的挖掘算法挖掘关联规则,建立规则库作为一次风机正常状态下的模型,并选取故障数据与规则库进行匹配,以验证预警方法的有效性。针对布尔型关联规则在区间划分过程中存在的缺陷,引入了模糊化的方法,对预警方法进行改进。即挖掘模糊关联规则,建立模糊关联规则库作为预警模型,进一步将预警时间提前,起到了优化效果。通过实验,证明了关联规则可以反映出一次风机各检测量之间隐藏的关系,当故障开始形成时,原有的关系也逐渐被打破,其外在表现就是各检测量数据对先前的关联规则的匹配度降低。本文提出的故障预警方法能够在一次风机故障形成早期发现异常,并在传统的监控系统发出超限报警前就触发预警,起到良好的预警效果。

关键词： 数据处理  

ISBN: (纸本)9787111577225

摘要： 本书紧紧围绕社交媒体中的大数据问题, 系统介绍了社交大数据的基本概念以及相关的大数据处理技术, 重点介绍了网页和媒体的大数据挖掘。全书共分为14章, 总体上可以分为三部分: 第一部分包括第1章和第2章, 介绍了社交大数据的基本概念和内涵, 明晰了社交大数据与一般大数据的区别; 第二部分为第3章至第9章, 介绍了大数据处理中涉及的基本概念和技术方法, 包括假设的定义、通过数据挖掘提出假设的方法, 以及假设验证的分析方法; 第三部分为第10章至第14章, 详细介绍了社交大数据中的网页和媒体数据挖掘技术、自然语言处理技术, 以及社交大数据的应用。

关键词： 数据库   Greenplum   数据挖掘   数据处理  

摘要： 随着网络技术的发展,特别是移动互联网的飞速发展,互联网企业的业务不断拓展,每天通过各类平台产生的数据也成级数增长。面对数据量的不断暴涨,传统数据库的处理能力已是捉襟见肘,针对这种情况,提出了应用开源数据仓库Greenplum作为企业运营的数据仓库,提高大数据处理的时效性,让企业决策者能快速感知市场变化,掌握市场先机,从而制定相应决策抢占市场,并通过关联规则挖掘算法在不同数据库上进行挖掘实验为例来分析Greenplum的性能优势。

关键词： 营销挖掘   数据处理   多元回归分析   Apriori   营销平台  

摘要： 目前,企业所面临的市场环境变化莫测,增加了企业在经营活动中的不稳定性,企业必须根据市场内外的复杂环境制定科学的决策来抵御、弱化经营中的风险。数据挖掘技术能够从企业经营、营销活动中产生的海量的营销数据,以及影响企业经营的外部因素中发掘新的知识。该技术以这些杂乱分散,无章可循的原始数据为起始点,以统计学、机器学习等相关理论、算法进行数据处理,对企业经营进行科学的前瞻性预测。本文借助于数据挖掘技术,对企业管理信息系统积累的海量历史数据进行处理、分析,最终构建一套基于数据挖掘的信息化平台,帮助企业制定快速、高效、科学的的营销策略,解决企业经营活动中的问题。文章主要研究内容如下:1)用户信息采集和海量数据简化处理。设计基于卷烟企业内部业务上报的数据采集模型与基于企业外部—消费用户层面的数据采集架构。针对采集到的数据量大,数据种类繁多的问题,提出了基于MapReduce的数据降维与累加的处理过程,编制Map,Reduce实现代码,对数据进行多个维度的规约,精简后续数据模型所用数据量。2)设计品牌关联度模型。研究关联分析的实现原理,通过对比选取Apriori进行品牌关联度分析,针对该算法在运算过程产生较大候选集项数的不足之处进行改进。以卷烟会员积分礼品兑换系统中产生的数据为应用背景,利用改进后的Apriori挖掘算法建立卷烟品牌关联度模型,通过分析会员的消费行为,挖掘出相关品牌之间存在关联关系,供决策人员进行营销决策。3)设计业务数据挖掘方法。针对影响卷烟销量的影响因素,分析了时间序列分析法原理,并针对时间序列算法存在的问题,提出了基于多指标分析的预测模型,对卷烟销量进行了组合预测,并将预测的结果用于卷烟产销衔接的决策中。4)提出了该平台的技术层面整体架构,确定了该平台的技术实现。提出了基于nginx的服务器负载设计,基于项目实施过程中的具体硬件情况,通过压力测试,进行服务器的权重分配,构建了服务层面的部署。使用UML建模分析了系统功能需求。确定本文所讨论的功能模块,并对功能模块进行了具体的应用系统层面的软件实现,进行了系统功能展示。

关键词： 数据处理  

ISBN: (纸本)9787118113709

摘要： 本书以武器装备全寿命管理过程中的大量数据为研究对象, 以其数据挖掘方法技术为主线, 对武器装备数据挖掘的理论、方法、算法进行系统的介绍, 并以大量应用案例对武器装备数据挖掘的具体实践进行深入探索。

关键词： 空管   离群点检测   数据挖掘   风险识别   危险源   指令复诵  

摘要： 随着空中交通流量成倍增加,其中必然会出现诸多的空管安全风险,如何快速有效地从空管运行文本数据和陆空通话数据中挖掘出安全信息数据,对空管运行风险识别与分析至关重要。本文以空管运行数据中的文本数据,尤其是危险源控制单,以及陆空通话数据为研究对象,主要采用数据挖掘技术和语音识别技术对两大类数据进行处理,建立空管运行风险识别与分析指标体系,结合管制单位运行数据进行离群点分析。主要工作及创新点如下:(1)提出一种基于LDA模型的空管危险源控制单数据挖掘,LDA模型作为一种解决文本分类问题的办法,在本实验中取得了良好的效果。该算法以危险源控制单为基础数据,运用LDA模型结合吉布斯采样,准确地找出了影响空管运行风险的因素。(2)提出一种基于微软语音识别的空管指令复诵识别方法,该识别引擎配合自建的语料库可以较准确的识别指令复诵的内容。该方法首先翻译从管制员传来的语音指令信号,并显示在屏幕上,当飞行员复诵时,识别飞行员所复诵的指令,同样经过语音识别将语音转化为文字信息输出在屏幕显示。(3)提出一种对空管运行文本数据和陆空通话数据进行离群点检测的算法-基于属性约简的离群点检测算法,该算法可有效解决空管运行文本数据和陆空通话数据的离群点挖掘问题。算法首先利用信息熵对空管运行文本数据和陆空通话数据属性进行划分,对部分不重要的属性进行约简,保留能反映数据整体信息的重要属性,并利用重要属性及其权值(贡献程度)结合加权距离公式进行离群点的检测。实验结果表明该算法对空管运行文本数据和陆空通话数据的离群点检测是高效的。