关键词： 营销挖掘   数据处理   多元回归分析   Apriori   营销平台  

摘要： 目前,企业所面临的市场环境变化莫测,增加了企业在经营活动中的不稳定性,企业必须根据市场内外的复杂环境制定科学的决策来抵御、弱化经营中的风险。数据挖掘技术能够从企业经营、营销活动中产生的海量的营销数据,以及影响企业经营的外部因素中发掘新的知识。该技术以这些杂乱分散,无章可循的原始数据为起始点,以统计学、机器学习等相关理论、算法进行数据处理,对企业经营进行科学的前瞻性预测。本文借助于数据挖掘技术,对企业管理信息系统积累的海量历史数据进行处理、分析,最终构建一套基于数据挖掘的信息化平台,帮助企业制定快速、高效、科学的的营销策略,解决企业经营活动中的问题。文章主要研究内容如下:1)用户信息采集和海量数据简化处理。设计基于卷烟企业内部业务上报的数据采集模型与基于企业外部—消费用户层面的数据采集架构。针对采集到的数据量大,数据种类繁多的问题,提出了基于MapReduce的数据降维与累加的处理过程,编制Map,Reduce实现代码,对数据进行多个维度的规约,精简后续数据模型所用数据量。2)设计品牌关联度模型。研究关联分析的实现原理,通过对比选取Apriori进行品牌关联度分析,针对该算法在运算过程产生较大候选集项数的不足之处进行改进。以卷烟会员积分礼品兑换系统中产生的数据为应用背景,利用改进后的Apriori挖掘算法建立卷烟品牌关联度模型,通过分析会员的消费行为,挖掘出相关品牌之间存在关联关系,供决策人员进行营销决策。3)设计业务数据挖掘方法。针对影响卷烟销量的影响因素,分析了时间序列分析法原理,并针对时间序列算法存在的问题,提出了基于多指标分析的预测模型,对卷烟销量进行了组合预测,并将预测的结果用于卷烟产销衔接的决策中。4)提出了该平台的技术层面整体架构,确定了该平台的技术实现。提出了基于nginx的服务器负载设计,基于项目实施过程中的具体硬件情况,通过压力测试,进行服务器的权重分配,构建了服务层面的部署。使用UML建模分析了系统功能需求。确定本文所讨论的功能模块,并对功能模块进行了具体的应用系统层面的软件实现,进行了系统功能展示。

关键词： 数据处理  

ISBN: (纸本)9787118113709

摘要： 本书以武器装备全寿命管理过程中的大量数据为研究对象, 以其数据挖掘方法技术为主线, 对武器装备数据挖掘的理论、方法、算法进行系统的介绍, 并以大量应用案例对武器装备数据挖掘的具体实践进行深入探索。

关键词： 空管   离群点检测   数据挖掘   风险识别   危险源   指令复诵  

摘要： 随着空中交通流量成倍增加,其中必然会出现诸多的空管安全风险,如何快速有效地从空管运行文本数据和陆空通话数据中挖掘出安全信息数据,对空管运行风险识别与分析至关重要。本文以空管运行数据中的文本数据,尤其是危险源控制单,以及陆空通话数据为研究对象,主要采用数据挖掘技术和语音识别技术对两大类数据进行处理,建立空管运行风险识别与分析指标体系,结合管制单位运行数据进行离群点分析。主要工作及创新点如下:(1)提出一种基于LDA模型的空管危险源控制单数据挖掘,LDA模型作为一种解决文本分类问题的办法,在本实验中取得了良好的效果。该算法以危险源控制单为基础数据,运用LDA模型结合吉布斯采样,准确地找出了影响空管运行风险的因素。(2)提出一种基于微软语音识别的空管指令复诵识别方法,该识别引擎配合自建的语料库可以较准确的识别指令复诵的内容。该方法首先翻译从管制员传来的语音指令信号,并显示在屏幕上,当飞行员复诵时,识别飞行员所复诵的指令,同样经过语音识别将语音转化为文字信息输出在屏幕显示。(3)提出一种对空管运行文本数据和陆空通话数据进行离群点检测的算法-基于属性约简的离群点检测算法,该算法可有效解决空管运行文本数据和陆空通话数据的离群点挖掘问题。算法首先利用信息熵对空管运行文本数据和陆空通话数据属性进行划分,对部分不重要的属性进行约简,保留能反映数据整体信息的重要属性,并利用重要属性及其权值(贡献程度)结合加权距离公式进行离群点的检测。实验结果表明该算法对空管运行文本数据和陆空通话数据的离群点检测是高效的。

关键词： 云计算   交通数据   智能交通   数据挖掘  

摘要： 交通大数据为“感知现在、预测未来、面向服务”提供了最基本的数据支撑,是现代城市交通相关问题的基础,是微观城市路网管控的保障依据,同时也是城市战略宏观交通规划的必要方法。交通的智能化的基础是海量的交通综合数据,从智能交通到最终走向智慧交通就来源于数据采集措施和应用处理的创新。结合相关大数据技术、云计算技术,收集并分析交通综合数据,给出交通大数据的定义,深入了解交通大数据系统在数据冗余、数据建模及应用等关键技术,建立高效实用的云计算交通大数据数据分析平台,具有非常重要的现实意义。论文研究了杭州市交通运输局的网络预约出租车交通数据的采集、存储、传输与分析等多种应用技术,并针对这些实际交通数据,构建了基于云计算的交通大数据综合管理系统平台。论文结合大量文献资料,分析了云计算、大数据、交通大数据等相关技术,给出了相关行业的研究现状和应用前景;针对城市交通数据的特点,论文阐述了云计算城市交通大数据平台的整体设计;并从平台的数据接入层,数据服务层,业务计算层3个层次入手详细介绍了云计算交通大数据平台的多种实现技术,论述了数据接入层的详细结构及优化方案;研究了在数据服务层中云计算存储的原理及方式,搭建了基于分布式的Mongodb存储方案,实现了实时流处理的数据分析系统。数据平台融合了实时采集、传输、大数据存储、数据挖掘与分析等四大功能,为杭州交通部门提供数据保障与政策参考,保障了交通信息系统的高效运行与实时分析。最后,论文介绍了交通大数据平台业务计算层的实现,并重点介绍了平台系统中杭州市网约出租车子系统中的数据分析应用,实现了杭州市网约车的大数据实时采集、统计分析、数据挖掘等功能,介绍了适合杭州市网约出租车运营的监管模式。目前基于云计算的交通大数据处理系统,已经在杭州市交通运输局的网络预约出租车监管中得到了实际应用。经过实际运行,证明了该系统的有效性。

关键词： 数据挖掘   云计算   聚类分析   负荷预测   停电事件分析  

摘要： 随着电力企业信息化水平的不断提高,所积累的各类数据越来越多,呈信息爆炸的趋势。数据量的激增占用了大量的计算机系统资源,造成了系统的拥塞,影响了有用信息的进一步增长,对数据的管理也越来越复杂;再者,传统的数据库技术与联机事务处理技术对数据的统计分析已经难以从庞大的信息中获得所需要的结果,简单的分析方法也已经无法满足用户对高级分析的要求。因此,必须探究先进的数据分析及数据处理方法和手段,以有效解决生产中出现的各种问题,保证电力系统的安全稳定运行。本文构建了并行计算数据挖掘平台,对取自省级计量自动化主站系统、营销系统的数据以及天气数据进行分析,实现了电力数据的高级应用。完成的具体工作有:开发了基于并行计算平台分布式文件系统HDFS、并行计算框架Map/Reduce的并行计算数据挖掘平台。利用ETL(Extract-Transform-Load)工具,开发出和业务相关的系列“作业”,这些“作业”对数据源的业务数据进行清洗、抽取、转换以及“协议簇”规则等操作,生成中间服务器(MS)的文本文件,然后上传到基于云计算技术的运算平台;云运算平台对海量的电力数据量进行快速检索;针对智能用电数据的特点,数据挖掘平台提供了并行聚类算法、并行分类算法、并行实时分群算法等常用数据挖掘算法模块,可有效支持各类高级应用的研究。考虑并行计算数据挖掘平台要注意接口安全、数据挖掘平台的数据上传、提供webservice接口,以供外部系统或现有系统进行调用,同时考虑各个系统编程语言的差异性(java、asp、php等),需要解决跨平台、跨语言的问题,本文完善了数据接口,提高了数据传输效率。建立了最优复杂度模型、线损率指标数据预处理模型等,优选了数据处理算法,对缺失数据、异常数据以及告警误报漏报数据进行预处理,提高了应用结果的正确性。提出了基于客户个性化分组的最优算法组合负荷预测方法,搭建预测模型构架。先利用聚类算法对行业客户进行分组,将具有类似用电特征的用户聚集在同一组内;然后针对分组后的客户组分别利用不同的时序预测算法进行负荷建模与预测,再叠加计算出行业用电预测值。构建基于模糊神经网络(FNN)的停电事件分析模型,采用K-means聚类技术,实现可靠性指标预测评价、动态跟踪与控制、自动统计分析的停电事件分析功能。经过实际应用验证,本文所建立的并行计算数据挖掘平台能实现预期的功能、获得正确的分析结果、具有较好的应用效果。

关键词： 数据预处理   复杂网络   移动通信网   IP数据   数据挖掘  

摘要： 目前针对移动通信网络数据的分析大多基于运营商收集的语音业务数据而不是IP数据,但是随着移动通信网IP化进程的深入,有必要对移动通信网中的IP数据进行分析。对于IP数据的分析,国内外学者虽然有了许多有价值的研究,但是目前的研究大部分针对互联网。随着移动通信网IP化进程不断推进,目前在移动通信网络中IP数据处理及用户行为分析的整体方案方面还有待深入研究。本文针对以上研究现状,对移动通信网络中IP数据处理及用户行为分析进行研究,以移动通信网IP数据为起点,大数据处理技术研究与模块实现作为基础和手段,从复杂网络和数据挖掘两个维度进行移动通信网络用户行为分析的综合研究。本文主要研究内容与创新点如下:1、分布式预处理模型与实现。编写了基于Hadoop编程的数据导入模块的代码,此模块可以用于将原始采集PCAP数据进行段落解析,并且将分割开的IP协议包传入Hadoop的Mapper函数进行分布式处理。编写了基于Map-Reduce的数据选择处理模块,此模块利用分布式思路对传入的IP协议包中的字段进行提取,清理,转换和规约,生成需要的数据。实现数据的规约和集成,为之后的网络建立和数据分析提供统一的数据结构和格式。2、基于复杂网络的IP网络模型分析。对移动通信网IP数据建立了以IP为节点,IP连接为边的网络模型。对移动通信IP网络模型采用了复杂网络分析的研究方法,研究了网络的拓扑性质,提取并标记了关键节点。以标签传播算法的原理进行移动通信IP网络模型的实现,并使用优化的算法对网络模型数据集进行群组划分。3、基于数据挖掘的IP数据及网络行为分析。根据移动通信IP网络模型的特点,分解了聚类算法的结果维度。通过弱化具有不同端口的同一行为内部的关系,实现了移动通信IP数据基于端口的不同行为的关联分析。

关键词： 地震前兆数据   大数据挖掘   WEKA   聚类异常分析  

摘要： 随着全球信息技术和互联网技术的快速发展,各行业的数据信息迅猛增长,对于地震的相关科研趋势亦是如此,继而使大数据和大数据挖掘技术在地震监测数据的研究领域引起人们的普遍重视。大数据本身蕴含的庞大潜在价值促进了大数据挖掘技术的产生,从具有容量大、多样性、高速更新和潜在价值无穷尽的地震数据中挖掘出具有意义的知识将成为研究的重点。在国家“十五”数字化、网络化改造前兆台网监测系统后,地震前兆数据的产出大大激增,半人工的传统数据处理方法已经不能满足实际的工作需要。本文主要以太原市2011-2016年地震前兆形变数据为数据挖掘对象,以大数据挖掘的基本思想方法,主要开展以下两项研究内容:首先,对于前兆数据预处理,利用基于JAVA开发的开源的数据挖掘软件Weka工具,主要重新安装设置了Forecast环境,其原理主要为时间序列的前兆数据按其趋势建立模型来补充小数量的缺失数据,计算出的数据本为预测数据,此方法将预测结果作为插值数据,对于地震前兆数据的预处理工作具有促进作用。其次,本文有效采用了Weka便利的开放特征,针对地震前兆数据测项特点,将适用大数据特征的DFCM(基于密度函数加权的模糊聚类算法)通过工具MyEclipse植入到同是JAVA开发的Weka运行环境中,在Weka工作界面内充分发挥该算法的作用,将各个测项数据进行客观模糊聚类分析,最终得出以下结论:首先,针对前兆各个测项数据变化复杂多样、易缺失的情况,数据预处理部分重点研究了时间序列插值处理方法,设置利用的Weka-Forecast插值法对缺失数据进行处理,并和行业其他研究成果的插值结果进行比较,比较的标准是通过平均标准误差的大小,结果说明Weka-Forecast插值法较其他常见插值方法适用性更好,重点是插值原理适用时间序列的前兆数据且操作简单。其次,地震前兆数据在Weka中的聚类分析得以实现,植入的模糊聚类算法通过改变参数寻找相对良好的并符合实际意义的聚类结果。实验数据中,大部分测项数据可以被检测出异常数据,与半人工的检测标准对比,其准确率良好。本文创新点在于地震前兆数据的大数据挖掘研究是时代发展必然需求,从聚类分析方法入手,挖掘出尚未被认知的规律或者对已有规律的新认知,利用这种新思路、新模式,结合有效的数据挖掘工具,并能初步尝试实现这种思路的具体分析过程,最终根据前兆数据的具体意义,确认发展规律,对于以前兆数据为基础研究的科研问题具有一定意义。

关键词： 数据处理  

ISBN: (纸本)9787030552815

摘要： 本书综合经济管理专业知识和商务智能、数据挖掘模型开发于一体, 结合商业背景设计若干实践项目, 全面阐述使用IBMSPSSModeler、Weka、RapidMiner等软件进行数据分析与挖掘的原理、方法和步骤, 介绍社会网络分析软件UCINET与文献可视化分析软件CiteSpace的使用, 紧密结合理论教学, 使学生在有限的实验课时中, 加深对所学知识的理解和掌握。目前国内商务智能与数据挖掘实验指导教程的相关书籍不多, 结合商业背景的更是稀少, 本书强调数据挖掘在商业决策领域中的应用, 弥补大多数同类书籍商业应用不足的缺点。

关键词： 空间信息技术  

ISBN: (纸本)9787502062118

摘要： 本书结合管理科学、信息科学、矿业工程、数据库理论、数据挖掘理论、计算机图形学和CAD技术等诸多理论和方法, 以理论分析和实际应用验证相结合的方法, 对矿山空间信息集成与数据挖掘进行研究。

关键词： 数据处理  

ISBN: (纸本)9787302483373

摘要： 本书内容: 大数据、数据挖掘与智慧运营综述、数据统计与数据预处理、聚类分析、分类分析、回归分析。