关键词： 云计算   大数据   物联网   数据挖掘   数据处理  

摘要： 现代社会,大数据及互联网行业快速兴起,像淘宝、微信等各种购物及聊天软件逐渐被人们所认知,之前不被人知道的IT行业也逐渐被人接受.通过大数据、云计算以及物联网的三者联合,可应用于对大量数据的分析以及大量数据的运算,还可以将大量数据存储到数据库内.随着各种新兴技术的不断兴起,大数据、云计算以及物联网已经成为目前社会应用较多的技术,三者的联合应用必将会为互联网行业创造出更多的价值.

关键词： 用户搜索日志   大数据   Spark   数据处理   数据挖掘  

摘要： 伴随着中国移动互联网的快速发展以及5G时代的到来,各行各业的从业人员基本都会使用电商网站来购买生活中所需要的各种商品。电商用户在互联网中的点击行为产生的日志信息就是一座巨大的金矿,如何处理和挖掘这座金矿成为了当下急需解决的问题,也吸引了无数学者的关注。面对海量的用户日志信息,摆在研究者面前的难题主要在于数据的存储和数据的挖掘,现如今兴起的大数据技术很好的解决了这两个问题。以Hadoop平台为基础的整个大数据生态系统完整的包含了数据的存储和数据的分析功能。利用Hadoop的分布式文件存储系统HDFS存储海量的用户日志信息,利用Spark集群的基于内存的迭代式的计算模型可以快速的帮助我们分析和计算用户的日志信息。本文通过搭建Spark平台,利用Spark生态系统的相关组件实现系统各个模块的功能。利用Spark Core+Spark SQL组件实现电商用户行为数据的处理和统计,利用Spark MLlib机器学习库实现并行化的ALS(Alternating Least Square)算法从而对用户行为数据进行挖掘分析。通过Spark集群的离线计算和实时计算相结合,利用集群强大的计算能力,系统分析了互联网用户的行为轨迹。根据分析的数据设计了离线推荐和实时推荐相结合的推荐模型,既可以给用户做离线推荐也可以给用户做实时推荐。

关键词： 时空大数据   高性能软硬件   并行空间分析   数据挖掘   进展及趋势  

摘要： 随着互联网、物联网和云计算的高速发展，与时间、空间相关的数据呈现出“爆炸式”增长的趋势，时空大数据时代已经来临。时空大数据除具备大数据典型的“4V”特性外，还具备丰富的语义特征和时空动态关联特性，已经成为地理学者分析自然地理环境、感知人类社会活动规律的重要资源。然而在具体研究应用中，传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、智能挖掘的性能需求。因此，时空大数据与高性能计算/云计算融合是必然的发展趋势。在此背景下，本文首先从大数据的起源出发，回顾了大数据概念的发展历程，以及时空大数据的特有特征；然后分析了时空大数据研究应用产生的性能需求，总结了底层平台软硬件的发展现状；进而重点从时空大数据的存储管理、时空分析和领域挖掘3个角度对并行化现状进行了总结，阐述了其中存在的问题；最后指出了时空大数据研究发展趋势。

关键词： 制造企业信息系统   碳足迹   数据处理   数据挖掘   挖掘方法  

摘要： 随着全球温室效应的不断加重,环境问题日益凸显,面对越来越严重的环境问题,世界范围内掀起了一场“低碳革命”,旨在提高能效、减少碳排放。中国是一个制造业大国,制造业如何实现低碳制造也迫在眉睫。近年来关于碳足迹相关的研究颇多,但基本上是在碳足迹核算上进行研究,而对于产品碳足迹数据处理的研究少之又少。本文在低碳制造的大环境下,针对目前制造企业的产品碳足迹数据进行数据挖掘,通过产品碳足迹数据挖掘出有潜在价值的信息,帮助制造企业决策分析,最终实现制造企业的低碳制造。基于以上事实,本文从产品碳足迹数据出发,由研究产品信息以及产品加工过程中所产生的碳排放进行挖掘分析,为制造企业的低碳制造提供技术支持。本文的主要工作内容如下:(1)总结分析关于碳足迹的最近研究成果,对于碳足迹数据挖掘进行阐述,并分析了数据挖掘技术的主要功能和常见的分析方法。由碳足迹数据挖掘的研究现状,总结了碳足迹数据挖掘中存在的问题。(2)本文选取制造企业信息中产品碳足迹为研究对象,并通过分析制造企业信息系统确立产品碳足迹核算的系统边界,并比较碳足迹核算标准和碳足迹核算方法。为了准确挖掘出产品碳足迹潜在有价值的信息,对碳足迹数据进行数据处理以减少残缺数据、冗余数据和噪声数据,提高了数据挖掘的准确性;数据变换易于数据挖掘的存储,使数据属性值落在特定的区间;数据归约通过属性归约和记录归约减少碳足迹数据量,使得数据运算效率得到提升。(3)由碳足迹的基础数据和实时数据建立产品碳足迹的数据仓库,采用不同类型的数据库分类存储,实现产品碳足迹的数据挖掘效率的提升。通过分析产品碳足迹数据挖掘的任务,确立了常见使用的产品碳足迹数据挖掘方法:关联分析、时序分析和聚类分析,由此建立了产品碳足迹数据挖掘模型,实现对产品碳足迹数据挖掘的标准化。(4)为验证本文所提方法的有效性,应用以产品碳足迹数据属性之间的关联进行挖掘。总结了轴加工过程中常见的加工工艺,并以传动轴为实例。通过制造企业信息系统获取传动轴的零件图、加工工艺卡品和加工设备等信息,获取传动轴的加工工艺产生的碳排放量。经过数据处理、数据变换和数据归约的数据,通过关联分析的Apriori算法关联出传动轴加工工艺之间的强规则。(5)关联规则的Apriori算法通过扫描数据库,对每个候选项集计数会产生大量的I/O开销,通过关联规则的改进算法减少I/O开销。通过关联规则的更新算法以解决新增数据与历史数据之间的关联问题。(6)以论文的理论研究为基础,设计并开发了基于JAVA语言的产品碳足迹数据挖掘系统。该系统实现了对产品碳足迹的实时数据搜索、数据处理、数据存储和数据挖掘的可视化操作。该系统对制造企业的低碳减排工作具有重要的价值。

关键词： 数据挖掘   不良数据辨识   机器学习   数据融合   数据填补  

摘要： 随着智能电网建设的不断深入,电力系统中数据的规模和类型正在快速增长,且数据的复杂度也随之快速增大,呈现出典型的大数据特征。将大数据处理方法引入电力系统应用领域,可以关注到电力大数据中潜在的信息,进一步挖掘其价值,为电网调度决策提供参考。数据监控及采集系统(SCADA)和基于相量测量单元(PMU)的广域测量系统是在电力系统得到广泛应用的两套代表性量测系统。与SCADA数据相比,WAMS数据精度和刷新频率的性能更为优良。它们共同构成了电力系统的海量量测数据资源。论文基于电力大数据中数据处理需求,针对SCADA系统和WAMS系统展开研究。将以关联规则为代表的数据挖掘方法和机器学习算法应用于电力系统,旨在满足电力大数据中的不良数据辨识需求和异构数据融合需求,提高数据质量,保证数据完整性,充分挖掘数据价值,为电网决策提供最有力的辅助。论文提出一种基于异构数据关联规则挖掘的不良数据辨识方法。考虑样本的周期属性,以高精度快刷新的WAMS数据离散SCADA数据,挖掘其采样时刻、有功功率、无功功率和电流之间的周期性关联规则,通过规则匹配构建疑似不良数据集合,利用局部残差搜索法验证不良数据集合,并通过人为设置不良数据与残差搜索法对比验证方法的可行性,通过不良数据的规模与辨识次数的比较验证方法的优越性。同时,提出一种基于机器学习的SCADA数据和WAMS数据融合方法。分析SCADA数据与WAMS数据融合过程中的障碍并探讨解决方案。针对融合过程中的SCADA数据缺失问题展开重点研究,将机器学习引入到缺失数据填补领域,构建自编码神经网络,将自编码器堆叠之后逐层进行无监督的网络训练与参数寻优,以提取SCADA数据的变化特征,最后连接到顶层LR模型实现对缺失值的预测填补,从而克服两个系统中融合时的时间断面不一致障碍,实现有效融合,最终利用实际的SCADA值并与其它算法对比验证方法的可行性。

关键词： 数据处理   数据统计   互联网  

摘要： 随着互联网的广泛应用和物联网的成熟普及,教育信息化程度不断提升,教育教学过程中大量的过程数据被记录和存储,形成教育大数据.教师要在传统的教育教学经验上,学会挖掘教育大数据,开展基于教育实证和数据分析的教学研究工作,对明确的教育对象建立精准的任务目标,制定精准的方法措施,推进管理精准化和决策科学化.

关键词： 数据挖掘   数据处理   Hadoop平台  

摘要： 随着当前科学技术的发展,互联网技术得到长足的发展与广泛的应用,多数人依赖于互联网技术进行工作、学习与生活,我国正在朝全领域互联时代迈进.数量暴增的'网民'产生了大量的数据,如果能够对这些数据进行挖掘与处理,就能够得到许多有用的信息,这些信息将极大的促进社会生产的发展,这就需要一种高效可靠的数据挖掘及处理技术.在大数据环境下,为了使数据挖掘和处理速度得以提高,本文提出了一种基于Hadoop平台的大数据关联规则挖掘处理方案.

关键词： 集论  

ISBN: (纸本)9787564837211

摘要： 一个学科只有建立它的公理体系，正如概率论在建立其公理体系后才真正进入数学殿堂。本教程分集合论与二元关系、信息系统与粗糙集、模糊集理论、变精度粗糙集、粗糙集与数据挖掘等五章节，从不同的角度分析了粗糙集理论的公理体系以及在数据挖掘方面的应用，并结合作者近期的研究对粗糙集的发展做必要的介绍。内容分析透彻，典型精辟，详尽地介绍了一个基于无限集合的变精度粗糙集模型——基于测度的变精度粗糙集模型。对于从事粗糙集理论研究和数据挖掘的研究人员是本有益的案头参考书籍。

关键词： 数据处理   机器学习  

ISBN: (纸本)9787300264066

摘要： 本课程的教学内容主要包括聚类、关联、降维、变量选择、分类与预测、集成算法、图模型与推荐系统等。每一部分都是本课程授课的主要内容，都力求深入浅出，精讲细讲，不光讲解各种方法的过程与原理，还要加强学生对各种方法的深入理解。

关键词： 统计分析   数据处理  

ISBN: (纸本)9787302540984

摘要： 本书在介绍统计分析与数据挖掘等相关知识基础上、重点介绍了数据挖掘技术的分类、聚类及关联等算法，并对传统算法进行改进。全书分四部分。第一部分对大数据概念进行简介。第二部分讲述统计学基本概念、数据收集与处理及数据统计分析。第三部分讲述多元统计分析的基本统计思想和相关理论。第四部分讲述数据挖掘技术的分类、关联及聚类等算法。