关键词： 混沌分析   船舶航行轨迹   数据挖掘   数据处理  

摘要： 对于船舶航行轨迹数据挖掘问题,对比方法在受到异常信号干扰时,由于自身轨迹数据还原能力不足,导致该方法存在可靠性的问题。为了解决这一问题,提出基于混沌分析的船舶航行轨迹数据挖掘。针对原始轨迹数据中存在的缺失值问题,采用线性拟合填补数据,获得完整的轨迹数据,根据数据挖掘需求,设定挖掘目标,将数据分类处理,经过多次迭代输出目标数据,采用混沌分析技术重构目标数据,得到目标数据,完成数据挖掘。实验结果表明,设计的基于混沌分析的数据挖掘方法数据连续完整,数据处理效率高达127.63 MB/s,该方法的可靠性得到提升。

关键词： Hadoop   数据管理系统   数据处理   数据挖掘   状态评估  

摘要： 随着物联网和云计算技术在工业生产中广泛应用,煤矿开采朝着信息化智能化方向发展。传统煤矿数据中心管理的数据规模庞大且大多分散存储,给数据综合管理带来很大难度,这种管理方式已经无法满足建设智慧煤矿的需求。本文应用Hadoop作为煤矿设备数据管理平台,为实现煤矿端海量数据的存储以及优越的系统管理性能提供了可靠的技术架构。本文研究内容包括如下几个方面:(1)对煤矿大数据管理系统的基本需求以及基本功能进行分析。考虑到煤矿大数据的结构类型复杂多样,引入XML文档技术实现对数据的统一描述,结合模型驱动映射的方法实现数据从XML文档格式映射到数据库,实现数据的规范化处理。(2)对整个煤矿设备数据管理平台的架构进行分析,具体包括数据的采集、清洗、传输与数据存储这四个部分。为煤矿现场的不同设备间交互提供便捷通道,采用OPC UA协议配合OPC服务器完成数据采集工作。采集的数据往往存在少量坏点,提出基于Map Reduce的煤矿数据特征提取方案,完成数据的清洗工作。为了实现煤矿端与上级监管中心实时数据一致性,保证系统具有良好的读取性能,采用基于Redis数据联网传输架构,实现数据的低延迟传输,保证系统获取数据的实时性。利用Hadoop生态系统自带HBase数据库完成煤矿设备海量数据的存储。通过这四个部分的详细说明完成整个系统的设计工作。(3)利用Hadoop平台完成数据高效管理的同时,结合大数据挖掘技术从海量煤矿设备数据中挖掘有价值的信息实现对煤矿高效管理。提出一种基于时间序列与BP神经网络结合的预测模型对煤矿关键设备的运行状态进行预测,并采用层次分析法建立煤矿设备健康状态的评价模型。以枣矿集团一煤矿采煤系统为实验对象,通过采煤机原有数据进行预测并对采煤机进行状态评估,所提方法能够可以有效预测且做出合理评价,利于煤矿端人员进行管理。(4)以枣矿集团各煤矿公司为实验对象搭建完整的煤矿机电设备数据管理云平台,本文设计的管理系统可以将各个煤矿公司关键参数集成在一起,实现对众多分散矿点的集中统一管理。同时搭建虚拟机验证平台对系统的存储、查询、读写性能进行测试。实验证明,利用Hadoop集群的优化调度资源可以应付煤矿大数据背景。该论文有图37幅,表9个,参考文献62篇。

关键词： 大数据   Hadoop   数据处理   收视率   传播效果  

摘要： 随着大数据时代的到来,电视媒体市场有了更多的解决方案。从传统的日记卡、测量仪到如今的智能化大数据处理系统实时监测。大数据正以其大量、多样、高速、价值等特点影响着各行各业,我国的传统电视媒体的传播效果评估与视听效果监测也发生了巨大的变化。文章通过大数据处理平台收集并分析电视用户的行为数据,采用多维度统计分析的方法挖掘用户的收视行为特征,对电视媒体形态下的频道和节目进行分析,得出频道或节目的传播效果,用以指导并辅助产品运营、广告投放及节目编排,并根据分析结果提出相应措施,提高收视率。

关键词： 情报   聚类分析   数据挖掘  

摘要： 专利情报是商业中的重要情报,但是专利数据较为庞大,搜索相关情报较为困难,传统的知识图谱方法在处理专利数据的过程中时间较长。基于数据挖掘的专利数据处理技术研究,使用聚类算法,对专利数据进行聚类分析,确立专利情报中的运算指标,通过词语与文档的关联性对于关键词语进行数据挖掘,并且根据关联规则进行数据分析,根据文本特征进行数据处理。通过实验论证分析,数据挖掘的专利数据处理方法对比传统的知识图谱方法数据处理效率更高。

关键词： 批处理   流计算   数据挖掘   互联网推荐  

摘要： 广告推荐是互联网企业实现商业变现的主要手段。数据处理技术在推荐场景中有着广泛的应用,通过数据处理技术,可以分析可以构建用户的应用画像,应用群体的兴趣点,针对特定的场景为用户推荐恰当的内容。本文从离线批处理,分布式流计算和深度数据挖掘三个方面阐述了数据处理技术在互联网推荐场景中的应用。

关键词： 大数据   数据挖掘   数据处理  

摘要： 全球数据总量的爆炸式增长预示着大数据时代的到来。大数据是高科技时代的产物,其重要性已成为行业共识,因此,研究大数据具有很强的理论价值与现实意义。本文通过对大数据的定义和特征的梳理,提出大数据研究正处于萌芽阶段,学者们对大数据的定义各有不同,以及大数据具有"4V"特征。随后评述了目前广泛使用的大数据处理工具MapReduce、Hadoop、HPCC等,最后从多维度对数据挖掘处理技术的阶段和主要算法进行阐述和总结。

关键词： 旅游专业教学   市场数据   数据挖掘   大数据   产品数据   旅游产业发展   数据处理   教学体系  

摘要： 在大数据时代,旅游产业发展最为重要的一类资源就是数据——游客数据、市场数据、产品数据,只有对这些数据进行收集、整理、分析和研判,才能有针对性地开展旅游活动,才能促进旅游产业的可持续健康发展。因此,在旅游教学实践中,需要通过数据挖掘和数据处理对教学体系进行重构,实现对旅游专业教学的改革和创新,培养新时代人才。

关键词： 大数据   数据挖掘   数据处理  

摘要： 在大数据时代下,关于大数据的应用正越来越受到重视,其带来的挑战也越来越大,为探究上述问题,给出大数据的研究背景及其定义后,就大数据六个典型应用场景即智能电网、弟子医疗、公共设施、物流运输和政治服务进行了分析和讨论,对其新时期所面临的挑战如管理、清洗、可视化、实时性及安全性等方面进行了研究,为未来大数据的应用指明了方向.

关键词： 数据处理  

ISBN: (纸本)9787118123241

摘要： 本书基于车辆自主驾驶技术体系和海量实车训练数据，用常见的驾驶行为模型和数据挖掘技术来识别、分析和解释履带车辆驾驶动作，研究了动作识别、训练评估和驾驶技能机器学习三类关键技术，为实现履带车辆驾驶训练过程的数字化描述、自动化评估和智能化指导提供了分析方法和基准数值。

关键词： 医学  

ISBN: (纸本)9787576100273

摘要： 本书内括: 绪论; 医药数据的关联规则; 医药数据的分类分析; 医药数据的聚类分析; Hadoop; 大数据存储技术; 大数据采集和预处理; 大数据分析技术等。