关键词： MapReduce   HDFS   Hadoop   数据挖掘   大数据分析  

摘要： 在当今这个科技发展迅猛的时代,大数据作为一项技术发展已不再新奇,当代大学生学计算机这块基本上也都有了大数据这个专业.虽然现在淘汰也很迅速,但是基于大数据技术的应用早几年就非常火热,而且作为一项发展前景广阔的技术,热度目前还会持续上升还不会下降,并且现在大数据还有很多有待挖掘的功能,比如减少数据存储成本,提高数据处理速度等.现今,怎么能拥有大数据它的不可估算的价值呢?把具有潜在价值的大数据进行专业化的处理是大数据的一个重要的战略意义.本文就大数据目前的应用情况引入,简述了Hadoop下实现的一个MapReduce案例,统计HDFS文件系统中的***文件中的单词个数.

关键词： 招生数据   数据仓库   OLAP   数据挖掘  

摘要： 从2001年开始,全国普通高校开始采用网上远程录取方式进行新生的录取工作,随后各省、市、自治区陆续实施平行志愿进行招生,近年来新的高考改革在各地陆续展开;高校对优质生源的竞争日趋激烈,各高校招生系统必须提升信息化技术水平,加强对考生志愿填报进行指导,加强招生宣传,提高报到率。本文针对四川理工学院招生工作实际,研究设计了一个高校招生数据处理及应用平台。该平台可为高校招生信息的收集与处理、校内部其他管理系统的数据协作与交互、数据的统计与报表、分析与决策、以及社会人员填报志愿等服务。论文基于联机分析处理(OLAP)技术和数据挖掘(DM)技术,首先通过OLAP技术对数据进行统计,再在此基础上进行数据挖掘,探寻影响报到率的因素、发掘各专业志愿之间的联系,从而形成决策意见。论文研究的主要内容如下:⑴研究数据标准化问题:建立标准的数据结构,使汇总的新生数据表能够在结构和字段含义上趋于一致,将各省的录取新生原始信息表进行标准化处理,构建平台需要的数据仓库。⑵研究招生数据处理及应用平台的统计功能:利用联机分析处理(OLAP)技术,对招生数据进行统计与钻取,动态生成各类报表以满足不同人群的需要。⑶研究招生数据处理及应用平台的决策功能:在确定专业志愿填报、考生报到率分析主题后,利用数据挖掘技术,对有价值的数据进行挖掘和分析,发现历年各地区招生专业之间的联系和影响报到率的因素,形成决策意见,供今后招生录取工作做决策参考。

关键词： 档案建设   数据处理   挖掘技术   电子趋势  

摘要： 当今社会,我国互联网技术突飞猛进,随着网络的日益普及,现如今人们能够随时随地获得信息,挖掘互联网深层次的数据是计算机迈向智能化的一种重要表现。我国档案管理工作不断融合新的计算机技术,逐渐走向电子化、现代化。挖掘技术的应用也就越来越普遍,本文将针对这项技术进行深入介绍,探讨其对档案管理工作的重要性。

关键词： 基于条件的维修(CBM)   预测与健康管理(PHM.)   故障诊断   数据挖掘   数据处理   智能条件预测  

摘要： 离心泵广泛应用于石油、石化、化工等流体领域,是重要的旋转机器之一。在工作过程中,由于泵的失效会导致生产线停止运转,因此,泵失效能力的早期检测可以保证生产线的连续性,同时也防止了泵本身的严重损坏,而监测离心泵的健康状况对于防止泵的意外停机至关重要。振动信号处理和技术分类的组合可以更好、更可靠的进行离心泵故障诊断。振动信号处理、尺寸测量技术和分类技术的应用是离心泵故障诊断中更值得深入探索的一个开放研究领域。本文研究基于轴承振动分析的离心泵寿命研究及故障诊断,在基于条件的维护(CBM)中,预测及健康管理(PHM)的加入对系统的有效保护有重要作用。在此之前,直接用测量的实际数值与PHM匹配的方法会引入外部噪音,基于此模型的维护策略并不理想。为了解决上述问题,本论文提出基于条件维护(CBM)和预测与健康管理(PHM)的结合,建立一种新的故障诊断方法,从轴承的数据中提取隐藏知识以提高离心泵寿命预测性能的工具。应用这种数据处理方法,在使用数据作为PHM输入之前,先消除外部噪声并进行数据匹配。我们采用泵轴承振动数据来验证模型。将该模型与两个相似模型进行了比较,通过建立一个智能网络,隐藏数据信号,获取更多清晰的知识预测。结果表明,我们所提出的模型可以更精确地进行预测。该方法可以期待用于提高设备管理的有效性、可靠性、安全性,最终提高离心泵的使用寿命。

关键词： 征信信息   MQ集群   多线程   分布式系统   数据挖掘  

摘要： 随着大数据时代的到来,银行业的传统集中式开发部署模式已经无法适应于现代大数据量数据加工及存储,再加上银行对静态大数据进行利用的浓烈兴趣,行业内智能化、自动化、大数据化的趋势使金融系统迎来了转型升级的时期,各行也积极开展大数据及智能化平台。同时由于数据量的增长,对于消息中间件的要求也在不断提高,如何能提高可靠性、处理效率,使系统间信息传输更加稳定、快速,是金融系统对消息中间件的主要要求。作为银行业大数据量数据的一种,征信信息近些年已经越来越受到金融及银行业的关注,它贯穿于客户的整个业务周期,对客户征信信息的监控可以有效的控制风险。据在银行业内的调查,银行很多业务如个贷、信用卡、客户识别、公司授信等均需要使用征信信息进行客户的风险把控。面对大数据量的征信信息需求,如何能够正确、快速的处理、存储并且有效的使用这些征信信息,是银行业在这方面急需解决的课题。本文从大数据征信信息的处理、存储及使用入手,以银行对征信信息管理和使用的实际业务需求出发,探讨在大数据环境下金融系统对数据处理、中间件消息传递以及数据挖掘的方法。提出采用分布式技术提高系统的可靠性,并运用其高扩展性解决对大数据的加工,使用IBM WebSphere Message Queue(以下简称MQ)集群及多实例技术提高消息中间件在大数据传输时的可靠性及易扩展性,并基于数据挖掘技术提出针对征信指标的智能校准算法。根据以上研究内容设计并实现了基于MQ多线程处理算法的征信信息管理系统。1.本文对现有金融系统在大数据环境下的现状及可能存在的问题进行分析,对集中式开发部署以及单实例消息中间件的不足进行阐述,提出了运用分布式技术的高可扩展性解决金融系统大数据加工的问题,运用MQ消息中间件的集群及多实例技术提高消息中间件在大数据传输时的传输稳定性并运用其易扩展性配合分布式技术。同时通过对现有征信信息的运用场景进行分析,研究对大数据征信信息的数据挖掘技术,提出一种通过聚类算法运用征信信息对征信指标进行校准的大数据运用场景。2.本文通过对征信信息实际管理及运用业务场景进行调研,对收集的需求进行分析,整理并划分了基于MQ多线程处理算法的征信信息管理系统需要具备的功能,并根据系统技术特点设计了系统的整体架构。对征信信息管理系统分布式处理方法、MQ消息中间件的集群及多实例技术、以及征信指标智能校准算法的设计进行详细阐述,并对系统的数据结构及报文接口进行了设计。3.本文在需求分析及总体设计的基础上,对征信信息管理系统的各功能模块以及MQ消息中间件的集群技术进行详细设计及实现,并阐述各模块的具体实现方式。4.本文模拟实际的业务场景,对MQ传输效率进行测试,对征信信息管理系统的综合性能进行评估。并使用实际业务数据,验证智能校准算法的有效性。最终通过交由实际业务人员进行使用并收集反馈,对系统整体使用效果进行分析。本文通过对面向大数据的征信信息管理系统的设计与实现,为征信信息搭建了一个集处理、存储、管控与智能优化的平台,希望能为金融及银行业在征信信息使用及管理方面提供帮助。

关键词： 大数据   挖掘   数据处理   方法  

摘要： 本文阐述了大数据挖掘的来历、方式和技术体制还有对数据的处理方法。从数据本身和使用工具方面比较了大数据与数据挖掘的异同,并且提出了关于在大数据时代数据挖掘的发展路线。现在科技的发展使大数据获得了广泛的关注、重视、和进行开发从而加以实践。现时代数据中非结构化流式数据作为一种主要的数据形态,而他的信息庞大和复杂使得传统数据处理体制无法满足对数据处理的要求,为了满足新时代的对大数据的处理需要将大数据处理系统从流程设计向数据设计方向转化,从而提高对数据处理的效率。

关键词： 大数据   数据处理   质量控制   数据挖掘   可视分析   智能数据管理   国家工程实验室  

摘要： 针对我国大数据挖掘与分析能力弱、大数据算法应用和综合能力不高等问题,系统地介绍了大数据分析与应用技术创新平台的总体技术框架,详细分析了我国大数据分析与应用五大共性技术存在的不足和解决思路,并阐述了创新平台中四大支撑平台的设计思路与应用方向,最后对大数据分析与应用技术国家工程实验室未来的发展方向和重点工作进行了介绍。

关键词： 大数据   NoSQL   数据挖掘   数据分析   数据处理  

摘要： 本文围绕社会化商务呈现出的分析型应用需求，根据多源异构大数据特点，设计合理的数据结构和索引结构。将对传统的数据挖掘技术进行重新设计，提出了更多地采用基于磁盘的算法、增量算法、近似算法、和随机算法，使数据挖掘技术真正适于大数据计算，大数据计算真正能服务于社会化商务智能。同时将基于已有计算模型，通过模型的融合、优化、耦合，设计并实现具有高扩展性、高性能、跨异构数据的大数据计算框架。

关键词： 数据处理  

ISBN: (纸本)9787111600107

摘要： 本书采用“理论+实战”的形式编写，全面介绍了Hadoop大数据挖掘的相关知识。本书共分为13章，涵盖的主要内容有：集群及开发环境搭建；快速构建一个Hadoop项目并线上运行；Hadoop套件实战；Hive编程——使用SQL提交MapReduce任务到Hadoop集群；游戏玩家的用户行为分析——特征提取；Hadoop平台管理与维护；Hadoop异常处理解决方案；初识Hadoop核心源码；Hadoop通信机制和内部协议；Hadoop分布式文件系统剖析；ELK实战案例——游戏应用实时日志分析平台；Kafka实战案例——实时处理游戏用户数据；Hadoop拓展——Kafka剖析。

关键词： 数据采集   数据处理  

ISBN: (纸本)9787563965625

摘要： 本书共7章，包括大数据与数据分析、大数据存储、大数据分析工具、大数据与信息安全、基于二部图网络的电子商务推荐算法研究等内容。