关键词： 桥梁健康监测   数据处理   数据挖掘  

摘要： 桥梁健康监测是桥梁运行中的重要辅助手段，本文从数据挖掘的角度对桥梁监测数据的使用，并以应变监测数据的ARIMA预测参数的选择为例进行了说明。

关键词： 结构化电子病历   中医临床   临床医生   数据挖掘   质量监控   共享平台建设   环节质控   数据采集   数据处理   时限性   术语集   中医科研   诊疗信息   数据仓库  

摘要： 临床科研信息一体化平台建设是提高临床科研水平的重要举措。平台在遵循规范化、标准化基础上,进行临床诊疗信息、科研数据的同步采集、加工、整理、存储与共享,通过构建数据仓库进行中医数据挖掘,有助于总结中医诊疗经验与规律,发现知识,提高中医防治水平,加快中医学术发展。本文总结了中医临床科研共享平台建设过程中相关经验,提出平台建设需要注意问题和

关键词： 数据挖掘   文本分类   降噪   语义相关度   流形  

摘要： 随着互联网时代的快速推进，人们接触的信息资源呈爆炸性发展的趋势，同时，人们获得信息的方式和途径也呈现多元化发展的态势。如何从这些错综复杂的信息中全面、准确无误地提取自己所需信息，帮助用户收集自己所感兴趣的资料成为当前信息科技领域的一大研究热点。 数据挖掘作为一种揭示数据模式和数据间关系的处理技术，它通过对海量复杂数据深入的剖析，挖掘出数据内部新的关系或潜在的趋势，为数据提取和知识发现提供了一种良好的解决方法。其中，文本分类作为数据挖掘中一个常见的研究热点方向，按照一定的规则利用训练完成的分类器标记没有分类的文本的类别，在很多方面有着很是广泛的应用范围。 二十世纪九十年代之前的文本分类纯靠人工操作去完成。人工方法要求参与分类的人员要具有相应领域的专业知识，根据个人的知识储备对文档进行类别的划分。这种分类方法不仅耗费大量时间，而且浪费大量人力资源，不同人员可能由于主观原因对同一文本存在不同的分类意见，引起分类结果存在多个不同值，所以人工方法难以保持分类结果的准确性。后来，对机器学习的研究不断深入，机器学习的知识逐渐应用到文本分类中并得到长足发展。这种分类方法首先通过对待分类文本的预处理，包括去停留词、词根还原，网页可能还需去除一些网页标记等，通过这步的处理，将对分类不起作用或起很小作用的文本元素去除;然后运用特征提取算法，提取出可以表示文档所属主题(即文档所属的类别)的特征;建立适合分类的特定模型，对分类器用处理过的文本去训练;训练完毕，分类测试及评价。相比于人工方法，基于机器学习的文本分类不仅分类速度快，减少了大量的人力、物力输出，而且有效的提高了分类结果的准确率。 但无论是利用信息增益、互信息还是向量聚合等技术进行文本的特征提取，都没有考虑文本内部单字、词语、句子等元素之间的隐含关系对分类结果的影响;而且目前的信息数据呈现高维、非线性等特征，沿用传统的特征提取算法会造成对现有数据的分析达不到稳健性和高准确性要求。 对于上面存在的几个问题，本文提出一种新的处理办法用于数据处理方面。在充分分析同义词词林(扩展版)的编码及结构特点的情况下，将词林中的词语相似度计算方法应用到文本数据处理上以此强化特征项的权重，在对知网的结构充分了解的情况下利用知网中的词语相关度计算方法实现特征向量权重的再赋值;通过非线性的降维算法中的局部线性嵌入算法实现降维处理。 本文所做主要工作如下： (1)实验采用的语料库中的训练文本集和测试文本集都存在垃圾数据，例如，有的文档只有文章头，没有实际文章内容;有的文档是个空文档;存在重复的文档等，这样的文档对分类不起任何作用，反而在一定程度上可能会对分类结果造成影响，通过对语料库的降噪处理，去除无用的数据，保留对分类有用的数据。 (2)一篇文章一个概念可以用不同的词语表达，例如，同时表达“高兴”之意，可能有的人会用“欢快”，有的人会用“愉悦”，这样的确可以提高文章的可读性，这样在丰富文章阅读性的同时，但对特征提取带来一定困难。电脑不像人可以很简单的分辨出同义词、近义词，容易导致在特征提取时把概念一样的词语提取成不同主题的特征，从而影响分类结果。针对这个问题，将词林中的词语相似度计算方法应用到文本数据处理上，对相似度值达到一定阈值的词语进行合并以此强化特征项的权重，尽可能减小问题带来的不必要的影响。 (3)为了挖掘出文本内部字词句元素之间的隐含关系，利用知网中的词语相关度计算方法实现特征向量权重的再赋值，以此提高结果的准确性。 (4)局部线性嵌入算法与传统特征提取算法相比，能够提取出原本在高维数特征空间中的较低维数的流形，降维处理后仍能保持原有的流形结构不变，是一种新的适用于特征提取的解决方法。

关键词： Hadoop   数据处理   挖掘  

摘要： 对现有多款云计算平台做了分析与对比。之后选定Hadoop开源云平台作为项目的基础研究平台,对其进行深入的分析与讨论。

关键词： 含能材料   独立成分分析   子空间比较法   交替最小二乘   不确定性  

摘要： 含能材料(即含能化合物)是高能量密度的物质,由于化学变化较少呈现一步完成的基元反应,一般都伴随多步或复杂的过程,因此,含能材料的合成是复杂的过程。含能材料合成和过程优化的关键是掌握含能材料合成反应机理。为了全面了解含能材料合成过程中复杂的化学变化,可对整个反应过程进行在线红外监测,通过对获得的光谱数据的智能感知了解合成过程的复杂变化,解析含能材料合成反应机理。 本文基于数据挖掘理论和技术对在线监测获得的中红外光谱数据降维、光谱感知等问题开展研究工作。针对中红外光谱高维度问题,提出了基于子空间比较的主成分分析算法,用于中红外光谱数据预处理,仿真实验表明文中的算法可对中红外光谱数据有效降维,获得较小的目标子集;针对中红外光谱感知问题,提出了快速定点算法与交替最小二乘算法混合的新算法,用于中红外光谱分析,仿真实验表明文中的算法分离的浓度曲线图得到了优化,更符合物理和化学意义,提高了挖掘准确性和适用性;针对独立成分分析不确定性对结果产生影响的问题,提出了消除独立成分分析不确定性的新方法,用于中红外光谱分析,仿真实验表明文中的算法减弱了纯物质光谱的异常现象,曲线变得平滑,在一定程度上消除了不确定性。 研究结果可辅助解析含能材料合成反应机理,为新型化合物的合成及反应路线优化提供决策支持。

关键词： 数据挖掘技术   监测数据   频谱资源   频谱监测   授权用户   数据分析   数据处理  

摘要： 概述随着频谱监测网络建设规模的不断扩大以及运行时间的不断增加,监测数据库积累的各种监测数据的量级成指数增长,产生了海量的频谱监测数据。目前的数据库管理技术可以高效地实现对监测数据的录入、查询、统计、修改、删除等功能,同时利用数理统计的相关知识也可对数据库中数据进行简单的统计分析,从而得到一些统计知识。

关键词： 数据挖掘   用户   移动互联网   数据分析   数据处理   数据归约   数据库管理模块  

摘要： 随着移动互联网的兴起,消费者更多利用手机终端接收新闻、听广播、看电视、听音乐、交友聊天等。准确把握用户的消费行为,通过海量的用户数据挖掘分析用户的个性喜好,并开展针对性营销在行业中显得尤为重要。本文旨在探讨通过分析用户海量的上网数据,发现用户的上网行为,并将这些行为数据与业务支撑系统数据结合,实现用户动态与静态数据的互补,为市场运营人员精准的抓取目标客户,以提升营销精准率。

关键词： 数据挖掘   日志文件   数据处理   数据抽取  

摘要： 时至今日，大数据时代到来的风暴革新了我们的生活、工作和思维，渗透在各个工业、商业和科研领域当中。在科学研究（天文学、生物学、高能物理等）、互联网、电子商务、计算机仿真等应用中数据呈现快速增长的趋势，特别是在科学研究中每年新数据的增量为15PB左右;大数据时代带来两大趋势：数据不断膨胀和数据深度分析。因此近年来对数据的分析和挖掘已经成为计算机研究领域中一个炙手可热的话题。大数据诸如突出的各种特性，已经使得传统的数据ETL、数据挖掘的方式都不再适用。面对密集型、复杂混合型的数据需要有更高效的监控方案。数据ETL主要是将分散的、异构源中的数据如关系型数据、稠密性数据进行提取、清洗和加载，最后成为联机分析处理、数据挖掘的的基础。　　目前对海量日志处理的方案和开源软件相继出现，基于Hadoop的应用已经遍地开花，尤其是在互联网领域。分布式文件系统HDFS和并行计算模型MapReduce作为Hadoop的核心组件，从存储模型和计算模型都具有更高的容错性、更强的扩展性，为海量日志的处理提供了很好的运行平台保障。在数据存储中采用诸如HBase的非关系型数据库，以此为基础深入研究适应大规模网络日志文件的数据处理技术，主要围绕数据监控、数据清洗、数据抽取、数据装载、挖掘应用开展研究论述。仅仅对海量日志进行预处理是不足以完全达到海量数据处理的能力，还需要结合相关的数据挖掘算法研究，基于上述原因，本文将Hadoop平台技术运用到数据挖掘中，对于能够实现并行化的算法，结合了MapReduce并行计算模型，将其移植到Hadoop平台上，提高了海量数据处理的性能。　　本文的研究重点总结如下：　　一、Hadoop生态系统中的开源子项目－Zookeeper，本文在研究中利用其分布式协调服务、分布式锁机制和实时反馈等相关技术，提出了实时计算框架－通用数据采集模型。该数据模型采用三层设计架构，作为单点可靠服务，在不影响单机主体正常服务的情况下，提供“无感知”的服务部署，为日志的实时采集提供了高效的策略。　　二、依托Hadoop平台的数据组织、读写原理，针对海量数据的特点，设计并实现了基于Chukwa的大规模日志智能监测方法。极大的弥补了MapReduce只能处理大文件数据的缺陷，也进一步提高了日志处理的灵活性和扩展性。　　三、研究MapReduce并行计算模型，提出一种基于M-R计算模型的遗传聚类并行算法(Clustering Genetic parallel Algorithm based on M-R model, M-R CGPA)。通过使用遗传算法来弥补聚类分析在筛选聚类中心不稳定而影响聚类结果的缺陷，然后依靠M-R并行计算模型来加速聚类分析的收敛速度。并且通过实验数据证明了的算法的可行性、并行化加速比的优越性。　　目前通用数据采集模块应用于百度搜索引擎等产品线当中，为各个产品线和优化项目提供了基础数据和决策支持的保障，为大数据平台的整体建设提供强有力的支撑。基于Chukwa的大规模日志智能监测方法目前应用广告智能监测、商业分析等领域中。

关键词： 云存储技术   大数据时代   数据挖掘   视频数据   数据存储   数据处理   安防行业   深度融合  

摘要： 大数据的真实价值并不仅在于存储,而在于从海量数据中进行数据挖掘和数据分析,以提取对业务应用需求真正有价值的数据信息。为此,大数据时代存储之道在于与安防行业深度融合的云存储技术。安防大数据的存储需求随着视频监控系统规模不断扩大,高清、乃至4K超清视频摄像机的大规模部署,数据将呈现爆炸性的海量增长态势。一个城市级的安防监控工程,以千计甚至万计的高清、超高清摄像机数量,其

关键词： 营运汽车   数据挖掘   行驶工况   主成分分析   聚类分析  

摘要： 在信息社会的高速发展的今天,各个行业都会产生规模庞大的数据,利用数据挖掘手段对产生的数据进行统计分析成为了每个行业的重要课题。车辆行驶工况就是对汽车行业的数据进行统计分析的项目。 车辆行驶工况也称汽车运转循环,是针对某一类型的车辆在特定环境下的车辆行驶速度-时间历程。行驶工况是一项汽车行业非常重要的内容,它为汽车燃油经济性的测试、汽车排放标准的制定、新型汽车的研发以及当地交通状况的概况等都具有相当充分的数据参考价值。 本文将通过学习构建行驶工况的基本流程和方法以及对数据挖掘系统的研究实现一个营运汽车行驶工况数据分析处理平台,以此来完成合肥地区营运汽车工况构建工作。 本文首先采集来自辆营运客车的行车数据,再根据其规模和特点,通过对几个不同工况数据分析算法的比较,选择主成分分析聚类算法作为数据挖掘的核心算法。主成分分析聚类方法构建的行驶工况可以在保证工况代表性的前提下,通过主成分分析的降维作用减少工况运算量,又使用聚类算法来对数据进行合理分类,从而更容易通过工况来分析当地的交通道路状况。 同时由于主成分分析方法的特点,对主成分分析聚类方法的标准化过程进行改进,由传统的标准化方法改进成均值化方法,通过理论和实际数据验证,改进后的算法有效地提高了的算法性能。 经过前期基本流程的学习和数据挖掘算法的准备,运用Java相关编程语言,实现营运汽车行驶工况数据分析处理平台,完成对工况数据的存储。对工况数据进行前期的预处理,令数据可以直接进行数据挖掘分析;使用编程语言实现主成分分析聚类方法构建行驶工况,并把所构建工况合成显示出来。 在完成论文所要求的研究内容后,对营运汽车工况数据处理分析平台的相关技术进行总结归纳,找出所研究内容的优缺点;展望未来研究方向。