关键词： 数据挖掘   高职院校   技能考证   数据处理  

摘要： 随着高职院校毕业生的不断增多和各种学生管理系统的应用,造成了大批的复杂信息数据。本文通过研究数据挖掘算法,应用数据挖掘中的数据预处理技术,以高职院校学生技能培训和证书的数据作为研究对象,帮助高职院校进行学生的技能培训,对学生的就业也具有很大的指导作用。

关键词： “高级数据挖掘与应用国际学术会议”   数据库   数据挖掘   数据处理  

摘要： ADMA 2013 will take place in Zhejiang University,Hangzhou,14th-16th December *** is our pleasure to invite you to contribute papers,register and participate at ADMA 2013.

关键词： 图书馆   大数据   数据分析   数据处理   数据挖掘  

摘要： 阐述了大数据在我国图书馆界的研究进展,从大数据的产生对科学研究、社会创新的影响角度入手,分析了大数据视角下图书馆的定位,进而提出了拓展数据分析与处理业务、重视用户隐私保护等图书馆的发展策略。

关键词： 高速公路   收费数据   数据挖掘  

摘要： 近几年来,随着我国高速公路建设发展脚步的不断加快,高速公路收费工作也得到了巨大的挑战,为了能够将大量的资料有理有序地进行整理和统计,在高速公路收费工作中引进先进技术是不容忽视的。近几年来,随着我国科学技术的不断发展,数据挖掘技术凭借着自身诸多优势在高速公路收费中得到了广泛的应用。本文通过对数据挖掘及其应用进行详细的介绍,并在此基础上分析其在高速公路收费工作中所起到的积极作用。

关键词： 数据挖掘   存储   计算   数据流处理   Web应用   数据流模型   信息技术   数据处理  

摘要： 大数据是2012年最火爆的词汇，这股热潮促进了新一代信息技术的融合发展。大数据的处理和分析是核心支撑，数据流处理又是大数据处理中的关键一环。像金融服务、网络监控、电信数据管理、Web应用、生产制造、传感检测等各行业应用，数据通常以大量、快速、时变的流形式持续到达。在这种数据流模型中，单独的数据单元可能是相关的元组，例如网络测量、呼叫记录、网页访问等产生的数据，而且数据在处理之后就会被丢弃（这里涉及时间窗口管理和价值数据的提取）。

关键词： 出租车调度   云计算系统   数据挖掘   聚类算法  

摘要： 随着我国经济快速发展，城市交通发展显著，私家车数目不断增加，目前交通拥堵、环境污染等问题已成为备受关注的社会焦点，研究新一代智能交通系统成为改善交通现状的关键工作。基于国内外智能交通系统现状，本文首先对现有系统的组成、主流技术以及存在的问题进行分析，针对现存问题，引入物联网、云计算以及数据挖掘等相关技术优化系统，提出物联网环境下的云智能交通系统架构。物联网技术是现代信息技术的重要组成，通过嵌入射频标签，实现高度信息化;云计算是一门新兴学科，应用分布式架构高效处理大数据。物联网以及云计算技术的不断发展推动智能交通系统进一步完善。\n 本文的研究重点是智能交通中的出租车调度系统的设计与实现。首先，完成系统设计方案以及关键技术的调研，然后，在此基础上针对深圳市出租车行业具体情况，分析智能调度系统的功能及设计需求，提出智能出租车整体设计方案，从采集层、处理层以及发布层分层介绍功能需求以及设计方案，并对重要实施方案作出论证分析。最后，采用模块化设计思想，将数据处理流程分为几个重要模块:信息传输帧格式、云平台搭建、数据预处理、数据存储以及数据聚类，并针对各模块提出满足系统需求的详细设计方案，详细阐述了基于频率过滤算法、基于虚拟路径过滤算法、存储策略以及聚类算法的详细设计以及实现过程。为验证设计方案的正确性，项目组人员搭建测试平台，对深圳市出租车智能调度系统各模块进行测试。论文对测试结果的分析表明，该系统功能完善，性能稳定，满足设计目标。论文最后总结研究工作中存在的问题，提出优化方案，并展望在其他领域的应用前景，规划下一步工作。

关键词： 大数据   数据处理   图书馆服务   数据挖掘  

摘要： 在大数据时代,图书馆的服务质量提升需要大数据的支持,大数据将成为图书馆的核心资产,但图书馆如何进行大数据处理将成为挑战。图书馆可通过重视用户数据与信息、增加大数据分析服务、利用数据分析技术与工具、提高图书馆服务的智能化来创新图书馆的服务。

关键词： 数据挖掘   遗失填补   粗糙集理论   ROUSTIDA算法   系统开发   功能模块  

摘要： 随着数据库和数据仓库的深入应用，各公司都有一套独特且杂乱的数据。这些数据多为历史数据，实时数据寿命短而且通常不作分析用，因此对这些历史数据的分析和处理显得愈发重要。而数据挖掘技术的引入，使得这样的分析处理能为公司提供重要决策指导，甚至是为企业创收。其中，有关如何补全不完备信息系统的缺失数据成为近年来的研究热门问题。这些问题包括缺失数据的去留问题、遗失值的补全问题以及使用何种算法补全等。而本系统正是基于此背景开发。\n 数据补全处理，也即填补遗失值的方法，有平均值法、最大频率法和不完备数据分析方法(ROUSTIDA)等。首先不考虑直接删除缺失数据条的情况，没有研究实现的意义。在众多补遗方法中，ROUS-TIDA算法是基于粗糙集理论（基于二维表的知识表达，用以体现信息决策世界）的一种算法，用于实施填补不完备信息系统中的遗失数据值。作为粗糙集理论中填补性能最好的算法，也是本系统主要研究的内容，针对的是ROUSTIDA算法的实际应用，用以实现对不完备系统的数据填补，同时根据其时间复杂度高的缺点，完成了对ROUS-TIDA算法的改进，大幅降低时间复杂度，并保证原来算法的正确功能，从而达到了现有对数据补全的最佳性能。本系统实现的主要功能就是把读入的、符合粗糙集理论和ROUSTIDA算法要求的数据不完备信息系统，交由ROUSTIDA算法和改进的ROUSTIDA算法进行处理，分析比较二者优劣，最后把补全的完备信息表重新输出。\n 本系统对于实际应用方面的价值就体现在，对于企业有决策意义的数据进行整理，找到决策属性后，即可将数据表中缺失的数据按照算法补齐，这样保证了公司数据库的完整性，同时为以后的研究提供标准的完备数据。本系统最大的特色在于利用最新、最稳定的数据填补算法，自主实现了针对EXCEL文件输入数据进行遗失值填补，分析比较了两种算法，对研究和应用都有指导意义。\n 本文首先介绍了相关技术（粗糙集理论的基本概念、ROUSTIDA算法以及改进的ROUSTIDA算法的描述分析）。随后对系统进行各方面的系统分析、包括整体可行性研究、功能性能方面的需求分析和开发环境的介绍，并在此基础上进行系统设计（包括系统框架流程、UML类图和功能结构的概要设计以及各模块的详细设计）。紧接着就进行最底端的系统实现（每个模块的实现）、主要模块测试(ROUS-TIDA及改进算法测试过程和分析)和实施系统部署（软硬件环境的搭建、数据源的设置）。最后本文对本系统进行了一个总结与展望，总结了项目的创新点和开发过程中的心得经验，展望了系统的优缺点（新技术优势和代码优化问题），以指导今后工作。至此，可以得出结论，本系统完整、健壮地实现了基于ROUSTIDA算法的不完整数据处理分析与实现，对于学习和实用都有重大意义。

关键词： 数据挖掘   桥梁振动   关联模型   聚类模型   时间序列模型  

摘要： 21世纪以来,我国的桥梁建设讯猛发展,目前桥梁的跨度和数量均已跃至世界前列。桥梁作为重要的生命线工程之一,对于国民经济具于十分重要的意义。由于桥梁通常位于交通的重要干线上,承受着汽车的不断冲击,桥梁结构长期处于振动状态,桥梁结构的安全性就显得尤为重要。因此,需要建立桥梁健康监测系统对桥梁结构振动状态进行实时监测,对可能发生的破坏及时预警。另一方面,随着桥梁结构形式的不断更新,其最大跨度也逐渐增大,桥梁结构的受力规律越来越复杂。特别在地震、台风、洪水等自然灾害作用下,桥梁结构的受力规律更加复杂,因此,需要开展桥梁模型试验研究可能的动荷载作用下桥梁的振动响应规律。不管是桥梁实时健康监测系统还是桥梁动力模型试验中,对桥梁结构响应数据的处理显得尤为重要。不论是在汽车、地震、台风及洪水等荷载冲击上,桥梁的结构均不是一个静止的变形状态,而是不断变化的振动状态,需要实时进行桥梁振动信号的采集。由于桥梁振动时刻发生,不间断地采集其振动信号,数据量十分巨大,仅采用人工方法则无法及时有效地进行处理。因此,为了能及时、有效且准确地挖掘出实测振动信号中所包含的桥梁结构状态信息,需要引用数据挖掘技术进行振动信号分析。 本文尝试着把数据挖掘技术应用于海量的桥梁振动信号分析中,找出实测桥梁振动信号的数据分析模型,获得桥梁结构中某个参数的变化规律,同时挖掘出桥梁各个参数之间隐含的相互关系,最后,通过一系列的时间序列分析模型,对桥梁结构可能的振动状态进行预测。本文对于桥梁振动信号数据挖掘技术的研究成果,也可以应用于其它大型结构,如高层建筑,大跨场馆结构等的振动信号分析中,具有较广泛的实际工程意义。 由于桥梁的振动信号需要多次信号转换及传输得到,而且桥梁结构内部受力复杂且所处的外部环境条件恶劣,经过数据的转换、传输等过程后,得到的数据必然夹杂着许多不需要的成分。因此,本文提出应首先对采集得到的信号数据进行初步处理,以修正波形的畸变,剔除混杂在信号中的噪声和干扰,削弱信号中的多余内容。本文针对桥梁振动信号可能的问题,结合理论推导及数据实例分析方法详细介绍了相应的信号预处理方法(标定数据的物理单位、消除趋势项、振动信号平滑处理及振动信号滤波处理等)。 本文以某悬索桥的实测健康监测数据和斜拉桥的动力模型试验得到的海量振动数据为例,在振动信号预处理的基础上,采用数据挖掘技术建立了多种数据挖掘模型(聚类模型、关联模型和时间序列模型)对桥梁的振动信号进行分析。通过聚类模型,对测量得到的桥梁振动信号的异常情况进行监测;通过关联模型,建立桥梁各部分反应及外部荷载(包括温度)等参数之间的关联规律;通过时间序列模型,观察桥梁振动信号的变化趋势,对参数值进行预测,以对当前的桥梁结构健康状态进行初步判断。

关键词： 数据库营销   云计算   数据挖掘   数据模型   Hadoop   MapReduce   HDFS  

摘要： 互联网的应用与发展不仅促进了各个新兴产业的产生与发展，影响了每个人的生活，同时也为传统制造业提供了机遇与挑战。对于制造业企业来说，常规的营销方式，如投放广告、搞促销活动等方式已经远远不能满足他们需要。常规营销方式的制定往往需要通过较长的周期及过高的成本收集客户数据然后人工分析，再制定相应的营销策略与方式，甚至在缺少数据的情况下盲目进行营销策略的制定，所以很难达到企业预期的效果。而通过数据库营销，企业可以方便地收集和积累客户信息，构建庞大的顾客信息库，然后通过云计算技术对海量数据快速准确地筛选和分析，从而有效地进行客户数据挖掘与关系维护。本文提出了基于Hadoop云的数据库营销系统的架构，实现海量数据的处理与存储，并将其应用到红塔集团数据库营销系统中，并且在系统初步完成并投入运行后，红塔集团卷烟销量尤其重点促销品牌销量相比同期的有了大幅度提升，数据库营销在其中起了至关重要的刺激作用。文章主要研究内容如下： 1）分析红塔集团的现状，完成红塔集团数据库营销系统的需求分析，根据需求分析，针对性地对Hadoop分布式计算平台进行研究和综述，了解其优势、架构和运行机制，分析使Hadoop构建红塔集团企业私有云的可行性。 2）探讨了数据库营销常用数据挖掘方法，并根据红塔集团数据库营销系统的实际需求及首要目标，构建了促销活动响应模型，提高集团促销活动客户响应率;构建促销活动决策模型，为决策者提供有效的客户信息，确定促销产品及促销客户群;设计了客户终身价值、客户忠诚度计算方法，构建客户忠诚度预警模型以及客户忠诚度提升模型。 3）研究设计Hadoop与关系型数据库协同工作方案，设计Hadoop分布式平台下MapReduce计算模型对关系型数据的处理方法，并设计使用最优数据集选择算法构建MapReduce Job数据流，实现通用性设计，降低维护成本。 4）根据红塔集团的实际情况，给出了系统总体设计方案，并应用Hadoop构建红塔集团企业私有云。