关键词： 用电   数据挖掘   多源数据   行为侧写   用户画像  

摘要： 随着智能采集装置普及,电力系统已成为一个典型的“物理-信息-社会”深度耦合网络,深入挖掘有效信息,构建用户用电行为的侧写画像,实现个性化服务是当下热点。综合考虑海量用户信息和用电数据,构建基于多源数据的用户用电行为侧写架构;打通不同系统之间数据接口,实现多源异构系统数据交互与统一功能;针对工业用户与居民用户用电特点,构建典型负荷模型;采用聚类算法对不同用户用电行为分析,得出用户画像。工程实用结果表明:用户行为侧写技术合理有效,能准确对工业用户进行分类,为政府决策提供支持;对居民用户采用多维度展示,为电力公司掌握用户用电习惯,提高服务水平提供强力支撑。

关键词： 软件工程   数据挖掘技术   数据处理  

摘要： 软件工程中使用的传统技术数据处理依然存在很多问题,比如在软件运行过程中出现卡顿、信息传输不稳定等情况,为了解决该问题,加强对数据挖掘技术的应用十分重要。因为数据挖掘技术能促使信息的有效传输,也能有效增强数据处理能力,维护数据信息整体安全性和准确性,对实践中数据挖掘技术在软件工程中的应用进行分析探讨。

关键词： 大数据处理   粒计算   数据挖掘  

摘要： 本文从大数据当前面临的挑战、粒计算作为大数据的新的研究方向、粒计算的研究现状等方面对基于粒计算的大数据处理分析进行了讨论。高度信息化的时代背景下,大数据的处理分析必将成为为社会进步与发展提供有效帮助的科技手段,如何提高大数据的处理分析,提升粒计算的性能都是必须要考虑的问题,对解决实际问题有着重要的参考价值。不断提高大数据的相关技术,对各行各业的发展都有着积极的意义。

关键词： 数据处理   行为预测   高速公路管理  

摘要： 高速公路收费数据是联网收费管理中的直接产物。这些数据能够反应出关于人们高速出行的频率、热点区间、区域财政收入等信息。而其关键在于如何对产生的海量收费数据进行挖掘和利用，并根据数据反应的趋势做出预测，为下一阶段的高速公路管理提供制度。重点介绍了进行数据挖掘的数据源以及数据挖掘的一般流程，并对其预测功能进行了分析。

关键词： 数据处理  

ISBN: (纸本)9787567305977

摘要： 本书分为六章，具体如下：第一章导论，介绍虚假信息定义及威胁、产生虚假信息的原因、社交机器账户的兴起等；第二章虚假信息传播的研究现状，包括传播的参与者、传播的内容、传播的网络与模型等；第三章基于新闻源的虚假信息采集与追踪系统，包括系统原理、系统模型与实现、系统可行性的再验证、系统部署与数据统计等，第四章基于k-核的网络剖析方法，包括网络剖析常用方法概述、数据描述、虚假信息与核实信息的竞争传播、网络主核用户的剖析、网络的鲁棒性分析等：第五章虚假信息传播特征分析，包括数据描述、案例分析、统计分析等：第六章社交机器账户作用分析，包括虚假信息传播的异常特征、社交机器账户的行为案例、社交机器账户的行为特征、分析可靠性的再验证等。

关键词： 数据挖掘   增强   增强数据   过采样   欠采样   分类  

摘要： 在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为:(1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样本特征作为权重。为了将输入数据与训练好的特征进行拼接,并找出特征之间的关系,本文提出了一种基于增强的合成采样方法,通过拼接各种特征,使特征表征每个数据样本。首先,本文将输入数据集作为标签和特征插入,对模型进行训练,得到训练样本特征作为输出。其次,本文将训练特征和输入数据集连接起来。最后,本文得到训练样本特征作为输出结果。主要目标是创建与各种特征的关系并增强特征以提高算法的性能。(2)本论文使用样本替换方法,从训练样本特征中随机选择样本特征值,放大合成数据的多样性,生成临时合成数据。首先,本文取样本值,随机样本一个是第一个特征的值。其次,这项工作实现了采样过程,以获取临时合成数据值的下一个样本特征值,直到样本特征值。最后,本文生成临时合成数据。本论文使用具有替换方法的样本生成临时样本数据。目的是增加数据的多样性。(3)本论文通过建模将临时采样数据与少数数据连接起来,创建模拟实际观察特征之间关系的合成数据,以预测最终合成数据的特征。本论文使用模型将少数数据与临时数据连接起来,以预测合成数据。当特征分类器和临时人工数据集可用时,最后阶段涉及使用连接的少数数据和连接的临时合成样本数据作为输入数据来估计最终合成数据集的特征。目标是使合成数据再现具有真实观察的特征关系。(4)此外,ABSBoost是所提出的方法和提升技术的混合体。在不平衡问题方面,混合对比了两种最先进的基于集成的方法的性能。通过集成训练方法解决类不平衡问题很普遍,本文将提出的ABS与boosting方法相结合,创建了一种称为ABSBoost的方法。执行ABS是为了在分类器训练的每次迭代中增加少数样本,因此每个弱学习器都在一个合理平衡的子集上进行训练。本论文将ABSBoost与最先进的基于集成的方法进行比较,包括RUSBoost和Under Bagging。与之前的研究相比,这项研究显示了所提出的方法和AUC的平均值(曲线下面积)在实验时能生成良好数据样本的能力。根据实验结果,所提出的方法优于现有方法。因此,实验结果表明,所提出的ABS方法和ABSBoost在给定数据集上是有效的。

关键词： 工控协议安全   协议逆向   数据处理   格式推断   随机采样   数据挖掘  

摘要： 随着5G的发展,物联网智能设备、工控设施已经广泛应用在各个重要领域。然而,近年来工控基础设施安全事件频发,作为基础设施的工控设备成为了攻击者的主要目标,工控安全在国家层面具有极高的战略意义。网络通信协议作为工业控制环境下设备间通信必不可少的要素之一,更是成为了攻击者展开攻击手段的主要对象,工控协议安全逐渐成为了工控和学术界的关注点。协议逆向分析技术是当前协议安全的主要分析手段之一,其通过对目标流量报文进行解析来还原目标协议的设计规范及详细信息,进一步的能够为工控设备提供安全保护。然而,由于工控协议表现出的独特特征,目前的协议逆向分析方案仍然面临着一些问题,如对工控协议的不适用性和效率低下等,使得其未能完全应用于工控场景。因此,如何在不降低逆向解析结果准确性的同时,实现低开销且能适用于工控未知协议的协议逆向方案仍然是当前协议逆向领域广泛研究的热点。本文在对现阶段未知工控协议逆向分析方案现状调研分析的基础上,针对性地做出了以下研究: (1)针对当前逆向分析机制对大容量报文样本存在分析效率低甚至于无法应对的问题,提出一种基于交互式随机采样策略的报文预处理方法HMCRS。该方法首次将随机采样策略运用于协议逆向过程的报文处理阶段,将一次大量的分析过程转变为增量式的多次迭代过程,并在报文采样过程中引入了人工的专家知识经验,很好的结合了专家知识与自动化工具的优势。理论分析与实验结果表明,提出的协议逆向分析方法能够有效提升分析效率,且具有较好的通用适配性。 (2)针对当前基于序列比对方法中存在的巨大时间开销问题,提出一种基于数据挖掘算法的序列比对优化方案IMCSA。该方案通过对数据挖掘算法Apriori的改进提升,实现对流量报文关键词的精确搜索;在此基础上,通过谱聚类算法,实现了对报文序列的精准聚类,为序列比对算法提供了良好的序列比对空间,降低了因无效比对而产生的不必要时间开销。理论分析和实验结果表明,该方案能够有效地提升基于序列比对方法的效率,降低时间开销。 (3)依托随机采样方法、数据挖掘算法、序列比对方法等关键技术,设计并实现了一个未知工控协议逆向分析系统。通过对多种工控物联网协议进行实验分析,表明系统可以有效解析多种未知工控协议。同时通过对比实验,表明了我们的系统具有较低的运行开销,特别适用于工控未知协议的逆向解析。

关键词： 盾构隧道   地表沉降   数据处理   掘进参数  

摘要： 近年来,随着社会的发展,人们出行需求的提高,交通拥堵日益严重,挖隧道、建地铁是解决地上空间不足的良策。但由于地下情况复杂加之施工水平限制,地表沉降成为了隧道施工的一大难题,合理控制地表沉降是地下工程建设中急需解决的问题,盾构掘进施工对地表沉降的影响和预测是地下工程研究的热点。本文以济南市轨道交通R2线历山北路站～二环东路站区间为工程背景,基于Python语言对施工数据进行数据挖掘,分析了横、纵断面的沉降规律,对掘进参数进行统计分析,建立了BP神经网络、随机森林、支持向量机三种模型对施工沉降数据进行分析预测,主要研究内容及结论如下:(1)从经验公式法、数值模拟法和大数据分析法三个角度总结归纳了相关学者在地表沉降方面的研究现状和成果,分析了横断面和纵断面的沉降规律,利用Peck公式拟合沉降曲线,发现了横向沉降规律接近正态分布,隧道轴线上的监测点沉降值最大,越往两侧沉降量越小。利用Peck公式预测的最大沉降值都略大于实际沉降值,但很接近,说明Peck公式适用于此区间的横断面沉降值预测。(2)以现场实际数据为例介绍了盾构数据的处理过程,通过统计分析确定了环平均值可以作为环代表值,分析了掘进参数沿工程纵向的变化规律与地层之间的关系,使用Pearson相关系数对掘进参数进行分析,研究了掘进参数之间以及掘进参数与沉降值之间的关联程度。(3)建立了BP神经网络、随机森林、支持向量机三种模型预测地表沉降,以R、RMSE、MAE和平均误差作为模型评估指标对模型精度进行评价,最后引入贝叶斯算法优化支持向量机,结果表明支持向量机平均误差有明显降低,达到了工程使用标准,预测模型对实际工程有一定指导意义。

关键词： 通信网络   数据处理   告警相关性分析   根源信息   根本原因  

摘要： 近年来,通信网络规模日趋复杂、日渐扩大,对网络告警进行深度分析与挖掘是目前的关键任务,基于大数据驱动的通信网络管理技术是未来研究网络告警的主要发展趋势,保证通信业务的高效运行和通信网络的高质量服务是未来通信网络发展的主要目的。结合目前关于网络管理的国内外研究现状来看,网络管理的研究步骤主要包括四步,即告警数据收集、告警数据预处理、告警相关性分析以及故障管理。对于大规模网络告警数据来说,故障管理中的溯源算法研究是目前面临的主要问题。本文主要研究内容如下:(1)本文首先对网络管理的步骤做出了概括性描述,之后针对广大研究者依据实际网络数据与问题在各阶段提出的相关研究方法及解决方案进行了分析和比较,并重点讨论和介绍了应用于网络告警分析中的数据挖掘关键技术。其次简单介绍了通信网络的架构以及告警数据的收集过程,然后对收集到的原始告警数据进行了多方面全方位的数据特点分析,并根据其数据特点进行了一对一的数据预处理步骤,最后给出了数据预处理的流程以及实验结果。(2)针对通信网络中网络异常源头定位问题,设计了一种基于故障树来确定通信网络根告警位置的方法。该方法首先采用聚类算法自适应地生成告警事务集,避免了采用滑动窗口时人为设置步长和窗口带来的随机性;针对DBSCAN聚类算法随着数据集增大计算量增加的问题,建立KD＿Tree来减少运行时间。然后采用序列模式挖掘算法来寻找强关联规则,并对规则出现频数设置阈值获取高频率序列模式,最后设计了一种故障树算法,通过计算每类告警的影响力及告警优先级来确定根源告警。通过对真实的告警数据实验可知,该方法在事务集生成阶段节约了时间的同时提高了告警事件间的相关性,关联规则算法阶段缩减了告警量,故障树的建立有效挖掘了高影响力告警。(3)针对通信网络中网络异常原因分析问题,提出了一种基于决策树进行告警数据特征分析的方法。由于通信网络设备每天产生万级量告警数据且多为无标记数据,为其添加标记是第一步的。该算法首先编码和多维化告警数据特征,然后基于地域和时间特征关联分析告警数据获得根源信息。进一步,采用决策树方法分析各类特征的重要度及对准确率的影响。最后,对真实世界的网络告警数据特征分析的结果表明,该研究方法在准确度和执行效率上有极大优势,在一定程度上可以帮助网络管理人员识别主要的告警数据特征。

关键词： 录取数据   多层结构   关联规则   数据挖掘  

摘要： 通过对普通高校招生网上录取系统各版本录取数据分析和研究,根据实际工作需要,应用现代计算机技术,设计开发高校录取数据处理系统。该系统整理规范了数据词典,汇集了各版本的录取数据,增强了报表的动态生成功能,形成了部分决策报告。系统的使用解决了因含义或编码不统一而造成的数据混乱问题,减轻了劳动强度,确保了工作质量,提高了工作效率。