关键词： 通信网络   数据处理   告警相关性分析   根源信息   根本原因  

摘要： 近年来,通信网络规模日趋复杂、日渐扩大,对网络告警进行深度分析与挖掘是目前的关键任务,基于大数据驱动的通信网络管理技术是未来研究网络告警的主要发展趋势,保证通信业务的高效运行和通信网络的高质量服务是未来通信网络发展的主要目的。结合目前关于网络管理的国内外研究现状来看,网络管理的研究步骤主要包括四步,即告警数据收集、告警数据预处理、告警相关性分析以及故障管理。对于大规模网络告警数据来说,故障管理中的溯源算法研究是目前面临的主要问题。本文主要研究内容如下:(1)本文首先对网络管理的步骤做出了概括性描述,之后针对广大研究者依据实际网络数据与问题在各阶段提出的相关研究方法及解决方案进行了分析和比较,并重点讨论和介绍了应用于网络告警分析中的数据挖掘关键技术。其次简单介绍了通信网络的架构以及告警数据的收集过程,然后对收集到的原始告警数据进行了多方面全方位的数据特点分析,并根据其数据特点进行了一对一的数据预处理步骤,最后给出了数据预处理的流程以及实验结果。(2)针对通信网络中网络异常源头定位问题,设计了一种基于故障树来确定通信网络根告警位置的方法。该方法首先采用聚类算法自适应地生成告警事务集,避免了采用滑动窗口时人为设置步长和窗口带来的随机性;针对DBSCAN聚类算法随着数据集增大计算量增加的问题,建立KD＿Tree来减少运行时间。然后采用序列模式挖掘算法来寻找强关联规则,并对规则出现频数设置阈值获取高频率序列模式,最后设计了一种故障树算法,通过计算每类告警的影响力及告警优先级来确定根源告警。通过对真实的告警数据实验可知,该方法在事务集生成阶段节约了时间的同时提高了告警事件间的相关性,关联规则算法阶段缩减了告警量,故障树的建立有效挖掘了高影响力告警。(3)针对通信网络中网络异常原因分析问题,提出了一种基于决策树进行告警数据特征分析的方法。由于通信网络设备每天产生万级量告警数据且多为无标记数据,为其添加标记是第一步的。该算法首先编码和多维化告警数据特征,然后基于地域和时间特征关联分析告警数据获得根源信息。进一步,采用决策树方法分析各类特征的重要度及对准确率的影响。最后,对真实世界的网络告警数据特征分析的结果表明,该研究方法在准确度和执行效率上有极大优势,在一定程度上可以帮助网络管理人员识别主要的告警数据特征。

关键词： 盾构隧道   地表沉降   数据处理   掘进参数  

摘要： 近年来,随着社会的发展,人们出行需求的提高,交通拥堵日益严重,挖隧道、建地铁是解决地上空间不足的良策。但由于地下情况复杂加之施工水平限制,地表沉降成为了隧道施工的一大难题,合理控制地表沉降是地下工程建设中急需解决的问题,盾构掘进施工对地表沉降的影响和预测是地下工程研究的热点。本文以济南市轨道交通R2线历山北路站～二环东路站区间为工程背景,基于Python语言对施工数据进行数据挖掘,分析了横、纵断面的沉降规律,对掘进参数进行统计分析,建立了BP神经网络、随机森林、支持向量机三种模型对施工沉降数据进行分析预测,主要研究内容及结论如下:(1)从经验公式法、数值模拟法和大数据分析法三个角度总结归纳了相关学者在地表沉降方面的研究现状和成果,分析了横断面和纵断面的沉降规律,利用Peck公式拟合沉降曲线,发现了横向沉降规律接近正态分布,隧道轴线上的监测点沉降值最大,越往两侧沉降量越小。利用Peck公式预测的最大沉降值都略大于实际沉降值,但很接近,说明Peck公式适用于此区间的横断面沉降值预测。(2)以现场实际数据为例介绍了盾构数据的处理过程,通过统计分析确定了环平均值可以作为环代表值,分析了掘进参数沿工程纵向的变化规律与地层之间的关系,使用Pearson相关系数对掘进参数进行分析,研究了掘进参数之间以及掘进参数与沉降值之间的关联程度。(3)建立了BP神经网络、随机森林、支持向量机三种模型预测地表沉降,以R、RMSE、MAE和平均误差作为模型评估指标对模型精度进行评价,最后引入贝叶斯算法优化支持向量机,结果表明支持向量机平均误差有明显降低,达到了工程使用标准,预测模型对实际工程有一定指导意义。

关键词： 数据挖掘   增强   增强数据   过采样   欠采样   分类  

摘要： 在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为:(1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样本特征作为权重。为了将输入数据与训练好的特征进行拼接,并找出特征之间的关系,本文提出了一种基于增强的合成采样方法,通过拼接各种特征,使特征表征每个数据样本。首先,本文将输入数据集作为标签和特征插入,对模型进行训练,得到训练样本特征作为输出。其次,本文将训练特征和输入数据集连接起来。最后,本文得到训练样本特征作为输出结果。主要目标是创建与各种特征的关系并增强特征以提高算法的性能。(2)本论文使用样本替换方法,从训练样本特征中随机选择样本特征值,放大合成数据的多样性,生成临时合成数据。首先,本文取样本值,随机样本一个是第一个特征的值。其次,这项工作实现了采样过程,以获取临时合成数据值的下一个样本特征值,直到样本特征值。最后,本文生成临时合成数据。本论文使用具有替换方法的样本生成临时样本数据。目的是增加数据的多样性。(3)本论文通过建模将临时采样数据与少数数据连接起来,创建模拟实际观察特征之间关系的合成数据,以预测最终合成数据的特征。本论文使用模型将少数数据与临时数据连接起来,以预测合成数据。当特征分类器和临时人工数据集可用时,最后阶段涉及使用连接的少数数据和连接的临时合成样本数据作为输入数据来估计最终合成数据集的特征。目标是使合成数据再现具有真实观察的特征关系。(4)此外,ABSBoost是所提出的方法和提升技术的混合体。在不平衡问题方面,混合对比了两种最先进的基于集成的方法的性能。通过集成训练方法解决类不平衡问题很普遍,本文将提出的ABS与boosting方法相结合,创建了一种称为ABSBoost的方法。执行ABS是为了在分类器训练的每次迭代中增加少数样本,因此每个弱学习器都在一个合理平衡的子集上进行训练。本论文将ABSBoost与最先进的基于集成的方法进行比较,包括RUSBoost和Under Bagging。与之前的研究相比,这项研究显示了所提出的方法和AUC的平均值(曲线下面积)在实验时能生成良好数据样本的能力。根据实验结果,所提出的方法优于现有方法。因此,实验结果表明,所提出的ABS方法和ABSBoost在给定数据集上是有效的。

关键词： 录取数据   多层结构   关联规则   数据挖掘  

摘要： 通过对普通高校招生网上录取系统各版本录取数据分析和研究,根据实际工作需要,应用现代计算机技术,设计开发高校录取数据处理系统。该系统整理规范了数据词典,汇集了各版本的录取数据,增强了报表的动态生成功能,形成了部分决策报告。系统的使用解决了因含义或编码不统一而造成的数据混乱问题,减轻了劳动强度,确保了工作质量,提高了工作效率。

关键词： fg-growth算法   大数据频繁项集   数据挖掘   数据处理  

摘要： 针对大数据中频繁项集挖掘方法存在的问题,提出一种基于fg-growth算法的大数据频繁项集挖掘方法。该方法首先使用最大最小标准化线性函数,对大数据进行离散化、归一化、异常值检测等相关性处理;然后,基于贪心策略均衡节点负载和通信量,完成节点优化;最后,经过数据库和TID表格之间的转化得到高频项集数据库用于数据供给,以确定最大合并候选项目阶次和产生候选项目,并对其进行分类累加,将结果与支持度之间进行判断,从而得到高频项集。实验结果表明:在相同实验条件下,设计方法的F1值、可扩展性以及算法运行时间均优于传统方法。

关键词： 大数据处理技术   地理信息档案管理   数据挖掘  

摘要： 科技发展推动测绘技术不断进步,测绘地理信息数据不断增长,一定程度上增加了数据档案管理难度,计算机信息技术快速发展推动大数据技术得到了有效的应用,因此对大数据处理技术在测绘地理信息档案管理中的应用展开探讨具有深远影响。本文分析了测绘地理信息档案管理现状,并对大数据处理技术在测绘地理信息档案管理中的应用进行简述。

关键词： 数据挖掘   数据处理   决策树   C4.5   ID3   预测变量  

摘要： 经典的C4.5算法的出现,即是对ID3算法的改进,它在ID3算法的基础上进行数据的处理分析,保留了ID3算法的大多优点,而且在预测变量的处理分析技术方面都有了很大的进步,这种算法的出现可以解决决策树数集分类问题。本文在对决策树算法进行钻研,在天气数据集上,编写代码并利用ID3算法和C4.5算法生成决策树,并对树的模型进行分析。从结果来看,采用C4.5算法构建的决策树具有较高的数据准确率,更接近实际情况。

关键词： 科技项目   数据挖掘   模型   数据处理  

摘要： 科技项目是提高企业核心竞争力的主要措施,为提高企业与科技项目的关联性,设计了基于数据挖掘算法的科技项目推荐模型。该模型引入数据挖掘算法的BP神经网络和自适应遗传算法对学习样品进行训练,形成科技项目推荐模型,从而提升企业与科技项目的关联性,提高模型收敛精度,增强科技项目推荐的精确性。

关键词： 配电系统  

ISBN: (纸本)9787519862091

摘要： 本书利用大数据技术对配电网运行、供电服务等全业务链条进行了监测分析, 主要内容包括配电网精准投资分析、配电网运维检修分析、配电网供电可靠性分析、配电网供电服务质量分析、配电网运营效率分析。

关键词： 数据处理  

ISBN: (纸本)9787563965021

摘要： 本书主要介绍数据挖掘与大数据分析的理论方法与实践应用，并加入丰富的实务案例介绍，具体说明如何应用数据挖掘与大数据分析技术以解决真实问题，深入浅出地剖析从数据中掏金的秘诀。书中也提供R语言与编程实例辅以说明，使读者更能融会贯通地应用数据挖掘方法，进而提升大数据分析和数字决策能力。