关键词： 地震数据   数据监控   数据挖掘   日志挖掘   迭代规律  

摘要： 在油田的勘探开发过程中,需要对地震数据进行处理和解释得出地震剖面图、地震波速度、频率等,再根据这些数据结合地震波传播理论和石油地质学原理来分析地下地质构造的特点,为探测含油量和提出钻探井位提供依据。目前一些油田公司利用GEOEAST、WGC、PARADIGM等大型软件对地震数据进行处理,这些软件执行过程中需要多台节点(主机)协同工作。而目前油田公司的应对方案是在确保任务可以完成的前提下,人工地将节点进行固定划分。但这种方案不可避免地会造成部分节点闲置或者负载等问题。针对这一问题,提出了通过监控油田地震数据处理软件的许可日志以及各节点的机器KPI数据来挖掘出一定作业量下软件执行过程中各功能模块的迭代规律,预测软件执行过程中所占资源情况,为节点资源的动态调度提供依据。并通过实验验证了这一方案的可行性。

关键词： 金融数据   数据处理   数据挖掘   三维图形   图形化  

摘要： 通过对金融交易数据进行采集和处理,计算各板块的相对成交量,应用Surfer 11软件对数据进行图形化,生成各板块的相对成交量的二维等值线图、二维剖面图、三维地形图等图形.通过对图形的分析研究,判断各板块的成交活跃度,为金融交易提供参考.对金融数据进行图形化分析,可以为相关技术人员提供借鉴.

关键词： 数据异常检测   孤立森林算法   数据挖掘   数据处理  

摘要： 客户用电量监控与分析是电力部门一项十分重要的工作。由于客户数量多且数据量大,在对客户用电量监控与分析时需要采用实时、快速有效的异常数据处理方法。通过分析不同的异常数据处理方法,提出基于孤立森林算法的用电量数据异常检测模型。经过实际数据对模型进行验证,在相同条件的情况下,孤立森林算法与其他算法相比,处理速度更快,检测准确率更高。该算法现已经应用于实际系统,并取得了良好的效果。

关键词： 数据挖掘技术   建筑工程管理   数据处理  

摘要： 文章对数据挖掘技术与建筑工程管理进行了概述,说明了数据挖掘技术在建筑工程管理中的具体应用,分析了数据挖掘技术在建筑工程管理中的应用问题和解决策略。

关键词： 用电   数据挖掘   多源数据   行为侧写   用户画像  

摘要： 随着智能采集装置普及,电力系统已成为一个典型的“物理-信息-社会”深度耦合网络,深入挖掘有效信息,构建用户用电行为的侧写画像,实现个性化服务是当下热点。综合考虑海量用户信息和用电数据,构建基于多源数据的用户用电行为侧写架构;打通不同系统之间数据接口,实现多源异构系统数据交互与统一功能;针对工业用户与居民用户用电特点,构建典型负荷模型;采用聚类算法对不同用户用电行为分析,得出用户画像。工程实用结果表明:用户行为侧写技术合理有效,能准确对工业用户进行分类,为政府决策提供支持;对居民用户采用多维度展示,为电力公司掌握用户用电习惯,提高服务水平提供强力支撑。

关键词： 软件工程   数据挖掘技术   数据处理  

摘要： 软件工程中使用的传统技术数据处理依然存在很多问题,比如在软件运行过程中出现卡顿、信息传输不稳定等情况,为了解决该问题,加强对数据挖掘技术的应用十分重要。因为数据挖掘技术能促使信息的有效传输,也能有效增强数据处理能力,维护数据信息整体安全性和准确性,对实践中数据挖掘技术在软件工程中的应用进行分析探讨。

关键词： 大数据处理   粒计算   数据挖掘  

摘要： 本文从大数据当前面临的挑战、粒计算作为大数据的新的研究方向、粒计算的研究现状等方面对基于粒计算的大数据处理分析进行了讨论。高度信息化的时代背景下,大数据的处理分析必将成为为社会进步与发展提供有效帮助的科技手段,如何提高大数据的处理分析,提升粒计算的性能都是必须要考虑的问题,对解决实际问题有着重要的参考价值。不断提高大数据的相关技术,对各行各业的发展都有着积极的意义。

关键词： 工控协议安全   协议逆向   数据处理   格式推断   随机采样   数据挖掘  

摘要： 随着5G的发展,物联网智能设备、工控设施已经广泛应用在各个重要领域。然而,近年来工控基础设施安全事件频发,作为基础设施的工控设备成为了攻击者的主要目标,工控安全在国家层面具有极高的战略意义。网络通信协议作为工业控制环境下设备间通信必不可少的要素之一,更是成为了攻击者展开攻击手段的主要对象,工控协议安全逐渐成为了工控和学术界的关注点。协议逆向分析技术是当前协议安全的主要分析手段之一,其通过对目标流量报文进行解析来还原目标协议的设计规范及详细信息,进一步的能够为工控设备提供安全保护。然而,由于工控协议表现出的独特特征,目前的协议逆向分析方案仍然面临着一些问题,如对工控协议的不适用性和效率低下等,使得其未能完全应用于工控场景。因此,如何在不降低逆向解析结果准确性的同时,实现低开销且能适用于工控未知协议的协议逆向方案仍然是当前协议逆向领域广泛研究的热点。本文在对现阶段未知工控协议逆向分析方案现状调研分析的基础上,针对性地做出了以下研究: (1)针对当前逆向分析机制对大容量报文样本存在分析效率低甚至于无法应对的问题,提出一种基于交互式随机采样策略的报文预处理方法HMCRS。该方法首次将随机采样策略运用于协议逆向过程的报文处理阶段,将一次大量的分析过程转变为增量式的多次迭代过程,并在报文采样过程中引入了人工的专家知识经验,很好的结合了专家知识与自动化工具的优势。理论分析与实验结果表明,提出的协议逆向分析方法能够有效提升分析效率,且具有较好的通用适配性。 (2)针对当前基于序列比对方法中存在的巨大时间开销问题,提出一种基于数据挖掘算法的序列比对优化方案IMCSA。该方案通过对数据挖掘算法Apriori的改进提升,实现对流量报文关键词的精确搜索;在此基础上,通过谱聚类算法,实现了对报文序列的精准聚类,为序列比对算法提供了良好的序列比对空间,降低了因无效比对而产生的不必要时间开销。理论分析和实验结果表明,该方案能够有效地提升基于序列比对方法的效率,降低时间开销。 (3)依托随机采样方法、数据挖掘算法、序列比对方法等关键技术,设计并实现了一个未知工控协议逆向分析系统。通过对多种工控物联网协议进行实验分析,表明系统可以有效解析多种未知工控协议。同时通过对比实验,表明了我们的系统具有较低的运行开销,特别适用于工控未知协议的逆向解析。

关键词： 数据处理  

ISBN: (纸本)9787576501148

摘要： 本书以重庆为例, 总结了重庆市交通综合信息平台近十年来的大数据采集、数据组织管理、平台建设、分析建模等方面的经验, 以及大数据在人-车-公共交通出行需求分析、城市交通系统运行监测、四阶段综合交通预测模型优化等方面的应用, 并提供了交通规划管理方面的具体项目案例实践, 以期为交通大数据挖掘和应用实践相关工作提供参考。

关键词： 数据处理  

ISBN: (纸本)9787567305977

摘要： 本书分为六章，具体如下：第一章导论，介绍虚假信息定义及威胁、产生虚假信息的原因、社交机器账户的兴起等；第二章虚假信息传播的研究现状，包括传播的参与者、传播的内容、传播的网络与模型等；第三章基于新闻源的虚假信息采集与追踪系统，包括系统原理、系统模型与实现、系统可行性的再验证、系统部署与数据统计等，第四章基于k-核的网络剖析方法，包括网络剖析常用方法概述、数据描述、虚假信息与核实信息的竞争传播、网络主核用户的剖析、网络的鲁棒性分析等：第五章虚假信息传播特征分析，包括数据描述、案例分析、统计分析等：第六章社交机器账户作用分析，包括虚假信息传播的异常特征、社交机器账户的行为案例、社交机器账户的行为特征、分析可靠性的再验证等。