课程文献中心 更多>>

关键词： 星际文件系统   分布式存储   资源探测   溯源  

摘要： 星际文件系统(简称IPFS)是一种新的分布式存储方案,与区块链应用能够有机融合,具有广阔的应用前景。本文以星际文件系统为研究对象,对其网络节点、内容资源进行探测以及溯源方法的研究能够帮助对星际文件系统安全态势的感知,具有重大意义。针对于星际文件系统资源探测和溯源问题,目前存在以下挑战。1)节点具有不稳定性,网络规模动态变化,节点资源探测的全面性难以保障。2)内容索引信息和物理存储具有高度分散性,网络内容资源难以收集。3)网络同一内容的多个提供者之间难以区分。本文的主要工作和创新点如下。(1)针对网络节点的动态变化问题,基于节点发现机制优化了星际文件系统被动和主动的节点资源探测策略。通过精准确定K值大小和靠近引导节点的部署位置优化了被动方法。实验表明,该方法节点探测覆盖率提高了将近10%。通过增大初始节点数量和动态计算数据包参数优化了主动探测方法,其探测的通信和计算成本都有所降低。基于对获取的数据统计分析,发现网络节点规模达到25万,节点的地理位置分布最多的前三个国家为中国、德国和美国,并且中继节点占比约为1.53%。(2)针对星际文件系统内容资源分散的问题,提出了基于网络嗅探技术的内容资源探测方法,通过创建嗅探节点从其他节点的数据请求中提取出内容信息,构建了内容标识符数据集和内容元数据集。通过实验发现星际文件网络中存在超过172万项具有不同标识符的内容数据,每项数据平均被访问约3次。其中部分内容数据托管于网站上,涉及到的域名有315个。(3)针对同一内容的多个提供者之间难以区分的问题,提出利用女巫攻击的内容溯源方法,通过女巫节点捕获网络内容提供者记录以此识别针对特定内容的首发节点。模拟环境下的实验表明当女巫身份数量与节点在线量相同时,溯源准确度能够达到91%。在真实网络环境下的实验表明,首次发送估计算法比首次到达估计算法有更高的准确率和召回率,达到70%。真实环境下溯源准确率低于模拟环境下的原因是网络节点规模的动态变化和节点使用了不同的路由策略。

关键词： 计量学   多参数监护仪   检定   设备管理  

摘要： 目的 分析多参数监护仪检定相关问题，为多参数监护仪的检定、医院设备管理等提供参考。方法 运用计量学、统计学、电子学、医院管理等相关理论，重点对多参数监护仪主要参数的计量检定、检定结果、不合格项分布等进行了统计、分析。结果 该研究通过对规程深入分析，提出了各项参数检定的简化公式，对需要加强之处进行了探讨，提出了改进措施和建议。结论 多参数监护仪在危重病人救治，尤其是COVID-19疫情中发挥了巨大作用，做好多参数监护仪检定，保证临床使用安全意义重大。

关键词： 石油   设备管理   安全   质量  

摘要： 现如今，在发展我国工业方面，石油始终是不可缺少、至关重要的能源之一，同时也发挥着增快社会经济增长速度的作用。目前，我国对于石油的需求量正在持续增加，这也要求设备管理水平必须要提高，积极维护与管理石油设备，可以有效减少设备故障的发生概率，保障石油设备的正常、顺利运作以达成推进有效开发石油资源的目标。基于此，本文将重点围绕石油设备管理过程中存在的主要问题以及改进对策予以深入、详细的分析，以求能够切实提高石油设备的管理水平与石油设备的使用质量。

关键词： 家庭文件共享   文件中转传输   网盘服务   存储空间管理  

摘要： 伴随着互联网的发展与普及,终端设备如手机、平板、电视盒子以及便携式电脑等在数量和种类上都快速增长,越来越多的终端接入到互联网给部署服务的互联网服务器带来了更大的压力。用户如何更加方便和高效的管理自己的终端设备成为网络应用设计中不可忽略的问题。对于小区用户而言,每个家庭中普遍会有多种类和多数量的终端联网设备,这些设备存储着小区用户需要共享的文件。针对小区用户共享文件的需求,当前市面上主流的共享文件系统多以单个用户为单位进行功能设计,无法满足小区用户在多设备上的文件共享需求,而且这些主流的共享文件系统并没有结合小区的网络结构和环境进行系统设计。本文设计的基于小区服务器的家庭共享文件系统结合了云存储和P2P的结构特点,设计和实现了一种基于小区服务器环境的高性能系统架构。相比于其他文件共享系统而言,更加充分考虑到小区用户的需求和网络环境,让用户通过绑定与解绑设备的方式来互联家庭设备,不受单账号的限制;设备上文件的共享和传输控制操作都通过手机控制,不用再繁琐的进行设备上的操作;小区的服务器资源被充分利用,系统利用富余的服务器网络带宽来实现文件的中转传输,通过存储管理利用服务器存储空间来提供个人网盘服务,大大节省了系统成本。此外,在小区服务器提供小区监控视频存储空间的同时,服务器需要满足共享文件系统的个人网盘服务的存储需求,两者需要存储管理的介入来实现存储空间有序利用。本文设计以一种存储管理方案来解决上述问题,使用最大最小公平分配算法来为用户分配预留存储空间,在实现有效的存储管理的同时,减少频繁的存储空间计算和分配。通过共享文件系统的功能和性能测试,证明了本文系统可以满足小区用户对共享文件服务的需求,达到了系统设计的预期目标。设计系统存储管理仿真实验,通过实验结果分析与对比,验证了我们存储管理方案能够给系统在共享文件存储服务上带来性能提升。

关键词： 公路工程   机械施工设备   设备管理  

摘要： 公路工程施工是比较复杂且系统的工作，要想确保工程施工能够顺利进行，在进行施工时就应当有相应的机械设备。与此同时，为了使机械设备的作用能够得到充分发挥，必须要做好对于机械施工设备的管理工作。各方面的因素都将会对公路工程机械施工设备的管理造成影响，例如施工现场条件、负责管理维护的人员以及管理维护的制度等等。基于此，通过对公路工程机械设备管理中存在的主要问题进行了分析，并在此基础上提出了有效对策。

关键词： 个性化推荐   Spark   搜索   分布式系统   大数据计算  

摘要： 如今互联网发展迅速,随着其影响力的增加,互联网中的信息量也在呈爆炸性增长,能够帮助用户从海量信息中筛选出用户需求信息的系统也就应运而生,其中搜索引擎和推荐系统都是一种解决方案。搜索引擎的应用场景是用户需要精确查询自己想获得的数据,但是信息爆炸导致搜索出的结果很多,依然需要用户自行筛选,还有就是用户的搜索不一定能够准确描述需要搜索的内容,模糊的搜索词也会给搜索引擎得到用户希望的结果带来麻烦。于是本文希望能将搜索和推荐结合起来,使用搜索引擎提供数据来源,使用推荐系统的优点解决搜索引擎的不足。围绕上述主题和目的,本文主要研究使用大数据技术和工具设计并实现一个面向视频的搜索推荐系统。从系统功能模块上,本系统主要分为数据处理模块、搜索模块、推荐模块和web模块,从系统具体技术实现上,本系统着重介绍了以下三个方面。数据存储系统由传统关系型数据库和NOSQL数据库结合构成,保证了多种不同类型数据的高速存取和存储系统的高容量、低成本、高速率三者的有机统一。数据处理和计算主要使用了kafka和spark的体系,不仅实现了系统数据处理过程的稳定可靠,也实现了高效处理大批量的流式数据和定时处理数据离线计算,保证了系统整体效率。结果展示使用Java相关技术,搭建了前后端分离的web系统,借助浏览器实现对系统的交互使用和对结果的展示。本系统的主要功能以及作用有以下几点。在视频搜索中引入了个性化推荐功能,提升用户的搜索效率,使用多种数据训练推荐模型,配置不同的推荐算法,提供多样化的推荐功能。最终系统在实现既定功能目标的同时,在层次化设计和分布式集群计算两种思想的指导下,保证了系统各项性能指标,并最终通过系统测试进行了验证。

关键词： 远程直接内存访问   非易失性内存   分布式锁机制   一致性机制  

摘要： 近年来,远程直接内存访问（Remote Direct Memory Access,RDMA）和非易失性内存（Non-Volatile Main Memory,NVMM）被大量应用于分布式系统中。随着RDMA和NVMM支持的存储与访问性能不断增长,传统的锁管理机制开始暴露出开销高的问题。结合RDMA原子取和加（Fetch and Add,FA）原语和面包店算法的锁机制可以在保证数据一致性的同时,降低软件层面的开销。然而,由于RDMA仅可对8字节内存进行原子操作,导致在设计上对各种锁状态信息的取舍存在很大考验。针对上述场景,本文首先进行了RDMA不同原语访问内存的性能测试。然后提出了一种基于RDMA的分布式顺序锁机制,该锁机制使用64位的内存空间表示一个顺序锁,并以客户端驱动的形式实现了锁的获取、释放,达到了减少轮询开销、降低通信延迟的效果。通过引入写锁超时规则,本文锁机制实现了容错恢复功能。最后本文提出了与顺序锁机制相结合使用的数据备份和恢复的一致性策略,作为顺序锁机制一致性功能的补充。实验结果表明,在读密集场景下,本文顺序锁机制的吞吐率和平均延迟相对于DSLR锁分别改善了139.6%和64.9%,相对于RPC锁分别改善618.8%和81.4%。在一致性保证的持久化写入测试中,本文的锁机制相比对照组的吞吐率提高了9.12倍。

关键词： 分布式系统   系统日志   异常检测  

摘要： 计算机软件行业的发展诞生了诸多复杂大型分布式软件系统,这些系统基本成为了IT行业的核心支撑。保证基础支撑软件系统的正常运行是重要且颇具挑战的任务。支撑软件系统的故障会造成巨额损失。因此在软件架构不断发展过程中,配套的通用或特定的监控软件也随之出现。监控软件每日会产生大量的系统监控数据,其中日志作为数据量占比最大的,信息最多的数据在运维领域发挥着重要作用。日志的价值密度低,数据量大的特点也使得日志分析存在巨大挑战。在智能运维研究方向中,日志异常检测方法研究是热门领域,因为日志中的异常内容一定程度上反映了系统异常。检测出的异常日志能够为运维人员提供更准确的数据参考。本文以日志异常检测为背景,以提升日志异常检测效果为研究目标,在日志消息内容处理,分布式系统日志检测应用方向做了以下研究工作:针对日志数据消息头信息利用不充分的问题,在理论上,本文提出了基于组件感知的日志异常检测算法LogC。LogC基于现有工作考虑了日志数据中更多的特征,将日志组件纳入考虑,利用组件感知分析机制以提高日志异常检测性能。LogC主要包含了两个阶段:将日志消息转化为日志模板序列及组件序列;输入两类序列到LSTM组合模型中用于检测异常日志。LogC仅需要正常日志数据进行训练。为衡量提出的LogC性能以及组件感知分析机制的有效性,在实验上,本文基于开源日志数据集HDFS与Thunder Bird,在相关研究问题上评估了LogC的性能。实验结果表明了在三个维度上(Precision,Recall,F1分数)LogC优于对比方法PCA,IM及Deep Log。平均F1分数达到了94.87%。进一步针对分布式系统模块间调用复杂,难以有效挖掘日志关联性的问题,在算法基于分布式系统的应用上,本文提出了融合链路的分布式系统日志采集分析与异常检测框架LogCT,其核心思想在于利用追踪信息构建日志序列特征并用于异常检测。LogCT以LogC检测算法为核心,结合了分布式系统链路追踪信息。异常检测的结果可帮助运维人员从日志数据上快速定位系统中的异常点,尤其是针对发现复杂的服务调用关系中的异常的场景。基于搭建的分布式系统运行平台中采集到的日志数据,对LogCT检测模块进行了验证。结果表明了组件感知分析机制的有效性以及LogCT的应用可行性。

关键词： 点对点分布式系统   消息传播   MPR算法   TBB算法  

摘要： 消息传播作为点对点分布式系统中的一个重要机制,可以在无中心化的网络环境中达到节点间消息的一致性、可用性或分区容错性,从而使网络中的节点均能接收到正确的网络广播消息。在分布式消息传播机制中,消息的发送方和接收方不是单一而固定的,消息的发送方要被加以过滤处理,确保恶意的节点不进入消息发送机制中,否则,恶意的消息得到传播处理造成的后果是难以预知的。针对目前的消息传播机制中存在的不可信性、不一致性和高延迟问题,本文以可信广播算法为研究对象,基于可信、一致性与低延迟等指标展开研究,主要研究内容与创新点如下:根据节点覆盖度和信任度确定节点评价体系。根据节点与周围邻居节点的历史交互情况计算出该节点的信任度值,根据节点的消息传播范围计算出该节点的覆盖度值,综合考虑节点的信任度和覆盖度,选择信任度值高且覆盖度值适中的节点作为评价节点好的标准,构建出节点的评价体系模型,通过该评价体系模型选择中继节点以进行消息的传播。通过分析证明了该评价体系模型选出的节点在交互过程中遇到恶意节点的概率更小。根据改进的可信多点中继选择算法分发消息。消息发送者根据节点评价体系模型选取最信任的子节点和兄弟节点作为中继节点转发消息,同时按照相同的方式选择出候选中继节点。广播节点不再需要为每个子网络分配中继节点,中继节点将获取其子网络节点并将它们从节点列表中删除,任何中继节点都不会向可能由两个中继节点覆盖的子节点发送任何广播消息。实验表明,在执行延迟性能上,由本文改进算法组合而成的算法模型的执行延迟平均约减少了 0.01毫秒;在执行效率性能上,广播节点的带宽消耗约平均减少了 6.5%,一跳邻居节点或中继节点的传输消耗约平均减少了 0.8%。根据改进的移动节点调度算法执行节点调度。根据节点间距离(欧式距离)、节点移动方向、节点移动速度对节点进行优先级调度,如果子节点从网络中丢失,可以逐层向上级节点寻找网络覆盖以获取网络中的广播消息。算法计算量上与基于欧式距离调度算法在量级上一致;在消息传递性能上,PTBB+移动节点调度方案的网络消息未交付数量约平均减少了 6.9%。