课程文献中心 更多>>

关键词： 学校   人脸识别设备   设备管理系统   设备运维  

摘要： 随着社会信息化水平的稳步提升,物联网技术得到了很好的发展。现在越来越多的学校致力于建设智慧校园系统,各种各样的人脸识别设备被应用其中。新设备的使用为学校提供了便利条件,同时也带来了一系列问题。目前,市面上存在许多不同类型的人脸识别设备,它们的功能特点、操作方式都有所不同。对于类型各异的人脸识别设备,学校管理人员如何实现设备统一操作管理、智能检测设备状态、动态获取实时数据,是目前面临的主要难题。 为解决上述问题,本文基于实习企业项目,采用B/S架构、Spring Boot框架、My SQL数据库等技术设计一个操作简单、功能完善的校园人脸识别设备管理平台,提供一站式设备管理、故障检测、故障反馈、数据可视化等功能。本文的主要工作内容如下: (1)研究国内外相关物联网设备管理系统的发展现状,分析学校人员在使用和管理人脸识别设备过程中遇到的问题以及实际需求,将平台划分为系统配置、设备管理、设备运维、数据可视化四个模块,分别实现不同的功能。 (2)对平台的整体架构及各功能模块进行流程分析和设计实现。系统配置模块整合了Spring Security框架,提供登录验证和请求拦截等功能,保障平台的安全性。设备管理模块通过制定统一的接口,设计不同的实现类执行具体的逻辑操作,实现对所有设备统一管理。设备运维模块根据设备的类型,定时执行不同的方法检测设备状态,及时反馈故障信息。数据可视化模块采用前后端分离模式,通过Web Socket协议传输实时数据,提高传输效率。此外,考虑到每个学校对数据安全性要求有所不同,为此设计了本地部署和远程部署两种策略以供选择。 (3)搭建系统运行环境,部署启动平台,使用不同的测试工具分别对各模块进行功能测试和性能测试并分析结果。 最终测试结果表明,本平台能够稳定运行且各模块功能正常,能满足学校的实际需求。

关键词： 分布式存储   数据中心   异构介质   CRUSH算法  

摘要： 随着我国新基建的推广,企业数据存储需求呈现出了多样化、复杂性的特征,分布式存储模式开始从小集群模式逐步向大数据集群模式方向发展。为应对这些挑战,实现异构介质存储已经成为当前分布式存储发展的一种新趋势。论文基于当前分布式网络文件系统存储技术,立足于大数据集群模式发展趋势,研究与实现了一款基于CRUSH(Controlled Dump Under Scalable Hashing)算法的分布式网络文件系统,并通过异构存储改造,突破性能瓶颈。论文在统一存储架构上提出对存储系统进行分层改进设计,将分布式网络文件系统分为计算层和统一存储层。论文重点对计算层展开了研究设计,计算层主要负责元数据管理、用户数据索引、存储分层等工作,划分Proxy、Segment Server、Master Server三个模块进行实现。论文选择使用CRUSH算法作为不同磁盘介质上的数据分布算法,并对CRUSH算法进行异构介质存储优化,提出brother＿rule概念,尽可能减少数据迁移时的数据迁移量。论文还提出了基于CRUSH算法的流量优化算法,通过带宽控制数据迁移流量,降低迁移数据对用户流量的影响,利用黑名单机制屏蔽故障区域,解决网络或磁盘故障导致的性能下降问题。在对数据进行分层改进设计中,计算层通过控制存储数据层次的介质来实现介质异构,研究将数据分为level 0、level 1、level 2三个层次,其中,level 0作为新数据写入和读取层,可以将文件系统的随机写转换为顺序写,采用高效的固态硬盘(SSD),提升用户数据写入速度,level 1和level 2则使用普通磁盘(HDD),用以应对大规模数据存储,数据在level 0中满足一定时间后通过Dump的形式迁移至level 1和level 2,以此保证系统既能兼顾读写性能又能节约成本。论文在Rhea-FS分布式网络文件系统上设计并完成了异构介质存储的方案,详细给出了Rhea-FS计算层的设计与实现过程,并将Rhea-FS与Ceph FS的性能进行对比分析验证,发现Rhea-FS在SSD条件下,具有与Ceph FS相似的性能,在4K的条件下,Rhea-FS的表现则更为优越。而论文研究的Rhea-FS主要优势在于构建了分层的混合存储系统,可以在控制成本的同时提升系统的读写性能,经测试验证,在SSD和HDD配比为1:10的集群上,能够实现接近SSD的写性能和热数据的读性能。此外,Rhea-FS还可以依据业务特征进行更加灵活的定制,包括流量控制、数据温度控制等,在数据迁移条件下,Rhea-FS分布式文件系统通过流量控制表现得更加优越。另外,Rhea-FS特有的黑名单机制能够有效降低集群故障和升级对整体性能的影响。目前,Rhea-FS已经在企业内部投入使用,并逐渐替换掉了公司的Ceph FS产品。

关键词： 分布式系统   子图匹配   多查询优化   局部敏感哈希  

摘要： 图(Graph)是一种历史悠久的抽象结构,最初产生于图论,现如今在互联网时代重新焕发了活力,在社交网络、电子商务、知识图谱、城市道路、生物信息等不同领域中均有应用。正是因为图数据的日益流行,近十几年内出现了许多新型的图数据库。在图数据库的众多图处理算法中,子图匹配是一种重要的基础算法,其目的是在数据图中寻找到所有与查询图结构一样的子图。与传统关系型数据库一样,图数据库中也存在多查询问题,即系统接收到多个查询图,然后需要对这多个查询图执行子图匹配。但由于多子图匹配问题本身的复杂性较高、查询数量较多,并且数据规模不断增大,所以现有的单机系统已经无法有效地处理海量数据的多子图匹配查询问题。为了能够高效地处理海量数据的多子图匹配查询问题,本文利用分布式系统实现了一种新的多子图匹配优化方法。该方法从数据划分、查询图内部、查询图间三个方面进行优化,主要贡献如下:(1)研究并设计了一种基于局部敏感哈希的数据划分方法。该划分方法根据不同数据点的邻居点集合之间的相似性,评估数据点的相似性,从而将相似的数据顶点划分到同一台机器中,以减少任务处理时的数据通信量。(2)研究并设计了一种基于局部敏感哈希的任务合并方法。该方法可以将多个相似的任务合并成一个较大的任务,从而避免相似任务在独立执行时重复计算公共部分。除此之外,任务合并还可以减少任务数量,能够在一定程度上减少额外的任务调度开销。(3)研究并设计了一种基于局部敏感哈希的查询分组方法。该方法可以对输入的多个查询图进行分组,从而将相似的查询图分到同一组中,减少多个查询图之间的重复计算。本文在真实数据集、人造数据集上进行了大量实验,以评估本文方法的性能。实验结果表明,本文方法具有良好的可扩展性,各个优化技术均能够产生明显优化效果。并且,在处理多个查询图时,本文方法相比于其它算法,查询处理速度要快10倍以上,充分证明了本文方法处理多查询问题的有效性。

关键词： 设备管理   全员生产维护   芯片制造   全员参与  

摘要： 全员生产维护(Total Productive Maintenance,TPM)是当今国际制造企业应用广泛的设备维修管理系统,也在我国生产制造企业得到了广泛应用。ZX公司是国内最先进的芯片制造公司之一,该公司借鉴了世界一流晶圆代工厂“台积电”的生产管理方式,执行力较强。但是上海工厂从先进工艺研发转向量产的过程中,仍然碰到了很多问题,严重影响了产能和良率。本文对该公司生产过程中的TPM系统应用情况进行了研究,并提出了持续改善的建议。本文以ZX公司的芯片制造为背景,运用文献研究法和案例分析法,就TPM在ZX公司的应用进行研究。本论文首先综述了国内外相关文献资料,从芯片制造的主要工艺流程、质量管理和安全管理几个方面,介绍了ZX公司的生产管理现状。接着介绍ZX公司的设备维护管理现状,分析了公司在设备维护管理方面存在的众多问题,总结了产生这些问题的6个主要原因。然后,针对ZX公司维修管理存在的问题,透过TPM理论和内容,从标准化作业、设备现场管理改善、信息系统建设和TPM培训四个方面,提出了ZX公司的TPM应用策略,并分析了四个策略的执行情况。最后,本文归纳总结了ZX公司应用TPM管理模式所取得的效果,包括机台可生产时间大幅提升、生产效率大幅提升、现场管理水平得到提高、消除浪费效果明显。并根据ZX公司应用TPM所遇到的障碍,提出了持续推进TPM应用的建议,包括:明确TPM目标、全员参与、流程化、强化培训、完善现场稽核机制、营造持续改善文化。

关键词： NB-IoT   RFID   物联网   B/S客户端   设备管理  

摘要： 电力企业具有大量的电力设备,是典型的资产密集型企业,因此如何有效地对电力设备进行管理对保证电力企业高效和可靠地运营具有重要意义。早期工作人员通过手写记录的方式对电力设备进行管理,该方式费时费力且容易出现错记和漏记的情况。目前RFID标签在电力设备管理任务中被广泛使用,但多数是离线且仅作为标识来使用,并未实现设备的在线物联。为解决以上问题并实现电力设备的有效管理,本文基于物联网技术设计并实现了电力设备监测管理系统。本文主要从感知标签和电力设备监测管理平台两个层面对系统进行设计。感知标签既具有感知和数据交互能力,又具有身份标识功能,通过STM32F103RCT6单片机搭载多种传感器对电力设备的位移、姿态以及所处环境的温湿度等参量进行采集,通过超高频RFID模块实现了身份标识和感知参量的耦合,通过NB-IoT模组完成数据传输。电力设备监测管理平台主要利用Java EE、Spring MVC、Tomcat服务器和My SQL数据库等技术,主要对前端页面、后台服务器以及数据库进行设计,既实现对感知标签采集的参量数据的处理和可视化显示,又支持电力设备的台账、设备运维以及报废等信息的记录从而实现设备全生命周期管理。完成感知标签和电力设备监测管理平台的研制,对系统进行测试来验证系统功能,先对网络通信进行测试,网络测试成功后,感知标签对采集的数据进行上传,通过电力设备监测管理平台可以查看温度、湿度、位移以及姿态等参量数据,也可完成电力设备各阶段的信息记录。经验证,本系统既实现电力设备全生命周期管理又可对感知参量进行实时监测。

关键词： 实验室自动化   智能生物制造   软件开发   分布式系统  

摘要： 合成生物学中生物实验主要依靠研究人员的手工工作,如果手工完成实验,周期较长、耗费劳动力、同时会有一定的出错率。若是将自动化技术应用到生物实验中,可以解决手工实验的上述问题,因此关于智能生物制造系统的研究与搭建迫在眉睫。本论文基于酶定向改造实验,针对实验室的智能生物制造硬件系统,设计开发了一套系统控制软件,实现控制集成硬件设备的同时提供友好人机交互界面,从而控制协同硬件设备完成无人生物实验。本文的主要工作着眼于系统搭建、软件开发、设备控制和酶定向改造实验自动化实现进行研究,主要成果如下:(1)提出了基于定向进化的智能生物制造平台整体构建,首先通过明确酶定向改造实验的实验流程包括挑菌、培养、接种等确定智能生物制造系统中的应该具备的单元模块包括菌落挑取仪模块、培养箱模块等;其次针对该系统使用人群、系统面向的实验需求、系统搭建场地需求等,调研符合以上综合需求并开放二次开发权限的自动化生物实验设备,搭建实验室独有的智能生物制造平台。(2)基于实验室智能生物制造硬件系统,设计开发系统控制软件。首先确定不同设备的用户和实验功能从而实现界面设计,例如酶标仪需要配置检测方法、高通量液体处理工作站需要液体量、机械臂需要设定位置坐标、离心机需要配置转速等;其次针对不同身份权限的使用需求开发兼具管理和实验功能的软件,将实验需求转化为软件实现;同时优化人机交互界面,如拖拽式流程设计、Office风格菜单栏和功能完善的独立标签页。(3)提出基于面向对象的控制方法,针对不同通讯协议和控制方式的生物实验设备实现单独控制和集成控制。结合酶定向改造实验,设计不同设备在.NET平台下的实现方案并与软件前端设计相结合。从管理人员和操作人员两个角度实现机械臂、高通量液体处理工作站、酶标仪、离心机、单克隆挑选仪的设备控制界面设计和控制指令添加。(4)该系统经定向进化相关实验验证,系统软件可以实现设备的精准控制,并与手工实验相比很大程度提升了实验效率。验证实验包括控制机械臂夹取和放置动作、控制酶标仪进行单波长终点法扫描和动力学实验、控制高通量工作站进行重悬实验;针对PPGMK的高通量筛选方法实验中,突变体文库的挑取与培养、突变体的粗酶提取、设计反应进行快速检测这三个步骤中,利用系统软件控制设备以及与手工实验时间比较验证效率提升。

关键词： 光通信   告警监测   数据管理   设备管理  

摘要： 光通信传输网络具有信息容量大、抗干扰强、传输频带宽、安全性高等特点,在XX通信领域应用极其广泛。在XX通信环境下,光通信传输网络需特种数据交叉处理设备实现网络管理和监测功能。特种光通信数据交叉处理设备监测管理系统是针对该系列XX通信装备的网络管理系统。本文从XX通信需求出发,针对特种光通信数据交叉处理设备,设计并实现了一种设备监测管理系统。从功能角度,本系统包括设备管理、业务管理、数据管理、告警监控、日志管理五个功能模块。设备管理模块主要实现系统中设备配置、监控管理功能;业务管理模块主要实现光通信网络路由交叉、线路、规则业务管理功能;数据管理模块主要实现采集数据存储、查询统计管理功能;告警监控模块主要实现光通信链路心跳、授权链路告警、告警信息量、协议流量统计管理功能;日志管理模块主要实现设备日志级别设置、日志查询管理功能。本文着重研究海量光通信数据处理、数据存储、数据查询、实时告警推送、告警统计计算等功能实现。本文针对特种XX通信环境提炼功能、非功能需求,进行可行性分析,得出分析结果,根据详细需求分析结果,从总体、逻辑、物理三个架构层面开展方案设计。从技术角度,本系统采用B/S架构模式,Sevice端采用Spring Boot开发,Client端采用Vue开发。本系统用My SQL存储基础数据,Redis存储临时数据,Mongo DB存储全量数据,Eleastic Search作为系统检索引擎和热数据源,并通过数据库服务层将各数据库集成为系统数据仓库中心,保障数据仓库中心的运行稳定、性能高效。由于光通信传输速度快、数据量大,为实现光通信数据管理和告警监控功能,本系统还采用Kafka消息队列进行消息分发、流量消峰处理,使用Kafka Stream流处理框架进行实时统计计算,采用Web Socket技术实现告警信息实时推送功能。在详细设计和技术实现部分,本文使用UML用例图、流程图、类图等手段对各功能模块实现流程进行详细描述,最终完成了各功能模块业务逻辑开发。本系统经过详细功能、性能测试,测试结果合格。本系统已交付用户试运行,系统各功能指标均已达到用户要求,满足特种光通信数据交叉处理设备监测管理系统的功能和非功能需求,用户界面友好,具有较好易用性和扩展性。

摘要： 为设备工程领域科技进步、技术创新服务为广大企业设备科学管理、高效运行服务《设备管理与维修》杂志系中国科协主管、中国机械工程学会和北京卓众出版有限公司主办的设备与维修工程分会会刊，创刊于1980年，是为企业设备管理、维修、改造和节能、环保服务的综合性信息型技术刊物。《设备管理与维修》杂志以为企业设备资产保值、增值，提升设备管理水平、降低维修成本，保证设备高效、节能、安全运行服务为办刊宗旨；以内容突出实用性、技术性和指导性为办刊方针。主要宣传报道国家有关设备工作的政策法规，

关键词： 容器云   数据科学工作流   分布式系统   存储优化   数据传输  

摘要： 随着数据科学的不断发展,数据分析科研人员需要对大量的数据进行分析以找出数据的规律性,进而对特定问题提出解决方案。在数据科学工作流中,数据分析科研人员通常需要经过数据准备、环境准备、数据分析、结果分析等必要环节。本文主要解决目前的数据科学工作流存在的三个问题:第一,许多科研人员都是共用集群中的物理资源,这给维护每个科研人员私有开发环境的增加了很多难度,切换环境或者安装新的软件也会耗费开发者大量的时间和精力;第二,多位科研人员在共用集群资源时,往往会产生大量的冗余数据,给集群带来较大的存储压力;第三,使用传统的数据传输方法,传输单个数据文件的速度与其分发到集群中多个节点的速度往往比较缓慢,当发生网络故障导致数据文件传输中断时,通常需要重新传输,这种传输方法的可靠性较低。为解决上述问题,本文设计并实现了一个容器化的分布式数据科学工作流系统,避免科研人员在环境准备环节耗费大量时间。同时,针对系统中数据存储与数据传输的问题提出了相应的优化方法,减少了冗余数据的产生,减轻了集群的存储压力,提高了传输单个文件与其分发至集群多个节点中的速度和可靠性。具体工作和贡献如下:1.提出了容器化数据科学工作流系统中的数据存储优化策略与方法在容器化数据科学工作流的场景下,优化数据存储方法,以减少冗余数据的产生并减轻集群的存储压力。具体来说,本文基于OverlayFS创建动态merge层,将用户需要的文件夹合并后以文件卷的形式挂载到容器中,利用OverlayFS写时复制的特点,在多名用户使用同一份数据集进行数据分析时,为每位用户创建独立的写空间,减少了冗余数据的产生。此外,优化低频文件的存储方式,使用纠删码技术来存储低频访问的文件,在保证高可靠性的前提下,牺牲高效的恢复性来换取更小的存储占用,减轻了集群的存储压力。2.提出了容器化数据科学工作流系统中的数据传输优化策略与方法在容器化数据科学工作流的场景下,优化数据传输的传输速度与可靠性。在数据传输速度方面,本文使用多线程分片传输的方法,提高了传输单个文件的速度;同时在用户想要使用多种不同的算法分析同一份数据集时,系统会快速寻找出集群中相对空闲的机器,使用基于动态规划优化的传输策略,将用户所需要的数据文件快速传输到集群中指定的节点上,达到快速启动多个任务的目的,提高了分发文件的效率。在数据传输可靠性方面,本文使用了分片传输方法,当因网络故障或者其它问题导致文件传输中断时,使得数据文件可以从传输中断的位置继续传输,提高了数据传输的可靠性。3.设计并实现了容器化的分布式数据科学工作流系统最后,本文围绕“数据环境准备-算法准备-数据分析”三大环节,按照数据科学工作流的思想,构建了支持数据管理、自动搭建环境、迭代分析数据的分布式数据科学工作流系统。通过对系统的功能测试以及优化测试,验证了上述数据存储优化方法与数据传输优化方法的可行性,并验证了容器化的分布式数据科学工作流系统的有效性。

关键词： 共识算法   纠删码存储系统   同步   容错  

摘要： 近年来,随着互联网时代的快速发展,用户数据的激增给存储技术带来了极大的挑战。在这些数据中,大部分是不常被访问,它们被称为冷数据。冷数据的存储对系统的读性能要求不高,所以通常使用特殊的低成本设备和纠删码数据容错技术进行存储。然而,目前存储冷数据的方法有的过程繁琐、效率不高,有的则存在一致性问题。因此本文设计了一种冷数据的存储算法,这种算法能够为冷数据存储提供更高的存储效率和一致性保障。冷数据存储往往采用纠删码冗余机制,因为它是一种低存储开销的容错机制。所以本文研究的算法也是基于纠删码数据存储的。传统的纠删码数据存储方式有两种:异步或者同步。对于同步存储方式,数据在写入时就被编码成纠删码片段,只有在这些编码片段都被存储后,本次写入才成功。这种方式在可用性方面表现较差,因为任何失败都会干扰它的写入过程。对于异步存储方式,系统需要先将数据以多副本的形式存储在集群中,然后在异步完成纠删码的编码过程并删除副本形式的数据,这种存储过程会带来不必要的磁盘IO和网络流量开销。一些基于Paxos和Raft的共识算法如RS-Paxos和CRaft可以解决上述问题。然而,RS-Paxos无法达到与Paxos相同的容错能力。CRaft无法实现最低的存储和网络开销。因此,为更好地解决同步和异步方式存在的问题,本文研究并实现了可用于冷数据存储的分布式系统一致性算法ECRaft,该算法基于Raft,它也可以达到与Raft同样的容错能力。存储空间利用率可以达到纠删码存储系统能达到的最佳水平。本文基于ECRaft构建了键值存储系统来评估其性能。与使用完整条目复制的CRaft相比,ECRaft可以节省63%的存储空间,提高28.2%的写吞吐量,减少19%的写延迟。为了在实际系统中验证ECRaft的表现,本文还实现了基于ECRaft的分布式存储系统并提出了 Multi-ECRaft的架构。该系统分为客户端、元数据管理端、存储端三个模块。通过实验证明采用ECRaft的系统在写吞吐、写时延和可用性上优于不使用它的冷存储系统。