关键词： 点云   自动驾驶   多模态   目标检测   融合  

摘要： 在数字仿真技术应用领域,特别是在自动驾驶技术的发展中,目标检测是至关重要的一个环节,它涉及对周围环境中物体的感知,为智能装备的决策和规划提供了关键信息。近年来,随着传感器技术的进步,图像和点云成为两种主要的感知数据源,它们各自在基于深度学习技术的目标检测方法研究中具有独特的优势。为了更加全面地对现有基于点云和图像的目标检测方法进行研究,本文对基于图像、点云及两者联合的3类目标检测算法进行系统的梳理和总结,旨在探索如何将这两种数据源融合起来,促进提高目标检测的准确性、稳定性和鲁棒性,并对融合点云和图像的环境目标检测发展方向进行展望。

关键词： 指针式压力表   机器视觉   图像处理   图像分割   极坐标变换  

摘要： 针对指针式压力表人工读数工作效率低、精度受限制等问题,提出了一种基于Halcon软件的机器视觉方法,通过图像处理、极坐标变换、投影变换、图像分割、提取指针特征、几何计算相结合,实现指针式压力表的自动读数识别。结果表明:该方法经测试准确度达97.5%,读数平均时间0.31 s。相比于传统人眼读数方法的低效,该方法识别精度高,读数时间提高10倍以上,弥补了人工判读的不足,简单快捷,具有广阔的应用前景。

关键词： 图像处理   行人重识别   跨模态   双流网络   损失函数  

摘要： 由于可见光图和红外光图存在巨大的模态差异,可见光-红外光行人重识别是一个艰巨的任务。当前可见光-红外光行人重识别面临的主要问题是如何有效提取模态共享特征中的有用信息。为解决这个问题,提出了一个基于视觉Transformer的双流跨模态行人重识别网络,通过使用模态令牌嵌入模块和多分辨率特征提取模块来监督模型提取有辨别力的模态共享信息。此外,为了增强模型的辨别力,设计了模态一致性约束损失和特征中心约束损失。模态一致性损失会引导模型学习模态间的不变特征;特征中心约束损失会监督模型降低类内特征的差异性,增加类间特征的差异性。在SYSU-MM01数据集和RegDB数据集上的大量实验结果表明,所提方法优于大多数现有方法。在SYSU-MM01大型数据集上,所提模型的首位命中率和均值平均精度分别达到了67.69%和66.82%。

关键词： 动态场景   同时定位与地图构建   目标检测   位姿估计   对极几何  

摘要： 同时定位与地图构建(SLAM)是智能移动机器人在未知环境中进行状态估计的基本能力之一。然而,大多数视觉SLAM系统依赖于静态场景假设,因此在动态场景中具有严重的低精度和差鲁棒性的问题,此外,当前已有的动态SLAM系统存在实时性差的问题,为了解决这些问题,本文提出了一种面向动态场景下基于语义和几何约束相结合的SLAM系统(Dynamic Semantic Geometric SLAM,DSG-SLAM),旨在高精度地实现实时运行。DSG-SLAM是在ORB-SLAM2框架下融合GhostNet-YOLOv7目标检测网络和对极几何约束的视觉SLAM系统。具体是在ORB-SLAM2(Oriented FAST and Rotated BRIEF SLAM2)基础上添加了一个并行的语义线程以获取2D语义信息,并在跟踪线程中结合语义和几何约束添加了一个快速的动态特征剔除算法。最后,在TUM(Technische Universit?t München)公共数据集和真实环境下进行评估,结果显示,对于高动态场景,DSG-SLAM的定位精度相对于ORB-SLAM2提升了94.55%,对于低动态场景,提升了22.99%,同时系统运行频率达到了30 Hz,在保证实时运行的前提下,有效地提高了在动态场景中的定位精度。

关键词： 分子通信   层流扩散   信道建模   模型驱动   神经网络   目标检测  

摘要： 针对已有的层流信道模型不能直接应用于存在目标的复杂层流信道的问题,提出一种基于模型驱动的信道建模方法.研究了存在目标的层流扩散信道的系统模型,在无目标平流模型的基础上加入参数,考虑层流和目标对接收分子的影响.结合仿真结果,将有目标的复杂层流信道近似为两个稳定的层流信道,建立有目标的点源-接收机层流扩散信道模型.结合神经网络使用Levenberg-Marquardt算法对信道模型参数进行学习和预测,同时提出基于数据和模型驱动结合(combination of data and model driven, CDMD)的检测方法对目标进行检测.结果表明:通过公式数据与仿真数据对比验证了其信道模型的准确性,所有数据的相关系数为0.999 15,该神经网络模型具有可行性;使用神经网络二分类算法验证提出的目标检测方法,检测准确率达到98.8%时,提出的CDMD检测方法所需数据量约为基于数据检测方法的1/6.

关键词： 多模态融合   可见光图像   红外图像   Transformer   目标跟踪  

摘要： 目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

关键词： 智能交通   火灾检测   深度学习   轨道交通车站   计算机视觉  

摘要： 为及时有效地处理轨道交通站内火灾事件,本文提出基于计算机视觉的站内火灾检测与精细化火灾定位模型(Fire-Detect)。首先,基于Unity仿真模拟和收集互联网图像数据的方式制作站内火灾图像与视频数据集Fire-Rail,用于训练构建的火灾检测算法和精细化火灾定位算法;其次,基于卷积神经网络、残差结构与通道注意力机制构建火灾检测算法,用于检测站内监控视频中每帧分别为“正常状态”或“疑似火灾”状态;最后,在“疑似火灾”状态下,模型启动精细化火灾定位算法,将图像以及后续的每帧图像输入精细化火灾定位算法中,并实时输出火灾发生场景下的精细化火灾定位信息。在Fire-Rail数据集上进行实验,火灾检测算法在测试集的准确率为95.12%;此外,卷积神经网络层级实验平衡了资源消耗和准确率,消融实验验证了各部分的有效性,鲁棒性实验表明,该算法能处理大部分噪声,整体模型的平均火灾定位检测精度mAP为77.3%,可应用于轨道交通站内视频监控设备。

关键词： 目标检测   YOLOX   特征融合   注意力机制   区域上下文  

摘要： 遥感目标检测是环境监测、电路巡检等领域中的一个重要的环节。针对遥感图像存在的目标尺度差异大、目标模糊、背景复杂度高等难点,提出了一种基于YOLOX的遥感目标检测算法。首先,提出区域上下文聚合模块,利用不同扩张率的空洞卷积扩大感受野,获取多尺度上下文信息,从而有利于小目标的检测;其次,提出特征融合模块,采用两种不同的尺度变换模块实现对不同尺度特征的融合,从而充分融合浅层位置信息与深层语义信息,提高网络对不同尺度目标的检测性能;最后在多尺度特征融合网络部分引入特征增强模块,并将其与注意力机制CAS[CA(coordinate attention)+SimAM(simple parameter-free attention module)]结合,使网络更加关注目标信息,忽略复杂背景的干扰,同时,将浅层特征层与深层检测层进行特征融合,防止由特征信息丢失造成的预测端检测性能降低。实验结果表明:改进后的算法在DIOR和RSOD遥感数据集上分别取得了73.87%和96.22%的检测精度,与原YOLOX算法相比检测精度分别提高了4.08和1.34个百分点;与其他先进算法相比,改进后的算法在检测精度与检测速度上都具有一定的优越性。

关键词： 通用人工智能(AGI)   计算机视觉   图像分割   视觉基础模型   分割一切模型(SAM)   大型语言模型(LLM)  

摘要： 随着基于对比文本—图像对的预训练(contrastive language-image pre-training,CLIP)方法或者模型、聊天生成预训练转换器(chat generative pre-trained Transformer,ChatGPT)、生成预训练转换器-4(generative pre-trained Transformer-4,GPT-4)等基础大模型的出现,通用人工智能(artificial general intelligence, AGI)的研究得到快速发展。AGI旨在为人工智能系统赋予更强大的执行能力,使其能够自主学习、不断进化,解决各种问题和处理不同的任务,从而在多个领域得到广泛应用。这些基础模型在大规模数据集上进行训练后,能够成功应对多样的下游任务。在这一背景下,Meta公司提出的分割一切模型(segment anything model,SAM)于2023年取得重要突破,在图像分割领域获得了优异的性能,以至于被称为图像分割终结者。其原因之一是,通过SAM数据引擎方法用三阶段采集的、包含1 100万图像和超过10亿掩码的分割一切—十亿(segment anything 1 billion,SA-1B)图像分割数据集,同时保证了掩码的品质和多样性,继续导致在分割领域的突破。在SAM开源后不久,科研人员提出了一系列改进的方法和应用。为了能全面深入了解分割一切模型的发展脉络、优势与不足,本文对SAM的研究进展进行了梳理和综述。首先,从基础模型、数据引擎和数据集等多个方面简要介绍了分割一切模型的背景和核心框架。在此基础上,本文详细梳理了目前分割一切模型的改进方法,包括提高推理速度和增进预测精度两个关键方向。然后,深入探讨分割一切模型在图像处理任务、视频相关任务以及其他领域中的广泛应用。这一部分详细介绍了模型在各种任务和数据类型上的卓越性能,突出其在多个领域的泛用性和发展潜力。最后,对分割一切模型未来的发展方向和潜在应用前景进行了深入分析和讨论。

关键词： 视频实例分割   目标检测   目标跟踪   时序特征   遮挡目标  

摘要： 视频实例分割是近年来兴起的一项在图像实例分割基础上引入时序特性的视觉任务,旨在同时对每一帧的目标进行分割并实现帧间的目标跟踪。移动互联网和人工智能的迅猛发展产生了大量的视频数据,但由于拍摄角度、快速运动和部分遮挡等,视频中的物体往往会出现分裂或模糊的情况,使得从视频数据中准确地分割目标并对目标进行处理和分析面临着重大挑战。经查阅和实践发现,现有的视频实例分割方法在遮挡情况下的表现较差。针对上述问题,提出了一种改进的遮挡视频实例分割算法——通过融合Transformer和跟踪检测的时序特征来改善分割性能。为增强网络对空间位置信息的学习能力,该算法将时间维度引入Transformer网络中,并考虑到视频中目标检测、跟踪和分割之间的相互依赖和促进关系,提出了一种能够有效地聚合目标在视频中的跟踪偏移的融合跟踪模块和检测时序特征模块,提升了遮挡环境下的目标分割性能。通过在OVIS和YouTube-VIS数据集上进行的实验,验证了所提方法的有效性。相比当前的基准方法,该方法展现出了更好的分割精度,进一步证明了其优越性。