关键词： 多模态融合   感受野   空间位置信息   边框回归   几何关系  

摘要： 针对遥感图像目标检测中检测目标与背景相似度高、目标位置定位不准确、特征提取困难等问题,提出一种基于多模态融合的遥感小目标检测算法。在特征提取部分,引入多模态融合,从不同模态中提取共享信息和特殊信息,对不同模态之间的信息进行互补,提高模型的信息提取能力;在特征融合部分,提出一种感受野空间注意卷积来感知特征图的空间位置信息,充分考虑感受野中每个特征的重要性;在预测部分,采用形状交并比边框回归损失函数,在考虑真实框和预测框的几何关系的同时,更加关注边界框的固有属性,进一步提高回归的准确性。在VEDAI和NWPU数据集上的实验结果表明,改进后算法的平均精度均值为72.83%和93.5%,相较于基准模型提高了8.40百分点和2.7百分点,与其他先进算法相比所提算法有效降低了误检率和漏检率。

关键词： 深度学习   YOLOv5算法   目标检测   口罩检测  

摘要： 针对口罩佩戴检测中存在的面部交叉遮挡时检测困难、光线明暗目标检测精度低等问题,借助YOLOv5算法,提出了一种能够实时检测是否规范佩戴口罩的检测技术,通过实验验证了该模型在无明显遮挡,光照条件良好条件下,检测准确率较高,验证了方法的有效性,该方法可适用于动物是否佩戴口罩。通过实验给出了口罩可检测与人脸遮挡边界、光强之间的关系。

关键词： 点云   3D多目标跟踪   三维体特征   信息交互   运动估计  

摘要： 多目标跟踪是自动驾驶领域中的一个关键问题.然而,仅依赖单一图像信息或点云信息难以克服复杂场景下的跟踪挑战,目前,多模态融合的跟踪方法在融合性能、数据关联、轨迹管理等方面仍然存在许多问题.为此,提出图像与点云三维体信息交互的3D多目标跟踪网络.首先,设计三维体特征交互模块来获取目标的三维体形态信息,得到更有判别性的特征,提升复杂场景下的定位精度;然后,设计基于三维综合运动估计的数据关联,利用卡尔曼滤波以及目标在点云中的运动信息,获取目标在下一帧中的位置预测,从而提升目标在帧间的一致性;最后,为进一步增强轨迹关联的鲁棒性,设计一种基于三维体特征的轨迹管理模块,以更好地克服目标消失-重现的关联问题.在KITTI数据集上的实验结果表明,与其他方法相比,所提出跟踪方法具有更好的跟踪性能.

关键词： 目标检测   卷积神经网络   特征融合   归一化   Transformer  

摘要： 为了进一步提高YOLOv4算法的目标检测精度,提出一种改进算法YOLOv4TB(YOLOv4+Transformer+BiFPN)。该算法利用Transformer提取同一特征图上的共同发生的对象特征来进行特征增强,利用BiFPN(Bi-directional Feature Pyramid Network)模型替换PAN模型,解决YOLOv4中存在的冗余计算和不同特征层贡献度相同的问题。并在此基础上采用Leaky-ReLU激活函数和可分离卷积技术,解决目标检测精度下降和参数量、运算量上升的问题。在PASCAL VOC数据集上实验结果表明,与YOLOv4相比,YOLOv4TB算法具有较高的检测精度和运行效率,参数数量和运算量有所减少。

关键词： 目标检测   道路病害检测   深度学习   YOLOv7   RFB  

摘要： 随着我国公路网的不断扩展,道路病害检测已经成为道路养护与行车安全保障必不可少的组成部分,基于深度学习的道路病害检测已经成为该领域的研究热点.针对多种病害并发的复杂场景下道路病害识别精度不高、泛化能力不足的问题,提出了一种复杂场景下的道路病害检测模型RGT-YOLOv7(Receptive Ghost Triplet-YOLOv7).在主干网络部分引入三重注意力机制,提高病害特征在不同通道与空间的相关性,解决了特征提取效率不高的问题;将原有的全连接空间金字塔卷积模块替换为快速全连接空间金字塔卷积模块,并加入幻影卷积模块,提高冗余特征的使用率,将原有的冗余特征与新提取到的特征融合,得到包含不同尺度的特征信息;为了扩大模型感受野,在特征增强部分加入改进的感受野模块,利用不同尺寸的空洞卷积从不同方向对特征图进行提取,加强对横向和纵向特征的提取.实验结果表明,与YOLOv7相比,识别的平均正确率(mean average precision,mAP)和平衡F分数分别提升了6.9、3.9个百分点,尤其是对纵向裂缝危害识别的平均正确率提高了22.3个百分点,与Faster R-CNN、YOLOv5等模型相比也有良好的性能提升,表明RGT-YOLOv7是一种有效的复杂场景下的道路病害检测模型.

关键词： 缺陷检测   多尺度特征融合   注意力机制   边界框回归   目标检测  

摘要： 实时、准确的玻璃缺陷检测至关重要;然而,尺度多变的缺陷形态以及特征微弱的小目标和长宽比例极端的细长目标让这个任务极具挑战性。针对上述需求,提出一种基于改进YOLOv8(You Only Look Once version 8)的小目标与细长目标检测模型YOLO-WANI(WPAN+AMFI+NWD&Inner-CIoU)。首先,设计WPAN(Weighted Path Aggregation Network)减小小目标和细长目标信息在网络传播过程中发生的损失,从而平衡不同尺度信息的重要性;其次,引入基于注意力的多尺度特征交互模块(AMFI),以捕捉深层特征中聚焦对象的语义信息;再次,使用归一化沃瑟斯坦距离(NWD)和Inner-CIoU损失替换原始的CIoU(Complete Intersection over Union)损失,从而提高对小目标和细长目标的检测效率;最后,制作玻璃缺陷检测数据集验证模型性能。实验结果表明,相较于YOLOv8n,YOLO-WANI在玻璃缺陷检测数据集上的mAP50:95提高了1.9个百分点、mAP50提高了4.6个百分点,分别达到了42.6%、81.7%;在NEU-DET(the NorthEastern University surface defect database for defect DETection task)钢材缺陷检测数据集上mAP50:95提高了1.5个百分点、mAP50提高了1.9个百分点,分别达到了40.3%、76.1%。所提模型和各个量级的实时缺陷检测模型相比都有着最高的精度,同时只有4.1×106的参数量和9.9 GFLOPs的计算量,且FPS(Frames Per Second)达到138、单图推理时间为(7.16±0.17) ms,满足轻量化和高精度的需求。

关键词： 计算机视觉   图像处理   多目标跟踪   无人机   YOLOv7网络   ByteTrack算法   车辆检测  

摘要： 为了提高无人机视觉平台下的车辆多目标跟踪精度,提出了一种改进YOLOv7网络与优化ByteTrack算法相结合的无人机视觉车辆多目标跟踪算法。首先,针对小目标特征不明显的情况,增强了YOLOv7网络浅层语义信息的特征提取能力,同时采用SIoU-Loss对坐标损失函数进行优化,加快锚框收敛速度;其次,根据车辆运动特点,在ByteTrack算法的基础上,将卡尔曼滤波算法的状态向量融入加速度信息;最后,在VisDrone2021数据集上验证算法的有效性。实验结果表明:改进YOLOv7网络的平均检测精度比原网络提高3.2%,跟踪算法准确度比基准算法提高1.2%,高阶跟踪精度提高2.9%。

关键词： 制动风闸   视频监控系统   计算机视觉   数字孪生  

摘要： 为确保水电站机械制动系统运行状态准确监视,在某巨型水电站机组下风洞部署视频监控系统,利用计算机视觉算法检测风闸运行状态并辅以数字孪生软件直观展示,取得较好的应用效果。

关键词： 多源信息融合   计算机视觉   深度学习   智能控制决策方案  

摘要： 为保证充填工作面电液控制系统的稳定运行,以充填工作面捣实机构为控制对象,通过对多源信息融合技术的研究,将计算机视觉、深度学习等智能识别结果与传感器数据相融合,生成智能控制决策方案,可促进控制理论、计算机视觉、机器学习等技术的融合,对充填工作面自动化、智能化、无人化水平的提高有重要意义,为综采、综放工作面的智能化、无人化建设提供重要的参考。