关键词： 多模态   三维目标检测   自适应信息融合   数据层面融合   特征层面融合   雷达-相机  

摘要： 多模态三维目标检测是计算机视觉的一项重要任务,如何更好地融合不同模态之间的信息一直是该任务的研究重点。现有方法在融合不同模态信息时缺少对信息的筛选,且过多无关与干扰信息会造成模型性能的下降。针对上述问题,提出一种基于多模态信息相互引导补充的雷达-相机三维目标检测模型,以在融合特征时从另一种模态中自适应地挑选信息进行融合。自适应信息融合包括数据层面的相互引导补充和特征层面的相互引导补充。在数据层面的融合中,使用由点云产生的深度图和图像产生的分割掩码作为输入,以分别构建出实例级的深度图与实例级的三维虚拟点用于图像与点云的补充。在特征层面的融合中,使用点云产生的体素特征和图像产生的特征图作为输入,并从另一种模态中为待融合特征选取关键区域并通过注意力机制进行特征融合。实验结果表明,所提模型在nuScenes测试集上取得了良好的效果。相较于BEVFusion和TransFusion等传统非引导的融合模型,所提模型将平均精度均值(mAP)和nuScenes检测分数(NDS)这2个主流评测指标分别提升了0.9~28.9个百分点和0.6~26.1个百分点。以上验证了所提模型可有效提高多模态三维目标检测的准确性。

关键词： MR-YOLO   菌菇识别   注意力机制   深度学习   目标检测  

摘要： 针对目前菌菇生产、销售实际环境中人工识别存在误识别率高且效率低下的问题,利用不同的设备与途径采集了21类国民常见食用菌图像并建立数据集,提出了基于改进YOLOv5s的菌菇检测及分类模型MR-YOLO,在维持网络深度与宽度不变的情况下,提升算法模型性能,将原生的YOLOv5s算法网络结构进行修改,引入卷积注意力模块(Convolutional Block Attention Module,CBAM)注意力机制来保证在节约参数与计算量的情况下帮助模型提升识别精度和准确率;此外,在模型池化层上采用空间金字塔池化结构(Spatial Pyramid Pooling Cross Stage Paritial Connection,SPPCSPC)来使得模型在特征提取操作时获得不同的感受野,有效解决图像目标大小差异较大时所带来的负面影响;在模型卷积层上使用C2f模块,保证模型在轻量化的同时能够获取更丰富的信息流.试验结果证明,与官方原生YOLOv5s相比,MR-YOLO在识别精度上提升了4.1%.且边框损失、类别损失与置信度损失分别降低了8.0%、16.4%、9.7%.证明了MR-YOLO模型相比YOLOv5s有着更强的性能与表现.

关键词： 车道线检测   语义信息   自动驾驶   深度学习   计算机视觉  

摘要： 随着自动驾驶技术的迅猛发展,车道线检测作为其关键组成部分,引起了广泛关注,并在智能交通系统中展现出巨大的应用潜力。然而,在应对复杂环境挑战时,传统车道线检测技术往往难以提供足够的识别精度。回顾车道线检测技术的发展轨迹,系统性地梳理了84种先进算法,并创新性地根据语义处理方式划分为四类别:语义分割辅助类、语义信息融合类、语义信息增强类和语义关系建模类。通过深入剖析算法的技术特点和优势,揭示了当前车道线检测技术所面临的主要局限。最后,对未来车道线检测技术的发展方向提出见解,特别是在语义信息利用方面,指出了潜在的研究方向。

关键词： 多模态融合   三维目标检测   柱体化编码   PointPillars  

摘要： 点云数据的稀疏性和无序性会导致相关检测算法在远小目标检测中容易出现漏检和误检的问题。因此,文章基于PointPillars算法提出了一种多模态融合的三维目标检测算法。该算法设计了一种多模态特征融合柱体化编码模块,能够融合点云特征和图像特征,从而增强特征的语义信息,提高远小目标的检测精度。在KITTI数据集上的实验结果显示,与基线模型相比,汽车、行人和骑行者类别的三维平均检测精度分别提高了3.28%、2.88%和1.62%。结果表明,所提出的基于PointPillars的多模态融合三维目标检测方法能够有效减少远小目标的误检和漏检。

关键词： 目标检测   复杂场景   多尺度船舶检测   合成孔径雷达(SAR)   深度学习  

摘要： 针对复杂场景下的多尺度SAR舰船目标检测存在误检漏检的问题,提出了一种改进的SAR舰船目标检测方法。首先,利用多尺度目标特征提取网络提取特征信息,以提升多尺度目标的检测能力并减少冗余计算。其次,引入可形变卷积(DConv)通过自适应调整卷积核的形状来提升复杂场景下SAR舰船目标的检测性能。最后,引入了注意力机制来抑制背景杂波并增强特征信息。实验结果表明,在SSDD数据集和HRSID数据集上改进方法的检测精度分别达到了97.9%和93.1%,整体性能优于现有主流目标检测算法。

关键词： 目标检测   预筛选   滑窗保护   SO-CFAR   OS-CFAR  

摘要： 针对有序统计(Order Statistics,OS)CFAR运算量大的问题,本文提出了一种基于均值选小(Smallest Of,SO)CFAR预筛选的改进OS(ISOS)CFAR检测算法,该算法在达到与OS-CFAR相同检测性能的同时可有效减少算法运行量。SO-CFAR筛选算法在参考单元两侧同时存在干扰时会出现漏筛现象,ISOS-CFAR通过滑窗保护(Slide Protect,SP)算法改善了这种漏筛现象。SO-CFAR筛选算法在杂波突变高功率区会出现误筛现象,ISOS-CFAR通过OS-CFAR二次检测避免了这种误筛现象。仿真实验结果证明了ISOS-CFAR算法的有效性与优越性。

关键词： 自然环境   葡萄   多模态   语义分割   目标检测  

摘要： 葡萄果实的采摘点定位准确率依赖于目标检测和语义分割网络的性能。然而,在实际应用场景中,基于可见光图像的葡萄果实目标识别准确率和分割精度易受光照变化、复杂环境影响,往往表现不佳,且葡萄果实成串生长,现有苹果、梨子等多模态数据集难以满足串形葡萄果实的识别需求。构建基于可见光、深度、近红外的葡萄多模态目标检测和语义分割数据集,对于探索更高识别率和更强泛化能力的葡萄果实目标检测和语义分割模型至关重要。本数据集约39.08 GB,共收集了在不同光照和遮挡条件下青色、紫色两类6个品种的葡萄高质量多模态视频流数据,并从中提取3954张图像样本进行语义分割和目标检测标注。在使用旋转、缩放、错切、平移,以及高斯模糊等图像增强手段下,可满足主流深度学习模型训练需要。本数据集可为多模态视觉数据融合、葡萄果实语义分割和目标检测等领域提供宝贵的基础数据资源,对促进农机装备智能化领域研究具有重要的实际应用价值。

关键词： 三维目标检测   小目标   感兴趣区域   点云聚类   点云图像融合  

摘要： 目标检测技术在人工智能、人脸识别、自动驾驶等关键领域发挥着至关重要的作用。三维点云目标检测,特别是对小目标的识别,仍然是技术发展中的一个难点。针对该问题,本文提出了一种新的三维检测网络,该网络融合了图像与点云数据,以显著提高三维小目标的检测精度。首先,利用YOLOv5进行精确的二维目标检测,并利用相机和激光雷达的坐标映射关系建立三维约束,从原始点云中提取出锥形感兴趣区域;然后,针对远处的点云小目标,提出了一种基于聚类优化的三维目标检测网络架构,将感兴趣区域的点云同时输入PointNet及聚类模块中,并对两者的检测结果进行融合判别,提升三维小目标检测精度。在KITTI数据集上的测试结果表明:与现有技术相比,本文算法在中等难度条件下,两种小目标物体的平均精度(AP)分别提升了15.94%、2.29%;在高难度条件下,分别提升了13.34%、2.86%。证明了本文算法在提升三维小目标检测精度方面的显著效果和实际应用潜力。

关键词： 开放词汇   点云目标检测   混合查询   偏移注意力   逐点级   跨模态对比学习  

摘要： 3D开放词汇目标检测是计算机视觉中的新兴任务,但由于点云数据采集与标注困难,缺乏大规模的点云类别和点云-文本对数据。现有检测器在处理小尺度物体及缺失、遮挡、重叠物体时常出现漏检或混淆,性能较差。此外,点云与文本数据在特征空间的显著差异,使得二者的对齐与统一尤为困难。针对上述问题,本文提出了一种两阶段的3D开放词汇目标检测方法—GLP-OVD。在第一阶段(定位),本文提出一种基于混合查询与偏移注意力机制的定位模块,能够有效捕捉场景的全局与局部信息,从而提升检测精度。在第二阶段(分类),本文提出逐点级跨模态对比学习方法,优化了跨模态对齐,扩展了开放词汇表,实现更精确的分类。在室内点云数据集SUN RGB-D和ScanNet上的实验表明,本文方法在mAP25指标上分别达到了21.33%和18.87%,优于当前大多数3D开放词汇目标检测方法,验证了其有效性。

关键词： AKConv模块   YOLOv8   缺陷检测   多尺度特征提取   轻量化  

摘要： 传统的金属表面缺陷检测技术在复杂背景干扰与微小缺陷识别中存在漏检率高、多尺度特征提取不足等问题。为此提出一种基于YOLOv8改进的轻量化缺陷检测算法。通过自适应核卷积AKConv模块动态调整卷积核采样形状以增强多尺度缺陷特征提取能力,减少冗余参数计算。实验采用Kaggle公开数据集GC10-DET进行验证,改进后的YOLOv8-AKConv模型在测试集上的mAP50达到73.81%,相较于其他YOLO版本在检测精度上有显著提升。