关键词： OpenCV   图像处理   特征提取   SVM  

摘要： 搭载手势识别的高科技产品在人们日常生活中发挥着重要作用。针对手势识别过程中背景繁杂等问题,本文设计了基于OpenCV的手势识别系统。该系统采用基于YCrCb空间Cr分量的OTSU法选取阈值对手势进行分割及二值化,去除手势的背景信息;在使用Canny边缘检测算子的基础上,使用傅里叶描述子作为手势的特征向量,把手势轮廓数字化;将提取的手势特征通过SVM分类器构建手势模型,从而识别手势动作所代表的数字信息。实验结果表明这一手势识别系统能够有效提取手势轮廓并且具有较高的准确率,有助于实现人机交互的自然化和人性化。

关键词： 目标检测   YOLOv8   注意力机制   损失函数   特征提取  

摘要： 针对非机动车驾驶员头盔检测任务中常存在复杂背景以及检测场景中存在的检测目标尺寸大小不一的现象,进而导致检测效率低和误检漏检的问题,提出了一种面向非机动车驾驶员的头盔检测的YOLOv8算法。在C2f模块中结合GSConv和CBAM的优点,设计C2f_BC模块,在降低模型参数量的同时,有效提升了模型的特征提取能力。设计了多核并行感知网络(MP-Parnet),提高了模型对不同尺度目标的感知和特征提取能力,使其能更好地应用到复杂场景中。为缓解复杂场景出现的正负样本不平衡等问题,在原模型损失函数CIoU基础上引入Focaler-IoU,引入阈值参数来改进IoU损失计算方式,从而缓解正负样本的不平衡的现象,有效提升了模型在复杂背景下目标框定位的准确性。实验结果表明,改进的YOLOv8n相较于原模型,在保持参数量下降的同时,mAP50和mAP50∶95在自建数据集Helmet上分别提升了2.2%和1.9%,在开源数据集TWHD上分别提升了1.8%和1.9%,说明改进的模型可以更好地应用到非机动车驾驶员的头盔检测场景。

关键词： 人脸表情识别   可解释性   计算机视觉   情感计算   机器学习  

摘要： 近年来,人脸表情识别(Facial Expression Recognition,FER)被广泛应用于医疗、社交机器人、通信、安全等诸多领域.与此同时,为加深研究者对模型本质的认识,确保模型的公平性、隐私保护性与鲁棒性,越来越多的研究者关注表情识别可解释性的研究.本文依据结果可解释、机理可解释、模型可解释的分类原则,对表情识别中的可解释性研究方法进行了分类与总结.具体而言,结果可解释表情识别主要包括基于文本描述和人脸基本结构的方法.机理可解释方法主要研究了表情识别中的注意力机制,以及基于特征解耦和概念学习方法的可解释方法.模型可解释方法主要探究了可解释性分类方法.最后,对表情识别可解释性研究进行了对比与分析,并对未来的发展方向进行了讨论与展望,包括复杂表情的可解释性、多模态情绪识别的可解释性、大模型表情与情绪识别的可解释性以及基于可解释性提升泛化能力四个方面.本文旨在为感兴趣的研究人员提供人脸表情识别可解释性问题研究现状的整理与分析,推动该领域的进一步发展.

关键词： 铁轨识别   图像处理   轨道交通   深度学习   计算机视觉  

摘要： 为了保证城轨交通中地铁的运营安全,避免铁轨轨道内障碍物的存在造成安全事故,有必要进行地铁铁轨识别。考虑到铁轨有细长连续的物理特性,同时受深度学习中的车道线检测任务启发,改进车道线检测网络CLRNet算法,提出针对铁轨图像识别的CLRNet-L算法。为解决铁轨轨道细长且难以被准确识别定位的问题,CLRNet-L使用特征金字塔网络进行高级特征与低级特征的提取与融合,通过自上而下的思想,首先用高层特征粗略地定位轨道,再利用与高层特征融合后的浅层特征进一步细化轨道从而实现铁轨识别。针对铁轨轨道线细长连续且因其颜色较深难以与周围环境区分的问题,在原CLRNet中引入注意力机制和多尺度聚合器,提出大核注意力模块捕获更多的上下文信息,加强对铁轨轨道的特征表示。由于在轨道交通领域中缺少针对铁轨识别任务的公开铁轨轨道数据集,使用在杭州5号线和6号线中采集的地铁运行时轨道照片制作轨道场景的数据集,数据集中包含直道、弯道和道岔场景的铁轨图像,该数据集用于进行铁轨识别实验,来验证算法的有效性。实验结果证明:CLRNet-L在自制数据集中达到了88.96%的MIoU和最快11.54 ms的检测速度,与其他算法相比有更高的精度和检测速度。研究结果能为地铁安全保障技术尤其是障碍物检测提供技术基础,保障地铁运营安全。

关键词： 多模态融合   感受野   空间位置信息   边框回归   几何关系  

摘要： 针对遥感图像目标检测中检测目标与背景相似度高、目标位置定位不准确、特征提取困难等问题,提出一种基于多模态融合的遥感小目标检测算法。在特征提取部分,引入多模态融合,从不同模态中提取共享信息和特殊信息,对不同模态之间的信息进行互补,提高模型的信息提取能力;在特征融合部分,提出一种感受野空间注意卷积来感知特征图的空间位置信息,充分考虑感受野中每个特征的重要性;在预测部分,采用形状交并比边框回归损失函数,在考虑真实框和预测框的几何关系的同时,更加关注边界框的固有属性,进一步提高回归的准确性。在VEDAI和NWPU数据集上的实验结果表明,改进后算法的平均精度均值为72.83%和93.5%,相较于基准模型提高了8.40百分点和2.7百分点,与其他先进算法相比所提算法有效降低了误检率和漏检率。

关键词： 深度学习   YOLOv5算法   目标检测   口罩检测  

摘要： 针对口罩佩戴检测中存在的面部交叉遮挡时检测困难、光线明暗目标检测精度低等问题,借助YOLOv5算法,提出了一种能够实时检测是否规范佩戴口罩的检测技术,通过实验验证了该模型在无明显遮挡,光照条件良好条件下,检测准确率较高,验证了方法的有效性,该方法可适用于动物是否佩戴口罩。通过实验给出了口罩可检测与人脸遮挡边界、光强之间的关系。

关键词： 点云   3D多目标跟踪   三维体特征   信息交互   运动估计  

摘要： 多目标跟踪是自动驾驶领域中的一个关键问题.然而,仅依赖单一图像信息或点云信息难以克服复杂场景下的跟踪挑战,目前,多模态融合的跟踪方法在融合性能、数据关联、轨迹管理等方面仍然存在许多问题.为此,提出图像与点云三维体信息交互的3D多目标跟踪网络.首先,设计三维体特征交互模块来获取目标的三维体形态信息,得到更有判别性的特征,提升复杂场景下的定位精度;然后,设计基于三维综合运动估计的数据关联,利用卡尔曼滤波以及目标在点云中的运动信息,获取目标在下一帧中的位置预测,从而提升目标在帧间的一致性;最后,为进一步增强轨迹关联的鲁棒性,设计一种基于三维体特征的轨迹管理模块,以更好地克服目标消失-重现的关联问题.在KITTI数据集上的实验结果表明,与其他方法相比,所提出跟踪方法具有更好的跟踪性能.

关键词： 目标检测   卷积神经网络   特征融合   归一化   Transformer  

摘要： 为了进一步提高YOLOv4算法的目标检测精度,提出一种改进算法YOLOv4TB(YOLOv4+Transformer+BiFPN)。该算法利用Transformer提取同一特征图上的共同发生的对象特征来进行特征增强,利用BiFPN(Bi-directional Feature Pyramid Network)模型替换PAN模型,解决YOLOv4中存在的冗余计算和不同特征层贡献度相同的问题。并在此基础上采用Leaky-ReLU激活函数和可分离卷积技术,解决目标检测精度下降和参数量、运算量上升的问题。在PASCAL VOC数据集上实验结果表明,与YOLOv4相比,YOLOv4TB算法具有较高的检测精度和运行效率,参数数量和运算量有所减少。

关键词： 缺陷检测   多尺度特征融合   注意力机制   边界框回归   目标检测  

摘要： 实时、准确的玻璃缺陷检测至关重要;然而,尺度多变的缺陷形态以及特征微弱的小目标和长宽比例极端的细长目标让这个任务极具挑战性。针对上述需求,提出一种基于改进YOLOv8(You Only Look Once version 8)的小目标与细长目标检测模型YOLO-WANI(WPAN+AMFI+NWD&Inner-CIoU)。首先,设计WPAN(Weighted Path Aggregation Network)减小小目标和细长目标信息在网络传播过程中发生的损失,从而平衡不同尺度信息的重要性;其次,引入基于注意力的多尺度特征交互模块(AMFI),以捕捉深层特征中聚焦对象的语义信息;再次,使用归一化沃瑟斯坦距离(NWD)和Inner-CIoU损失替换原始的CIoU(Complete Intersection over Union)损失,从而提高对小目标和细长目标的检测效率;最后,制作玻璃缺陷检测数据集验证模型性能。实验结果表明,相较于YOLOv8n,YOLO-WANI在玻璃缺陷检测数据集上的mAP50:95提高了1.9个百分点、mAP50提高了4.6个百分点,分别达到了42.6%、81.7%;在NEU-DET(the NorthEastern University surface defect database for defect DETection task)钢材缺陷检测数据集上mAP50:95提高了1.5个百分点、mAP50提高了1.9个百分点,分别达到了40.3%、76.1%。所提模型和各个量级的实时缺陷检测模型相比都有着最高的精度,同时只有4.1×106的参数量和9.9 GFLOPs的计算量,且FPS(Frames Per Second)达到138、单图推理时间为(7.16±0.17) ms,满足轻量化和高精度的需求。