关键词： 计算机视觉   晶圆缺陷识别   深度学习   通道注意力机制   多路径深度卷积  

摘要： 晶圆图缺陷的准确分类对改进制造工艺具有至关重要的作用。相比于单一缺陷,混合缺陷具有特征复杂、种类繁多的特点,更加符合真实工业制造情况。为了有效识别并分类混合缺陷,提出一种结合通道注意力机制和多路径深度卷积神经网络的方法。此方法在多路径深度卷积神经网络支路上增加通道注意力机制,以关注混合型晶圆图的详细特征。在38类缺陷真实数据集上的实验结果表示,模型在精度方面优于一些现有的深度学习模型,其平均正确率高达97.67%,可以有效分类晶圆图混合缺陷。

关键词： 手势识别   语音识别   目标检测   深度学习   MediaPipe  

摘要： 随着感知计算以及计算机技术的发展,使用各种传感器设备实时感知并捕捉手势运动数据,为人机交互提供了新的引擎动力,并被广泛地应用于虚拟现实、医疗辅助和智能家居系统等多个领域。聋哑人群体在社会交流中面临着诸多困难,为了帮助他们更好地融入社会,本文设计一款基于MediaPipe手势识别的聋哑人交流系统,对手势检测部分定位到的区域进行手部关键点检测,并提取相关特征,再将其转化为文字或语音信息,有效地解决聋哑人实时交流与沟通。实验结果证实了手势识别模型的精确率平均值为97.9%,实现方法相对简单准确率高,有较好的市场应用前景。

关键词： 目标检测   YOLOv5   三重并行卷积注意力机制   残差遮挡注意力机制  

摘要： 针对夜间光照条件不足等条件下交通环境的多目标检测问题,提出一种改进YOLOv5s的目标检测算法。该算法首先在原始的YOLOv5s网络中嵌入三分支结构并行卷积注意力模块,通过计算跨维度注意力权值矩阵,实现了一种轻量级的有效注意力机制。其次,为了解决小目标和遮挡目标的检测问题,嵌入残差遮挡感知注意力机制,通过不同卷积核大小的卷积块对图像进行类分块操作,更准确地突显小目标和被遮挡目标。通过在FLIR数据集上的对比实验表明,改进算法在夜间交通环境下的多目标检测任务中能够提高检测精度,相较于传统YOLOv5s,其检测准确率mAP@0.5提高2.9%。

关键词： 目标跟踪   单目视觉   深度视觉   多传感器信息融合   异步融合  

摘要： 针对室内环境下移动行人的跟踪问题,提出一种基于单目视觉和深度视觉传感信息融合的移动目标跟踪方法。首先利用单目视觉图像信息实现目标检测,并完成目标的语义分割;然后将单目视觉与深度视觉进行联合标定,通过深度相机获得识别目标的深度信息;最后,基于对目标跟踪实时性、准确性的需求,针对单目视觉P3P(perspective-3-point)解算在目标较远时误差较大、深度相机识别帧率较慢的问题,设计了一种基于多相机信息融合的移动目标跟踪方法,将单目视觉获得的距离信息与深度视觉提取的深度信息进行了基于卡尔曼滤波的异步融合,实现对目标运动状态的准确估计。结果表明,该算法实现了对视野内行人目标位置实时检测和跟踪效果,具有高效的目标识别和跟踪能力。

关键词： 图像处理   大形变配准   自适应窗口   多尺度残差卷积   密集图卷积  

摘要： 提出一种结合关键点周围的强度特征和局部关键点几何结构特征的肺计算机断层扫描(CT)图像配准方法。该方法首先利用窗口自适应模块计算强度特征相关系数以提高模型训练效率,接着利用多尺度残差卷积网络来提取更多尺度的特征细节信息和缓解由于网络层数增加导致的梯度消失问题,最后利用密集连接的图卷积提取局部关键点间的几何结构特征和强度特征相结合的信息,通过强度特征和局部点间的几何结构特征信息来共同表征配准图像对点间的对应关系,以提高肺图像配准的鲁棒性。在DIR-lab、COPDgene和Creatis数据集上对算法进行验证,得到本文算法的目标配准误差分别为1.21 mm、1.53 mm和1.00 mm,相较于Graphregnet算法,本文算法的目标配准误差在DIR-lab、COPDgene和Creatis数据集上分别减小了18.8%、13.1%和6.5%,且配准时间仅为0.57 s。实验结果表明,本文算法能有效地提升配准精度,且具有较好的实时性和鲁棒性。

关键词： 《计算机应用》   自然语言处理   计算机视觉   人工智能   训练数据   视觉感知   逻辑推理能力   典型应用  

摘要： “大模型”(大规模预训练模型)是引领人工智能领域的变革式新范式,能够提供强大的知识表示与聚合能力,已展现出媲美人脑的视觉感知与逻辑推理能力。在超大参数规模、海量训练数据和强大计算资源支撑下,大规模基础模型(CLIP、SAM、GPT-4V、Sora等)已成为一系列下游任务的基石,展示出强大的任务性能与卓越的泛化能力,在自然语言处理、计算机视觉、工业数字化和智能化等多个领域有着重要突破和广泛应用。

关键词： 草莓   成熟度   RT-DETR   目标检测   GSConv   VOVGSCSP  

摘要： 在自然果园环境下,草莓果实生长分布密集易受枝叶遮挡,不同生长周期的草莓形态大小不一,面对遮挡、小尺寸草莓现有的检测模型容易出现误检、漏检问题。针对上述问题,提出了一种基于改进RT-DETR的实时草莓成熟度检测算法Strawberry Ripeness-DERT(SR-DETR)。首先,根据PConv卷积设计FasterBlock模块替换原模型主干网络中的BasicBlock模块,提高模型特征提取能力的同时还有效降低模型参数量;然后,基于GSConv卷积和VOVGSCSP模块设计了颈部特征融合模块(Light_CCFM),削弱复杂背景和冗余信息的干扰,提高小目标的识别率;最后,引入SSFF模块改进特征融合层,增加SR-DETR网络的多尺度融合能力,使模型具有更强的鲁棒性。改进后的模型在自建草莓数据集上进行试验,结果显示,SR-DETR模型的精确度、召回率和平均精度均值分别为93.0%、90.2%、91.7%,相比于原模型分别提升1.6、1.8、1.5百分点,同时模型参数量、模型大小和计算复杂度分别降低31.2%、31.1%和23.6%。SR-DETR模型不仅提高了不同成熟度草莓的识别精度,还降低了遮挡目标的漏检率,检测速度达到60.9帧/s,可以便捷地部署到终端完成实时检测。

关键词： 分类   图像增强   曝光校正   目标检测   滤波  

摘要： 无人机进行目标检测,检测精度受图像质量影响,图像质量又受光照条件的影响。因此,设计了一种基于分类的轻量级无人机光适应算法——Adaptive Enhance and Exposure (AEE),利用轻量级网络ShuffleNetv2对航拍图像按光照条件分类后,再利用改进的图像处理模块自适应光照转换器(Illumination Adaptive Transformer, IAT)进行图像增强或者曝光校正;为了解决航拍低光图像噪声干扰问题,设计边缘增强滤波模块。实验证明,轻量级网络ShuffleNetv2在自建航拍图像分类数据集上分类精度达到99.5%;加入边缘增强滤波模块的图像增强算法峰值信噪比(Peak Signal to Noise Ratio, PSNR)指标平均提升1.26,结构相似性指数(Structural Similarity Index, SSIM)指标提升0.023;改进后的IAT算法PSNR指标提升0.46,SSIM指标提升0.008;光适应算法对目标检测平均准确率提升0.4%,在Jetson AGX Xavier设备上处理速度达到57.4帧/秒,满足实时目标检测。

关键词： 目标检测   损失函数   YOLOv5s算法   注意力机制   焊点识别  

摘要： 针对传统的基于机器视觉的汽车焊点检测中焊点不规则及易受环境光线影响导致产生漏检错检的问题,该文提出一种改进YOLOv5s的算法YOLOv5s_CB_SI。该算法通过在主干网络Backbone引入CBAM卷积注意力机制以提高模型对图像重要区域信息的关注度和对目标缺陷的学习能力,并引入SIoU定位损失函数,加快模型的收敛速度,而且有效提升模型检测及定位的能力。将改进后的算法与YOLOv5s法在焊点数据集上作对比,实验结果表明,该文提出的算法与原始算法相比精确率和召回率分别提升了4.8%和2%,在有效地提升了在焊点检测过程中的准确率的同时减少了错检漏检率,证明了改进后模型的有效性。

关键词： 鱼群追踪系统   深度学习   边缘计算   多目标追踪   目标检测  

摘要： 为解决实际养殖环境中存在鱼群数据集少、追踪算法效果不稳定、追踪部署成本高等问题,结合鱼群行为数据、鱼群追踪算法和边缘计算平台3方面建立一套基于边缘计算的鱼群实时追踪系统。采集并标注养殖环境中的金鲳鱼视频以建立鱼群行为数据集;提出基于检测的鱼群追踪算法FishTrack,改进追踪轨迹的关联策略,以减少因鱼群姿态变换和长期遮挡导致的目标丢失;将FishTrack部署在轻量级边缘计算设备上,保证追踪效果的同时降低了计算成本。研究结果表明:FishTrack在金鲳鱼数据集上的追踪准确率可达72.95%,比当前主流追踪算法ByteTrack的目标交换错误率降低了83%;实时追踪速度为平均7.40帧/s,适用于真实生产环境中鱼群的实时追踪。