关键词： 机器视觉   计算机视觉   目标跟踪   孪生网络   模板更新  

摘要： 提出一种跨模态光学信息交互和模板动态更新的可见光和热红外(RGBT)跟踪方法,选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架,并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上,基于无锚框的思想构建预测网络,以提升跟踪器的灵活性和通用性,同时提出一种模板动态更新的策略,通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明,所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。

关键词： 喷涂机器人   目标检测   Faster R-CNN   密集连接网络   损失函数  

摘要： 自主喷涂机器人可以实现各种类型汽车车灯的自动化喷涂,而基于机器视觉的车灯检测算法是该机器人的关键技术。针对目前缺乏深度学习算法在喷涂环境中检测车灯的问题,提出一种基于改进Faster R-CNN的检测算法。改进的算法中用密集残差网络De-ResNet代替原有的特征提取网络,融合了多层次的特征信息,增加了网络深度,避免了网络梯度的消失。同时利用距离交并比DIoU对原算法中的损失函数进行了改进,引入了良好的距离度量,进一步提高了检测精度。实验结果表明,改进算法的平均准确率为98.56%,单幅图像的平均识别时间为0.45 s,能够实现对车灯类型的有效识别,满足实时处理的要求。

关键词： 甲状腺结节   良恶性分类   深度学习   图像处理   辅助诊断  

摘要： 甲状腺结节是成人临床最常见的结节性病变之一,发病率一直居高不下。甲状腺结节有良性和恶性之分,后者即为甲状腺癌,会造成患者呼吸吞吐困难甚至危及患者生命。因此,识别甲状腺结节的良恶性是诊断和治疗甲状腺结节的首要问题。深度学习能够自动提取结节特征,并完成甲状腺结节的良恶性初步分类。随着深度学习分类准确率的不断提高,目前它已成为甲状腺结节良恶性辅助诊断的重要手段。为更好地进行甲状腺结节良恶性分类辅助诊断研究,对常用的结节分类性能评价指标进行介绍;按卷积神经网络、Transformer、深度神经网络、生成对抗网络、迁移学习、集成学习以及基于深度学习的计算机辅助诊断系统进行分类,对它们在甲状腺结节良恶性分类中的应用进行阐述,并进行综合对比分析;总结了目前研究中存在的问题,并对未来的研究方向进行了展望。

关键词： 显著性目标检测   跨模态   全局注意力机制   RGB-D检测模型  

摘要： 近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

关键词： 机车车辆   底部设备检查   图像处理   线路摄像头  

摘要： 利用图像处理技术,本文开发了一种用于机车车辆故障检测的系统。该系统能够自动检测诸如底部设备紧固螺栓松动或设备箱盖手柄转动等故障,如有必要,检验人员可以根据该系统显示的图像对机车车辆进行具体检查。目前系统已经具备了车辆底部设备侧面检测功能,我们正致力于将该系统应用于车辆底部设备中间区域及车顶设备的检测。本文对该系统及其用户界面进行了概述。

关键词： 图像处理   计算机断层扫描成像   低剂量   卷积神经网络   Transformer网络  

摘要： 多能计算机断层扫描(Computed tomography,CT)技术可以更加精确地分辨出人体组织对不同能量X射线光子的吸收情况,是医学成像领域的重要发展方向。为了解决因量子噪声等非理想效应加重导致重建图像质量急剧退化的问题,提出了一种基于移位窗口多头自注意力机制的双流Transformer网络结构。该结构利用移位窗口Transformer和局部增强窗口Transformer分别提取投影数据的全局和局部特征,充分利用投影数据的非局部自相似性以保留投影数据的内部结构;然后通过残差卷积融合提取的特征;最后使用带有非局部全变分的混合损失函数来监督网络模型的训练,提升该网络模型对投影数据内部细节的敏感程度。实验结果表明,所提方法处理后的重建图像峰值信噪比(PSNR)值、结构相似性(SSIM)值和特征相似度(FSIM)值分别达到37.7301 dB、0.9944和0.9961。与目前先进的多能CT去噪方法相比,所提方法在去除低剂量多能CT投影数据噪声的同时,可保留更多的细节特征,有利于后续的精确诊断。

关键词： 目标检测   分割   关键点检测   条件随机场   飞机型号识别  

摘要： 目前,受限于数据集精细度与网络结构,深度学习技术仍难以应对飞机目标型号识别这类精细化识别任务。本文针对遥感影像中飞机目标型号识别问题,提出一种融合目标分割与关键点检测的飞机型号识别方法。该方法有机地结合多任务深度神经网络与条件随机场和模板匹配算法,利用“预训练+微调+后处理”的方式实现飞机型号的高精度识别。首先,基于多任务深度神经网络迁移学习技术实现飞机目标物位置、掩膜与关键点信息识别。其次,为了便于后期高精度模板匹配,利用本文提出的融合条件随机场的飞机目标掩膜精化算法和基于关键点的姿态调整算法,实现识别目标的边界精细化与机体姿态调整;最后,在本文构建的飞机型号模板库基础上,将经过精化后处理的飞机掩膜信息与模板库进行匹配,实现飞机目标的型号识别。为了验证所提方法的有效性,本文进行了相关实验,并与传统算法及完全端到端深度学习方法进行了对比,结果表明,本文所提方法具有更高准确率,并且在实用性方面更具优势。

关键词： 宽度学习   卷积神经网络(CNN)   纹理样图提取   目标检测   区域候选网络   特征金字塔网络(FPN)  

摘要： 目的 纹理样图是指一幅用于描述纹理特征的图像,纹理样图多样性在纹理合成任务中是至关重要的,它可以为合成的纹理带来更丰富、多样和逼真的外观,同时为艺术家和设计师提供了更多的创作灵感和自由度。当前,纹理样图的提取主要通过手工剪裁和算法自动提取,从大量的图像中手工剪裁提取出高质量的纹理样图十分耗费精力和时间,并且该方式易受主观驱动且多样性受限。目前先进的纹理样图自动提取算法基于卷积神经网络的Trimmed T-CNN(texture convolutional neural network)模型存在推理速度慢的问题。基于此,本文致力于利用互联网上丰富的图像资源,自动快速地从各种图像中裁剪出理想且多样的纹理样图,让用户有更多的选择。方法 本文提出一个结合深度学习和宽度学习的从原始图像中自动提取纹理样图的方法。为了获取理想的纹理样图,首先通过残差特征金字塔网络提取特征图,有效地从输入图像中识别样图候选者,然后采用区域候选网络快速自动地获取大量的纹理样图候选区域。接下来,利用宽度学习系统对纹理样图的候选区域进行分类。最后,使用评分准则对宽度学习系统的分类结果进行评分,从而筛选出理想的纹理样图。结果 为了验证本文方法的有效性,收集大量理想纹理样图并将它们分成6个类进行实验验证,本文模型的准确度达到了94.66%。与当前先进的方法 Trimmed T-CNN相比,本文模型准确度提高了0.22%且速度得到了提升。对于分辨率为512×512像素、1 024×1 024像素和2 048×2 048像素的图像,算法速度分别提快了1.393 8 s、1.864 3 s和2.368 7 s。结论 本文提出的纹理样图自动提取算法,综合了深度学习和宽度学习的优点,使纹理样图的提取结果更加准确且高效。

关键词： 目标检测   航拍图像   注意力机制   损失函数   Swin Transformer   YOLOv7  

摘要： 航拍图像目标检测对于高效解译航拍图像,并用于地图绘制、资源普查、城乡规划等领域有着重大现实意义。针对无人机航拍图像中的物体尺度变化大、易受到背景干扰和微小目标容易错检漏检的问题,提出一种基于YOLOv7进行改进的航拍图像目标检测算法(AirYOLOv7)。AirYOLOv7通过在原网络的特征提取阶段结合三维注意力机制,在特征融合阶段结合通道注意力机制,以帮助模型更好地聚焦于图像中的关键信息。考虑到航拍图像中存在许多微小物体,算法额外增加了一个用于检测微小物体的预测头,并在每个预测头前引入C3STB,以增强算法对不同尺度目标的检测能力。针对IoU损失对微小物体的位置偏差非常敏感,通过在原边框回归损失中引入Wasserstein距离来衡量微小物体之间的差异,以提高算法对微小物体的检测能力。实验结果表明,AirYOLOv7在DOTA和VisDrone这两个公开的光学航拍数据集上的mAP分别达到78.65%和51.79%,相较于原始的YOLOv7分别提高了1.92个百分点和2.28个百分点,证明了改进方法在光学航拍图像上的有效性。

关键词： 金属表面缺陷检测   目标检测   YOLOv4   双流骨干网络   多尺度特征强化  

摘要： 目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。