关键词： 全景视频   端到端   数据采集   图像处理   后期制作   分发呈现  

摘要： 全景视频是一种以全角度和全方位的视角展示场景的视频技术。本文主要探讨了全景视频端到端的研究与实现,包括数据采集、图像处理、压缩编码和呈现等方面的内容。本文提出一种全景视频操作流程,并详细介绍了各环节的功能和实现方法,最终实现了一个完整的全景视频流程。实验结果表明,该系统能够有效地实现全景视频的采集、处理和播放,为全景视频的应用提供了可行的技术支持。

关键词： 目标检测   query初始化方式   自注意力   训练策略  

摘要： 基于Transformer的目标检测算法往往存在着精度不足,收敛速度慢的问题.许多研究针对这些问题进行改进,取得了一定的成果.但是这些研究大都忽视了Transformer结构应用于目标检测领域时存在的两个不足之处.首先,自注意力运算结果缺乏多样性.其次,因集合预测难度大,使得模型在匹配目标的过程中表现不稳定.为了弥补上述缺陷,首先设计了自适应token池化模块,增加自注意力权重的多样性.其次,设计了一种基于粗预测的锚框定位模块,并利用该模块为查询提供位置先验信息,从而提高二分图匹配过程的稳定性.最后,设计了基于组的去噪任务,通过训练模型对位于目标附近的正负查询进行区分,从而提高模型进行集合预测的能力.实验结果表明,本文提出的改进算法在COCO数据集上取得了较好的训练结果.与基线模型相比,改进算法在检测精度与收敛速度上有较大提升.

关键词： 车辆环境感知   毫米波雷达   深度视觉   目标检测   信息融合  

摘要： 为提高车辆环境感知系统的准确性和实时性,提出了一种融合毫米波雷达与深度视觉信息的多传感器环境感知算法。通过有效性检验算法对雷达数据进行预处理,引入SPPF_LSKA模块和轻量级网络Ghost Net,对YOLOv8n模型进行改进,采用决策级融合算法将两者的检测信息进行融合,输出检测结果。在行车道上进行了试验,结果表明,所提出的融合算法框架的目标检测准确率达到了91.2%,与单独使用毫米波雷达和单目相机检测相比,检测准确率分别提高了10.6%和15.8%,提出的信息融合环境感知算法检测速度快、准确率高以及目标跟踪稳定,可为智能驾驶系统提供一种可靠的环境感知方案。

关键词： 牙根尖片   深度学习   目标检测   YOLOv8   C2f_deformable_LKA  

摘要： 为提高牙根尖片中龋齿和修复体识别的准确性,在传统的YOLOv8模型的基础上,将可变形大核注意力(deformable large kernel attention,D-LKA)引入Head结构中的C2f模块,从而增强模型对目标特征的捕捉能力。同时,将PreLU激活函数代替原模型的SiLU激活函数,解决原模型存在的梯度消失问题,进一步提升了模型的拟合性,使算法运行更加高效。实验结果显示,改进后的算法平均精度mAP0.5比传统算法提高了2.6%,达到了89%;召回率R提高了2.3%,达到了84.8%,为口腔医学领域的进一步研究提供了一定的技术支持。

关键词： 目标跟踪   边缘端   Transformer   多头注意力(MHA)   知识蒸馏  

摘要： 目的将面向服务器端设计的跟踪算法迁移部署到边缘端能显著降低功耗,具有较高的实用价值。当前基于Transformer的跟踪算法具有明显的性能优势,然而部署在边缘端时,却可能产生较高的延迟。为了解决这个问题,提出了一种面向边缘端的线性分解注意力(linearly decomposed attention,LinDA)结构,可有效降低Transformer的计算量和推理延迟。方法LinDA将多头注意力近似表示成数据依赖部分和数据无关部分的和:对于数据依赖部分,用简单的向量元素间相乘及求和表示,避免了复杂的转置和矩阵乘法;对于数据无关部分,直接利用统计得到的注意力矩阵,然后加上一个可学习偏置向量。这种分解既具有全局注意力,又保持了数据依赖的优点。为了弥补线性分解带来的精度损失,还设计了一种知识蒸馏方案,它在原始的损失函数上增加了两部分蒸馏损失:1)将真实包围框替换成教师模型预测的包围框作为监督目标,称为硬标签知识蒸馏;2)将教师模型预测得分的相对大小作为监督目标,称为关系匹配知识蒸馏。基于LinDA结构进一步实现了一种面向边缘端的目标跟踪算法LinDATrack,并将其部署在国产边缘计算主机HS240上。结果在多个公开数据集上进行了评测。实验结果表明,该算法在该计算主机上可达到61.6帧/s的跟踪速度,功耗约79.5 W,功耗仅占服务器端的6.2%,同时其在LaSOT和LaSOT_ext上的成功率(success rate,SUC)相对于服务器端基线算法SwinTrack-T最多仅下降约1.8%。结论LinDATrack具有良好的速度和精度平衡,在边缘端具有较大的优势。

关键词： 深度学习   FocalLoss   目标检测   图像处理  

摘要： 在无人机航拍数据集图像上提出基于改进YOLO-X的机动车识别算法,为工业巡检和交通监控业界提供思路。首次提出适用于局部特征样本的离线加在线分阶段数据增强方法。进一步改进焦点损失FocalLoss的同时,替换此前业界通用的交叉熵损失。重新设计目标检测Head组合,使模型检测精度mAP比业界通用模型提升0.042。建立在扩展感知域动态实时调整识别范围的算法,将运行时帧率提升19%。为航拍机动车算法实现纯ARM(Advanced RISC Machines)部署提供了可行性。

关键词： 鱿鱼   分级   机器视觉   目标检测   特征融合   分拣  

摘要： 目前远洋鱿钓中鱿鱼分拣环节以人工作业为主,缺少鱿鱼机械化自动分级能力。鱿鱼冷冻前直接进行分级分拣能够提高其经济价值和市场竞争力。为实现快速无接触式分级,提出一种基于视觉识别的鱿鱼智能分级方案。通过实际验证确定以胴长作为鱿鱼等级判断标准,并选用视觉识别作为测量方案。视觉识别的目标检测模型基于YOLO v5并对其特征融合部分进行改进,收集整理鱿鱼图像进行胴体标定后用于模型训练,得到一种可用于测量鱿鱼胴体长度并进行分级的目标检测识别模型,其检测速度可达69.52 f/s,可满足实时性要求。在人工测量和模型检测对比试验中,该模型在鱿鱼检测上平均误差值为0.297 cm,平均误差率为1.55%。试验结果表明,该模型准确性高,能实现鱿鱼测量和分级的目标,满足船载鱿钓工作对鱿鱼分拣的基本需要。

关键词： 城市排水管网   缺陷检测   YOLOv8   目标检测   特征融合  

摘要： 针对城市排水管道缺陷易受背景干扰、特征尺度多变以及现有检测模型存在检测准确率低、误检率高等问题,提出了一种基于改进YOLOv8的缺陷检测算法。首先,设计DSK模块并嵌入主干网络的C2f模块中以扩大感受野,提高模型对多尺度缺陷特征的提取能力;其次,引入Slim-neck网络结构对颈部网络进行改进,对缺陷特征信息进行有效利用和融合,并有助于实现模型的轻量化;最后,采用FocalEIOU损失函数以更好地提高对较小缺陷目标的检测性能和模型的收敛速度。在管道缺陷数据集上的实验结果表明,本研究改进的算法在70.4 fps的检测速率下,mAP达到了67.5%,相比于原始YOLOv8算法,mAP值和检测速率分别提升了3.8%和1.7 fps,表现出了良好的检测性能。针对实际应用目的,基于改进算法开发了一款能够实时检测管道缺陷的系统软件,通过实际项目检测,验证了本文改进的算法能够满足城市排水管道缺陷检测任务中高精度、实时检测的需求。

关键词： 人工智能   目标检测   乳腺肿瘤   乳腺超声   YOLOv5  

摘要： 为实现基于改进型YOLO的算法模型对乳腺肿瘤超声图像检测方式的优化升级,选取659张kaggle平台公开的乳腺肿瘤超声图像作为YOLOv5s的初始数据集,并采用开源图片标注工具Labelimg对超声图像中所需检测的乳腺癌目标进行预标注。从该数据集中随机抽取629张图像,并将其依照7:3的比例划分为训练集与验证集,余下30张图像作为测试集用于测试模型检测目标性能。将自适应空间特征融合结构(ASFF)与卷积块注意力(CBAM)机制引入原YOLOv5算法,对原算法进行结构化改良。将训练集与验证集置入原模型与改良模型,经过200轮迭代训练得到佳权重文件,用于测试集的最终化检验。结果表明,经过200轮迭代训练后,两种模型对所有乳腺肿瘤超声图像检测的平均精度均值分别为72.1%、79.6%。通过测试集检验证明,与原始模型相比,改良模型对图像的识别精度得到了显著提高,同时对中小目标的检测能力也得到了提升,有助于提高临床中乳腺肿瘤的诊断效能。

关键词： 目标检测算法   YOLOv10算法   跨尺度特征融合模块   Mamba线性注意力机制   空间深度转换卷积模块   动态上采样器  

摘要： 针对目标检测算法部署在边缘设备的轻量化需求,提出一种基于改进YOLOv10的轻量化目标检测算法(CMD-YOLO算法)。该算法利用跨尺度特征融合模块对YOLOv10算法的网络结构进行改进,减少了算法模型的参数量与计算量;采用基于Mamba的线性注意力机制改进的部分自注意力模块替换传统的部分自注意力模块,进一步降低了算法模型的参数量;利用空间深度转换卷积模块替换部分传统卷积模块,增强了算法模型对下采样细节信息的提取能力;利用动态上采样器DySample替换传统的上采样模块,在保持上采样精度的同时,降低了算法模型的计算延迟。实验结果表明,CMD-YOLO算法与YOLOv10-n算法相比,在检测精度略微提升的同时,算法模型参数量降低了30.5%,计算量下降了19%,权重文件缩小了29.3%,计算延迟减少了8.8%,能够满足目标检测算法部署在边缘设备中的轻量化需求。