关键词： 工业机器人   视觉引导   深度学习   目标检测  

摘要： 为了进一步提高复杂环境下的工业机器人的适应性,本研究提出了一种基于深度学习的视觉引导方法。首先,本文研究了视觉引导系统的基本组成。其次,研究了基于卷积神经网络(convolutional neural network, CNN)的目标检测与分割模型。再次,探讨了基于模型匹配的姿态估计技术。最后,为了验证所提方法的有效性,搭建了以JAKA-ZU3工业机器人为平台的实验系统,并进行了抓取实验。结果表明:本研究设计的视觉引导方法具有良好的操作精确性和重复性。

关键词： 高速串行总线   PCIe   DSP   FPGA   DSP+FPGA架构  

摘要： 采用高性能DSP+FPGA架构可满足嵌入式图像处理系统对大数据量、复杂算法的实时处理需求,传统的DSP+FPGA架构使用并行外部存储器接口作为数据传输接口,走线条数较多,布线难度大,故障点多。采用高速串行总线可解决以上问题,本文提出一种基于高速串行总线的DSP+FPGA架构图像处理系统,采用PCIe总线作为DSP与FPGA之间的图像数据传输通道,SRIO总线作为DSP与DSP之间的数据传输通道,SGMII总线作为DSP与PHY芯片的数据传输通道。高速串行总线使得数据传输率更高,布线更容易,减小了电磁干扰,提高了抗干扰能力。本文设计的系统已在实际场所中部署并稳定运行,验证了设计的可行性和系统的可靠性。

关键词： 事件相机   目标检测   噪声标记   跨模态   联合优化  

摘要： 事件相机具有高时间分辨率、高动态范围和低功耗等特性,通常被用于传统相机应用受限场景(高速度、强光、弱光等)下的目标检测任务中。然而由于事件相机的像素异步性,其输出的事件序列难以进行人工标注,为此现有方法通过RGB图像标记迁移得到事件序列标记。然而,迁移标记中存在大量噪声标记和事件序列中部分目标纹理模糊,导致难以取得理想的模型性能。为了解决此问题,提出了一种跨模态噪声过滤的事件相机目标检测算法。算法利用预训练后的事件相机检测器对开源RGB目标检测数据集进行筛选,得到对训练事件相机检测器最具价值的RGB图像和事件图像一起构成跨模态混合图像,帮助检测器更准确地识别、定位事件图像目标;为了缓解噪声标记对检测器性能的影响,设计了一种多阶段目标检测联合优化策略,单个阶段训练完成时,在全局标记中识别噪声标记,并对噪声标记进行修正后在下一阶段使用。实验结果表明,在1Mpx Detection Dataset上,与基准模型相比,跨模态噪声过滤的事件相机目标检测算法提供了8.35%的模型增益,远优于Co-teaching,O2U-net等噪声标签学习方法,具体地,跨模态混合图像训练、联合优化框架分别提供了6.44%,4.77%的模型增益。

关键词： 智能传播   国际传播   计算传播   社交机器人   人像政治   计算机视觉   社交媒体平台   Twitter  

摘要： 人像在政治传播活动中具有特别意义,以人像为中心的视觉政治实践近年来面临传播媒介的社会化、平台化与智能化挑战。研究以海外社交媒体平台Twitter的涉中国议题为切入点,结合社交机器人识别技术和计算机视觉技术,观察以社交机器人为代表的算法代理如何影响当今人像政治的社交媒体实践。结果发现,Twitter社交机器人通过操纵性别、视觉年龄等人口特征,五官、表情等容貌特征,以及大小、位置、拍摄角度等画面特征的可见性,自动化地参与涉中国视觉议题的内容生产,并与人类用户的视觉传播活动形成显著差异。机器用户在顺应社交媒体平台社会化传播逻辑、力求引导社交流量的同时,又从根本上服务于政治逻辑,在涉中国议题上借助视觉手段塑造、加固海外社交媒体平台用户的刻板印象与政治偏见。技术逻辑、平台逻辑与政治逻辑相互交织并作用于当今人像政治实践,改塑了视觉政治生态以及个体认知与情感体验。

关键词： 自动驾驶   鸟瞰图检测   通道注意力   目标检测   注意力机制   时空编码器  

摘要： 基于摄像头构建的感知和检测系统,以较低的成本和较高的分辨率实现目标检测。通过六个单目相机生成的鸟瞰图(BEV)特征可进行目标检测。其中,BEV特征包含物体的位置和尺度,适用于各种自动驾驶任务。BEV检测器通常与深度预训练的图像骨干相结合,但是两者直接连接并不能突出2D特征与3D特征的对应关系。为了解决以上问题,使用通道注意力对输出特征图加权调整提议特征通道,并与深度估计模块相结合,突出了2D与3D特征的关系;通过时序叠加融合方式解决了继承式融合方式中过去信息逐渐丢失的问题,保证了模型能够充分利用历史信息。在NuScenes数据集上进行了广泛的实验,结果表明归一化累计得分(NDS)达到了0.604,比BEVFormer模型提升了0.035,验证了模型的有效性。

关键词： 目标跟踪   孪生网络   轮廓分割   多点回归   尺度估计  

摘要： 准确的尺度估计是目标跟踪中的挑战,现有方法存在计算复杂度高、超参数多和精度低的问题。针对以上问题,提出一个利用目标轮廓进行跟踪的孪生分割网络,它由孪生子网络和轮廓分割网络2部分组成,其优点是不需要根据先验知识预先定义锚框,减少了超参数。在此基础上,实现一种基于多点回归的目标轮廓跟踪方法,该方法用区域分类与轮廓回归对目标跟踪建模,能够同时得到正矩形框、旋转矩形框和轮廓等多种目标状态。该方法的跟踪过程是:首先,利用孪生子网络估计目标的初始矩形框;其次,通过轮廓分割网络将初始矩形框的特征向量变形为目标轮廓;最后,根据目标轮廓拟合最终矩形框。在OTB-2015(Success=70%)、VOT-2020(EAO=52%)、TrackingNet(AUC=78.9%)和LaSOT(AUC=64.1%)数据集上的实验结果表明:与现有先进的目标跟踪方法相比,本文提出的跟踪方法具有较优的跟踪性能。

关键词： 生菜   气雾栽培   OpenMV   图像处理   环境调控  

摘要： 随着农业的快速发展,气雾栽培(雾培)技术因其高效、节水、优质等特点受到广泛关注。为了对生菜生长环境进行精准监测与调控,设计了一种基于OpenMV的生菜雾培环境调控系统。该系统由OpenMV主控模组、温湿度检测模块、光照强度检测模块、二氧化碳检测模块、超声波雾化模块、营养液供给模块、图像处理模块等构成,实现了智能化、精准化的生菜雾培管理,对推动设施农业的现代化发展具有重要意义。

关键词： 苹果目标检测   YOLOv7   注意力机制   小目标检测   激活函数   Grad-CAM  

摘要： 采摘机器人在不稳定光照、果实多样性和树叶遮挡等复杂自然环境下识别苹果时,检测模型难以捕获关键特征,导致采摘效率和准确性较低.提出基于YOLOv7模型的针对复杂场景下苹果目标检测的改进算法.通过限制对比度自适应直方图均衡化算法增强苹果图像对比度,以减少背景干扰,增强目标轮廓清晰度;提出多尺度混合自适应注意力机制,通过特征解构与重构,协同整合空间和通道维度的注意力导向,优化多层次特征的长短距离建模,增强模型对苹果特征的提取能力与抗背景干扰能力;引入全维度动态卷积,通过精细化的注意力机制优化特征选择过程;增加检测头个数,解决小目标检测问题;采用Meta-ACON激活函数,优化特征提取过程中的关注度分配.结果表明,改进后的YOLOv7模型对苹果的平均检测准确率和召回率分别为85.7%、87.0%,相比于Faster R-CNN、SSD、YOLOv5、YOLOv7,平均检测精度分别提高了15.2、7.5、4.5、2.5个百分比,平均召回率分别提高了13.7、6.5、3.6、1.3个百分比.模型效果表现优异,为苹果生长监测及机械摘果研究提供了坚实的技术支撑.

关键词： 深度学习   车牌识别   MATLAB软件   图像处理   设计  

摘要： 针对车牌识别,采用深度学习的方法并利用MATLAB软件编程进行软件界面的搭建和硬件电路的设计。首先对车牌图像进行预处理,国内的车牌一般是3:1的长宽比,预处理后进行车牌定位;其次对定位的车牌图像进行倾斜校正,采用连续投影法进行字符分割;最后采用深度学习法对车牌中的数字、字母和汉字进行提取和识别。整个系统可以实现车牌的读取,读取结果准确,便于在交通管理、停车场管理中得到应用。本研究的结果表明,所采用的方法充分考虑了图像环境、光照条件、色彩分布以及拍摄角度等多方面因素对车牌识别任务的影响,提升了车牌识别过程中的图像清晰度及识别准确率,从而为车牌识别技术的优化提供了有力的理论依据和实践指导。

关键词： 深度学习   目标检测   YOLOv5   道路场景   自动驾驶  

摘要： 自动驾驶中的目标检测作为现今计算机视觉的基础任务之一,近年来受到了人们的广泛关注,而道路场景的目标检测与识别又是自动驾驶中最核心的模块之一.YOLOv5(YOLO-YouOnly Look Once)目标检测算法常用于对车辆行驶过程中的道路场景目标进行检测和识别,该算法通常可以获得优异的检测速度,但在检测精度上却差强人意.基于YOLOv5模型进行改进,针对损失函数CIoU可能会导致梯度爆炸的问题,将损失函数由CIoU改为EIoU,使得检测准确性有所提高;运用多尺度特征融合的方法加入超小检测头模块,将原始网络模型从3检测头变为4检测头,并通过K-means聚类方法,选取了三个最适合数据集的候选框大小,解决了原始模型对微小目标检测不准确的问题.在VisDrone2019数据集上进行训练,最终模型网络的mAP-50可以达到42.8%,相比于原始模型提升了7.6%,实验结果表明提出的方法相较于YOLOv5原始模型更适用于道路场景的目标检测与识别任务.