关键词:
目标检测
实例分割
互惠关系
特征表达
边界精细化
摘要:
目标检测与实例分割是计算机视觉中2种重要且关系紧密的任务,但其间的关联在大多数工作中还未得到充分的探索。为此,提出了RDSNet,一种用于互惠目标检测与实例分割的深层架构。为了实现这2种任务之间协同优化,设计了一个双流式结构来联合学习目标级别和像素级别的特征表达,分别用于编码目标级别和像素级别的信息,并在双流之间引入了3个模块来实现二者的相互作用,让目标信息辅助实例分割,像素信息辅助目标检测。通过相关模块提供一种计算目标级和像素级特征相似度的手段,以便于驱动属于同一目标的特征尽可能一致,提高实例掩码的精度。裁剪模块利用目标信息为像素级感知引入实例的概念和平移变化性,以便于更准确地区分不同实例和减少背景噪声。为了进一步提高检测框与目标的贴合程度,提出了基于掩码的边界精细化模块来对掩码和检测框做融合,利用掩码的准确性优势修正检测框的误差。在COCO数据集上的大量实验分析和对比证实了RDSNet的有效性和高效性。此外,通过在边界精细化模块引入掩码打分策略,以新的方式实现了实例分割对目标检测的辅助,使RDSNet的性能得到了进一步提升。