关键词:
骨骼行为识别
关节分区
时空信息增强
多尺度金字塔
映射聚合
摘要:
针对现有基于骨骼行为识别的图卷积的方法关节划分固定、重视空间信息而忽视时间信息并且网络参数量较高等问题。首先引入对称关节的信息,增加对称动作的交互特征;其次,加入多尺度金字塔(Multi-scale pyramid, MSP)时间图卷积模块,形成双分支(Dual-branch, DB)的网络结构,提高网络对时间维度的信息提取能力;最后,利用特征映射和空间聚合(Feature mapping and spatial aggregation,FM-SA),在保留原始拓扑结构信息的前提下,过滤权重矩阵中冗余部分,并添加挤压激励(Squeeze-and-Excitation,SE)模块,有效提高对空间特征的提取能力和特征图的表达能力。实验结果表明,与基准模型相比,网络参数量减少51%,在NTU RGB+D 120数据集上的关节、骨骼流的识别准确率分别提高了0.5%和1.3%,融合准确率提高0.7%,0.5%,在NTU RGB+D、NW-UCLA数据集的识别准确率分别提升0.1%,0.2%,1.5%。本文模型的有效性和可行性得到验证。