关键词:
类脑计算
神经形态视觉传感器
特征表达
脉冲神经网络
动作识别
摘要:
神经形态视觉传感器从器件功能层次模拟真实的生物视觉感知过程,通过将相对光强变化编码为异步事件流来有效表示动态场景的视觉信息,不仅具备高时间分辨率、高动态范围感知能力、而且极大减少信息冗余,支持低延迟、低功耗计算。然而,这种全新事件流数据所具有的固有噪声干扰、动作语义信息时变以及异步离散表示等特性导致目前缺少有效的事件流处理与学习方法。因此,本文从事件流去噪、样本划分以及特征表示与学习几个方面开展系统性研究,提出一套基于事件的事件流处理与学习方案,包括噪声协同过滤、自适应样本划分以及时空特征与运动特征编码和学习算法。最后,以动态场景下的实时手语识别作为本工作所提出系统的典型应用案例,实现从理论方法到实际应用的技术转化。本文的主要贡献点包括:·针对事件流的固有噪声问题,定义了三种典型噪声并基于不同时空关联度计算策略提出多种噪声协同过滤算法。首先提出两种基于事件滤波器的去噪方法,时空滤波去噪方法通过结合时空表面与时间窗口约束实现背景和冗余噪声的协同过滤;事件密度去噪方法利用新颖的基于时间和索引的事件密度表示综合考虑事件时空邻域内每个点的时空关联性,进一步去除了干扰噪声;然后,将HOTS网络和SNN网络引入到去噪过程中,提出两种基于网络的去噪方法,分别利用时空平面在线聚类以及LIF神经元脉冲动力学过程自适应捕获事件间的时空关联性,实现数据自适应的噪声过滤。提出的事件去噪方法可以有效去除背景、冗余和干扰三类典型噪声,保留了关键特征事件的同时提升了事件的稀疏性。·针对事件流样本划分问题,根据LIF神经元的膜电位动态和真实运动状态的关联提出了基于膜电位双极检测的自适应划分算法。该方法利用LIF神经元整合输入的时空信息并监测膜电压局部极值点(波峰和波谷),进而将带有波峰的两个波谷内的事件流划分为一个动作片段。此外,引入两种阈值机制来去除动作起始以及切换期间的一些干扰运动事件。提出的事件流样本划分算法可以适应不同的运动速度,不仅支持单一循环重复动作的划分,并且能够实现动作序列的划分。·针对事件流的时空特征表达与学习问题,提出了一种基于事件时空表示与多脉冲学习的事件流分类模型。该模型包括一个时空事件平面特征(STES)描述算子和一种基于局部搜索和梯度裁剪的多脉冲Tempotron(LS-MST)学习算法。STES特征描述算子通过融合事件的空间和时间关联表示,可以捕捉事件细粒度的时空特征差异,进而对事件流进行准确的特征编码。LS-MST学习算法通过局部搜索策略减少了关键阈值的搜索时间与搜索误差,同时采用梯度裁剪保证SNN能够高效、稳定地学习编码事件的时空特征。提出的模型对具有更丰富时空动态的复杂对象或动作具有更好的适应性,从模型规模、收敛速度以及测试精度上明显优于其他事件流识别模型。此外,提出的基于事件的特征表达与学习保留了事件的异步性,可以充分利用事件间隔时间进行计算,更有利于在线实时处理细粒度时间分辨率的事件流。·针对动作事件流的运动信息表示与分类问题,提出一种基于事件的运动特征表达方法,为脉冲神经网络事件流分类模型提供了一个通用的运动特征表示模块,提升其动作分类精度与速度。该方法将运动历史信息与梯度方向计算引入事件流的处理中,可以高效提取动作的运动信息,快速准确判别运动差异,相比传统事件特征表示方法具有更强的特征可分性与更快的处理速度,尤其是在顺时针与逆时针这种依赖运动时空相关性的动作区分上。然后,研究、设计三种基于SNN的分类器,可以充分利用提取的梯度方向特征,提高动作分类精度。首先,将经典单层SNN分类器Tempotron与我们的特征结合,实现快速、精确分类,在多个数据集上分类精度高于其他使用单层SNN分类器的特征,并且结果可以与目前表现优异的深度SNN模型相比;然后,提出基于事件索引编码输入的深度SNN分类器,进一步扩大了输入事件流之间的时空差异性,可以进行单一动作事件流的准确分类,得到了对比方法中最好的分类结果;最后,提出了基于脉冲簇因果集的Tempotron分类器,可以从带有背景噪声的手势序列事件流中检测并识别动作。·针对真实场景下的手语识别应用,提出了面向动态视觉传感器的动作识别演示系统,并为该应用演示提供了一套全新的手语事件流数据集Sign Language10-DAVIS。该系统可以实现神经形态数据集录制以及单个或连续手语动作识别。在实际场景下的测试验证了系统在单一和连续动作识别的可行性与有效性。