关键词：
动态视觉传感器
背景活动噪声去噪
量化评估
脉冲神经网络
跌倒检测
摘要：
动态视觉传感器(Dynamic Vision Sensor,简称DVS)受生物视觉启发,其像素响应对数光强变化并以异步方式产生事件输出,因此又被称为事件相机。它具备很多传统相机不具有的优势,如低传输延迟(10μs)、低功耗(10 m W)、高动态范围(120d B)和高时间分辨率(1MHz)等。这些特性使得动态视觉传感器在极端光照条件下仍然能够快速响应视觉活动并减少冗余输出,因此在对功耗和延迟有限制的应用领域如智能视频监控上有巨大的优势和应用前景。但是,动态事件传感器在应用上面临着两大挑战。首先,由于现有半导体工艺的限制,DVS也会输出噪声,其中占主导地位的是背景活动噪声。背景活动噪声是在场景中无运动的情况下产生的,因此是非信息性的。背景活动噪声事件会占用不必要的带宽和计算资源,并导致从事件流中提取有意义的信息变得困难。现有去噪算法在高噪声水平下表现不佳。同时,量化评估去噪算法也是一大难题,用户没有一个统一的标准来比较选择去噪算法。另一个挑战来自于其输出的事件数据新范式。对于异步事件流这种新的数据形式,目前还没有形成统一的特征提取算法。为了使用现有基于帧的神经网络算法,需要将事件流转换为事件帧,这将丢掉事件高时间分辨率和低延迟的优势。而脉冲神经网络(Spiking Neural Network,简称SNN)能够直接处理事件,并且具有低功耗的优势。但是SNN在训练和应用精度上还存在挑战。为此,本文针对DVS背景活动噪声去噪、事件流特征提取算法和应用进行事件数据处理关键技术研究。针对事件流去噪,为了能够量化评估去噪算法的性能,本文首先开展了事件数据的标记方法研究,从而提出了一种可配置的评估方法。在此基础上,本文提出了三种低成本和低延迟的事件流去噪算法,并对它们的性能进行了详细评估。针对脉冲神经网络这种特征提取算法,本文提出了一种脉冲神经网络最大池化层实现方法,从而为应用提供更多的SNN结构支持。基于对去噪和特征提取算法的研究,本文针对跌倒检测这种典型DVS动态场景识别应用,提出了一个基于事件流质心轨迹的跌倒检测系统。论文的主要工作和创新点如下:·本文提出了一种可配置的事件流去噪量化评估方法。本文考虑到DVS像素电路的复杂性,通过对低强度和高强度光照下背景活动噪声的详细观察,选择对背景活动噪声的测量特性进行建模,从而可以将模拟噪声添加到干净的DVS记录中获得标记数据,以评估噪声过滤器是否能很好地去除它。该方法允许添加不同噪声率的噪声,突破了先前工作中标记数据只在单一光照条件下有效的局限性。本文首次提出使用AUC-ROC方法来表征去噪性能,以避免先前工作任意选择信号与噪声判别阈值的缺点。·本文提出了三种低成本低延迟的事件流去噪方法。第一种基于哈希函数压缩编码事件信息,从而能够以较低的存储开销滤除密度较低的背景活动噪声。第二种检查当前事件与固定窗口中事件的空间相关性,只需要很小的内存占用就可以在使用固定相机的监控应用程序中有效地滤除大部分噪声并保留大部分信号。第三种是一个轻量的多层感知机分类器,它利用局部时空平面中过去事件的结构线索来进一步增加通过的信号事件数量和降低错误通过的噪声数量。它的计算和存储开销比现有神经网络去噪方法小了10倍以上。·本文提出了一种脉冲神经网络最大池化层实现方法。针对SNN中最大池化层实现的挑战,本文提出只使用集成点火神经元来实现最大池化层,比现有方法降低了存储开销,从而降低了SNN实现的空间复杂度。本文讨论了池化窗口的三种输入情况,并分析这三种情况下集成点火神经元的输出特点来说明该方法的可行性。实验结果表明,本文所提出的方法能够使SNN在分类任务上取得和现有方法相似的精度,并且降低了所需的推理时间。·本文提出了一个基于事件流质心轨迹的跌倒检测系统。该系统首先对事件流进行去噪处理,然后通过SNN计算事件流质心并形成质心轨迹,再通过机器学习分类器对质心轨迹进行分类,从而判断事件流中是否包含跌倒动作。为了和现有方法进行对比,本文使用工具将基于帧的标准跌倒检测数据集转换为事件数据形式,并通过注入噪声模拟夜间低光照环境。实验结果表明,该系统在相同数据集上取得了和现有基于深度卷积神经网络的方法相似的精度,且处理速度是现有基于DVS的方法的2倍。高噪声率下系统的检测准确率会下降,而去噪可以避免准确率下降。综上所述,本文针对DVS中的关键去噪问题,背景活动噪声过滤提供了一种新的量化评估方法和三种新的轻量级去噪算法,针对特征提取算法SNN提出了一种新的最大池化层实现方法,并结合去噪算法和SNN为基于事件的跌倒检测应用提供了一种新的解决方案。
