关键词:
事件触发探测器
时空事件流
自适应切片
脉冲神经网络
光流预测
目标追踪
摘要:
目前,国内目标追踪领域仍采用基于“帧”和“曝光”体制的图像传感器作为主要的成像器件。但传统图像传感器在运动目标探测追踪领域存在信息价值密度低、功耗大、动态范围小、时间分辨率低、运动模糊等瓶颈问题,这些问题严重影响了光电追踪设备的工作效率以及相关目标追踪算法的实际应用效果。为解决目标追踪领域所面临的瓶颈问题,一种基于事件触发成像的探测器应运而生。事件触发探测器与传统图像传感器相比在成像体制上完全不同,它不是以固定帧频捕获图像,而是每个像素独立工作,异步响应场景中光强变化的部分,然后图像数据以异步事件流的形式进行输出,每个事件数据包含编码亮度变化的时间、空间和极性信息,所以其图像数据也被称为时空数据流或时空事件流。相比于传统体制的图像传感器,事件触发探测器在运动目标探测追踪领域的技术优势主要体现在以下几个方面:优于120d B的动态范围、级的时空分辨率、毫瓦级的超低功耗、无运动模糊及良好的智能化处理接口等。因此,事件触发探测器在目标追踪领域,尤其是在传统图像传感器具有挑战性的目标追踪场景中有着广泛的应用前景。由于事件触发探测器采用异步时空事件流的数据格式,导致现有基于“帧”图像格式的目标追踪算法并不能直接应用到事件触发探测器的时空数据中。而现有基于事件触发探测器的目标追踪算法往往将异步时空数据流进行切片积分,构建为“图像帧”后再利用传统图像处理算法进行目标追踪。这种近似于传统成像体制的数据处理方式,虽然在应用模式上相对便捷,但由于事件触发探测器的时空数据中没有目标的灰度值,所以无法利用目标的颜色和纹理信息对“图像帧”中的目标进行精准追踪。同时,也会由于构“帧”方法不当等问题,造成目标信息丢失或者运动模糊现象存在,从而影响目标追踪结果,丧失事件触发探测器一部分低数据量、高时空分辨率的优势。针对现有目标跟踪算法存在的问题,本文通过对事件触发成像运动目标探测机理进行分析,结合事件触发探测器的数据特点,开展基于异步时空数据的目标追踪算法研究。首先开展基于时空数据的预处理算法研究,完成时空数据流的自适应切片,使用于目标追踪的时空事件切片内既无目标信息丢失也无运动模糊现象;其次,提出了针对异步事件流数据目标追踪应用需求的光流预测网络,将自适应切片内的事件以离散形式进行表述,通过光流预测网络对离散事件进行光流预测,为后续目标追踪提供光流信息,提高目标追踪算法的精度;最后,通过基于时空数据光流特性的目标追踪算法研究,完成动态场景下目标追踪算法的验证与性能评价。具体的,论文的主要研究内容包括以下几点:(1)开展事件触发探测器成像机理研究,对事件触发探测器的大动态、低数据率、低功耗探测机理进行分析验证。并对现有事件触发探测器的时空数据处理方法进行归纳总结,为后续目标追踪算法的时空事件预处理奠定基础。(2)开展事件触发探测器输出的时空数据预处理算法研究。针对现有时空数据切片方法存在的运动模糊或信息丢失现象,提出一种基于时空数据流的自适应切片方法,使每个事件切片内既包含完整的目标信息又无运动模糊现象。通过实际切割效果对比及指标计算分析表明,本方法所获得的事件切片质量要优于其他几种方法。本研究内容所提出的预处理算法为后续目标追踪提供良好的输入数据基础。(3)开展时空数据光流预测算法研究。针对现有基于卷积的光流预测网络运算量大,且不能直接处理离散的时空事件等问题,提出一种基于脉冲神经网络的时空事件光流预测方法,该网络可直接处理事件切片内离散时空数据,不再需要将时空数据流构建为图像帧,极大减少了所需计算的数据量,提高了计算速度,更好的保留了事件触发探测器低数据量的优势。对比试验表明本算法的实施功耗比传统基于卷积的光流预测网络相比要低99%以上。(4)开展基于时空数据光流特性的目标追踪算法研究。在前几项研究内容的基础上,创新性的将光流场引入聚类算法当中,扩展事件信息维度,并将基于时空事件光流场聚类分割结果作为卡尔曼滤波校正参数,完成动态场景下的目标追踪并进行算法性能比较。在公开数据集上的实验结果表明,本章提出的算法由于融合了事件域的光流信息更加适用于复杂运动背景下的运动目标追踪,具有极高的实际应用价值。