关键词:
脉冲神经网络
边缘计算
片上学习
类脑计算
摘要:
脉冲神经网络受大脑启发,通过模拟神经元的离散脉冲方式表达、传递并处理信息。全脉冲化的计算与数据流使神经形态硬件具有高能效的特点,因此更适用于供电受限的边缘设备。现有边缘神经网络处理器主要依赖于离线训练,即在片外或云端训练,导致了高延迟、高带宽和隐私泄漏的问题。特别地,离线训练难以实时学习并适应端侧变化的场景。相比之下,片上学习可以使边缘设备在本地完成实时学习和推理任务。然而,典型的脉冲神经网络学习算法需要复杂的计算和大量的存储,与边缘设备受限的算力、存储和功耗产生了矛盾。为了在边缘设备上实现脉冲神经网络片上学习,目前已有大量研究聚焦于如何改进或设计出适用于边缘的脉冲神经网络片上学习算法。本文围绕边缘型脉冲神经网络片上学习方法,从无监督和监督学习两个类别进行展开,详细介绍了生物启发的片上学习算法,如STDP和SDSP,以及基于梯度下降的片上学习算法,如Improved STBP等,并对脉冲神经网络片上学习处理器进行了简要介绍。最后总结了脉冲神经网络片上学习存在的问题和挑战。