关键词:
脉冲神经网络
序列学习
聚合标签学习
序列记忆模型
序列预测模型
摘要:
深度学习成功借鉴大脑处理信息的层级结构,在智能应用领域取得了重要突破和广泛应用。但现有深度网络模型需要大量的计算资源,无法大规模部署在功耗和成本敏感的应用中。此外,现有深度网络模型在智能水平方面距离人脑还有很大差距。为了解决上述问题,受脑启发的脉冲神经网络提供了一种新的思路。脉冲神经网络用离散的二值脉冲表征信息,具有丰富的神经动力学特性、强大的时空信息处理能力和在神经形态芯片上超低功耗、超低延迟运行的优势,孕育着巨大的创新可能性。但是,由于复杂的时空依赖关系和脉冲发放不可微分等特性,当前脉冲神经网络还缺乏高效的网络模型和学习算法,限制了其实际应用性能,因此本文从算法和模型两方面展开研究,主要创新点如下:(1)针对前馈脉冲神经网络中序列学习效率低下的问题,提出一种受膜电压驱动的脉冲神经网络序列学习算法FE-Learn(First Error Learning)。不同于一般序列学习算法需要精确复刻期望脉冲序列,FE-Learn只需要在每个期望脉冲附近的小窗口内激发脉冲,这种对目标输出的放宽极大提高了其鲁棒性。此外,FE-Learn在每轮学习中针对性地调整第一个错误脉冲的膜电压,使神经元能快速激发期望的脉冲序列。同时,FE-Learn将突触延迟可塑性引入参数学习中,提高了在稀疏输入条件下的学习能力,而进一步将其扩展到多层网络也扩大了其现实应用范围。实验证明,相比于其他序列学习算法,FE-Learn具有更高的学习效率及更好的鲁棒性。(2)针对神经科学和机器学习领域长期研究的时间信用分配(Temporal Credit-Assignment,TCA)问题,提出一种高效的受阈值驱动的脉冲神经网络聚合标签学习算法ETDP(Efficient Threshold-Driven Plasticity)。ETDP以多种有效线索对应的期望输出脉冲数之和作为标签,通过脉冲-阈值映射关系中的临界阈值更新权重。实验表明,ETDP能探测并弥补感官信号的发生与反馈信号的到达之间的差距,将聚合标签分配给嵌入在背景活动中的有用线索,有效处理TCA问题。此外,ETDP采用预防梯度爆炸的策略提高算法性能。实验结果表明ETDP具有比其他阈值驱动的聚合标签学习算法更高的学习效率。(3)针对具有可变时间间隔的时空序列记忆问题,提出一种受生物神经柱启发的脉冲神经网络模型CSTM(Column-based Spatial-Temporal Memory)。现有序列记忆模型大多只关注序列元素的先后顺序,不考虑元素之间的时间间隔,因此无法处理现实中具有可变时间间隔的序列。与主流的脉冲神经网络模型不同,CSTM将多个神经元排列成柱,每个柱响应一种输入刺激,并以柱间神经元的突触连接串联序列元素,以突触传输延迟表征元素时间间隔。通过这样的特殊结构,CSTM实现了对具有可变时间间隔的时空序列的联想记忆。实验结果表明,仅在对输入序列进行一次学习后,CSTM即可记住包含数千个元素的序列。(4)为了实现对大量序列的快速实时记忆,提出一种类脑的在线序列学习脉冲神经网络模型HLSM(Human-Like Sequential Memory)。大脑可以实时地记忆日常经历,并通过遗忘灵活地更新记忆。但目前大多数记忆模型依赖机器学习方法与人工智能技术搭建,缺乏对大脑记忆机制的模拟。基于柱结构的HLSM具有柱、神经元、时间三个尺度上的信息稀疏分布表示,能有效扩大模型的记忆容量。HLSM还引入了神经振荡,实现对序列记忆的节奏控制和对流数据的在线学习与预测。此外,HLSM还通过遗忘机制动态管理存储的记忆。实验表明,相对于其他记忆模型,HLSM具有更高的记忆效率和记忆容量,并且能快速适应流数据的变化。