课程文献中心 更多>>

关键词： 脉冲神经网络   时域反向连接   神经架构搜索  

摘要： 脉冲神经网络(Spiking Neural Networks,SNNs)被认为是第三代神经网络。相比于一般的人工神经网络(Artificial Neural Networks,ANNs),SNNs在模拟生物神经元方面更加精确。SNNs使用时间动力学处理信息,在网络推理过程中通过传递二值信号,可以在实现网络异步计算的同时保持较低的功耗。SNNs利用脉冲在网络层与层之间进行信息传递,虽然具有很高的计算效率,但是会面临脉冲信号不可微分的问题,这使得传统的反向传播(Back Propagation,BP)算法不能直接用于SNNs的网络训练。当前,直接训练SNNs的研究领域主要是采用代理梯度(Surrogate Gradients,SG)的方式解决这个问题。但是使用SG会存在梯度不匹配的问题,从而导致SNNs的推理精度比ANNs差很多。目前有很多工作从不同的角度采用不同的方法来提高SNNs的网络性能。本文从SNNs的时域结构出发,研究了时域反向连接对SNNs网络性能的影响以及如何添加有效的时域反向连接来提高SNNs在分类数据集上的推理精度。本文首先定义了SNNs中的全局时域反向连接,接着通过实验发现不同的时域反向连接会对网络推理精度产生截然不同的影响。然后基于神经架构搜索(Neural Architecture Search,NAS)的相关方法,提出了一个脉冲网络时域反向连接神经架构搜索框架(BCNAS-SNN),并通过该框架找到了一些适配于SNN的全局时域反向连接。通过在SNNs中接入这些搜索出的时域反向连接,相关网络模型在一些分类数据集上实现了SOTA结果。值得一提的是,本文提出的全局时域反向连接在推理时只需要极低的额外计算开销,几乎可以忽略不计,并且能够轻松地集成到现有的网络结构中。本文的主要贡献如下: (1)本文首次研究了脉冲神经网络中不同的时域反向连接对网络性能的影响。 (2)本文提出了一种基于脉冲的神经架构搜索框架并设计了对应的搜索空间和搜索策略,通过基于分数的初始化筛选和进化算法的高精度搜索来得到能够提高脉冲神经网络性能的全局时域反向连接。 (3)本文搜索出的时域反向连接提高了脉冲神经网络在各种数据集上的分类准确率,特别是在CIFAR10/100和Tiny-Image Net上取得了SOTA的分类精度。

关键词： 脉冲神经网络   代理梯度   训练算法   类脑计算  

摘要： 脉冲神经网络是受生物神经网络启发而设计的一种特殊的神经网络结构,它使用二值脉冲组成的脉冲序列在层间传递信息。使用二值的脉冲信号作为信息的载体,神经元在轴突计算突触电流时具有将高功耗的矩阵乘法退化为低功耗的矩阵加法的潜力,从而使得脉冲神经网络具有低功耗和快速响应特性。在一些特殊的实时场景和低功耗终端设备上具有应用优势。然而脉冲信号的二值化由于其发放函数为阶跃函数,它的不可导性也为脉冲神经网络带来了极大的训练挑战。 目前有两种主流的方法来获得深层脉冲神经网络,分别为网络转换算法和直接训练算法。网络转换算法通过将使用ReLU为激活函数的人工神经网络转换为同结构的脉冲神经网络。然而,目前的网络转换算法仅仅是基于ReLU激活值与神经元激活频率的正比关系,缺乏网络整体转换的效果分析,所以转换后的脉冲神经网络需要巨大的时间步长才能达到源人工神经网络的性能。相比于网络转换算法,直接训练算法对于网络结构和数据集有更强的适应性,但是其训练难度和开销较大。使用代理梯度在反向梯度计算中替换阶跃函数是目前最主流直接训练方法。代理梯度的引入虽然为训练复杂脉冲神经网络提供了可能性,但是也带来了梯度累积误差,低泛化性等问题。本文围绕脉冲神经网络的训练问题出发,重点研究了转换算法的转换误差问题,以及降低代理梯度导致的梯度误差累积问题,以及如何提供训练效果,增强网络泛化性,并提出了适合脉冲神经网络的新结构。本文主要的研究内容和创新点包括: 1.定义网络转换算法的转换误差,并计算出其数值上界。现有的网络转换算法主要是基于ReLU激活函数的激活值与脉冲频率之间的正比关系,但是缺乏对转换前后不同网络整体输出差异的分析。本文通过逐层分解的方法将转换前后网络在相同输入下的输出差定义为转换误差,并计算出其理论上界,填补了网络转换算法的理论空白,为后续转换算法的改进提供了理论支持。同时本文提出了两种算法将转换后脉冲神经网络所需的仿真时间步长降低到了原本的1/10。 2.分析了脉冲神经网络的低泛化性原因,并提出了高效时间训练算法提高了脉冲神经网络的泛化性。在一些小规模数据集上,脉冲神经网络和传统神经网络往往都能在训练集达到极高的性能,但是在测试集上脉冲神经网络的表现远低于传统神经网络。本文分析了此现象的原因,并提出了新颖的高效时间训练算法,并从理论以及实验角度证明了新算法的有效性,在所有数据集,特别是神经形态数据集上高效时间训练大幅提升了脉冲神经网络的泛化性。如DVS-CIFAR10数据集,本文提出的算法使脉冲神经网络首次达到了80%以上的准确率,对比现存算法实现了10%以上的测试集准确率提升。 3.分析了代理梯度导致的梯度误差累积问题,提出了代理模块学习算法缓解梯度误差累积。本文分析了代理梯度在链式法则上会引入梯度误差,并进行逐层累积,导致了脉冲神经网络的性能和最佳网络深度受限。本文提出了代理模块学习算法来缓解此类问题,代理模块学习引入新的辅助支路来回传更精确的梯度到前面层,从而缓解累积梯度误差的影响。代理模块学习在不同的数据集上都取得了最优的性能,同时本文证明了代理模块学习能够在其他使用代理梯度的网络模型上的适用性使用本文提出的代理模块训练算法,ResNet-34结构的脉冲神经网络的ImageNet数据集准确率达到了69.35%,对比现有的训练算法是提高了4.56%。 4.本文设计了适合脉冲神经网络的新的网络结构,使得脉冲神经网络在不同数据集上的性能获得大幅度提升。本文分析研究了不同令牌混合器的表现,并通过网络搜索算法找到了适应不同数据集的优秀编码器结构。基于以上实验,本文提出了STMixer的新结构,在ImageNet等数据集上取得了目前同等参数量规模的最优性能。通过本文提出的新结构,以及设计的新代理模块训练算法,脉冲神经网络以约72%的参数量取得了比现有结果更高的ImageNet准确率(+0.73%),达到了75.52%。

关键词： 神经网络   脉冲神经网络芯片   在线学习芯片  

摘要： 脉冲神经网络（Spiking Neural Network,SNN）作为第三代神经网络,具有低功耗、高计算效率等优点,在人工智能领域具有广阔的应用前景。然而,现有的脉冲神经网络芯片普遍存在计算资源利用率低、在线学习开销过大等问题,难以满足边缘端设备部署神经网络的应用需求。因此,本论文针对脉冲神经网络芯片面临的计算资源利用率低和在线学习开销过大的关键问题,设计了一种低开销在线学习稀疏加速关键电路,具体工作内容如下: （1）设计了具有在线学习能力的低开销脉冲神经网络稀疏加速核心电路架构。针对脉冲神经网络的推理和学习过程中的不同计算过程,可通过指令灵活配置稀疏加速核心电路。并采用了权重共享的设计理念,四个稀疏加速核心组成的核心簇有核内共享和核间共享两种模式,使得整体计算开销减少4倍。 （2）实现了具有负载平衡能力和稀疏脉冲加速能力的硬件处理单元。针对脉冲神经网络的推理和学习过程中的不同计算过程,可通过指令灵活配置稀疏加速核心电路,将不同输入通道的稀疏脉冲进行跳零操作以后,均匀分配给不同计算单元进行计算,与传统脉冲神经网络加速单元相比,可将计算效率提升最高18倍且PE利用率提升最高22倍。 （3）针对所设计的稀疏加速核心完成了算法映射过程。将脉冲神经网络学习算法过程中的计算步骤与稀疏加速核心电路的不同计算模式相互映射,并将梯度更新中的大卷积核计算等效成小卷积核的逐步计算,从而适配稀疏加速核心的硬件结构。 （4）对整体稀疏加速核心进行功能仿真测试,验证了其针对脉冲神经网络的推理与在线学习能力,基于VCS和Py Torch使用Python和System Verilog语言设计了一种灵活的验证平台,实现了算法的参考模型与硬件RTL代码的解耦过程,大大提高了验证灵活性以及验证效率。最后在中芯国际40 nm工艺库下对稀疏加速核心进行综合,在1.576 mm2的面积和156.28 m W的功耗下,实现了最高1843GOPS的算力和11.79 TOPS/W的能效比。

摘要： 人类网格表征和认知计算模型进展综述中国科学院心理研究所王亮、尼古拉·阿克斯马赫等人系统梳理了人类网格表征和认知计算模型研究进展。相关成果发表于《神经生物学进展》（ProgressinNeurobiology）。网格细胞主要位于大脑内嗅皮层，是哺乳动物完成空间导航时实现自我定位的关键脑区之一，于2005年被首次报道。成果发现者莫泽夫妇与位置细胞发现者欧基夫教授因共同揭示了大脑GPS定位系统，于2014年分享了诺贝尔生理学或医学奖。综述文章简要概括动物中网格细胞的关键研究成果，介绍了周期调制信号，即空间运动方向与脑活动的六周期调制模式。文章最后总结了网格细胞的认知计算模型，阐释了网格研究的临床转化和对人工智能的启发。

关键词： 脉冲神经网络   视听融合模型   多模态学习   深度学习   注意力机制  

摘要： 多模态融合旨在将不同模态的信息和数据进行有效结合,提升整体网络模型的精准度和鲁棒性。视觉和听觉是最重要的两种模态,而视听融合的多模态学习面临着数据异构、维度差异和信息融合等挑战,并且需要考虑到能耗和性能之间的平衡。脉冲神经网络作为一种受大脑启发的网络模型,模拟了生物神经元的信息处理和传递方式,具有低功耗、高性能的优势,在单模态数据处理任务中发挥了优秀的效果。然而,现阶段中脉冲神经网络在视听融合的多模态学习中的研究和应用依然非常有限。一方面,传统脉冲神经元在处理多模态信息时忽略了不同模态间的信息交互,不利于多模态的信息融合。另一方面,目前脉冲神经网络对于捕捉视觉模态和听觉模态之间相关性的挖掘能力比较弱,需要通过合适的多模态学习策略进行改进。针对以上问题,本文的主要工作如下: (1)本文提出了一种跨模态耦合脉冲神经元模型,并以该神经元模型为基础搭建了一种在时空域上进行脉冲信号传递的跨模态耦合脉冲神经网络模型。该模型考虑了不同模态间神经元的相互作用,即当一个模态中的神经元被激活时会影响另一个模态中的神经元的脉冲发放。该模型中跨模态耦合的脉冲信号与逐层传递的脉冲信号均能在时间维度和空间维度上进行传递。最后通过实验证明了该模型的有效性。 (2)本文提出了一种跨模态耦合的脉冲神经网络视听融合模型。该模型通过视觉模态和听觉模态上的跨模态耦合机制实现脉冲信息交互,并通过多模态决策模块实现融合。该模型采用时间编码和频率编码相结合的方式生成脉冲序列,并通过全局的监督学习和跨模态的无监督学习实现模型训练。通过实验结果证明了模型训练和学习的可靠性以及跨模态耦合机制的可行性。 (3)本文提出了一种基于注意力机制的深度SNN视听融合模型,利用主流的深度学习方法对模型进行优化。在视觉模态上,利用多层的卷积脉冲神经网络来挖掘图像信息并提取特征信息。在听觉模态上,使用循环脉冲神经网络来探索听觉信息序列中的时间特征,加强了语音信息中的时间效应。视听多模态融合网络采用了注意力机制来分配两个模态的权重,减少了单一模态的局限性。最后在视听模式识别任务上对模型进行了实验,证明了该模型的可行性和注意力机制的有效性。

关键词： 线路状态评估   剩余寿命   可分离卷积   脉冲神经网络  

摘要： 随着重载铁路网的持续拓展及对运输需求的日益增长,准确评估重载铁路线路状态的重要性随之提升。重载列车以其高轴重和长编组特性,导致线路长期承受剧烈的冲击负载,频繁引发线路故障。因此,迫切需要构建更加全面的重载铁路线路评估方法,及时监测线路质量状态以提升维护效率并确保运营安全。本文针对重载线路状态评估体系构建存在的难点,结合数据驱动方式开展了评估体系两个关键变量:轨道运载量和钢轨表面伤损的优化研究,具体研究内容如下: (1)针对重载铁路线路状态评估存在评估体系架构单一,难以全面评价重载线路状态的问题,通过引入轨道运量指标,构建一种新的重载铁路线路状态评估体系。首先,以包神线路曲线段为研究对象,利用现有各类型数据和最新重载铁路设计规范,构建了三类三层的重载铁路线路状态评估体系。其次,阐述了各层指标的计分方式,并优化了关键变量轨道运载量的离散扣分方式。然后,采用层次分析法得到各层指标权重,依据线路状况评价得分和线路运维经验将重载铁路线路质量等级分为三个等级。最后,对提出的重载铁路线路状态评估体系进行了实际线路案例分析,验证了所构建的重载线路状态评估体系的有效性。 (2)针对所构建的重载铁路线路状态评估体系中钢轨表面伤损关键变量分段阈值评分机制具有离散性的问题,提出基于深度可分离卷积网络的钢轨表面伤损剩余寿命扣分制优化方法。首先,阐述了钢轨表面伤损这一关键变量扣分制优化方法的整个流程和基于深度可分离卷积网络的钢轨伤损剩余使用寿命预测框架,然后,设计深度可分离卷积模块提取钢轨振动信号中的全寿命退化特征,经过包含压缩激励模块的深度编码块进行钢轨全生命周期的预测。最后,在轴承数据集上完成网络的泛化测试,并进行了与(1)的实质性关联案例分析,验证了本章所提优化方法能够对钢轨表面伤损关键变量离散扣分制进行有效补充优化。 (3)针对钢轨表面轨伤损振动数据存在耦合和长时间序列建模序列间依赖关系难以捕获的问题,提出一种基于改进脉冲可分离卷积增强Transformer Encoder的钢轨表面伤损关键变量优化方法。首先,通过改进脉冲可分离卷积模块将时间序列信号转换为脉冲信号,来捕获不同传感器数据间的相互关系,利用替代梯度反向传播算法对网络进行改进,并加入高效通道注意力机制突出有用的脉冲特征。其次,采用改进Transformer Encoder模块对伤损特征在全生命周期长时间跨度上的依赖关系进行综合把控。最后,在钢轨和轴承振动数据集上验证了所提方法的良好性能,并结合实际案例分析进行了优化方法验证。

关键词： 人工神经网络  

ISBN: (纸本)9787118131802

摘要： 本书主要讲解时空脉冲神经网络的原理、类型与使用方式，重点是使读者理解时空脉冲神经网络在人工智能应用中的基本模型、算法方面所起的作用，了解时空脉冲神经网络的应用场景及其与智能机器人、人工智能、脑科学等的集成与应用。