课程文献中心 更多>>

关键词： 忆阻器   脉冲神经网络   STDP非监督学习   数字图像识别  

摘要： 脉冲神经网络也叫第三代人工神经网络,是当今最先进的神经形态网络之一。这种神经网络使用生物学上逼真的神经元模型进行信息编码和计算,以充分利用神经网络的效率。脉冲神经网络通常采用仿生物脑的算法进行训练,是一种高度类脑、高度类生物信息计算方式的网络。神经元通过在突触上传播的稀疏脉冲序列进行信息交互。由于脉冲神经网络采用二进制形式传递信息,而非模拟值,因此它可以很好地集成到数字电路设计中。本文将脉冲神经网络和忆阻器相结合,主要进行了以下两个方面的工作:在神经元模型方面,改进了传统的漏电整合激发(Leaky Integrate and Fire,LIF)模型,使其模拟得到更符合真实生物形态的脉冲;在网络训练算法方面,采用脉冲时序依赖可塑性(Spiking timing dependent plasticity,STDP)非监督学习算法,并结合了侧抑制的仿生机制,在纯数字平台上完成整个网络的构建和网络突触的训练。本文所设计的忆阻脉冲神经网络通过了功能验证,能实现脉冲的发放、训练忆阻器权重值更新,并添加了时钟约束,验证了整个设计时序分析的正确性。代码通过了逻辑综合,并下载到FPGA上,最终通过了原型验证,证明设计的功能的正确性,结合软件环境完成了黑白手写数字图像识别的任务,对分类结果进行了分析。不同于传统的深度学习神经网络,本文设计的脉冲神经网络结构简单,仅添加了输入层和输出层,不需要借鉴卷积神经网络进行搭建,从而省去了卷积层、池化层和全连接层。STDP非监督学习算法的加入也使得网络更具有生物可靠性,网络能在减少设计复杂度的情况下同时拥有较快的速度。

关键词： 注意力机制   脉冲时序依赖可塑性   脉冲神经网络   颜色拮抗  

摘要： 在人工智能高速发展的当下,脉冲神经网络(Spiking Neural Network,SNN)凭借仿生程度高和计算速度快等特性,吸引了众多学者的关注。在其现有的无监督训练算法中,脉冲时序依赖可塑性(Spike Timing Dependent Plasticity,STDP)是最主流的一种方法。然而,目前大部分基于STDP的SNN只关注图像的轮廓信息,忽视了对图像分类任务同样重要的颜色信息,虽有少数研究试图从颜色拮抗角度提升网络精度,但对于生物视觉系统的模拟仍不够深入,生物可解释性也较差。针对上述问题,本文首先提出了一种无监督SNN训练算法——颜色拮抗机制(Color Opponent Mechanism,COM),该方法能够与STDP协同训练SNN。其具体步骤是:首先根据经典感受野的拮抗机制将颜色信息组合为拮抗信息,然后将其与距离参数卷积核进行卷积,以此整合不同通道的颜色信息,最终将卷积结果用于权重的更新。该机制使得网络能够以仿生的方式提取并学习图像中的颜色信息,从而提升网络精度。在ETH-80、Fish和Caltech-101数据集上,基于COM的SNN可以达到88.9%、86.4%和45.4%的分类精度,优于使用现有无监督学习算法或有监督学习算法训练的SNN的精度。然后,由于特征图中同时包含颜色通道和轮廓通道,因此本文尝试使用通道注意力机制给特征图中的不同通道分配权重。但是基于STDP的SNN无法使用梯度,也就无法使用现有的注意力机制方法。为此,本文提出了一种适用于无监督SNN的注意力机制,其根据突触前后神经元的脉冲信息计算特征图的权重,使得网络对特征图中的不同信息表现出不同偏好。其具体步骤是:首先使用输入特征图与卷积核中的对应通道进行二维卷积,并计算特征图中每个通道的平均脉冲时刻;然后,根据平均脉冲时刻的先后次序计算注意力权重,并对其进行归一化;最后,将注意力权重乘回输入图像的对应通道。在三个数据集上,本文提出的注意力机制使得SNN的分类精度分别从88.9%、86.4%和45.4%提高到93.9%、90.1%和53.7%,该实验结果证明了注意力机制的有效性。最后,为了进一步验证COM和注意力机制的有效性,本文尝试将其应用到基于STDP的多层SNN中。但由于在多个卷积层中COM只能使用一次,且COM要求输入的特征图中存在颜色特征图,所以COM的位置会影响SNN的结构。对此,本文提出了基于单通路和基于双通路的三层SNN:单通路SNN在第一个卷积层处使用COM;而双通路SNN在最后一个卷积层使用COM整合颜色和轮廓信息。在三个数据集上,此前方法达到的最高精度分别为89.9%、87.9%和45.6%,而基于单通路和基于双通路的三层SNN达到了更高的精度:在ETH-80上的精度分别为94.2%和94.5%;在Fish上的精度分别为91.3%和91.5%;在Caltech-101上的精度分别为55.1%和55.7%。此外,相比于单通路SNN,双通路SNN在分类精度、参数量和训练迭代次数方面都更有优势。

关键词： 双模式忆阻器   石墨炔   神经形态计算   伤害性感受器   脉冲神经网络  

摘要： 受人脑启发的神经形态计算在以数据为中心的人工智能领域展现出无可比拟的优势,被认为是后摩尔时代突破冯诺依曼能效和算力瓶颈的有效手段。然而,目前的神经形态人工智能基片仍是基于传统的互补金属氧化物半导体器件,需要若干器件才能模拟突触和神经元的功能。因此,亟需从底层出发研制具有人类突触和神经元功能的新概念器件,发展真正意义上的神经形态芯片。忆阻器具有结构简单、集成度高、运算速度快、功耗低等优点,是构筑硬件人工神经网络的理想选择。忆阻器具有非易失性忆阻开关和易失性阈值开关两种模式,可以分别模拟突触和神经元的功能,为构建全忆阻神经形态硬件系统创造了条件。然而,绝大多数忆阻器仅具有一种工作模式。目前所报道的全忆阻人工神经网络采用两种不同的忆阻器充当突触和神经元,这使得芯片的加工和集成变得更为复杂。发展双模式忆阻器,实现忆阻器在两个模式之间的灵活切换,对于实现可重构的全忆阻神经形态硬件系统至关重要。相比于通过设置合规电流的方式控制忆阻器的工作模式,利用光学手段进行调控更加灵活、节能和可靠。本论文基于核壳结构Cs Pb Br@Graphdiyne量子点开发了一种Ag/polymethyl methacrylate/Cs Pb Br@Graphdiyne/polymethyl methacrylate/Ag结构的柔性光控双模式忆阻器阵列。该器件在黑暗条件下表现出典型的非易失性忆阻开关行为,可以模拟突触的功能;在光照条件下则迅速转变为易失性的阈值开关模式,可用于构建神经元。这种模式转换源于光生载流子在Cs Pb Br/Graphdiyne界面的分离,光生空穴转移至石墨炔表面,将附近的Ag氧化为Ag,导致Ag导电细丝断裂。本论文所制备的64个忆阻器在两个模式之间的转换具有100%成功率和可逆性。另外,相比于其他基于金属卤化物钙钛矿的忆阻器,本论文采用石墨炔包覆的Cs Pb Br量子点,能够极大提升器件的环境稳定性。更进一步地,本论文基于这种光控双模式忆阻器发展了两种全忆阻神经形态硬件系统。一种为感受外界伤害性信息的伤害信息感知处理系统,采用忆阻器作为伤害感受器和尖峰神经元。该系统能够感知外界不同程度的伤害性信息（如高温伤害）,并根据伤害严重程度控制机械臂做出不同的响应动作。另一种为全忆阻脉冲神经网络,包括30×10个忆阻开关模式忆阻器和10个阈值开关模式忆阻器。该系统可在硬件层面完成数字图像的分类任务,向经过训练的神经网络输入数字0-9即可激发相应的神经元,表现出很高的准确率。这是第一个由同质忆阻器构筑的全忆阻人工神经网络。

关键词： 自适应阈值   脉冲神经网络   CMOS   ZYNQ   图像分割  

摘要： 随着现代军事科技的飞速发展,车载、机载等无人平台在军事领域发挥重要作用。而无人平台对周围图像信息的感知和处理过程尤为重要,因此,机器视觉、图像处理技术在军事侦察和打击中得到了广泛应用。针对军事领域中无人平台体积小、功耗低、抗干扰能力强的要求,本文对嵌入式图像采集和处理中的关键技术做出研究。具体内容如下: 首先,考虑图像处理天然的并行性,并结合相机参数配置和采集处理的需求,提出一种“ARM+FPGA”架构的嵌入式图像处理系统总体方案。综合考虑军事领域中无人平台处理速度快、体积小、功耗低的要求,对图像传感器和核心处理芯片进行选型,并给出图像采集的设计方案。针对军事领域中无人平台抗干扰能力强的要求,给出一种自适应阈值脉冲神经网络(AT-SNN)图像分割系统的设计方案。 其次,结合选型器件完成图像采集模块的接口设计。利用AXI-IIC和AXI-GPIO模块完成CMOS的寄存器动态配置。针对布线长度差异或者其他干扰导致数据通道间存在相位差的问题,对CMOS输出的LVDS信号进行解串对齐处理;最终进行图像数据的接收和缓存模块设计。 然后,针对传统嵌入式图像分割算法计算量大、抗噪声能力弱的缺点,提出了一种基于自适应阈值脉冲神经网络(AT-SNN)图像分割算法及模型。AT-SNN图像分割算法采用自适应神经元阈值来控制脉冲神经元的触发速率,采用“输入层-隐含层-输出层”的多层网络结构唯一地提取输入脉冲序列的特征。根据图像的PSNR和SSIM评价函数量化比较分割结果。最后基于仿真实验证明,AT-SNN图像分割算法是一种高效、精确的图像分割算法。 最后,搭建了基于自适应阈值脉冲神经网络(AT-SNN)的嵌入式图像处理系统实验平台。完成了IIC读写实验、解串对齐实验、数据接收重组实验、图像采集实验、基于AT-SNN的图像分割实验。实验结果显示,基于AT-SNN的图像处理系统采集和分割效果符合预期,证实了所设计系统的正确性。

关键词： 脉冲神经网络   医学图像   分类和分割   多任务  

摘要： 医学图像能够可视化患者生理结构和病灶位置,是目前临床诊断的主要依据之一。目前主流的计算机辅助诊断方法通常基于人工神经网络实现,但其存在能耗高,可解释性低等问题。脑启发的脉冲神经网络具有低功耗、事件驱动计算和生物可解释性等优点。然而由于网络模型、学习算法等限制,已有的脉冲神经网络模型在图像分类和分割方面的表现与人工神经网络有一定差距。因此,本文提出三种脉冲神经网络模型,用于肺部CT、眼底血管等医学图像的分类和分割。主要研究工作包括: 针对医学图像分类任务,提出一种基于反向传播的脉冲神经网络学习算法,搭建脉冲反向传播神经网络模型。该模型使用一种改进的反向传播机制来解决由于脉冲神经元激活函数不连续导致的不可微分的问题,同时使用脉冲神经元模型构建卷积层和全连接层。所提模型在肺部CT图像和Med MNIST医学图像分类数据集上分类准确率分别达到了98.19%和94.7%,模型能耗比传统人工神经网络降低了75%-80%。 针对医学图像分割任务,提出一种基于UNet的脉冲神经网络模型。该模型采用脉冲神经元模型搭建U型结构网络,使用替代函数进行脉冲反向传播训练。所提模型在肺部CT、眼底血管和神经元细胞图像数据集上最高达到了0.967的分割精度,且模型能耗降低了80%左右。 针对医学图像联合分类-分割任务,提出一种多任务脉冲神经网络模型,以构建更完整的辅助诊断框架。该模型由编码模块和多个子任务模块构成,其中编码模块提取共享特征图,子任务网络由分类模块、肺实质分割模块和肺部感染区域分割模块并联而成,可以从共享特征中学习各个任务所需要的特征,避免训练多个任务的模型。在肺部CT多任务数据集上实验结果显示,所提模型分类准确率为0.899,分割dice系数为0.915,模型能耗同样降低了80%以上。

关键词： 电子鼻系统   脉冲神经网络   仿生嗅觉信号处理   特征提取   信号偏移抑制   模式识别  

摘要： 由于传感器的固有可变性,即使配置相同的多个传感器阵列采集到的数据也会存在差异,这是无法避免的现象。因此,在多个电子鼻系统之间会出现信号偏移的问题。特征提取作为电子鼻系统信号处理的核心环节,在很大程度上决定着电子鼻系统的性能。传统的特征提取方法繁琐且复杂,不仅需要大量的人工干预,而且人工干预的结果具有很大的不确定性,失败的特征提取会严重降低后续模式识别算法的性能。此外,现有的一些模式识别算法分类效果不理想,且生物可解释性差,无法针对性地提升分类精度。针对这些问题,本文提出了相应的改进方法。 (1)为解决特征提取步骤繁琐和传感器信号偏移问题,本文选取了两个公开的电子鼻数据集作为研究对象,并提出了一种基于脉冲神经网络的仿生嗅觉信号处理算法。该算法受到哺乳动物嗅觉系统的启发,简化了电子鼻系统信号处理过程,摒弃了传统方法中繁琐的步骤。模型模拟了哺乳动物的嗅觉信号处理过程,其中虚拟嗅觉受体层模拟了生物嗅觉感受器的功能,并针对传感器响应曲线的典型特征专门设计了两种编码方式(瞬态编码和稳态编码),将电子鼻数据转换为与生物嗅觉信号模式相一致的脉冲信号,从而提高了模型的生物合理性。模型中的仿生嗅球层根据脉冲模式处理电子鼻信号,并输出原始数据中潜在含有判别信息的本质特征。仿生嗅球中神经元间的侧向抑制有助于提升模型的稳定性和自主学习能力。大量的实验结果表明,所提出的模型不仅比几种先进方法具有更好的特征提取能力,还展现出很好的信号偏移抑制能力。 (2)为提升电子鼻系统模式识别算法的分类精度和模型的生物可解释性,本文以自建电子鼻系统收集的工业污染气体检测数据集作为研究对象,提出了一种基于卷积脉冲神经网络的电子鼻信号处理算法。该算法有效地结合了卷积层强大的特征学习能力和脉冲信号处理过程良好的生物可解释性及高效的计算性能,从而实现了对分类精度的提升。同时,模型中的阈值共享残差块能够有效地去除电子鼻数据中与噪声相关的特征,并自动获取阈值,使得模型更好地学习不同类别气体的关键特征,实现精准分类。此外,从响应速率和响应强度两个方面对数据进行编码,充分利用了数据的时序信息,这对电子鼻系统信号处理算法在提升识别精度方面有积极意义,是一种不错的电子鼻数据编码选择。

关键词： 联邦学习   脉冲神经网络   知识蒸馏   通信成本  

摘要： 近年来,联邦学习的提出为各类嵌入式设备互联互通地参与神经网络的分布式训练提供了安全而高效的解决方案,而脉冲神经网络的发展使低功耗深度学习成为可能。以此为契机,研究者们开始关注低功耗的隐私安全训练模式——基于脉冲神经网络的联邦学习(以下简称脉冲联邦学习)。然而,现存脉冲联邦学习的主流训练框架都是基于联邦学习中的传统联邦平均算法设计的。这种联邦平均框架将网络参数作为联邦学习通信的主要内容,在大规模网络参与的联合训练场景下,带来了不可接受的通信成本。为了减少大规模网络下的脉冲联邦学习通信,本文将知识蒸馏技术引入脉冲联邦学习训练,提出了一种不同于传统方案的脉冲联邦学习训练框架。本文的主要工作如下:1.本文基于知识蒸馏技术改进了经典脉冲联邦学习框架。在该框架中,本文详细地设计了参与脉冲联邦学习的各个节点的基本流程,并建立了一个完整的分布式训练系统。该框架通过将神经网络的脉冲输出和卷积层特征图作为通信主体,利用知识蒸馏技术在服务器上聚合进行联合训练。脉冲联邦蒸馏框架能够减少通信成本和信息损失,同时保证联合训练的效果。2.基于脉冲联邦蒸馏学习框架,本文对其中的必要流程进行了细化设计,提出了一种全新的脉冲知识蒸馏损失函数,一种新的联邦聚合方案以及一种针对脉冲输出的压缩算法。知识蒸馏算法需要独特的损失函数提取脉冲张量中所包含的信息,新的知识蒸馏损失函数提供了一种有效的解决方案,以最大程度地利用网络训练时的信息。联邦聚合方案能够更好地整合各个客户端上传的蒸馏信息,提取更多知识。脉冲张量压缩算法解决由于脉冲神经网络的输出包含时间维度,从而在传输时需要较大的存储空间的问题。3.在上述工作的基础上,本文进一步改进了脉冲联邦蒸馏框架,将蒸馏过程优化为含提示层的脉冲蒸馏,在不增加通信成本的同时提高了框架训练的准确率。由于提示层蒸馏的加入使得蒸馏学习框架基础有了改动,其中的细化设计也需要做出适应性调整。因此,本文相应地优化了框架中联邦聚合方案及脉冲张量压缩算法的细节,以配合提示层蒸馏方案,使得框架的整体性能得到更大的提升。

关键词： 类脑计算   混合精度   定制化   Izhikevich   FPGA  

摘要： 脉冲神经网络(SNN,Spiking Neural Networks)是第三代神经网络,其工作机理与生物的神经系统更接近,其模仿神经元的脉冲机制只在新的输入脉冲尖峰到达时才计算神经元,因此能在硬件设备上有效地实现节能模式,而且SNN层内连接与反向连接的复杂拓扑结构具有解决复杂问题和实时应用的潜力。但类脑计算中网络地仿真都伴随着大量串行的基于复杂浮点计算的神经元和突触更新,因此类脑计算地仿真普遍存在的主要问题是较低的仿真计算效率、较高的能量损耗。针对这个问题,本文首先对神经元更新方程的不同数值求解方法进行量化实验研究,并通过分析找到最佳的求解方法,并使用位宽压缩方法对SNN网络的参数进行定制化混合精度地设计,然后在此基础之上设计一种基于FPGA的定制计算方法,最后把该方法应用于NEST框架下实现一个脉冲神经网络仿真加速器系统,具体的研究内容如下:第一,完成对SNN的量化研究分析。对SNN的量化研究主要分三部分,第一部分是SNN网络模型的轻量化研究,首先是回顾卷积神经网络(CNN,Convolutional Neural Network)常见的优化网络拓扑结构和位宽压缩的方法,并基于此提出针对仿生性SNN的混合精度量化方法。第二部分是通过对类脑仿真器NEST的负载进行量化分析,分析出SNN仿真的计算密集点。最后一部分是通过比较不同神经元更新方程的不同数值求解方法的量化实验结果,选择使用计算相对简单且具有生物表现多样的Izhikevich神经元作为后续的主要研究对象。第二,完成基于FPGA的定制计算加速方法设计。在选定Izhikevich作为量化的研究对象后,对经过前向欧拉法求解的膜电位更新方程的参数进行混合精度量化以减少内存资源的开销和提高计算效率。然后基于FPGA平台,完成对Izhikevich神经元的可定制流式架构设计,采用平衡数据路径的手段优化单个神经元的膜电位更新,并利用数据重排、流水并行的技术加速整体神经元的膜电位更新。最后通过软件仿真实验比较该定制计算方法在不同并行度、不同FPGA平台上的表现以确定最佳的设计方案。第三,实现基于NEST开源框架的硬件加速仿真器系统。完成通用软硬件数据高速交互接口的设计,并通过优化内存分配、降低数据传输总量、减少通信启动次数等方法优化ARM和FPGA的数据传输。最后实验结果表明,相比于i7-10700 CPU,经典的丘脑外侧膝状核网络模型和液体状态机模型在ZCU102上神经元更新部分的计算性能提升2.26和3.02倍,更新部分的能效比提升8.06和10.8倍。