课程文献中心 更多>>

关键词： 脉冲神经网络   强化学习   机器人   嵌入式系统   Q学习  

摘要： 脉冲神经网络被称为第三代人工神经网络,是一种受到生物神经元工作模式启发的神经网络模型,具有高度的生物学上的可解释性。脉冲神经网络中神经元之间的信息交互基于离散脉冲,与采用模拟数值的第二代人工神经网络相比,包含了更多的信息,如时间、频率、相位等,因此具有更加强大的数据处理能力。但基于脉冲的数据处理方式也为脉冲神经网络带来了新的问题,其中最主要的问题之一便是脉冲变量的不可微性导致学习算法匮乏。针对该问题,本文主要关注脉冲神经网络领域中的强化学习策略。本文的主要工作及创新点可以总结为以下几个方面:1、首先是本文的研究背景,包括课题的由来以及主要的研究内容。该部分主要包括了生物神经网络基础和脉冲神经网络中常见的神经元模型、编码方式以及学习算法。2、结合强化学习思想,提出了一种新型的基于脉冲神经网络的自主学习算法并在移动机器避障领域进行了应用。其中神经网络部分采用FPGA进行实现,移动机器人的控制则采用ARM微控制器,两者通过蓝牙模块进行通信。实验结果表明,使用了新型自主学习算法的机器人不仅能够成功的完成避障任务,相对于其他同类工作,其各项行为具有生物学可解释性。3、针对脉冲神经网络使用离散脉冲进行信息传递,相对于传统的第二代人工神经网络具有更高鲁棒性的特点,本文研究了基于液体状态机(Liquid State Machine,LSM)的Q学习算法的鲁棒性。实验结果表明,与基于第二代人工神经网络的深度Q学习网络相比,基于LSM的Q学习算法在输入环境信息分别受到三种噪声干扰时,均具有更高的性能。4、针对基于LSM的Q学习算法在训练和推理时需要大量的计算资源,在资源受限场合下无法满足实时性需求的问题,本文设计了一种基于FPGA的加速方案。在此基础上,结合强化学习任务本身的特点,构建了一个完整的嵌入式强化学习任务执行系统。实验结果表明,与使用通用处理器Intel Core i7-10700F相比,本文所设计的系统在执行相同的强化学习任务时,其训练和推理过程分别达到了2.7倍和17.5倍的加速效果。

关键词： 神经形态计算   脉冲卷积神经网络   VLSI架构   脉冲神经元   FPGA  

摘要： 神经网络是模拟大脑工作机制的神经形态计算模型。以卷积神经网络为代表的人工神经网络在自动驾驶、医疗诊断等领域获得成功应用,极大地推动了人工智能技术的发展。然而对于功耗和成本受限的嵌入式设备而言,传统卷积神经网络因面向密集数值计算仍旧无法满足嵌入式智能应用需求。脉冲神经网络利用神经元间稀疏的电脉冲进行信息编码、传输和处理,更逼真地模拟了生物大脑计算过程,具有更高的计算效率。但相比卷积神经网络,面向各种应用的脉冲神经网络研究尚不成熟。面向边缘终端和嵌入式系统,论文研究设计高速、低成本的脉冲卷积神经网络VLSI系统。论文从脉冲神经网络算法模型、VLSI架构和电路设计三个方面展开协同研究,调研了脉冲神经网络的脉冲神经元模型、脉冲神经网络的学习算法以及典型的脉冲神经网络模型,探索卷积神经网络模型脉冲化方法,并在此基础上提出了一种基于时间步的脉冲卷积神经网络算法模型,设计高速、可扩展、低成本脉冲卷积神经网络芯片架构与电路,实现了脉冲卷积神经网络VLSI系统的FPGA原型,并搭建测试平台完成了测试与分析,最后搭建了基于脉冲卷积神经网络IP核的So C系统,并展示其在手势识别的一个简单应用。论文的创新点有:(1)提出了一种基于时间步的二值脉冲的信息表示方法,并结合CNN转换SCNN的方法设计一种TS-SCNN模型,该算法模型具有计算简便的特点,适于硬件实现。(2)基于TS-SCNN计算模型,提出了一种可扩展、高速的脉冲卷积神经网络流式架构。(3)针对硬件计算效率低的问题,设计了多通道并行的细粒度流水的脉冲特征提取电路、移位缓存的行缓存电路,保证系统的实时性同时降低成本。论文设计的脉冲卷积神经网络芯片原型具有高速、低成本和扩展性强的特点。经测试,芯片原型验证系统在100MHz的系统时钟下,以经典的MNIST和FashionMNIST图像数据集作为输入,达到1233帧/秒的处理速度。在XC7Z045 FPGA芯片上综合测试了四种不同模型配置,其中模型配置为3C1F仅消耗74个DSP,功耗约为1.24W。基于脉冲卷积神经网络IP核所搭建的So C系统在手势识别的应用中,识别率达到98%。

关键词： 忆阻器   氧化铌   易失性   自整流   SRM神经元   脉冲神经网络  

摘要： 脉冲神经网络(Spiking neural network,SNN)是新一代的人工神经网络,其借鉴了人脑的结构和工作原理,为智能计算的发展提供了一种更有前景的方法。为了模拟生物突触和神经元丰富的动态行为,需要更低成本和纳米尺度的人工突触和神经元。忆阻器具有简单的交叉结构,能模拟生物突触和神经元的多种功能,有利于构建更快速度和更低功耗的神经网络。但是,忆阻器的研究仍存在一些亟待解决的问题:首先,需要制备出一种性能稳定、结构简单,并具有动态特性的忆阻器;其次,目前基于忆阻器的人工神经元的电路结构复杂,难以集成;第三,忆阻器交叉阵列广泛存在的漏电流问题严重影响了所构建的神经网络的性能。本论文围绕以上三个问题展开研究工作:选择典型的过渡金属氧化物NbO制备了忆阻器,利用其性能构建一种全新的具有自适应阈值调节功能的人工神经元,并通过对忆阻器阻变层改性提高其整流比以抑制阵列漏电流问题。本论文的主要研究内容和研究结果如下:(1)利用微纳工艺制备了氧化铌基忆阻器。该器件具有快速易失性和较大的非线性。器件电导在脉冲序列的作用下连续变化且具有时空整合特性,可用于模拟生物神经元的膜电位;非对称电极结构形成的界面势垒差异使氧化铌基忆阻器具有自整流效应,可抑制阵列漏电流效应。(2)基于易失的Pt/NbO/TiN忆阻器实现了一个具有漏电整合发放(Leaky integrate-and-fire,LIF)和自适应阈值调节功能的SRM(Spike response model)神经元。通过控制忆阻器的易失速度,来调节SRM神经元的阈值,以实现神经元的不应期和侧向抑制功能。构造了一个包含SRM神经元的SNN,并用无监督学习规则进行训练,成功地实现了带噪声的字母分类,证明了SRM神经元的功能。基于氧化铌基忆阻器构建的SRM神经元不仅能模拟生物神经元的自适应行为,还丰富了SNN的功能并释放其计算能力。(3)在氧化铌基忆阻器阻变层中掺杂铜,制备了Pt/Cu-NbO/TiN的忆阻器。该器件具有高良率和良好的均一性,整流比高达1.43×10。由机理分析可知,这种增强的自整流行为可归因于NbO中铜掺杂引起的能带结构变化,使Pt/Cu-NbO界面处的肖特基势垒增高。通过模拟计算得出,在10%裕量的可读条件下,该忆阻器构建的交叉阵列规模最大为486×486(～230 kbits),从而证明了自整流忆阻器用于仿生计算的可行性。

关键词： 石墨烯/氮化硼叠层二维材料   类铁电晶体管   仿生突触   脉冲神经网络   脉冲反向传播   远程监督学习  

摘要： 类脑神经形态器件与脉冲神经网络是近年来的研究热点。本文研究基于石墨烯/氮化硼叠层二维材料的类铁电突触器件以及相应的神经网络。主要研究内容如下:制备石墨烯/氮化硼叠层二维材料晶体管,并系统研究不同二维材料沟道刻蚀工艺对刻蚀掩膜的影响和不同顶栅材料对氮化硼介质的影响。测试石墨烯/氮化硼叠层二维材料晶体管的类铁电性。使用半导体分析仪测试该叠层晶体管的转移特性曲线发现在正电压区域具有逆时针回滞特性。随后系统研究了不同栅压扫描速度下的转移特性曲线回滞方向和回滞效应的变化,证实该叠层晶体管具有类铁电特性。设计并实现基于石墨烯/氮化硼叠层晶体管的仿生突触器件。针对测试所得的晶体管类铁电性参数,设计电压脉冲高度与宽度,测试脉冲作用下晶体管的非易失电导调制特性,实现突触的长时程增强效应,长时程抑制效应等重要特性,并进一步测试突触电导的保持特性。基于叠层二维材料晶体管构建差分对突触,仿真脉冲神经网络执行监督脉冲学习算法(Spike Prop)和远程监督学习算法(Remote Supervised Method,Re Su Me)。基于前述实验获得的突触特性,在仿真环境中构建基于该突触器件的脉冲神经网络。针对手写数字数据集,执行Re Su Me算法的单层网络达到87%的测试集识别率,双层网络执行Spike Prop算法达到90%训练集识别率。最后估算晶体管更新所需功耗,相比同类器件聚偏氟乙烯(Polyvinylidene Difluoride,PVDF)石墨烯铁电晶体管的更新功耗降低99.8%。

关键词： 类脑计算   脉冲神经网络   事件驱动仿真   优化加速   嵌入式  

摘要： 近年来,神经网络发展非常迅速,在多个领域的性能超越了手工设计特征的方法。但传统人工神经网络(ANN)的计算量大,不适合部署在低成本、资源有限的嵌入式边缘计算平台上。脉冲神经网络(SNN)作为类脑算法的一种重要实现方式,支持时域信息的处理,网络具有稀疏性能够降低计算量和功耗。专用神经拟态芯片可以部署脉冲神经网络,运行功耗仅在毫瓦级别,但其设计成本高且不够灵活。软件仿真能够部署在现有的计算平台上,同时具有更高的灵活性。但传统软件仿真采用时钟驱动方法,存在无效计算较多、仿真精度受限、侧向抑制失效等问题。针对这些问题,本课题致力于研究基于事件驱动的脉冲神经网络仿真框架,并在嵌入式平台上进行部署,主要研究内容如下:(1)针对事件驱动仿真框架单次更新的复杂度高这一问题,提出了集群计算和预筛选两个创新点。由于集群内部神经元的更新间隔一致,集群计算可以复用衰减系数避免重复计算。预筛选是使用开销小的判断条件进行筛选,不满足条件时说明神经元不会发放脉冲,意味着无需进行后续计算。此外,采用函数内联、重写优先级队列、查找表加速等工程优化,进一步提高计算效率,重构后的框架被命名为Evt SNN。(2)提出稳态电位概念并推导出相关公式,根据公式来调节权重因子,有效解决了不同实验场景下脉冲个数骤变的问题。通过性能分析实验、消融实验、基准实验和无监督学习任务等多个实验,对比多个框架的仿真速度与精度,评估Evt SNN框架中各优化项的加速效果。在基准实验中,Evt SNN相比于事件驱动框架EDHA加速2.9～14.0倍;在MNIST和IRIS数据集无监督训练任务中,Evt SNN相比于EDHA分别加速8.3倍和8.32倍。(3)将优化后的仿真框架移植到STM32L4R5和树莓派Zero 2W嵌入式平台上,并统计运行速度和功耗。在树莓派平台上,对比不同批处理大小的ANN与SNN,实验证明SNN适合利用实时数据进行无监督学习。

关键词： 脉冲神经网络(SNN)   NEST仿真器   神经元重分布   稀疏交换  

摘要： 虽然在海量标注数据和快速增长的计算力驱动下,以深度学习为代表的人工智能技术迅猛发展并在众多领域得到了实际的应用,但在高准确率的同时,深度学习渐渐暴露出其还存在计算代价大和智能水平弱等许多局限性。基于脉冲神经网络（SNN,Spiking Neural Network）的类脑计算,因其与传统的神经网络相比拥有更高的类脑特性。因此,脉冲神经网络是发展感知计算、发展新一代人工智能、探索自主学习的基础平台。由于大脑规模巨大,其拥有数亿神经元、千万亿突触,如此大规模SNN仿真所需的计算资源远远超过了目前单个计算节点或芯片的计算能力。因此研究人员为了仿真大脑特性,研究大脑机理,以及探究脉冲神经网络,需要构建大规模仿真集群来弥补单节点计算性能的不足。NEST作为一款应用较为广泛的脉冲神经网络仿真器,其大规模分布式计算特性非常适合用来进行类脑计算系统的研究。然而在NEST中虽然对网络通信机制进行了一定程度的改进,使计算效率有所提升,但是由于改进后的集体通信的限制使得通信效率大幅下降。针对这些问题,本文的主要工作及创新点有以下几个方面:第一,针对NEST仿真器进行参数量化,通过分析和实验得出NEST仿真器的通信优化点,为后文的通信研究提供理论支持。第二,针对大规模类脑仿真器NEST的特点,提出了基于SNN子图跨节点优化的神经元重分布算法（Relocation Algorithm,Re LOC）,通过分析SNN模型中神经元之间联系的紧密性,实现最低代价的SNN子图切割,然后在仿真前进行神经元重分布操作,减少神经元到其他节点的连接,使进程间通信更加稀疏。并且控制每个节点上神经元的数量,使得负载相对平衡。第三,对NEST本身的通信机制进行了改进,提出稀疏交换,用节点对节点通信取代原本的集体通信,只有需要脉冲交换的进程才进行通信,以此提升通信效率。通过在分布式NEST平台上运行不同应用,实验结果显示,Re LOC算法相比NEST所采用的循环分配机制,其平均稀疏性提升了20%,再配合稀疏交换机制,使得通信数据相比原来的方法减少了约73倍。

关键词： 脉冲神经网络   无监督学习   信号识别   光纤分布式声波传感器   脉冲卷积神经网络  

摘要： 为了提高分布式光纤声波传感器(DAS)的智能识别能力,越来越多的机器学习技术被应用到光纤分布式声传感器中。然而,有监督的方法需要充分和全面的标记数据,或者当测试和训练数据不一致时,它们可能表现出较差的泛化能力。因此,本文首次将一种新的无监督脉冲神经网络(SNN)引入到DAS信号识别中,以提高其在不同场景和时变背景下的泛化能力。论文主要工作包括:(1)对DAS信号识别方法的研究现状以及当前的挑战性问题调研,针对复杂噪声环境下由于信号不一致、非典型带来的识别困难问题,提出了解决方案。(2)提出一种基于无监督学习机制的SNN网络用于DAS信号识别,详细讨论了新网络的理论机制、构建和优化。通过三组现场测试,分别使用具有均衡、典型和一致数据的小数据集A、充满不一致和非典型数据的坏数据集B和C以及完全不均衡数据集D,验证了其有效性。结果表明,当使用少样本数据集或不均衡数据集进行训练时,使用无监督学习机制的SNN,即脉冲时间依赖性塑性(STDP),比主流监督CNN更稳定。特别是在充满非典型或不一致样本的最具挑战性的情况下,其泛化和反过度拟合能力被证明要好得多,其中使用坏数据集B和C的随机测试的平均准确度分别提高了18.0%和14.4%,在实际不均衡数据集的现场测试中,对比CNN,SNN识别率提高了2.9%。(3)为了改善SNN的时效性,我们通过SNN的运行机制与CNN的卷积和池化操作结合,提出了脉冲卷积神经网络(SCNN),并通过同样的三组现场测试验证其有效性,其测试时间大概为SNN的五分之一,并且具有较稳定和优良的识别效果。

关键词： 随钻测量   特征提取   脉冲神经网络   非局部块   振动去噪  

摘要： 随钻测量是地下挖掘和勘探最主要和最常用的技术,根据钻进过程中实时随钻解算出的姿态信息,对井下钻进方向进行精准导航。在钻进过程中,钻具的振动是一种不可避免而且随机、复杂的现象,其主要包含纵向振动、横向振动和扭转振动三种形式。钻具的振动使近钻头安装的惯性随钻测量器件收集和输出的信号包含大量振动信号的干扰,导致随钻姿态解算精度不高。为了能从含有大量振动信号的随钻测量信号中得到准确的数据,需要对随钻振动信号进行去噪。以随钻振动背景下的振动信号特征提取与识别去噪为研究目标,提出一种基于脉冲神经网络的随钻振动识别方法,然后根据识别出的三种随钻振动信号,对横向振动、纵向振动和扭转振动信号进行针对性去噪处理。综上所述,本文研究的主要内容如下:(1)简要分析了随钻振动信号的特性,利用横向振动、纵向振动和扭转振动其不同的特征,结合脉冲神经网络进行随钻振动信号的识别。(2)结合识别出的纵向振动信号特征,构建基于四元数变换的纵向振动信号测量模型,利用设计改进的无迹卡尔曼迭代滤波算法对纵向振动信号进行去噪。(3)结合识别出的横向振动信号特征,建立横向振动信号模型,利用横向振动下加速度信号和磁力计信号互相关原理,建立参考信号,结合卡尔曼滤波对横向振动信号进行互相关提取,实现对横向振动的去噪。(4)结合识别出的扭转振动信号特征,在识别出扭转振动信号特征的基础上,将局部块与卷积滤波器结合起来,设计了一种编码-解码的基于非局部块的瓶颈结构滤波器,能最大程度的提高随钻扭转振动信号的去噪能力。图24幅,表5个,参考文献73篇。

关键词： 路由交换系统   类脑计算集群   脉冲神经网络   FPGA  

摘要： 随着人工智能的飞速发展,现阶段的人工智能在深度学习和强化学习等方面都取得了不小的成就,但相关的研究进展仍处于针对某一特定场景下的专用人工智能。对于类脑计算领域的研究,旨在模拟生物大脑的物理结构和运行机制,构建出一种能够应对复杂场景的信息处理和系统行为模型,并通过不断提升模型的仿真精度,使其逐渐发展成为具有强适应能力和自我意识的通用人工智能。类脑计算是基于神经脉冲传递的框架下进行的,而人脑中包含了数以百亿计的神经元,每个神经元又和大量其他的神经元相互连接,形成了十分复杂且具有多样性的神经网络结构。当脉冲神经网络的规模达到一定程度之后,模拟过程中产生的数量巨大且高并发的脉冲数据传输任务给传统的计算机体系结构带来了非常巨大的挑战,因此,最好的解决办法是采用类脑计算集群的方式进行脉冲神经网络的模拟。为了实现支持大规模脉冲神经网络模拟仿真的类脑计算集群,一种可以满足集群运行过程中高速、细粒度、低延时和高扇入扇出需求的路由交换系统,成为了当前研究的重点。首先,本文介绍了脉冲神经网络和类脑计算平台的基本概念,通过对比不同类脑计算平台的特点,解释了采用类脑计算集群的理由。之后,根据脉冲神经网络的通信特点,对面向类脑计算集群的不同网络拓扑结构进行了对比,选取了代价最小、性能最优的六度三维网络拓扑结构来搭建路由交换系统。然后,根据选取的网络拓扑结构,设计了路由交换系统的通信协议和路由寻址机制,该路由交换系统通过对神经元进行ID编码和生成层次化路由表,实现了脉冲神经网络在类脑计算集群上的映射。最后,采用上位机结合FPGA的方式,对设计的路由交换系统进行了硬件实现和实验验证。实验结果表明,本文提出的面向类脑计算集群的路由方法在处理大量脉冲数据包的路由传输任务时,能够有效满足脉冲神经网络模拟过程中高速、细粒度、低延时和高扇入扇出的通信需求,且使得脉冲神经网络的模拟仿真较传统的神经网络模拟器效率得到明显提升,证明了该路由方法应用在类脑计算集群上的有效性和可行性。

关键词： 忆阻器   类脑运算   近传感运算   脉冲神经网络   储备池计算  

摘要： 随着物联网的发展,越来越多的传感器被应用到生活的方方面面,而这些传感器会产生巨大的、未经处理的原始数据。但由于传感器与信号处理系统的分离,传感器产生的原始数据都需要先转换为数字信号,再传递至本地或者云端的信号处理系统。此外,目前的信号处理系统都采用了存储与运算分离的冯·诺依曼架构。这样的感知、存储与运算分离的架构会带来额外的功耗,较长的响应时间,大量的数据存取,以及数据安全等问题。生物感官系统把感知、存储以及运算三个功能集成于一体从而可以高效并且实时地采集和处理外界信息。因此,通过模拟生物感觉器官,构建感存算一体化的仿生系统有望解决当前人工感知系统和计算系统所面临的问题。忆阻器可以模拟生物突触和神经元的功能,具备存算一体的特点,可以用来设计感存算一体化系统。本论文基于不同性能的忆阻器设计了多种感存算一体化的智能感知系统,并分别应用于人工嗅觉及人工视觉领域,主要研究内容如下: （1）基于忆阻器设计了感存算一体化的人工嗅觉系统,并成功地对10种不同浓度的4种气体进行了分类。首先基于W/WO3/PEDOT:PSS/Pt忆阻器设计了储备池计算（Reservoir computing）系统,成功提取出气体传感器阵列输出信号的时空特征;通过对提取到的特征进行分析,设计了3种简化特征的方法用来减少器件使用数量、降低系统的功耗及延时;基于Pt/W/WO3/Pt忆阻突触设计了人工神经网络对储备池计算系统提取到的时空特征进行识别,获得了95%的识别精度;最后给出了整个系统的硬件架构设计。 （2）基于忆阻器设计了一种仿生生物嗅觉系统。基于Pt/Ag/TaOx/Pt忆阻器的易失性,设计了漏电整合发放（Leaky integrate-and-fire,LIF）神经元,其可以将模拟信号转变为频率信号;然后将LIF神经元与传感器阵列相连以获得感觉神经元;随后,采用感觉神经元、非易失性忆阻器（Pt/Ta/TaOx/Pt）阵列与中继神经元（LIF神经元）组成脉冲神经网络,并利用一种有监督的SRDP（Spiking-rate dependent plasticity）学习法则成功地训练了该脉冲神经网络,识别出所有测试集的气体样本。该仿生生物嗅觉系统工作在模拟域,避免了信号的数模转换,为感存算一体化智能感知系统提供了解决方案。 （3）设计了基于忆阻器的深度脉冲神经网络（Deep spiking neural network,DSNN）。首先设计了基于Pt/NbOx/TiN忆阻器SRM（Spike-response model）神经元,其具备神经元的LIF功能与阈值调节功能;提出了基于SRM神经元的无监督SRDP学习法则及硬件架构;分别成功训练了DSNN的卷积层及全连接层;通过图像重构的方法证明了训练后的卷积层可以从输入图片中提取特征;此外还发现DSNN对忆阻突触的非理想性（更新非线性、循环稳定性等）有较高的容忍能力。将DSNN与视觉传感器相连,可以对图像或视频信号进行实时处理,为实现仿生视觉系统提供了新的方法。