课程文献中心 更多>>

关键词： 脉冲神经网络   延迟时间   DWTP算法   DWSBP算法   识别模型  

摘要： 脉冲神经网络(Spiking Neural Networks)的发展是对类脑计算的进一步学习和发展。同传统神经网络机制相比较而言,脉冲神经网络会对生物神经元进行仿真,模仿生物神经元的结构,同时在编码方式上融入了时间信息。因此脉冲神经网络同时携带空间和时间信息,可以表达更丰富的概念。目前脉冲神经网络在图像识别,计算机视觉、语音处理等方面有了比较好的算法和简单应用。但是,由于脉冲神经网络的发展历史还比较短,在理论以及应用方面都需要科研工作者们更多地探索。在脉冲神经网络的发展过程中,有效的算法是研究的重点。相对于传统神经网络具有里程碑性质的卷积神经网络(CNN)与循环神经网络(RNN),脉冲神经网络在单层网络算法和深层网络发展方面都需要进一步的尝试。当前,由于缺乏高效准确的学习算法,脉冲神经网络的发展和应用都遇到了重大瓶颈。本文基于现有的经典算法,做了如下创新尝试:1、基于对生物延迟学习机制的理解,对现有经典算法Tempotron进行优化创新。首先,对延迟机制的学习方式进行推导,随后基于延迟机制,提出DWTP算法。实验证明,可对权重和延迟时间两个参数进行调节的DWTP算法,相比于仅仅仅依赖权重调整的Tempotron算法,学习效率提高了30%,有更好的鲁棒性。2、由于Tempotron算法属于单层神经网络二分类算法,即使后续发展过程中逐渐优化出了Multi-Tempotron等算法,对于复杂问题的解决依然具有局限性。因此,多层网络的算法优化是一个创新方向。通过对Spikeprop算法的延迟时间进行动态优化,提出DWSBP算法。实验表明,加入了延迟机制调节的DWSBP算法同样具有更高的学习效率和更强的抵抗噪声的能力,学习效率提高了16%。3、最后,考虑到实际问题中环境的复杂性,对图像的特征提取可以明显提高各种算法的识别效率。因此,将CNN卷积网络作为特征提取的预处理方法,本文提出的DWTP和DWSBP算法作为分类器,组成了一个识别模型。通过实验,发现此模型与已有的脉冲神经网络模式识别模型具有类似效果。

关键词： 深度神经网络   脉冲神经网络   低能耗   通道归一化   多比特脉冲   遥感图像场景分类  

摘要： 随着深度学习技术的成功,以及遥感图像场景数据的可用性和并行计算资源的增加,基于深度神经网络的算法开始成为遥感图像研究领域的领先算法。但是由于遥感图像的分辨率越来越高,深度神经网络也变得越来越复杂,所以实现遥感图像场景分类任务往往需要更多的计算资源,从而限制了其实际应用。与深度神经网络分类方法相比,基于脉冲神经网络的遥感图像场景分类方法,在生物学上更具有合理性。该方法具有事件的驱动性和低能耗的特性,能够对遥感图像进行快速、高效的分类,同时也保持与深度神经网络相当的性能。本文以深度神经网络、脉冲神经网络等为理论基础,通过将一个经过训练的深度神经网络转换成一个脉冲神经网络的方式,建立一个转换算法来映射深度神经网络的权重到一个等价的脉冲神经网络,来缩小它们之间的性能差距,构建脉冲神经网络模型对遥感图像进行场景分类。本文的主要研究内容如下:首先,由于先前的遥感图像特征提取网络如VGG-16等模型,不仅参数量大,而且不能很好的提取遥感图像的特征,所以本文提出了一个复杂性低、分类准确率高的深度神经网络模型用于转换。它包含19个卷积层,1个全局平均池化层和1个全连接分类层。相比于微调的VGG-16（参数138M）等模型,本文提出的深度神经网络模型（参数20.9M）具有更高的整体精度。其次,为了克服深度神经网络的巨大计算代价,本文采用将一个经过训练的深度神经网络转换成一个脉冲神经网络的思想,实现了一种基于转换的脉冲神经网络模型。尽管脉冲神经网络在MNIST数据集和CIFAR10数据集上取得了很好的效果,但是其在遥感方面的潜力尚未得到研究和探索。实验结果表明,该方法在UCM数据集、WHU-RS数据集以及RSSCN7数据集上模型之间的转换损失约为2%～10%,而且该方法功耗低,在产生第一个输出脉冲后就可以预测结果。最后,引入通道归一化方法替代之前的层归一化方法,解决了脉冲速率激活不足的问题。并在原来的脉冲神经网络基础上,提出了一种基于多比特脉冲的脉冲神经网络,来减小传播误差的逐层传递。实验结果表明,通道归一化方法和多比特脉冲方法能加快转换方法的收敛速度,提高转换的精度。同时采用通道归一化方法和多比特脉冲方法效果最优,可以在较少的时间步长内,在UCM数据集、WHU-RS数据集以及RSSCN7数据集上实现深度神经网络到脉冲神经网络的无损转换。

关键词： 人工神经网络  

ISBN: (纸本)9787564651855

摘要： 本书共五章，主要内容包括：第1章介绍了在医学处理领域，医学图像分割、医学图像配准、医学图像融合的相关概念及研究意义。第2章介绍了脉冲耦合神经网络研究现状和基本概念，脉冲耦合神经网络的改进模型在医学图像分割、医学图像配准、医学图像处理融合的应用以及存在的问题，脉冲耦合神经网络点火机制与功能特性、参数优化算法等。第3章介绍了采用2D-PCNN、Canny算子、loG算子、分水岭和Otsu算法对医学图像进行分割实验。第4章介绍了基于自适应PCNN和互信息的2D-2D医学图像配准方法。第5章分别介绍了基于自适应脉冲耦合神经网络的MDE-PCNN算法进一步提出了基于QPSO算法的PCNN算法以及基于Shearlet算法的图像融合算法。

关键词： 类脑计算   单电子晶体管   忆阻器   视觉感知   联想记忆  

摘要： 随着人工智能领域研究的不断深入以及半导体芯片技术的不断发展,越来越多的科学家将目光投向类脑计算芯片的研究,以此来建立一个受脑启发的、不同于现有冯·诺依曼计算架构的、集信息存储和计算于一体的新计算范式。其中建立基于单电子晶体管和忆阻器的类脑神经网络视觉感知电路系统,对于开发高集成度、低功耗的类脑碳基芯片具有重要的意义。本文针对采用单电子晶体管和忆阻器的碳基神经网络电路及其在类脑视觉感知芯片设计中的应用涉及到的关键技术,首先介绍基于石墨烯场效应晶体管的光电视觉系统传感电路设计并进行仿真验证;其次,针对超低功耗的单电子晶体管神经形态器件及其构成的神经元电路,采用Verilog-A语言在Cadence ADE中进行器件建模并设计电路仿真验证;然后,对采用石墨烯量子点结构的忆阻器件建模并设计相应的突触电路,仿真验证其STDP可塑性机制及忆阻器学习算法;最后,根据本文提出的在类脑视觉感知芯片设计中的应用,建立了集视觉信息采集与预处理、忆阻器学习和神经网络联想记忆于一体的电路系统,并在Cadence和MATLAB的联合仿真下完成了基于手写数字识别的视觉应用场景功能验证。论文工作成果主要体现在:一、建立了可在Cadence Spectre仿真器下工作的石墨烯场效应晶体管器件模型,并设计了相应的光电视觉传感电路,实现了石墨烯视觉系统电路的仿真。二、建立了单电子晶体管器件模型,并设计了单电子脉冲神经元电路,降低了 CMOS神经元器件的冗余度,提高了神经形态器件及其神经元电路的集成度。三、对于量子点忆阻器,设计了1T1R突触电路、crossbar突触电路和桥式突触电路,并实现了突触学习过程,达到了类脑计算存算一体的要求。此外,在类脑视觉感知应用场景中,通过改进型Hebbian学习算法,使联想记忆神经网络的存储容量大大提高并实现了手写数字的高识别率。

关键词： 图像分类   特征提取   神经元转换   脉冲神经网络  

摘要： 脉冲神经网络（SpikingNeuralNetworks，SNN）被称为“第三代人工神经网络”，网络中信息被编码为脉冲序列，形式上和生物体神经元之间进行信息传递的电信号更为类似，从而比传统人工神经网络（ArtificialNeuralNetworks，ANN）更具生物可解释性，且因其事件驱动的特性而使得其在神经形态芯片上运行耗能较低，具有较高的研究价值。但是因为脉冲信号的不连续性，传统基于梯度下降的训练算法不再适用于训练SNN，而目前基于脉冲信号的训练算法大多只能应用于较浅的网络结构中，从而使得SNN存在网络无法加深，鲁棒性较差，测试耗时过长等问题。针对以上问题，本文展开基于神经元转换方法的脉冲神经网络研究。本文工作主要分为以下三个方面：　　（1）针对SNN模型无法加深导致性能不佳的问题，本文从网络结构对脉冲神经网络性能影响的方向入手进行实验和分析，提出了脉冲神经网络适合从宽度上拓展网络的策略。随着模型的加深，脉冲神经元的脉冲发射率随之降低，造成模型在测试时需要累积较长时间才能达到一定的准确率。从宽度上加宽网络能够在保证足够的参数量的同时减少模型的层数，从而缓解脉冲发射率衰减的问题。实验结果表明，加宽的网络在测试时能以相对较短的时间达到期望的准确率。但是在面对较为复杂的数据集时，仍存在因模型不够深而造成准确率较低的问题。　　（2）针对ANN神经元转换之后精度损失的问题，本文对多种传统人工神经网络的训练算法进行分析和研究，最终选用Adam算法作为转换神经元之前训练网络的主要算法。本文主要对随机梯度下降（StochasticGradientDescent，SGD）、动量（Momentum）梯度下降、Nesterov动量梯度下降、RMSProp、AdaDelta、Adam等训练算法展开分析和实验，在一定迭代次数下，观察训练算法训练完成后网络的性能，然后对网络进行整体的神经元转换，观察网络前后的精度损失大小。实验结果表明，Adam算法可以使损失函数迅速收敛且转换神经元后SNN的分类精确度损失最小。　　（3）针对SNN难以有效训练的问题，本文提出一种基于神经元转换方法的混合卷积脉冲神经网络，把卷积神经网络（ConvolutionalNeuralNetwork，CNN）的信息学习能力和特征提取能力应用于SNN。在CNN上完成训练过程后将权重映射到经过神经元转换的全连接层中，网络前期使用CNN以提取高层次图像特征信息，后期使用浅层SNN进行分类以减少测试耗时。网络结合了ANN的学习能力和SNN的生物可解释性。实验结果表明，该模型在复杂数据集上具有较强的鲁棒性和较高的准确率，同时深层的脉冲神经元能在较短时间内累积足够的脉冲发射率，大大降低了测试耗时。　　本文通过对基于神经元转换方法的脉冲神经网络进行研究，探索混合卷积脉冲神经网络的可行性，旨在为脉冲神经网络的研究提供更多思路和基础。

关键词： 语音感知   脉冲递归神经网络   低维特性   状态轨迹   感觉运动  

摘要： 大脑可以自然地编码语音、生成复杂的时变运动模式。但由于皮层动态具有复杂时空特性,这阻碍了人们对其工作机制的研究。研究皮层网络如何从复杂脉冲模式的空间和时间结构中提取声音有关的信息,对于揭示皮层网络编码复杂模式的机制至关重要。储备池计算方法的提出,使得复杂的高维时空模式能够在随机连接的递归神经网络固有的动力学中表示。然而,这种方法存在两个缺点:(1)网络中的递归连接不是可塑的,与实际的大脑皮层网络相比,随机递归神经网络不会适应或优化当前任务;(2)编码信息的方式为连续速率编码,与生物神经元的工作方式本质不同。因此,本文基于大脑皮层微电路的递归结构和神经元的尖峰放电特性,构建脉冲递归神经网络(Spiking Recurrent Neural Network,SRNN),模拟大脑皮层进行语音感知并产生复杂运动模式方面的活动,研究皮层神经网络编码时变模式的机制。首先,提出一种皮层神经网络感知语音的SRNN架构,采用LIF单神经元模型构建SRNN,实现皮层网络模拟与仿真。根据语音输入数据,基于FORCE算法训练SRNN,产生语音的高维动态活动;采用主成分分析获得SRNN感知语音的低维动态,获得语音特征。其次,根据SRNN感知语音的低维动态,生成复杂时变运动模式,完成感觉-运动任务:数字语音转换为手写数字。研究发现,网络的动力学对声音信息的时间和空间特征敏感,同时能够概括其空间和时间变化。SRNN将时变感觉和运动模式编码为稳定的神经轨迹,通过轨迹状态的演化来感知语音中的时间信息。语音处理过程中,不同时延编码为线性流形中的位置信息,SRNN缩放轨迹的状态演化速度来保持对语音相关信息的记忆。神经轨迹稳定性分析发现SRNN在感觉阶段比在运动阶段更具有鲁棒性。最后,基于Raspberry Pi实现移动端SRNN语音感知系统,完成实时语音处理与分析。语音信号的处理与计算过程发生在传感器近端,可以根据各种应用环境,灵活配置应用系统,实现语音感知的相关任务。本文所得结论不但有助于理解皮层网络如何感知语音等复杂外部刺激的机制,同时验证可以采用SRNN实现自主系统的语音识别与运动控制。

关键词： 脉冲神经网络   皮层丘脑环路   跨脑区反馈   脑区内反馈   视觉分类   注意机制  

摘要： 目前绝大多数的神经网络结构都不同程度受到了经典皮层解剖学的启发，通过逐层抽象的方式，对信息进行层次化处理。脑皮层是人脑高级认知功能的汇集区域，多模态感知、学习、决策、推理等认知功能都依赖于脑皮层信息处理机制。脉冲神经网络作为第三代神经网络，以离散的脉冲传递信息，更加类生物，在时间及空间信息的处理能力上更加强大，结合脑皮层信息处理机制，能更好地构建功能强大的脉冲神经网络。脑皮层完成各项认知功能离不开丘脑的集成、协同以及自组织控制。丘脑作为一簇前脑核团，接收除了嗅觉之外的多种感觉信息，并传递到大脑皮层，在皮层区域之间整合传递信息。皮层及丘脑协同计算是实现认知功能模拟的关键。　　受皮层丘脑环路启发，本文通过皮层区域宏观连接的分析，构建了受跨脑区反馈学习机制启发的脉冲神经网络模型，受脑区内反馈以及兴奋抑制性神经元平衡启发的脉冲神经网络模型，通过对于皮层丘脑双向连接的分析，从微观突触优化的角度构建了受皮层丘脑环路启发的视觉分类模型，从宏观决策角度构建了受皮层丘脑环路启发的多视觉区协同跟踪模型。本文的主要工作和创新点归纳如下:　　第一，本文构建了受跨脑区反馈学习机制启发的脉冲神经网络模型。人脑中存在着大量的反馈连接，反馈连接将高级皮层的全局信息以自顶向下的方式传递到低级皮层，受此启发，本文构建了一个随机的反馈连接帮助脉冲神经网络将输出层的误差直接直接传递到之前层，同时，利用一个微分脉冲时序依赖可塑性原理来优化局部的突触可塑性。在MNIST以及Fashion MNIST上的实验结果表明，此算法达到了由反向传播算法训练的脉冲神经网络的性能。　　第二，本文构建了受脑区内反馈以及兴奋抑制性神经元平衡启发的脉冲神经网络模型。受大脑中自突触连接以自反馈形式连接胞体的启发，构建了一个自适应的延时自反馈机制作用在膜电势上来调节脉冲发放的精度;并且采用兴奋抑制性神经元平衡的机制来动态控制脉冲神经元的输出。在基于反向传播训练的脉冲神经网络上引入这两个机制后，在多个数据集上的实验结果表明，这两个机制不仅提升了网络收敛的速度，还提升了网络的性能。在MNIST、FashionMNIST、N-MNIST数据集上，本文提出的算法达到了目前所知的最优的性能，在CIFAR10数据集上，和目前最好的脉冲神经网络相比，此网络以一个轻量级的结构达到了较好的性能。　　第三，受皮层丘脑环路启发的视觉分类模型。从解剖学角度看，皮层区域之间与丘脑存在着大量的双向连接，多个特殊的丘脑核团将初级皮层区域和高级皮层区域连接在一起，许多理论认为皮层-丘脑-皮层的这种交互对于全局信息的处理至关重要。受丘脑核团和不同皮层区域间的网络拓扑结构启发，本文利用一个多层的神经网络模拟皮层，利用额外的无监督赫布学习来模拟丘脑对于不同皮层区域之间的调控。结果表明，此网络在较小的训练数据集上性能高于基于皮层的网络，且对于学习率、激活函数、网络结构等超参的鲁棒性较高。　　第四，受皮层丘脑环路启发的多视觉区协同跟踪模型。由于卷积神经网络强大的特征表示能力，结合卷积神经网络和相关滤波在视觉跟踪任务中得到了广泛应用。卷积神经网络的深层包含更多的语义信息，浅层包含更多的细节信息，受丘脑对于视皮层决策的动态协同作用的启发，本文利用空间注意机制选择出了最重要的一层作为基础响应，其余的响应为辅助响应;利用时间注意机制确定每个辅助响应的权重。最后，根据融合响应的最大值定位目标。本文进一步将相关滤波以及重要性分配机制融入到卷积神经网络中，构建了一个端到端的跟踪算法，在OTB-2013数据集达到了与目前已知工作相比最优的性能，在OTB-2015数据集上达到了较为优异的性能。

关键词： 脉冲耦合神经网络   动态参数设置算法   忆阻器   图像去噪  

摘要： 脉冲耦合神经网络（Pulse Coupled Nerual Network,PCNN）是一种高度模仿生物视觉神经元系统的网络模型,由于其具有同步脉冲输出、神经元捕获、动态阈值等独特的生物学特性,因此适用于图像的去噪处理。另一方面,在不断提高PCNN网络性能的过程中,一些关键性难题值得研究和关注,其中PCNN的参数设置问题、硬件化实现困难问题是十分具有解决意义的研究方向。忆阻器是一种新型的非线性无源器件,具有纳米尺度、非易失性、可变忆阻等优良特性。本文利用忆阻器类似神经元突触的的特点,将其作为电子突触应用于PCNN模型,可以有效地实现连接权重和阈值电位的学习记忆功能;另一方面,使用数学方法对PCNN迭代过程进行归纳分析,得到了神经元在不同状态下的兴奋机制,并进一步实现了网络参数的动态设置。主要研究内容如下:首先,使用数学方法对PCNN的迭代过程进行分析,得到神经元在独立状态和耦合状态下的点火机制,并发现了参数的固有设置导致的点火重合现象,该现象会令PCNN的同步脉冲发放特性不能正常体现。在此基础上,对PCNN的模型参数进行简化与优化,并提出了动态参数设置算法,有效地解决了点火重合问题,使得脉冲信号能够正常同步输出,同时PCNN的网络性能得到了改善。其次,基于尖峰时序依赖可塑性规则提出了针对二维单层结构神经网络的脉冲同步依赖可塑性学习规则,在该规则的基础上,基于忆阻器构建了PCNN的可变连接权重矩阵电路模型,实现了神经元之间连接权重的动态调整;同时,基于忆阻器构建了PCNN的动态阈值发生器电路模型,实现了阈值电位的动态同步更新功能。之后,通过仿真验证了这两种电路模型的有效性。最后,基于忆阻器的脉冲耦合神经网络模型被用于图像的去噪处理。为了研究该模型在图像去噪处理中的特点与性能,基于峰值信噪比指标来评估处理后的图像质量,将其处理的结果与已有的一些滤波算法进行比较,验证了该模型在图像去噪处理中具有较为优越的性能,并且对于不同类型的噪声图像处理其适用性更高。

关键词： 量能器   脉冲特征提取   硬件系统   卷积神经网络  

摘要： 在大型物理实验装置中包含多种探测器,将探测器的输出进行数字化采集并根据数据分析粒子的信息是物理实验的重要环节。量能器主要用于测量粒子的能量,输出通常表现为脉冲信号的形式,在脉冲信号中提取时间与幅度信息是粒子分析重要的一步。脉冲特征提取有很多方式,如曲线拟合、种群技术等。随着探测器实验数据量的不断增加,探测器环境中往往包含随机噪声、长期漂移、短期改变等影响。传统的数字化处理方式在消除探测器环境中噪声等影响方面存在一定的局限性,在进行脉冲特征提取时不能保证最佳的精度。深度学习方法由于具备准确率较高和处理速度较快的优势,逐渐被用于物理实验的数据分析中。目前,有很多使用深度学习处理脉冲信号的研究,例如使用深度学习模型完成堆积脉冲的识别,使用长短期记忆网络模型进行脉冲特征提取等。但这些研究大多基于离线状态对数据进行分析,当计算量增大时,这些模型无法在硬件平台上实现。在探测器中为了降低数据传输对系统的压力,往往需要实时处理数据,在线处理的硬件系统更符合实验环境的需求。为了便于实现在线处理系统,深度学习中的卷积神经网络不仅包含深度学习处理脉冲信号的优势,而且计算简单,易于实现,成为一种新的脉冲特征提取方法。本文以低温高密核物质测量谱仪的零度角量能器为背景,基于卷积神经网络在FPGA平台上设计了一个用于脉冲特征提取的硬件系统,主要提取量能器脉冲的时间与幅度信息。该系统包含神经网络计算器和控制器两个部分。神经网络计算器使用并行运算和数据复用的加速方式支持卷积神经网络中的卷积运算、解卷积运算和矩阵乘法,承担系统的核心计算部分。控制器通过指令的形式完成对神经网络计算器的配置,承担系统的监督和调度部分。每一层在运行时,控制器发送配置信息和计算数据给神经网络计算器,神经网络计算器完成一层的计算后将结果传输回控制器。控制器对数据进行量化处理,作为下一层的输入,按照该循环过程完成卷积神经网络中所有层的运行。经过测试,在控制器的工作频率为100MHz、神经网络计算器的工作频率为25MHz的情况下进行仿真,系统中全连接层第二层耗时最长,为966.8μs。在真实实验平台上,基于Python平台的Tensorflow环境下的软件处理使用浮点数计算方式,系统的硬件处理使用8bit定点数计算方式。在相同的卷积神经网络架构下,脉冲宽度为1μs,ADC芯片采样电压在±5V时,硬件处理的时间分辨率为0.01500μs,幅度分辨率为0.02747v,软件处理的时间分辨率为0.01329μs,幅度分辨率为0.02499v。硬件系统与软件处理性能相差不大,可以代替软件应用于探测器装置中对脉冲信号进行处理,实时提取脉冲的时间与幅度信息。

关键词： 脉冲神经网络   人工神经网络   时空信息结合网络   时间信息   空间信息  

摘要： 人工神经网络(ANN)作为强大的数据处理工具被广泛应用于:模式识别,控制,机器人技术,生物信息学等领域。它们的广泛适用性极大地鼓励了科研人员通过研究生物大脑来改善人工神经网络。在生物学上更合理的脉冲神经网络(SNN)更忠实地利用生物学特性来提供更高的处理能力。近些年,SNN在神经形态低功耗系统中获得更大的发展势头,现存的大多数脉冲监督学习方法都实现了较好的性能,取得极大的成功。但是,现有的SNN模型受限于仅用于处理脉冲时间序列特征数据,而ANN模型更多地用于处理空间特征数据。借鉴生物神经元对时空信号的处理机制,我们提出在一个网络内同时进行多尺度时空信息学习的模型,即时空结合网络(SMN)。具体而言,SMN模型包含两个分支:SNN分支和ANN分支,其中SNN分支用于提取时间信息,而ANN分支则用于提取空间信息。在训练过程中,为了整合时间和空间信息,分别将ANN的隐层输出的激活值与SNN隐层的脉冲响应值都放缩后,进行累加。另外,我们还推导了SMN学习算法。本文在以下UCI数据集上对SMN模型进行试验:Iris,Breast Cancer Wisconsin,Liver Disorders,Statlog Landsat和Pima Indians Diabetes。在精度及迭代步数评价指标上,实验结果发现SMN模型使用较少的迭代步数,并在大多数数据集上实现了精度最优;为分析模型的收敛性,我们基于MSE及泛化差距进行对比分析,发现SMN实现了最快收敛和最小的泛化差距;为分析SMN、BP和SNN模型在各个数据集上的误分情况,我们以混淆矩阵、Macro-Recall、Macro-Precision和Macro-F1为评价指标进行对比分析,发现SMN在各个数据集上的查准率和查全率均优于其他模型。这项工作,一方面为研究具有未来类脑计算范例的高性能脉冲神经网络提供新的视角,有效弥补了SNN和ANN仅关注时间或空间某一方面信息的缺陷。另一方面,结合脉冲神经网络和宽度网络的优势,该工作为深度网络防止过拟合、降低复杂度、提高泛化性提供新思路。