课程文献中心 更多>>

关键词： 竞争神经网络   不连续激活函数   混合时滞   收敛性   同步  

摘要： 本硕士论文在Filippov解的框架下,结合微分包含理论和集值映射理论,讨论两类具有不连续激活函数和混合时滞的脉冲竞争神经网络的渐近行为.通过构造Lyapunov-Krasovskii泛函,对所研究的竞争神经网络的收敛性进行分析,得到具有代数不等式形式的脉冲效应的竞争神经网络的指数全局收敛的充分条件.通过构建合适的自适应控制器对具有时变时滞的脉冲惯性竞争神经网络的全局指数同步和固定时间同步进行分析.最后,数值仿真验证所得结果的合理性和有效性.全文共分为四章:第一章是绪论部分.分别简要概述研究背景、目的、意义、脉冲竞争神经网络和惯性竞争神经网络的研究现状,最后给出本硕士论文统一的符号和标记.第二章研究一类具有不连续激活函数和混合时滞的脉冲竞争神经网络的全局收敛性.通过构造适当的Lyapunov-Krasovskii泛函,得到了代数不等式形式的脉冲竞争神经网络的全局指数收敛的充分条件,以及指数收敛的区域.第三章研究一类具有不连续激活函数和混合时变时滞脉冲惯性竞争神经网络的全局指数同步和固定时间同步.通过变量替换方法,将原二阶导数系统化为通常的一阶导数系统,研究具有不连续激活函数和混合时变时滞脉冲惯性竞争神经网络的全局指数同步和固定时间同步.利用Lyapunov泛函方法、不等式放缩技巧,设计具有幂指数的反馈控制策略,通过调节控制器中的控制增益参数和幂指数,从而推导出保证具有混合时变时滞脉冲竞争神经网络的全局指数同步和固定时间同步的充分判据.第四章主要是对全文工作的总结,并指明需要进一步研究的问题,以便今后继续研究.

关键词： 光子神经形态系统   光子脉冲神经网络   脉冲神经网络算法   脉冲神经网络动力学  

摘要： 相比于传统冯·诺依曼计算架构,人脑展现出极强的并行计算能力和低功耗的优势。基于对人脑物理层次的观察,人脑的高效性可能来源于复杂连通结构、结构化-功能化组织层次以及神经元的复杂调控机制等。受人脑基本计算机制启发的神经形态计算范式为克服摩尔定律“内存墙”及“功耗瓶颈”打开新思路。其中,脉冲神经网络(Spiking neural network,SNN)作为第三代神经网络,因具有生物真实性、时空编码模式、低功耗和事件驱动特性而备受关注。基于微电子的SNN计算机器已经超越了经典平台的能量和尺寸效率墙,但仍然遭遇带宽、速度、功耗和串扰的“电子瓶颈”。而由于光在速度、带宽、功耗等方面具有天生优势,因此光学计算作为硬件加速平台广泛应用于信息处理领域。但是由于研究起步较晚以及光信号本身控制和存储的难题,基于光学平台和器件的脉冲神经网络理论和计算研究仍然处于初期。神经计算考虑的重点主要包括线性/非线性计算能力和大规模集成性。其中,垂直腔发射激光器(Vertical-cavity surface-emitting laser,VCSEL)由于有源层体积极小,从而可以获得极低的工作阈值,具有较低的静态功耗,且易于大规模集成,同时具有丰富的动力学特性(如混沌、自激振荡以及累积、阈值等类神经元特性),因此在光学非线性计算研究中得到广泛关注。 本文立足于光神经计算的国际前沿热点,在国家重点研发计划项目和国家自然科学基金等项目的支持下,主要基于含可饱和吸收区的两段式VCSEL光学神经元模型(VCSEL with an embedded saturable absorber,VCSEL-SA),研究光脉冲神经元的脉冲动力学和编码机制,进而扩展到耦合网络集群动力学以及神经网络计算模型,结合理论分析、数值仿真和实验验证方法研究光脉冲神经网络的基本理论、计算架构和应用,推动光神经计算的理论、应用发展。本文主要研究内容以及创新点如下: 1)基于VCSEL-SA光神经元理论模型,介绍其类神经元特性,深入分析该神经元时间编码和频率编码的动力学机制;首次系统研究基于光脉冲神经元耦合网络的动力学特性。基于光脉冲神经元的自脉冲特性,通过数值模型分别研究小规模网络motif和大尺度网络中的集体动力学特性,揭示网络拓扑对神经元动力学行为的决定性作用。通过理论分析和数值仿真研究小规模网络对称性与光脉冲神经元时空同步放电的关系,并分析4种不同的大尺度网络,即全局耦合、非局部耦合、小世界网络以及随机稀疏网络的集群动力学特性,观测到了部分同步的动力学行为。最后,基于神经元脉冲同步性的调控机制,首次探讨了基于光脉冲神经元的脉冲耦合神经网络(Pulse coupled nerual network,PCNN)的图像分割可行性。 2)基于VCSEL-SA神经元的时间编码机制,结合基于垂直腔半导体光放大器(Vertical-cavity semiconductor optical amplifier,VCSOA)的光子突触可塑性,研究生物启发的光SNN类Hebbian算法和应用,提出多种优化神经网络性能的方法,并通过实验平台进行算法和硬件的软硬协同验证。首先基于生物突触传入时延和连接强度的可塑性,利用时延-权重协同调整的高效监督学习算法,在具有单个输出神经元节点的光子SNN中实现脉冲序列学习和模式分类任务,并分析了算法的鲁棒性。另外,借鉴生物神经网络中存在的多突触链路情况,分析了多突触连接对光SNN性能的影响。同时,考虑到单个输出节点分类性能受限,将网络扩展到多个输出维度,并优化其编码方式和训练算法;最后,基于生物神经网络的复杂拓扑结构,在一个随机连接网络中首次实现光学液体状态机(Liquid state machine,LSM)计算,实现了较高精度的模式分类。 3)基于泵浦电流和外部光注入对VCSEL-SA光学脉冲神经元自脉冲频率的调控机制,研究光脉冲神经元的频率编码特性,并提出基于频率编码的光脉冲神经网络转换算法。首先利用拟合的光学激活函数训练人工神经网络,在训练过程中考虑到光学约束,限制输入特征向量和权值矩阵的取值范围。然后将预训练的数据映射为注入光功率或电流,实现光SNN的转换。基于多个基准数据集,可以证明转换方法有效提升了光SNN的性能。另外,考虑了参数失配和偏差等因素对转换性能的影响,分析硬件实现可行性。最后,基于自主研制的光脉冲神经元芯片和光电实验平台,验证了光脉冲神经元频率编码特性和模式分类。 4)考虑到三五族器件与商业上成熟的互补金属氧化物半导体(Complementary metal-oxide-semiconductor,CMOS)平台的混合集成难题,首次研究基于全硅光平台的光SNN架构。首先分析基于微环谐振器(Micro-ring resonator,MRR)热

关键词： 脉冲神经网络   脉冲时间依赖可塑性   自组织映射   强化学习   神经形态芯片  

摘要： 人工智能物联网（Artificial Intelligence Internet of Things,AIOT）的快速发展使得物端计算在可穿戴设备等场景中得到广泛应用。为实现本地计算,减少数据传输带宽、降低响应延迟并保护用户隐私,需要开发轻量级、高精度的处理算法模型和高吞吐量、高能量效率的专用硬件加速芯片。然而,受限于存算资源和能量供给,如何实时高效地处理海量视觉图像数据成为一项重要挑战。传统人工神经网络（Artificial Neural Network,ANN）模型由于需要密集的运算和大量的计算资源,存在功耗高、实时性差等问题。相比之下,运行脉冲神经网络（Spiking Neural Network,SNN）模型的神经形态类脑芯片通过处理稀疏的脉冲信息,具有低计算复杂度和高能量效率等优势。在现有类脑芯片研究中,一类是面向大型仿真平台和计算中心,采用通用处理器众核架构来支持大规模脉冲神经网络,但无法满足实时性要求高、有面积资源成本约束和能量供给限制的物端场景;另一类是针对特定应用、单一神经元模型、中小网络结构的轻量级类脑芯片,但图像识别率很低。本论文针对上述类脑芯片中存在的关键科学问题进行研究,提出了高仿生、高识别率、低复杂度的轻量级SNN模型及其相应片上学习算法,并设计了一款架构紧凑、支持高速片上学习的物端类脑芯片。论文的主要贡献包括:（1）研究提出了脑启发的轻量级三重类脑（Triple Brain）高效学习算法。（2）研究提出了一种规模可拓展的神经形态“三脑”芯片架构及其电路模块,支持片上实时高效运行Triple Brain学习算法。（3）完成了高帧率、细粒度流水的“三脑”芯片FPGA原型功能验证,训练和推理帧率分别高达1349和2698帧/秒,在MNIST、ETH-80、ORL-10、Yale-10、N-MNIST、Poker-DVS以及Posture-DVS数据集上分别获得了95.10%、80.89%、100%、94.94%、82.32%、100%和97.93%的高识别率,且在Zynq-7045 FPGA芯片上仅仅消耗7.59%的逻辑资源,3.56%的数字信号处理器（Digital Signal Processor,DSP）资源和24.04%的块存储器（Block RAM,BRAM）资源。（4）采用依概率随机舍入的近似计算机制,进一步优化了片上存储资源需求,最终基于台积电65nm CMOS工艺流片实现了ASIC原型芯片,芯片总面积为7.6 mm2,其中内核面积仅为4.68 mm2,支持最大256个神经元,256K突触,在100 MHz时钟频率下,功耗仅为47 m W,学习和推理帧率分别为143和331帧/秒,且达到了1.04 nJ/SOP和0.44 nJ/SOP的较高能量效率。

关键词： 自旋电子器件   脉冲神经网络   霍尔条   人工突触  

摘要： 随着人工智能技术的发展,基于CMOS器件的脉冲神经网络(SNN)神经形态系统面临着功耗和可靠性等问题。自旋电子器件——霍尔条(Hall-Bar)的反常霍尔电阻具有非易失性、连续可调的特性,可以模拟神经形态中的突触器件。并且HallBar同时具有计算和存储的功能,可以实现神经形态的存算一体,有望成为低功耗神经形态系统的理想硬件单元。然而,当前基于Hall-Bar突触的SNN研究,还局限于从原理上验证单个器件的突触特性。为了进一步探究Hall-Bar突触在SNN中的应用,本文的主要研究内容如下:(1)Hall-Bar的突触特性表征。通过调节等幅值脉冲电流和可变幅值脉冲电流个数的方式,对Hall-Bar进行相关测试。测试结果表明,该薄膜结构的Hall-Bar反常霍尔电阻变化趋势符合生物突触特性。并对两种脉冲电流方式的测试数据进行对比分析,确定以调节等幅值脉冲电流个数的方式来调节反常霍尔电阻。(2)Hall-Bar建模数据测试及曲线拟合。通过调节等幅值脉冲电流个数的方式,探究Hall-Bar在不同阻态下反常霍尔电阻变化趋势。通过对测试数据进行分析,确定了反常霍尔电阻相关参数,并拟合出了反常霍尔电阻变化量与等幅值脉冲电流个数的函数曲线,为Hall-Bar模型的设计提供指导作用。(3)首次在FPGA上实现了基于Hall-Bar突触的SNN系统。根据Hall-Bar反常霍尔电阻相关参数以及拟合曲线,采用FPGA对单个Hall-Bar建模,进而完成HallBar突触阵列的设计,来模拟突触权重的存储和更新。在此基础上,完成了时间优先编码模块、基于轮询仲裁机制的地址编码模块、神经元处理核模块、输出层模块的设计,使得该系统具有在线学习的能力。并且可以通过配置不同的系统参数,选择不同的学习算法和神经元组合方式,探究不同组合方式下该系统对图像的学习效果。最后,本文在FPGA原型验证平台上,实现了包含10个神经元和1960个HallBar突触的SNN系统。综合结果表明,逻辑资源的使用率不到13%,BRAM资源的使用率不到5%。并用该系统完成了对MNIST手写数据集的在线学习,验证了基于Hall-Bar突触的SNN系统的可行性。在此基础上,使用不同学习算法和神经元模型进行学习,对图像学习效果进行对比分析。结果表明,LIF神经元和STDP学习算法组合时,图像学习效果最好。

关键词： 深度学习   对抗防御   脉冲神经网络   自监督学习  

摘要： 近年来,深度神经网络凭借其卓越的性能表现,实现了现实社会中应用部署量的爆炸式增长。然而以对抗攻击为首的外部攻击能够误导这些模型做出完全错误的决策输出,严重阻碍了神经网络应用在安全敏感领域的推广。为增强神经网络模型的鲁棒性,研究人员致力于为其设计安全可靠的对抗防御方法,建立高可信度的深度学习模型。 现有的对抗防御方法主要针对模型鲁棒性和训练优化方法的鲁棒性而设计,通过采用额外训练、蒸馏模型等方式抵御已知的对抗攻击算法。然而这种针对现有攻击的补丁式防御仍然存在被攻克的风险,无法带来鲁棒性质的提升。此外,许多防御方法在可解释性方面的分析与评估有所欠缺,使得本属于黑盒模型的神经网络变得更难以被解释。针对以上问题,本文研究并设计了一种能够涵盖模型建立、训练优化、决策可视化分析这三个涉及神经网络的应用全过程的防御方法机制,全面提升深度神经网络的鲁棒性。具体而言分为以下三点研究成果: 针对神经网络模型本身的鲁棒性增强,本文通过分析对抗攻击成功扰乱模型推断的内在原因,提出通过加强神经元的非线性表达能力,并对模型中间层激活结果进行微调的方式提升模型的内在鲁棒性,在不引入额外训练资源消耗的前提下避免模型受对抗攻击的操纵。基于以上成果,本文提出了CARENet架构,该架构采用脉冲神经网络这一受生物学启发、采用非线性脉冲信号传递信息的模型作为主干,并引入了可实现通道式激活再校准的防御模块CARE,通过加强神经元间相互作用抑制神经元的错误激发。通过在多个数据集上进行鲁棒性评估实验,证明了CARENet架构的内在鲁棒性。 针对模型训练优化框架的鲁棒性提升,本文选择基于能充分利用大规模无标记数据的自监督学习框架,研究并设计了CLAM框架。该框架以CARENet架构的模型作为特征编码器,采用对比学习模式实现鲁棒性的模型预训练。为促使模型主动学习并提取数据蕴含的鲁棒特征,本文基于对抗性学习策略引入了遮蔽图像模型,通过遮挡目标语义实体部位的方式推动模型根据图像上下文语义进行推理。此外,CLAM框架还通过设计多视角对比模式,引入了传统的对抗训练方法,进一步增强框架鲁棒性。通过实验将CLAM框架与其他融合了对抗防御方法的自监督学习框架进行比较,证明了CLAM框架的鲁棒性优势。 针对对抗防御方法的可解释性评估,本文充分利用了脉冲神经网络中脉冲信号所包含的时间信息,通过中间层特征可视化和模型决策结果热力图两种方式分别对CARENet和CLAM框架开展了可视化分析。中间层特征可视化将脉冲信号的时间间隔纳入特征重要性建模过程,模型决策结果热力图则基于Grad-CAM为代表的类激活图方法并综合考虑了多个时间窗口下的特征图。可视化分析结果证明了CARENet和CLAM在防御对抗扰动方面的有效性,并且产生的效果易于解释。 综上所述,本文针对当前神经网络面对对抗攻击时的脆弱性和安全隐患,按照“构建鲁棒模型→训练模型提取数据鲁棒特征→在下游任务提供可解释性验证”的思路研究并设计了一整套对抗防御方法,并期望以该方法为基础实现神经网络模型在鲁棒性上的全面增强。

关键词： 轮对踏面   缺陷识别   脉冲神经网络   特征融合   注意力机制  

摘要： 轮对是列车的重要支撑和走行部件,轮对踏面状态与列车的安全运行和舒适体验有直接关系,踏面缺陷问题成为严重影响列车行驶安全的因素之一。由于传统人工定期检测方式会导致大量误检和漏检,无法满足庞大的列车线路运维的现实需求。所以,迫切需要一种科学且高效的智能识别方法保证列车的平稳安全运营。为此,论文对基于改进脉冲神经网络的识别方法开展深入的理论研究和实验研究,以实现对列车踏面缺陷图像的智能识别。论文主要研究工作如下: (1)针对传统的轮对踏面缺陷识别方法存在识别效率和准确率较低等问题,提出了基于Spiking-Res Net多类别踏面缺陷识别方法。首先,建立轮对踏面多类别缺陷图像数据集并预处理,利用泊松编码实现缺陷图像脉冲转换。然后,利用脉冲神经元构建网络的卷积层、池化层、全连接层,使其自动地对稀疏的脉冲序列进行特征提取并输出结果。最后,用替代梯度反向传播算法进行网络训练。实验结果表明,该方法能够有效地对踏面缺陷进行识别。 (2)针对多类踏面缺陷识别任务中识别精度和速度的平衡问题,提出基于多尺度残差脉冲神经网络的快速识别方法。首先,通过混合卷积编码能自适应的实现图像与脉冲之间的转换。然后,通过改进残差块中的卷积连接方式提高不同尺度缺陷的识别精度,同时引入SE模块自适应地增强四维脉冲特征图中的有用特征通道。最后,将该方法进行模型训练和精度测试,并在同一自建数据集和公共数据集下与其他轻量级网络对比。实验结果表明,该方法能够在保持一定精度前提下大幅提升速度,实现对多类踏面缺陷的实时快速识别。 (3)针对样本数量不平衡导致模型识别效果差问题,提出了基于注意力特征融合网络的不平衡踏面缺陷识别方法。首先,利用EPSA-Res Net充分提取踏面缺陷特征,设计一种交叉注意力特征融合模块对缺陷的高、低层特征进行相互校准融合,有效利用缺陷浅层语义特征。同时引入焦点损失函数提高了少数类缺陷样本的识别率。最后,在不平衡数据集上进行实验,研究结果表明,该方法能有效提高模型的识别精度。并且能够在保证整体样本识别能力的基础上,对少数类缺陷也有较高准确率。

关键词： 耦合神经网络   灵活脉冲   稳定与同步   时滞   平均脉冲  

摘要： 耦合神经网络作为人工神经网络的一个重要组成部分,是为了模仿人脑的构造,以获得优秀的生物系统性能。在许多实际情况下,网络系统时滞和控制过程中的时滞是不可避免的,同时现实中时滞是灵活多变的,但在现有的大多数研究中,时滞却总是有着诸多保守的限制性条件。因此,本文对灵活脉冲控制下耦合神经网络的同步性及稳定性进行了研究分析。论文的主要内容如下:(1)研究了基于灵活脉冲控制的耦合神经网络的同步问题。首先建立了具有时滞脉冲控制下的新型耦合神经网络模型,模型中的脉冲时滞可以超过一个或多个脉冲区间,称为灵活脉冲。接着提出了反同步脉冲和同步脉冲两类脉冲,并结合平均脉冲间隔和平均脉冲时滞方法,分别得到了两类脉冲控制下系统全局指数同步的充分条件。最后通过数值仿真分析了两类脉冲对系统同步的影响。(2)研究了灵活事件触发脉冲控制下耦合神经网络系统的同步及稳定问题。考虑到事件触发机制产生脉冲和脉冲实际作用之间存在的驱动传输时滞,本文设计了一种新型的事件触发反馈脉冲机制,使得控制器能够根据相应时滞,及时调整事件触发控制器的脉冲生成时间,从而修正实际的脉冲控制时间,从而更好地控制系统。根据脉冲增益的大小将脉冲分为不稳定脉冲和稳定脉冲,同时基于脉冲增益提出了平均脉冲增益方法,并将平均脉冲增益方法与平均脉冲间隔方法和平均脉冲时滞方法结合起来,获得了系统全局指数同步和稳定的充分条件。最后并通过数值仿真验证了所提出的控制策略的有效性。

关键词： 类淋巴系统   脑小血管疾病   血脑屏障   神经炎症  

摘要： 脑小血管病（cerebral small vessel disease,CSVD）是一组以微小血管受损为特征的神经系统疾病，包括多种脑血管病理改变，如微小动脉硬化、微小动脉炎症、微小动脉闭塞、微小出血等。CSVD可导致神经功能受损、脑缺血、脑出血、白质病变、脑血管疾病进展等，严重危害人类健康。类淋巴系统（glymphatic system,GS）是一种新近发现的神经系统清理机制，与脑内代谢废物清除有关。GS功能是通过脑脊液和间质液之间的流动来清除脑内代谢产物。越来越多证据表明GS与CSVD发展密切相关，GS很有可能成为诊断及治疗CSVD潜在手段。该文就GS与CSVD之间的潜在关系进行综述。

关键词： 功能磁共振成像   多脑区脉冲神经网络   现场可编程门阵列   鲁棒性   突触可塑性   复杂网络结构  

摘要： 复杂电磁环境对神经形态硬件的正常功能造成影响,实现在复杂电磁环境下具有鲁棒性的神经形态硬件具有重要意义。硬件类脑模型目前存在神经元模型单一、缺乏生物可解释性及实现精度低的问题。借鉴生物脑有自适应调节能力的优势,本文基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)实现了功能磁共振成像(functional Magnetic Resonance Imaging,fMRI)多脑区脉冲神经网络,研究了网络在噪声环境下的鲁棒性,并进一步分析了网络鲁棒性机理。本文为神经形态硬件在电磁环境下鲁棒机制研究提供了新思路。本文的主要工作如下: (1)基于FPGA的fMRI多脑区脉冲神经网络构建。为了实现高拟合精度且具有生物可解释性的硬件类脑模型,本文以fMRI脑功能网络为拓扑,以使用四阶龙格库塔法实现的Izhikevich神经元模块、前额叶神经元模块和海马神经元模块为节点,以兴奋性和抑制性突触共同调节的突触可塑性模块为边,基于FPGA实现了fMRI多脑区脉冲神经网络,且其神经元模块和突触可塑性模块与软件仿真结果高度拟合。 (2)基于FPGA的fMRI多脑区脉冲神经网络鲁棒研究。为了研究硬件类脑模型在噪声环境下的鲁棒性,本文探讨了fMRI多脑区脉冲神经网络在外界噪声和神经元损伤下的鲁棒性,并阐明了它的信息处理过程,建立了网络鲁棒性与内在动态演化的关系。研究结果表明:基于FPGA的fMRI多脑区脉冲神经网络在外界噪声和神经元损伤下具有较好的鲁棒性;网络信息处理过程是神经元放电、突触权重动态调节和网络拓扑特征演化的链式反应;提示了网络具有鲁棒性的内在因素是突触可塑性。 (3)基于FPGA的不同拓扑脉冲神经网络鲁棒性能对比分析。为了研究多脑区结构以及拓扑结构对硬件类脑模型鲁棒性能的影响,本文将基于FPGA的fMRI多脑区脉冲神经网络与基于FPGA的fMRI非多脑区脉冲神经网络、小世界脉冲神经网络和无标度脉冲神经网络的鲁棒性能进行比较,并进一步分析鲁棒性能存在差异的原因。研究结果表明:基于FPGA的fMRI多脑区脉冲神经网络在外界噪声和神经元损伤下的鲁棒性能高于其他三种硬件类脑模型;基于网络动态拓扑特征分析结果提示,多脑区功能协同和网络拓扑结构是影响脉冲神经网络鲁棒性能水平的重要因素。