课程文献中心 更多>>

关键词： 脉冲神经网络   神经网络   类脑计算   神经形态计算   深度学习   人工通用智能  

摘要： 近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.

关键词： 神经形态晶片   脉冲神经网络   测试样本生成   对抗式攻击  

摘要： 随着机器学习的兴起，许多物联网装置使用到 AI 技术。然而，运行机器学习需要大量的计算，导致装置的高功耗，而物联网装置通常拥有功耗的限制。为了满足边缘设备的功耗限制，仿生神经形态晶片成为热门话题，因而需求倍增。于是，高效的制造测试成为一个问题。传统测试方法无法应用在神经形态晶片上面，因为有一些神经形态晶片没有扫描链。然而，传统的神经形态晶片功能测试存在测试长度长、错误覆盖率低的问题。在这项研究中，我们提出了一种具有行为错误模型的基于机器学习的测试样本生成技术。我们使用对抗式攻击的概念来生成高效的测试样本，以减少现有功能测试模式的测试长度和提高其错误覆盖率。我们在 MNIST 上训练的两种不同的脉冲神经网络模型上证明了所提出技术的有效性。与传统的功能测试相比，我们提出的 ATPG 技术将测试长度减少了 3,750 倍到 4,784 倍，并且在三个神经元错误模型和一个突触错误模型提高了 14.38% 到 56.5% 的错误覆盖率。而我们的技术不只适用于脉冲神经网络，也适用于其他机器学习模型。最后，我们提出了一种方法来解决突触错误模型的可扩展性问题，与对所有突触错误进行 ATPG 相比，运行时间减少了 25.7 倍。

关键词： 脑类淋巴功能   脑小血管病   白质高信号   腔隙   微出血   白质高信号进展   认知功能下降   扩大的血管周围间隙  

摘要： 第一部分脑小血管病患者脑类淋巴功能与白质高信号关系的横断面研究目的:明确脑小血管病(cerebral small vessel disease,cSVD)患者脑类淋巴功能与白质高信号(white matter hyperintensities,WMH)体积的相关性。方法:回顾性分析我中心2010年1月至2020年12月前瞻性收集的cSVD患者的临床资料和影像数据。对磁敏感加权成像(susceptibility weighted imaging,SWI)和弥散张量成像(diffusion tensor imaging,DTI)的图像进行后处理,计算得到髓静脉周围间隙弥散指数(index for diffusivity along the perivascular space,ALPS-index),ALPS指数低反映脑类淋巴清除功能下降。分别基于T2加权或液体衰减反转恢复序列(fluid attenuated inversion recovery,Flair)、SWI幅值图评估腔隙、微出血的存在与否及个数。在T2 Flair上分割并定量计算得到WMH体积。使用Pearson相关分析和线性回归分析来评估ALPS指数与WMH体积的关系。结果:共纳入724例cSVD患者,平均年龄61.76±9.46岁,女性348例(48.1%)。平均WMH体积为20.72±26.83 ml,206例(28.5%)存在腔隙,202例(27.9%)存在微出血,平均ALPS指数为1.39±0.19。单因素分析发现,ALPS指数低者年龄更大,女性比例更低,高血压病和糖尿病比例更高,腔隙、微出血以及WMH更严重(所有P值<0.05)。矫正性别、饮酒史、高血压病和糖尿病后,年龄大与ALPS指数低独立相关(P值<0.001)。单因素分析发现,WMH体积高者年龄更大,高血压病比例更高,微出血、腔隙更严重,ALPS指数更低(所有P值<0.05)。多因素分析发现,矫正年龄、饮酒史、高血压病、存在腔隙/存在微出血/腔隙个数/微出血个数后,ALPS指数低与WMH体积高独立相关(所有P值<0.001)。结论:随着年龄增加,脑类淋巴清除功能下降,脑小血管病患者脑类淋巴功能与白质高信号体积有关。第二部分脑类淋巴功能与白质高信号进展及认知功能关系的纵向研究第一节脑类淋巴功能对白质高信号进展的影响目的:明确cSVD患者脑类淋巴功能与WMH进展的关系。方法:纳入2010年1月至2020年12月前瞻性收集的完成了基线及间隔1.5年随访的多模式磁共振检查(包括三维T1加权、T2 Flair、SWI、DTI)的cSVD患者。对SWI和DTI的图像进行后处理,计算得到ALPS指数,ALPS指数低反映脑类淋巴清除功能下降。分别基于T2 Flair和SWI幅值图评估腔隙、微出血的存在与否及个数。在T2 Flair上分割并定量计算得到WMH体积。WMH进展定义为随访WMH体积超过基线WMH体积。结果:共纳入201例cSVD患者,平均年龄63.09±9.39岁,女性94例(46.8%)。平均随访时间间隔为16.3±7.0个月。基线WMH体积为25.91±23.83 ml,随访WMH体积为28.43±25.98 ml,140例(69.6%)发生WMH进展。单因素分析发现,基线ALPS指数低与WMH进展显著相关(进展组vs非进展组1.34±0.15 vs1.45±0.13,P<0.001)。矫正年龄、基线WMH体积/存在腔隙/存在微出血/腔隙个数/微出血个数后,基线ALPS指数与WMH进展独立相关(所有P值<0.05)。基线WMH体积与随访ALPS指数无显著相关性(P值>0.05)。结论:脑小血管病患者脑类淋巴功能与白质高信号进展有关。第二节白质高信号进展对认知功能的影响目的:探究cSVD患者WMH进展与认知功能下降的关系。方法:纳入2010年1月至2020年12月前瞻性收集的完成了基线及间隔1.5年随访的多模式磁共振检查(包括三维T1加权、T2-Flair、SWI、DTI)及认知功能评定的cSVD患者。对SWI和DTI进行后处理,计算得到ALPS指数,ALPS低代表脑类淋巴清除功能下降。认知功能评定采用简易智力状态检查量表(MMSE),认知功能下降定义为MMSE下降≥2分。WMH进展率定义为(随访WMH体积-基线WMH体积)/随访时间间隔。结果:共纳入164例cSVD患者,平均年龄为62.47±9.42岁,女性72例(44.1%)。平均WMH进展率为0.18±0.24 ml/月。51例(31.1%)患者出现认知功能下降。基线WMH体积与基线MMSE评分显著相关(Pearson r=-0.226,P=0.002)。矫正年龄、受教育年限后,基线WMH体积与基线MMSE评分独立相关(P值<0.05)。单因素分

摘要： 2月26日,清华大学公布一项名为"触发装置及类脑计算系统"的发明专利,该专利于2020年11月20日申请,申请公布号为CN112418412A。根据背景技术,大数据信息网络核智能移动设备的蓬勃发展产生了海量的非结构化信息,伴生了对这些信息的高能效处理需求的急剧增长。传统冯诺依曼架构芯片采用总线通信、同步、串行和集中的工作方式,遵循摩尔定律增加密度,预计在未来10到15年内微缩将到达物理极限,发展必将受到根本性限制。

关键词： 忆阻神经网络   指数同步   反馈控制   随机延迟脉冲  

摘要： 同步行为是忆阻神经网络系统中极其重要的动力学特征。在实际系统中,经常存在信号传输延迟以及外界干扰的情况,这种变化现象归结为时间延迟和脉冲效应。由于网络中时间延迟、脉冲和外加控制器的存在会对神经网络的同步行为有很大的影响。因此,基于时间延迟和外加控制器建立更符合现实世界的忆阻神经网络模型,并探究其同步动力学行为。本文将基于两种基本的控制器,构建忆阻神经网络模型。选择适当的Lyapunov函数,利用右端不连续系统理论、不等式放缩技巧和平均脉冲区间的概念,构建相应时滞忆阻神经网络模型的同步行为理论框架,且给出时滞忆阻神经网络实现指数同步所要满足的理论条件。本文的主要贡献内容如下:(1)针对反馈控制下时滞忆阻神经网络的指数同步问题,通过微分包含概念和集值映射理论转化时滞忆阻神经网络模型,并设计一个新的反馈控制器。另外,选取合适的Lyapunov函数用不等式放缩技巧给出网络达到指数同步的充分条件。(2)针对延迟脉冲对耦合时滞忆阻器神经网络同步的积极影响,假设脉冲序列具有Markovian性质,并且不总是稳定的,基于一个有用的不等式推导出在这种脉冲效应下的均方同步准则。可以看出,若随机脉冲在“平均”意义上是稳定的,那么它们就能起到脉冲控制器的作用。

关键词： 网格细胞模型   认知计算   认知地图  

摘要： 空间感知能力是动物与生俱来的一种天赋,动物通过这种能力可以完成位置估计、导航之类的工作。研究表明,网格细胞是与动物的空间感知能力密切相关的一种细胞。这种细胞位于动物脑内的内侧内嗅皮层(Medial Entorhinal Cortex,MEC),且它与海马体(Hippocampus)的位置细胞(Place Cell,PC)有着密切的联系。每个网格细胞的各个放电野组合呈现出一种六边形的排布,且越靠近每个放电野的中心,网格细胞有着越高的发放频率。同时,已有研究表明,网格细胞能够完成路径积分、空间度量和向量导航等功能。网格细胞的放电模式和功能特性促进了人们对网格细胞的研究。通过对网格细胞进行建模和研究,既可以有助于探究真实网格细胞的性质,也可以触发一些对相关的问题的思考,加速认知计算的发展。目前的一些网格细胞模型虽然能产生六边形的放电模式,但是没有建立数学模型来实现路径积分的功能。而近年来也有网格细胞模型证明了网格细胞的度量特性,但是其网格细胞模型没有体现出网格细胞在相位上的不同。除此之外,现有的认知地图构建框架多是基于连续吸引子网络模型的,这类模型有着模型参数量大、位置细胞放电不规范、权重不收敛等问题。基于这些问题,本文改进并推广了基于平面波干涉的网格细胞模型,并使用该网格细胞模型完成了一个类脑认知地图构建系统。具体而言,本文的主要研究工作和贡献如下:·改进了基于平面波干涉的网格细胞模型:本文改进了一个已证明网格细胞度量特性的基于三角函数平面波干涉的网格细胞模型,使模型中的不同的网格细胞单元展现出不同的尺度、方向和相位。并通过数学证明和实验分析验证本文网格细胞模型的功能特性。·提出了不需要权重训练的网格细胞模型和几种人为生成网格细胞模型参数的方案:通过对网格细胞模型中网格细胞和位置细胞连接权重的分析,本文提出了一个不需要权重训练的基于平面波干涉的网格细胞模型。接着通过对训练后的网格细胞模型的参数进行分析,以及随机参数设定的结果的对比,本文提出了几种用于生成网格细胞模型参数的方案。通过这几种方案,可构建完全不用训练的网格细胞模型。其次,本文还验证了超参数中非正定单位矩阵C的有效性。·提出新的类脑认知地图构建系统:本文使用了基于平面波干涉的网格细胞模型构造了新的类脑认知地图构建系统。该类脑认知地图构建系统使用了仿脑的从内侧内嗅皮层到海马体的连接架构,并结合视觉判断以及脑内的修正完成了认知地图的构建。本文通过实验验证了该类脑建图系统的有效性,表明其能够基本完成认知地图的构建。

关键词： 秀丽线虫   生物神经系统   脉冲神经网络   遗传算法   行为建模  

摘要： 秀丽线虫具有生命周期短、神经结构规模小、行为丰富等实验优势,是一种简单且理想的模式生物。经过数十年的研究,秀丽线虫神经系统中全部神经元和完整神经系统的连接图谱已经被详细描述。但是目前秀丽线虫神经系统的很多电生理学数据依然缺失,比如突触的兴奋与抑制性、连接强度,这也是利用其解剖模型进行行为建模和分析的主要障碍之一。本文利用脉冲神经元和秀丽线虫的生物神经系统架构,构建秀丽线虫脉冲神经网络模型,并利用改进后的遗传算法优化网络参数,实现轻触应激行为和趋化行为,可为研究秀丽线虫神经系统产生行为的机理提供参考。本文具体工作如下:1.对秀丽线虫神经系统建模的常见方法是使用前馈人工神经网络模型或者与线虫特定行为相关的局部神经系统模型,这些模型无论在神经元特性还是网络拓扑结构上都不符合生物神经系统的特性,并且对局部神经网络的建模不能体现线虫神经系统的交叉连通性。此外,越来越多的生物研究发现了线虫神经元能够发放动作电位的证据。因此,本文基于秀丽线虫的生物神经系统,采用脉冲神经元模型,构建秀丽线虫脉冲神经网络模型。模型中神经元之间的连接关系完全按照真实线虫的神经系统架构,包含302个神经元和全部突触连接。将神经元之间的双向连接分为两个单独的单向连接,则该模型共有5907个未知的神经元连接系数。该脉冲神经网络模型含有大量的反馈连接和长短程连接,拓扑结构与秀丽线虫神经系统保持一致,并且神经元模型符合生物神经元动态变化的特性,因此本文构建的网络模型与真实线虫的神经系统有更高的相似度。2.将秀丽线虫受到的环境刺激模拟为上述脉冲神经网络模型的输入序列,将线虫受到环境刺激所产生的运动模拟为该脉冲神经网络模型的目标输出序列,秀丽线虫的行为可以通过该脉冲神经网络模型的输入序列和目标输出序列表示。通过上述方法,本文分别对秀丽线虫的轻触应激行为和趋化行为进行建模。通过改进后的遗传算法优化秀丽线虫脉冲神经网络模型的参数,使网络的实际输出序列拟合目标输出序列。最终使得该秀丽线虫脉冲神经网络模型能够模拟这两种线虫行为。3.上述脉冲神经网络模型对线虫行为的学习过程可以理解为该模型的参数优化过程。由于该脉冲神经网络模型不是具有层级结构的前馈神经网络模型,无法通过按层反向传播误差的梯度对模型参数进行优化。经典的遗传算法适用于任何模型的参数优化,由于遗传算法的交叉操作在神经网络模型的参数优化过程中趋于破坏已经发现的特征,所以使用交叉概率不断衰减的遗传算法对该模型的5907个参数进行优化。本文通过实验论证上述参数优化方法的可行性。

关键词： 医学图像分割   核磁共振成像   脉冲耦合神经网络   萤火虫算法  

摘要： 医生在诊断过程中往往需要医学图像的辅助,准确的医学分割图像对医生诊断病情、制定一些疾病的治疗方案具有重要意义。核磁共振成像是目前应用最为广泛的脑部成像手段之一,但其特殊的传输方式会导致图像受到混合噪声的干扰,且由于图像自身对比度低,内部组织形状不定,分离病灶部位与正常组织变得更加困难。为了设计一种满足临床医学实际需求的MRI脑部图像自动分割算法,本文利用哈佛大学医学院图像库中的MRI图像,从去噪和分割两个方面对获取图像进行了深入的研究处理,取得了较好的效果。本文工作总结如下:首先,为了去除噪声干扰,使用改进小波变换算法对MRI脑部图像进行去噪。在低频部分,根据小波系数分布情况设置阈值对小波信号进行信噪分离,并对非目标区域的小波系数进行弱化滤波处理。在高频部分,通过自适应阈值函数对系数进行处理。实验结果表明,与医学图像中常用的去噪算法相比,改进去噪算法取得了更优的视觉效果和去噪效果评价参数。然后,为确保分割的效果与实时性,本文采用PCNN模型对MRI脑部图像进行分割,并使用改进GSO算法进行参数寻优。改进GSO算法引入了自适应步长的概念,使个体萤火虫的步长可以随着迭代次数自动调整。同时,算法标记了种群最优值,并对每次迭代过程中的萤火虫进行了分类,根据萤火虫所属类型将个体移动方式设置为三种。最后,为了使改进GSO算法可以成功的应用于MRI脑部图像中,本文在萤火虫迭代过程中,设定了合适的适应度函数规范萤火虫的移动。在对MRI脑部图像进行特征分析之后,本文列出了图像中常用的评价指标参数。为了消除因单一指标导致图像分割不准确的现象,通过对比实验,将两项指标的加权和确定为最终的适应度函数。完成萤火虫算法与适应度函数的改进后,对去噪后的MRI图像进行了分割实验。通过对群智能算法专用测试函数进行的寻优实验结果证明,改进GSO算法在寻优性与收敛性上均优于其他用于对比的群智能算法,具有不易陷入局部最优解的优势。与MRI图像中其他常用的分割方法相比,本文提出的改进算法在保留图像内部边缘特征的同时,有效地减少了过分割现象的出现,取得了较好的分割效果。

关键词： 脉冲神经网络   局部变量   在线监督学习算法   脉冲时间依赖可塑性   脑电信号  

摘要： 脉冲神经网络比传统的人工神经网络更加符合生物神经系统要求,适用于大脑神经信号的研究分析,同时具有强大的计算能力。因此,脉冲神经网络的相关研究与应用得到了越来越多的关注。但脑神经科学存在一个核心问题,即大脑通过什么方式来实现真实、有效的学习?针对这一问题,目前突触可塑性机制是大家普遍比较接受的方式。近年来,神经生理学研究表明,突触权值的变化与神经元发放脉冲的精确时间紧密相关,这种规律可以被称为脉冲时间依赖可塑性(Spike Timing Dependent Plasticity,STDP)。然而,对于STDP学习机制,如果按照突触可塑性的一般性框架计算单个突触的变化,需要对其群体活动进行完整的测量和存储,这非常困难。另外,现实世界中我们获取的数据大多为实时性数据,需要通过在线学习方法才能更好的学习处理这些数据。因此,脉冲神经网络的一个重要研究趋势是构造具有高效性和广泛适用性的在线监督学习算法。本文介绍了突触可塑性机制、STDP学习规则以及基于脉冲对的STDP规则相关概念及主要思想,为算法公式的成功推导提供理论支撑,也为之后提出基于局部变量STDP的脉冲神经网络在线监督学习算法奠定了理论基础,主要工作如下:(1)采用脉冲响应神经元模型,根据Widrow-Hoff规则和STDP学习规则,提出了基于局部变量STDP的脉冲神经元突触权值在线监督学习算法。通过一系列脉冲序列学习任务对所提算法进行实验分析,选取不同参数设置分析其对学习性能的影响,同时将所提出的算法与在线PSD、ReSuMe和STIPLR学习算法进行了比较和讨论。实验结果表明,基于局部变量STDP的脉冲神经元在线监督学习算法能更有效地调节突触权值,提高学习性能。(2)提出了基于局部变量STDP的脉冲神经网络在线监督学习算法,并详细介绍了EEG脑电信号的脉冲序列编码方法,同时将所提学习算法应用于基于EEG数据的癫痫分类实验中以验证算法的有效性,并与一些传统特征提取方法分类结果进行比较。实验结果表明,所提学习算法具有不错的分类精确度。

关键词： 图像融合   脉冲耦合神经网络   正弦余弦算法   离散余弦变换  

摘要： 图像融合作为一种重要的增强技术,其涉及的图像处理算法多种多样,脉冲耦合神经网络与离散余弦变换都有较多的应用。由于脉冲耦合神经网络方法继承了哺乳动物视觉皮层的特征,模型参数代表了神经元的属性。脉冲耦合神经网络参数的抽象性,使得难以建立神经元属性和图像结果之间的关系。目前大多数基于离散余弦变换理论的融合算法依赖于图像块尺寸。图像块的尺寸多变,一般方法是通过计算不同尺寸下的融合性能,然后根据最佳性能指标选择融合图像,但这种方案降低了融合方法的鲁棒性。本文针对以上两个问题提出了基于脉冲耦合神经网络和离散余弦变换的图像融合算法。针对脉冲耦合神经网络参数抽象性问题,分析了脉冲耦合神经网络模型的周期性现象,通过对脉冲耦合神经网络模型的推导,计算了不同迭代次数对应的馈入输入表达式以及动态阈值表达式,分析了不同时间点火的像素带的像素值范围,最终找到了脉冲耦合神经网络周期性出现的原因以及像素值对于脉冲耦合神经网络周期性的影响,并且通过实验验证了理论推导的正确性。在脉冲耦合神经网络周期性理论分析的基础上,分析了脉冲耦合神经网络参数设置复杂多变的问题,结合了输入信息改进传统的脉冲耦合神经网络框架,确定输入信息与脉冲耦合神经网络参数之间的关系,并将正弦-余弦算法引进脉冲耦合神经网络,分析正弦-余弦算法在脉冲耦合神经网络参数求解问题上的收敛性,提出基于目标优化的脉冲耦合神经网络,降低网络参数设置的工作量。针对基于离散余弦变换的融合算法依赖于图像块尺寸的问题,分析了离散余弦变换的基本理论以及基于块方法的缺陷,通过低通滤波获取基础图像和细节图像,再通过不同的融合策略分别进行融合,对融合后的细节图像与融合后的基础图像进行反变换,并结合基于目标优化的脉冲耦合神经网络获得最后的融合图像,以摆脱基于离散余弦变换图像融合方法对图像块尺寸的依赖。