课程文献中心 更多>>

关键词： 类脑芯片   电磁兼容   信号完整性   人工智能   电子设计自动化  

摘要： 人工智能目前处于第三次高速发展期,人工智能算法的发展离不开其物理基础——类脑芯片。类脑芯片特殊的传输信号和电路架构,将引起全新的电磁完整性问题。传统的自动化设计软件无法适用于类脑芯片,针对类脑芯片的新型模拟及设计技术和方法亟待开发。在类脑芯片发展前期加入电磁完整性的研究具有重要的科学价值和广泛的工业应用前景。

关键词： 脉冲神经网络   监督学习算法   PBSNLR   权重调节参数   动态阈值  

摘要： 人工神经网络是人工智能科学蓬勃发展进程中一个热门的研究领域。脉冲神经网络是一种基于脉冲时序编码的新兴人工神经网络模型,这种以精确脉冲时间进行信息表达的方式比传统的频率编码更能准确解释生物大脑的信息处理机制,且易于硬件实现。但因为脉冲神经网络在信息编码、神经元模型、网络结构等方面都具有鲜明的自身特点,所以无法直接利用传统神经网络中的算法进行模型训练。现在,由于综合高效的学习算法的缺失,脉冲神经网络强大的时空信息处理能力暂时还未得到有效利用,也无法对其进行大规模的推广应用。本文通过对典型脉冲神经网络典型的监督学习算法进行研究与分析,特别是对基于膜电压驱动的PBSNLR算法学习机制进行了深入探究,对脉冲神经网络更高效、准确、鲁棒的监督学习机制进行了探索。论文的主要研究内容和工作如下:1)提出了一种多参数控制权重调节的Multi-parameter PBSNLR算法。PBSNLR算法本身属于基于膜电压驱动的算法,所以通过引入膜电压与阈值间的距离作为权重调节规则的动态参数,可以有效改变算法在训练过程中权重调整幅度单一带来的问题。经过实验证明,Multi-parameter PBSNLR算法能准确的学习到目标脉冲信号,而且相较于传统PBSNLR算法而言,具有更高的学习效率。2)提出了一种全新的动态阈值训练策略和一种鲁棒性更强、准确率更高的R-Multi-parameter PBSNLR算法。针对PBSNLR算法中存在的目标脉冲时刻附近的负样本可能被误分类的问题和Multi-parameter PBSNLR算法中阈值下拉可能导致膜电压积累不足的问题,对noise-threshold策略进行借鉴与改进,提出了一种在精细步长情况下依然适用的分时间段讨论的动态阈值策略。将改进后的动态阈值策略与Multi-parameter PBSNLR算法结合提出了R-Multi-parameter PBSNLR算法。实验表明,R-Multi-parameter PBSNLR算法具有更高的学习效率和准确率。3)通过将算法应用到经典的光学字符图片识别任务和疾病数据预测任务中,对比分析了多种典型的脉冲神经网络监督学习算法在真实应用场景中的表现,验证了R-Multi-parameter PBSNLR在真实应用场景中依然能保持较快的学习效率和较好的准确率,并且具备一定的抗噪性能,是一种具有高度实用性的监督学习算法。

关键词： 类脑计算   协同设计   脉冲神经网络   片上网络   性能模型  

摘要： 众所周知,人脑在信息处理方面有着极大的优势,仅需约20W的功耗就能同时完成推理、学习、控制及运动等诸多复杂任务。以深度学习为代表的人工智能通过简单借鉴脑系统层次结构与学习训练特性在图像识别、自然语言处理等众多领域取得了突破性进展,但距离达到人脑水平的类人智能还有很大差距。为了尽可能拉进两者距离,类脑计算提供了一种新的思路与途径,其核心为从神经网络算法与硬件结构两方面同时对脑神经系统进行模仿。前者通过借鉴大脑中时空关联特性来构建以脉冲为传递形式的脉冲神经网络;后者则模仿脑结构及其信息处理机制来构建基于片上网络的众核分布并行与存算一体化的类脑处理器。随着脉冲神经网络结构复杂度及其应用规模的不断增大,类脑处理器难以满足其大量的、并发的且复杂的片上脉冲数据交互需求。这将会扰乱脉冲间的时空关系,使得脉冲神经网络精度降低,同时对整个硬件系统的实时性产生影响。如何针对类脑计算应用快速设计出高效能的实时并行硬件系统已经成为了工业界和学术界高度关注的领域。为此,本文致力于基于片上网络的类脑处理器中软硬件协同设计与优化研究。针对脉冲神经网络结构与应用在不同硬件结构下的通信特性,开展了类脑处理器中片上网络通信系统的设计与优化研究。本文深入探索了基于片上网络的类脑处理器中众神经元核之间的通信效率、片上网络结构优化以及神经网络结构优化等软硬件层面的协同设计优化工作。通过设计高效的映射算法以及SNN/NoC软硬件协同设计框架来充分挖掘片上网络结构以及脉冲神经网络结构中的并行性并优化片上通信性能,为软硬件设计目标兼顾的片上通信系统提供设计指导。同时,为充分考虑脉冲神经网络在片上网络上的实时通信特性以及加速协同设计中设计空间的探索,本文还对类脑处理器中的通信以及计算过程进行了理论分析建模,以期实现快速的硬件设计方案评估。论文的主要工作和创新点如下:·本文提出了一个名为SNEAP的脉冲神经网络映射工具链。该工具链通过对脉冲神经网络在基于片上网络的类脑处理器上的通信行为分析来优化脉冲通信任务划分以及通信资源的映射。SNEAP中的划分和映射两个子工具将分别从核间通信量以及通信距离对片上通信性能进行优化。对于划分工具,本文使用多级图划分算法在有限硬件资源约束下快速将脉冲神经网络划分为多个神经元簇并优化核间的脉冲通信量;对于映射工具,本文使用启发式算法将神经元簇映射到片上网络的神经元核上并优化整个平台的延迟和能耗。同时,本文通过将映射的优化目标从模拟器结果替换为可直接计算的平均通信距离,大幅减少了映射工具的执行时间。·本文提出了一个针对脉冲神经网络中液体状态机以及类脑处理器中片上网络结构的协同设计搜索框架。该框架通过启发式搜索算法快速挖掘复杂且巨大的软硬件组合设计空间,从而自动找到在LSM精度和片上网络性能与功耗等多设计目标之间折中的LSM/NoC结构设计方案。该框架克服了因软硬件设计空间叠加形成的高维且复杂的设计空间而带来的搜索难度,利用启发式算法自动对这样的空间进行快速搜索。同时,该框架拉近了软硬件设计之间了鸿沟,搜索出的LSM/NoC结构设计方案在软硬件设计目标上均有不错的表现。·本文提出了一种基于递归演算方法的通信延迟分析模型来对脉冲神经网络中每条脉冲数据流进行延迟上界的评估。具有实时性要求的脉冲神经网络在部署到基于片上网络的类脑处理器上之前,必须要保证每条脉冲数据流的延迟上界都不违背其时限约束。针对这样的需求,该模型可以对脉冲神经网络中每条脉冲数据流的通信行为进行理论分析,从而得出各数据流的延迟上界。本文所提出的模型能支持片上网络下不同的缓存结构,即无虚通道单FIFO缓存结构和虚通道通缓存结构。实验结果表明本文模型的延迟上界评估结果与片上网络模拟器结果相比误差在15%以内,并且比其他模型的结果更加精确。·本文提出了基于类脑处理器基础结构的性能评估框架。该框架的主体为硬件设计实例构造器和性能评估模型。硬件设计实例构造器将配置类脑处理器基础结构和神经网络/硬件结构参数来为目标脉冲神经网络生成硬件设计实例。性能评估模型通过将神经网络/硬件结构参数与各基础单元的评估结果相组合来快速评估硬件设计实例的延时、功耗以及面积。本文提出的类脑处理器性能评估框架是一种早期的设计空间探索工具,该模型能够在广阔的体系结构/微体系结构参数范围内执行快速的高维设计空间探索。通过与TrueNorth公开发布的性能数据比较,模型评估结果误差在8%以内。另外,本文还利用该框架对LSM进行了设计空间探索。实验结果表明通过优化硬件设计实例,可以在延时仅增加1%的情况下获得2.94倍的开销效率改进。

关键词： 脉冲神经网络   事件驱动   计算框架   有监督学习   生理合理性   音频分类  

摘要： 随着国家“中国制造2025”和大力攻坚人工智能技术战略方向的提出,人工智能技术在越来越多的领域发挥着越来越重要的作用。语音识别作为人工智能技术中重要的一环,对智能家居、同声传译、信息录入、人机交互等诸多应用场景有着极其重要的作用。然而,传统人工神经网络应用在语音识别上存在着计算功耗大、时域信号处理困难等问题。相比之下,脉冲神经网络在原理上更加接近实际生物神经网络,使用脉冲信号而非数值信号传递信息。事件驱动特性与专用计算芯片的存在使得脉冲神经网络能够以超低功耗完成计算。同时脉冲神经网络中存在时间这一维度,因而非常适合用于处理时域信息。因此,脉冲神经网络在音频信号的低功耗分类任务上有着独特的优势。此外,由于脉冲神经网络在很大程度上遵循生物神经网络的相关原理,对脉冲神经网络学习算法的研究在一定程度上可以反向推动神经科学及其相关领域的发展。但是,高效脉冲神经网络计算框架与生理合理的有监督学习规则的缺失限制着脉冲神经网络算法的发展。基于此,本课题致力于脉冲神经网络有监督学习算法的研究、其在音频信号处理上的应用以及高效计算框架的开发,具体研究内容包括:（1）设计开发了基于事件驱动的高效率高准确度脉冲神经网络计算框架。相比时钟驱动计算框架,该框架有着更高的计算准确度与速度,能够彻底解决时钟驱动计算框架中广泛存在的由于计算准确度与分辨率不足导致的侧向抑制失效问题。同时,凭借其事件驱动的特性,减少了时钟驱动计算框架中广泛存在的计算空载现象,在计算速度上相比后者有了明显的提升。（2）设计了基于关联学习的具有生理合理性的脉冲神经网络有监督学习规则。该规则参考动物训练过程中的条件反射与关联学习现象,符合赫布规则对神经元关系的描述,其关键部分得到了神经科学领域相关实验的验证,在生理上是合理的。同时将该规则成功应用于MNIST手写数字数据集以及IRIS鸢尾花数据集的分类任务上,实验结果证明了该规则的可行性与有效性。（3）设计了基于脉冲神经网络的音频分类网络,主要包含时-频域转换、空间特征提取与时间特征提取三个部分。并成功地将该分类网络应用于TIDIGITS数字音频数据集与自采数据的分类任务上,证明了具有生理合理性的脉冲神经网络在处理音频信号上的能力。这部分内容是对第三章计算框架和第四章学习规则的应用与验证。

关键词： 认知地图   路径整合   位置细胞   网格细胞   定位精度  

摘要： 针对同步定位与地图构建(simultaneous localization and mapping,SLAM)过程中定位精度较低和角度漂移等问题,受哺乳动物海马体空间认知机理的启发,提出一种构建多尺度网格细胞到位置细胞信息转换的仿生SLAM算法.首先,引入头方向细胞和条纹细胞感知自身运动信息,并生成多尺度网格细胞覆盖整个空间环境,减小由于角度偏移而产生的累计误差;其次,对于定位精度低问题,采用Hebb学习规则下的竞争型神经网络建立多尺度网格细胞到位置细胞的信息转换关系;最后,构建位置细胞与空间环境中不同地标的映射关系,通过选取最大放电率的位置细胞形成空间认知拓扑地图,实现移动机器人的自主定位.与RatSLAM和ORB-SLAM2在KITTI公开数据集上进行对比实验,结果表明,所提算法能够通过对位置信息进行编码实现未知环境中的自主定位和建图,同时,控制平移误差不超过1.50 m,旋转误差不高于1.0°.

关键词： 功能磁共振成像   脉冲神经网络   语音识别   突触可塑性   ReSuMe算法   病态类脑  

摘要： 脑科学和人工智能通过相互融合可实现具有自主认知能力的类脑智能。在模式识别领域广为使用的脉冲神经网络是目前最接近大脑的类脑计算模型,但其仍缺乏生物可解释性,尚处在感知水平的低智能阶段。因此本文基于功能磁共振成像(f MRI)构建了受生物脑结构约束的脉冲神经网络,并应用于语音识别,分析了影响该网络语音识别性能的内部参数,并深入探讨病态类脑在语音识别中的表现。本文主要工作如下:(1)构建受脑结构约束的脉冲神经网络。以基于fMRI构建的脑功能网络为拓扑,引入Izhikevich神经元模型和突触可塑性模型,构建了f MRI脉冲神经网络,对其进行动态演化分析。实验结果表明:随脉冲序列的输入,突触均值逐渐减小并趋于稳定,在突触可塑性模型的动态调节下,神经元间耦合程度逐渐减小,网络局部传输效率较为稳定,全局信息传输效率降低后趋于稳定,小世界属性较为稳定。(2)将f MRI脉冲神经网络应用于语音识别。分析了该网络对输入语音的放电响应和基于Re Su Me算法训练输出权重的过程,对比分析了受脑结构约束和一般随机连接的脉冲神经网络的语音识别性能。实验结果表明:受脑结构约束的脉冲神经网络在语音识别中具有良好的表现,且其识别性能优于随机连接的脉冲神经网络。(3)探究影响脉冲神经网络语音识别性能的内部参数。从网络规模和突触时滞两个角度分析了网络的语音识别性能,并进一步讨论了具有时滞的突触特性变化。实验结果表明:在一定范围内,规模大的脉冲神经网络的语音识别性能优于规模小的脉冲神经网络;具有突触时滞的脉冲神经网络的语音识别性能明显优于无突触时滞的脉冲神经网络;有突触时滞的脉冲神经网络在语音输入过程中的突触权重动态变化与神经元放电响应显著相关,且其相关性高于无突触时滞的脉冲神经网络。(4)深入探讨病态类脑模型在语音识别中的表现。基于不同程度阿尔兹海默病(AD)患者的f MRI构建了受脑结构约束的病态脉冲神经网络,对比分析了病态和健康态脉冲神经网络的语音识别性能。实验结果表明:受脑结构约束的病态脉冲神经网络的语音识别性能明显差于健康态脉冲神经网络,生成网络拓扑的f MRI所属患者的病情越严重,网络的语音识别性能越差;相对于健康态脉冲神经网络,病态脉冲神经网络在输入语音信号过程的信息传输效率和小世界属性较差。该结论进一步说明了受脑结构约束的脉冲神经网络是类脑智能的创新型进展,符合人工智能发展的前沿趋势。

关键词： 软件缺陷预测   脉冲神经网络   软件质量评估   分类技术   迁移学习  

摘要： 伴随着科技的快速发展,软件的复杂度和规模较之前有了明显的增加,同时,软件开发阶段中出现缺陷的概率也有所增加。软件缺陷会导致很多问题的出现,下至运行时出错,上至危及用户的财产安全。软件缺陷预测方法,在软件测试资源、开发成本以及软件质量等方面都起到了重要的作用。如今,软件缺陷预测技术成为了软件工程领域研究的热点之一,它的目的是在缺陷被发现之前预测容易产生缺陷的软件模块。软件缺陷预测可以用来更好地确定软件质量保证工作的优先级。脉冲神经网络利用更具生物可解释性的精确定时的时间编码方式,对信息进行编码,适用于大脑神经信号的研究分析,能够对复杂时空信息进行有效的处理。本文围绕软件缺陷预测领域的热点话题展开研究,并构建出基于脉冲神经网络的软件预测缺陷方法,具体研究如下:(1)针对同项目软件缺陷预测问题,提出了一种基于脉冲神经网络的同项目缺陷预测方法,利用前馈神经网络进行预测模型的构建,并用脉冲序列内积算法进行网络模型的训练。具体步骤如下:将源数据进行归一化处理之后,采用线性编码方式对数据进行编码,每个实例数据被编码成一个脉冲序列并对应到每一个输入神经元,之后进行训练学习,最后解码之后输出预测结果。在5个数据集的28个项目上进行了基于脉冲神经网络的同项目软件缺陷预测,常用的四个性能评价指标上的结果对比显示:在和BP神经网络模型的对比实验中,脉冲神经网络模型的预测性能明显更加良好。(2)针对跨项目软件缺陷预测问题,提出了一种基于迁移学习的脉冲神经网络软件缺陷预测方法,利用迁移学习相关技术把训练集数据和测试集数据映射到一个高维非线性的核空间里面,再投影到一个公共子空间。这样做的目的就是保证训练集和测试集间的数据分布可以保持着高度的相似性,从而使得数据线性不可分的问题得到有效解决。此外还把代价敏感学习技术加到迁移学习的过程里,将测试集数据中不同标签类别定义成不一样的代价权重,有效地处理了数据集的类不平衡问题。在公开的5个数据集的28个项目上进行实验,和不同的分类器进行了对比实验,实验结果验证了脉冲神经网络模型方法对于软件缺陷预测的有效性,证明了脉冲神经网络在跨项目软件缺陷预测当中的优势。综合实验结果可以证明本文提出的基于脉冲神经网络的软件缺陷预测方法具有一定的研究意义和实用价值。

关键词： 脉冲神经网络   脉冲编码   无监督学习   图像分类  

摘要： 近年来,随着人工智能的不断发展,深度神经网络的模型越来越复杂,对计算和存储的要求也越来越高,这一发展现状对资源有限的硬件平台是一个巨大的挑战。而受神经形态计算启发的脉冲神经网络(Spiking Neural Network,SNN)通过模拟生物神经元的动态放电特性,采用基于事件驱动的处理模式可以使其以更低的功耗实现更高的计算效率。然而,由于目前SNN没有高效的学习算法和网络结构,造成在实际应用中性能表现差的问题。另外,不合理的脉冲编码方法也会影响到SNN学习的效果。针对以上两个问题,本文主要研究了SNN网络的脉冲编码方法和类脑的无监督学习算法。首先,针对SNN的编码方法进行了研究。由于常用频率编码方法带来的随机性会使单个脉冲携带信息的精确度不高,因此本文主要针对时间编码方法进行研究和改进。又因为首脉冲时间编码方法产生的脉冲过于稀疏,所以本文将其结合图像像素的差异性设计了一种新的时间编码方法——差异延迟编码。先通过首脉冲时间编码方法将图像中的每个像素点都转换为一个个精确的脉冲时间,然后再利用欧氏距离求得中心像素点与其8邻域内其它像素点的差异性,并将其作为延迟时间整合到8邻域内其它像素点的首脉冲时间上,最后将整合后的时间一一映射到中心像素的脉冲序列上。差异延迟编码方法将图像的像素信息转换为时间精确的脉冲序列,从而可以提高网络的稳定性。其次,在学习算法上根据视觉通路中神经元感受野的学习原理和连接结构,构建了一个基于脉冲时间依赖可塑性(Spike-Timing Dependent Plasticity,STDP)学习规则的SNN网络。由于STDP属于局部无监督学习算法,单独使用时学习效果不好,所以本文通过引入侧抑制机制使学习层中的神经元之间形成竞争关系。本文使用两种方法构建该侧抑制结构,一种是基于WTA算法的抑制强度不变的结构,一种是基于SOM算法的抑制强度随距离改变的结构。通过这种侧抑制结构使学习层中的突触权值可以有向地根据三脉冲STDP算法进行修正。最后利用MNIST数据集对构建的SNN网络进行了实验验证,实验结果表明STDP结合侧抑制结构可以改善网络的学习效果,提高网络的分类性能。

关键词： FPGA   脉冲神经网络   小世界网络   抗扰功能   突触可塑性  

摘要： 随着工业信息化程度的不断发展,各种军用和民用装备所释放电磁波在“空域”上纵横交错,在“时域”上持续不断,在“频域”上密集重叠,形成了复杂的电磁环境,传统电磁防护方法面临新挑战。在电磁仿生防护背景下,通过借鉴生物神经系统自组织、自适应和自修复等优势,构建更具生物可解释性的脉冲神经网络进行自适应抗干扰的鲁棒功能研究探索电磁防护新思路具有重要意义。相比神经网络软件实现方法,FPGA实现拥有处理速度快,并行性高,满足实时运算,适用于嵌入式场合等优点。故本文构建了更具生物可解释性的FPGA小世界脉冲神经网络;分析了网络在突触可塑性调节下的动态演化;研究了高斯、脉冲以及电场噪声下网络抗扰功能;进行了网络抗扰功能机理分析,为电磁仿生防护提供理论基础。本文主要工作如下:1、基于FPGA的小世界脉冲神经网络构建。本文以基于FPGA实现的Izhikevich神经元模型为点,基于FPGA实现的兴奋与抑制共存的突触可塑性模型为边,构建了小世界拓扑的脉冲神经网络。实验结果表明:基于FPGA的神经元模型放电行为以及突触模型权值演化过程均与软件计算结果高度符合,且FPGA模型为微秒级数据处理速度比软件提高一个数量级。2、FPGA小世界脉冲神经网络动态演化分析。本文分析了复杂网络特性以及突触均值随时间的动态演化过程。实验结果表明:网络特性参数随时间先剧烈变化后逐渐稳定;突触均值随时间先剧烈且大幅下降,而后减小幅度趋缓并逐渐稳定,说明突触可塑性基本完成对网络的动态调节。3、FPGA小世界脉冲神经网络抗扰功能研究。针对高斯、脉冲和电场噪声,本文基于放电率相对变化率以及膜电位相关性研究了不同噪声下FPGA小世界脉冲神经网络抗扰功能,并且与随机以及规则拓扑FPGA脉冲神经网络进行了对比。实验结果表明:FPGA小世界脉冲神经网络在三种噪声各自一定的噪声强度范围内均具有一定的抗扰功能,且抗扰功能优于随机和规则拓扑的FPGA脉冲神经网络。4、FPGA小世界脉冲神经网络抗扰功能机理分析。本文揭示了噪声下FPGA网络神经信息处理过程;建立了FPGA网络抗扰功能与其内在动态演化过程之间的关系。实验结果表明:FPGA网络神经信息处理过程是神经元放电、突触权重和平均聚类系数动态演化的链式反应;网络抗扰功能和突触动态调节显著相关,提示突触可塑性是FPGA网络抗扰功能的内在因素。