课程文献中心 更多>>

关键词： 脉冲神经网络   并行计算   FPGA   OpenCL  

摘要： 相比于其他传统人工神经网络的计算单元,通过对生物大脑中的神经系统信息进行模拟,脉冲神经网络所模拟的神经元在结构与其工作机制等各个方面更加具有仿生性,被誉为“第三代人工神经网络”。自脉冲神经网络理论首次提出以来,对其合理实现的研究和实践成为了一个热门课题,脉冲神经网络模型的实现方案主要分为软件模拟仿真和硬件电路实现两种思路,软件模拟具有易于开发、灵活性高的优点,但是脉冲神经元更加复杂,在模拟大规模网络时具有处理速度慢的缺点。硬件实现则具有更高的计算效率,但是具有开发难度大,灵活性低的缺点,而且模拟大规模网络的成本过高。为了探索脉冲神经网络模型合理的实现方案,本文在己有研究成果的基础上,综合考虑两种实现思路的优缺点,基于软件模拟框架以及FPGA硬件计算平台提出了基于FPGA实现脉冲神经网络模型的方案。本文主要工作如下:首先介绍了探索脉冲神经网络合理实现方案的研究背景和意义,收集并分析了脉冲神经网络实现方案的研究现状并对不同实现方案的优缺点进行了详细的阐述,在此基础上给出了目前的研究难点与本文的研究思路。接下来基于BindsNET开源软件框架以及Intel FPGA PAC D5005硬件平台,对本文提出的脉冲神经网络模型实现方案进行了相关设计,完成了Binds NET开源软件框架的功能扩展,并针对脉冲神经网络模型中关键计算步骤,对网络中数据集脉冲编码计算、神经元膜电位与脉冲发放计算、层间突触连接权值计算等计算操作设计实现了相关计算内核。最后,本文使用MNIST数据集与CIFAR-10数据集在Diehl And Cook脉冲神经网络模型上对提出方案进行了测试,取得了较高的计算精度,验证了本文方案的可靠性。随后针对不同内核的计算特点,采用了常用Open CL优化方法提高了内核的的资源利用率与计算效率,在此基础上评估了计算性能,验证了本文方案的有效性。实验结果表明,本文提出的基于FPGA的脉冲神经网络实现方案在保证开发效率、模型灵活性的同时,在计算精度以及计算速度和功耗的平衡上同样具有不错的表现,具有深入研究的价值。

关键词： 脉冲神经网络(SNN)   工作负载映射   PYNQ集群   FPGA加速   NEST仿真器  

摘要： 目前,在日益提升的计算力与海量的标注数据的推动下,以深度学习为代表的人工智能实现快速的发展,但在其高准确率的背后也存在着通用智能水平弱,计算力依赖度高等局限性。以第三代人工神经网络-脉冲神经网络(Spike neuron network,SNN)为代表的类脑计算借鉴了大脑的高效率和低能耗的计算特点,被认为是有望解决人工智能问题的重要途径。由于SNN的快速乃至实时的仿真需求以及明显的分布式计算特征,大规模分布式集群被作为主要的类脑平台构成方式。针对分布式类脑平台,SNN工作负载与计算平台的不匹配问题会导致专用类脑系统的计算能效甚至还不如通用计算机系统。因此,如何快速完成对基于类脑平台的SNN案例负载特性分析,实现案例与平台之间的完美匹配与合理映射,成为当前研究与优化类脑体系结构所需面临的棘手问题之一。为此,本文搭建了100块PYNQ-Z2开发板构成分布式集群作为实验硬件平台,选取SNN仿真软件NEST作为负载研究对象,开展了SNN负载特性分析、SNN工作负载自动映射以及针对高能效PYNQ集群平台的负载评估与分析三个部分研究工作。(1)分析了SNN工作负载特性并为其建立负载模型,针对NEST仿真器进一步实例化了SNN的内存、计算和通信负载模型,凭借具体的负载数据来说明承载SNN案例的计算平台所面临的负载情况。(2)基于负载实例化模型,设计并实现了一种SNN工作负载的自动映射器(Workload Automatic Mapper for SNN,SWAM)。SWAM整体包含三个部分设计:量化设计、映射专用脚本设计和自动化设计。量化设计通过MPI量化程序和基准量化程序以较低的代价实现内存和时间参数的一次性量化;在保留原NEST网络构造习惯的基础上,开发了映射专用脚本格式,通过简洁的函数控制接口设计以帮助自动化设计的实现;自动化设计包含网络参数采集、负载预测和映射三个自动化部分,自动化整体设计为一体化实现,大大缩短负载预测和映射的整体流程。(3)针对基于ARM+FPGA的高能效的PYNQ类脑集群平台,使用SWAM为其提供三种负载服务:负载评估、加速判断与调用以及负载预测和节点映射。通过三种负载服务,以帮助该平台承载SNN案例时始终保持高能效、高稳定以及高性能地运行。通过在PC、纯ARM和ARM+FPGA三种不同的集群计算平台上运行SNN典型案例,并比较SWAM、LM(Levenberg-Marquardt)算法拟合和实测的映射结果。实验结果表明:SWAM的平均映射准确率达到98.833%;与LM方法与实测映射相比,SWAM具有绝对的时间代价优势。通过实验分析,证明了SWAM具有良好的兼容性,能够涵盖与预测不同的SNN案例在不同的计算平台上的负载情况,并且快速有效地推导出整个工作负载在计算平台上的合理映射结果,以保证计算平台稳定与高性能地运行,避免了极其耗时的完整工作负载的运行与试探,对研究与优化类脑体系结构具有现实意义。

关键词： 脉冲神经网络   时序编码   强化学习   无人机   快速避障   Actor-Critic  

摘要： 随着任务类型的不断扩展,无人机面临着越来越复杂的飞行环境。完成避障动作快速决策,实现对动态障碍的规避,是无人机在复杂环境中确保自身安全和完成任务的基础。但是,目前无人机决策面临着快速性和机载资源受限等挑战,需要探索决策速度快、消耗资源少的决策方法。针对这一问题,本文模拟生物脑通过训练达成类条件反射的过程,探索面向快速避障任务的无人机类脑决策方法。本文主要研究内容及贡献如下:(1)研究了类Actor-Critic(AC)网络的输入-动作类脑快速决策机制,提出了一种类脑脉冲AC网络。通过分析AC算法的生物学机理和人脑决策机制,借鉴前额叶皮质对多巴胺能神经元的早期激励和延迟抑制能产生当前时刻和前一时刻奖励估计,改进了传统AC算法的时序差分更新方式,结合脉冲神经网络耗能低、生物可解释强等优势,提出了一种类脑的输入-动作脉冲AC网络。(2)提出了一种新的基于神经元脉冲响应模型和类脑脉冲AC网络的无人机避障决策方法。通过分析脉冲神经元的响应特性,建立了神经元脉冲响应模型,设计了类脑脉冲AC网络的输入输出编码和更新机制,首次提出了基于脉冲响应模型和脉冲AC网络的决策方法。通过四旋翼无人机穿窗决策任务的仿真试验验证了算法的可行性。(3)提出了一种面向动态障碍物规避任务的无人机类脑快速决策方法,并完成了仿真和实机飞行验证。针对动态障碍物避碰决策任务带来的快速性需求,分别对脉冲AC网络的输入相机数据进行差分编码等处理,对输出时序信号增加了隐藏层调制神经元,研究了基于A3C算法的异步更新机制和基于λ回归算法的多步更新机制,提出了面向动态障碍物规避任务的无人机类脑快速决策方法。基于XTdrone仿真平台实现了四旋翼无人机自主躲避飞来障碍物的决策网络训练和仿真验证。最后,通过无人机躲避飞来篮球的实际飞行试验,验证了算法的准确性和快速性,达到了避障成功率96%和平均决策时间41.3ms等性能。

关键词： 光子脉冲神经网络   脉冲时间依赖可塑性   光子神经元   光子突触   垂直腔面发射激光器   垂直腔面半导体光放大器   异或  

摘要： 目前,人工智能受到越来越多人的关注,人工神经网络的应用场景也越来越广泛。但是在神经网络训练和推理期间运算的功耗非常高,尤其是面对复杂的需求和任务。所以能实现神经网络高速率、低功耗运行的硬件架构和软件算法显得尤为重要。脉冲神经网络(spiking neural network,SNN)被誉为第三代神经网络,具有出色的功率效率,结合脉冲时间依赖可塑性(spike timing–dependent plasticity,STDP)生物机制是类脑神经形态架构中的首选神经网络。光在传播中具有高速度、高带宽、低功耗、低串扰等优势。所以融合了光学技术和非冯·诺依曼体系结构的神经形态计算系统的光子神经形态系统是实现神经网络高速率、低功耗运行的最好硬件结构之一。本文以光学硬件结构和SNN学习算法协同设计的理念,致力于光子脉冲神经网络学习算法研究,内容归纳如下:1.首次提出了一种基于单个光脉冲神经元器件单步实现异或(exclusive OR,XOR)运算的简单光学硬件结构。该方案中,XOR运算的输入通过双偏振脉冲光注入到具有饱和吸收区的垂直腔面发射激光器(vertical-cavity surface-emitting laser with a saturable absorber,VCSEL-SA),通过偏振模竞争效应,仅需单步即可实现XOR运算。结果表明,对高速串行脉冲序列也能准确完成XOR运算,并对输入噪声和时间抖动具有一定的鲁棒性。2.提出了基于VCSEL-SA的单层光子SNN的网络结构和硬件友好的监督学习算法,用于监督学习和分类任务。设计了基于VCSEL-SA、垂直腔面半导体光放大器的自洽统一的光子脉冲神经元、光子突触学习模型,该模型可以实现完整的学习和推理过程。仿真结果表明,该网络能实现脉冲序列学习和时空模式分类任务。3.提出了基于VCSEL-SA的多层光子SNN的网络结构、设计了硬件友好的多层监督学习算法。VCSEL-SA同时存在X偏振(X-polarization,XP)、Y偏振(Y-polarization,YP)模。利用两个光子神经元的XP和XP(YP)模之间的突触连接实现兴奋性(抑制性)连接。基于VCSEL-SA推导了多层光子SNN的统一计算模型,既能够实现了异或运算,也可以实现其他的逻辑运算。

关键词： 脑电   运动想象   脑-机接口   卷积神经网络   多阶离散差分  

摘要： 运动想象脑电信号是由大脑进行想象运动时激发的信号。基于运动想象脑电信号控制的脑机接口（Brain Computer Interface,BCI）系统可以直接将大脑想象的运动意图解码为控制指令,完成对外部设备的控制。作为一种新型人机交互技术,BCI系统可以应用于多种场景,但是实际应用中基于运动想象脑电信号的BCI系统存在着:运动想象脑电信号种类少、多分类任务的识别准确率低和实时传输速率慢等问题。为实现对探测机器人方位移动和检测的功能控制,本文提出了一种基于信号转差分模块与卷积模块结合的分类算法,通过数据集仿真和实验验证,从两个方面与基于传统时频域和空间域的分类方法进行了对比分析,证明了前者的有效性。主要研究内容如下:首先研究了关于运动想象脑电信号的特征提取算法。采用小波包分解和共空间模式方法实现了传统时频域和空间域的特征提取。利用小波包将预处理后的脑电信号分解为八个子频带,以提高共空间模式算法对特征的提取能力。然后使用共空间模式对子频带进行特征提取。最后使用第四届BCI竞赛的四分类数据集对比分析了该方法的特征提取能力,指出其不足之处。其次针对脑电信号多分类的精度提升问题,提出了一种基于信号转差分模块与卷积模块结合的分类算法。利用信号转差分模块对原始脑电信号进行多阶差分运算,得到其波动特征的差分表示;然后利用卷积模块以动态学习的方式将差分脑电信号转换为图片,再通过预训练的卷积神经网络来提取信号特征。最后在五分类数据集上进行验证。结果表明,本文提出的方法在两分类问题上达到了99.8%的分类准确率;在三分类问题上获得了92.8%的准确率;在五分类问题上取得了86.7%的准确率。其总体分类准确率比现有方法最高提升了8.1%。最后,设计了在线脑控测控机器人作业BCI实验对本文提出的基于信号转差分模块与卷积模块结合的分类算法的有效性进行实验验证。实验运用目标特征提取算法采集受试者想象左手、右手、脚部、舌头运动和闭眼产生的Alpha波来控制测控机器人左转、右转、前进、停止和打开摄像头等动作,测试其识别准确度。实验结果显示,受试者可以通过该BCI系统实现对测控机器人的控制,其中基于传统算法的平均识别率69.3%,基于本文提出的学习算法的平均识别率为81.9%,证明了该方法的有效性。本文的研究成果为在线运动想象BCI系统提供了一种新的控制方法,可进一步开发为运动障碍人士的外界通信设备或者如战场等特殊复杂场合的探测辅助设备。

摘要： 4月1日,科技部、发改委、工信部等六部门联合发布《长三角G60科创走廊建设方案》(以下简称《方案》),明确G60科创走廊的战略定位为:中国制造迈向中国创造的先进走廊、科技和制度创新双轮驱动的先试走廊、产城融合发展的先行走廊。《方案》列出了具体而精准的时间表与路线图。到2022年,科创走廊建设初显成效。地区研发投入强度达到3%,

关键词： 深度脉冲神经网络   神经形态计算   网络转换算法   在线学习算法  

摘要： 脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网络的网络压缩和在线学习算法这两个方面展开了研究。首先,由于目前大多数的脉冲神经网络权重都为高精度浮点数,这导致网络模型在硬件部署时会占据大量的存储资源。针对这一问题,本文提出了权重-阈值平衡网络转换算法,得到了具有二值权重连接的脉冲神经网络,显著降低了存储资源消耗量,实现了脉冲神经网络的压缩。此外,目前通常会在神经形态芯片上部署在线学习算法,以在实际场景中完成实时学习。但是多数在线学习算法难以完成复杂的时空数据学习任务,而能够完成这一任务的脉冲神经网络算法又往往不具有实时学习功能。因此,为了完成实时应用场景中的复杂时空数据学习任务,实现更能满足硬件约束条件、更具有生物可解释性的学习算法,本文提出了非对称时空在线学习算法,该算法在图像和声音数据集上取得的识别性能与最新的脉冲神经网络离线学习算法相当,优于已有在线学习算法。具体而言,本文的主要研究内容及贡献如下:·权重-阈值平衡网络转换算法:针对高精度权重连接的脉冲神经网络模型在硬件部署时会耗费大量存储资源的问题,本文研究了现有网络转换算法的转换过程,分析了经转换得到的脉冲神经元的权重和阈值之间的约束关系,并基于此约束关系,提出了权重-阈值平衡网络转换算法。权重-阈值平衡网络转换算法能够通过改变脉冲神经元的阈值数值存储精度,将原本的高精度权重数值缩放为低精度,从而有效地获得了具有二值权重连接的脉冲神经网络,显著降低了存储资源消耗量,实现脉冲神经网络的压缩。实验结果表明,相比于高精度权重连接的脉冲神经网络,二值权重连接的脉冲神经网络最多可以节省86%的存储资源。在MNIST、CIFAR-10和CIFAR-100数据集上,二值脉冲神经网络的最佳分类精度分别为99.43%,90.19%和62.02%,达到了与最新的高精度脉冲神经网络相当的性能。此外,在具有同样网络结构的前提下,与高精度权重连接的脉冲神经网络相比,二值连接的脉冲神经网络收敛性更好。·非对称时空在线学习算法:目前多数的脉冲神经网络在线学习算法通常应用在小数据集上,同时难以学习具有复杂时空特征的输入数据流。而现有的高效脉冲神经网络时空学习算法往往不具有在线学习功能,且其网络反向更新权重过程中所需的精确对称约束不仅难以在硬件上实现,也不具有生物可行性。因此,为了高效完成实时场景中的复杂时空数据学习任务,同时降低算法的硬件实现难度,提高生物可行性,本文提出了非对称时空在线学习算法,用于实时训练多层脉冲神经网络。该算法的突触权重更新仅与突触前后脉冲神经元的内部状态有关,在无需精确对称的权重反向传播前提下,仅需迭代更新脉冲神经元的内部变量就可以有效学习输入数据的时空特征。该算法在基于频率编码的MNIST图像数据集和基于时间编码的MedleyDB乐器数据集上的分类精度分别达到了 98.23%和95.38%,其性能优于已有的在线学习算法,可与最新离线学习算法相媲美。此外,本文还探索了算法超参数τ、θ、c对性能的影响,实验结果表明,脉冲神经元的阈值θ越小时,算法性能越好。

关键词： 肺结核辅助诊断   深度卷积神经网络   脉冲神经网络   无监督学习   强化学习  

摘要： 肺结核是一种常见的由结核分枝杆菌引发的肺部感染性疾病,严重危害着人类生命健康。随着人工智能技术的迅猛发展,基于人工智能的疾病辅助诊断系统已经在国内外大型医院广泛使用。人工智能技术已成为胸部X光片等医学图像处理的重要手段。因此,研究基于人工智能技术的肺结核疾病辅助诊断十分必要,在减轻医生诊断压力、提高医院应急响应能力等方面具有重要意义。深度卷积神经网络具有强大的图像模式分类能力,已成为图像识别与分类、目标检测等计算机视觉任务的首选解决方案。脉冲神经网络考虑了生物神经元的膜电位变化和脉冲发放过程,采用精确的脉冲定时编码模式进行信息传递和处理,能更接近地描述实际生物神经系统,从而实现信息的高效处理。要实现更强的人工智能,需要更复杂、更精细的类脑计算模型。本文提出了一种深度脉冲卷积神经网络模型,并应用于肺结核疾病的辅助诊断。主要工作如下:(1)结合具有强大图像分类能力的深度卷积神经网络与具有生物可解释性的脉冲神经网络,提出了一种基于深度脉冲卷积神经网络的肺结核图像分类模型。在训练该模型时,采用基于脉冲时间依赖可塑性规则的无监督学习和基于奖励调制脉冲时间依赖可塑性规则的强化学习相结合的方式实现网络突触权值学习。将提出的模型应用于蒙哥马利胸部X光片数据集中进行肺结核诊断,验证该模型的分类性能。同时还分析了模型的一些重要参数对模型分类性能的影响。实验结果表明,所提模型能够对输入的胸部X光片准确分类。(2)应用提出的深度脉冲卷积神经网络模型,设计并开发了一个肺结核疾病辅助诊断系统。该系统能够根据病历的胸部X光片给出该病历是否患有肺结核疾病的预测结果,同时需要用户确认本次预测结果。该系统的特色是能够根据确认的诊断意见进行修正,并重新训练预测模型,持续提升模型的预测准确率,增强对肺结核诊断的效果。该系统操作简单,在肺结核疾病辅助诊断方面给予医生帮助,具有一定的实用价值。

关键词： 类脑脉冲神经网络   音乐学习   多脑区协同计算   神经机制  

摘要： 基于类脑脉冲神经网络的音乐学习旨在从多个尺度借鉴大脑在音乐处理方面的工作机制，建立一个类生物的多脑区协同计算模型，从而实现智能计算模型对音乐的学习与创作。有关音乐的研究涉及多个方面，例如记忆、认知、运动、情绪和心理等等。无论在神经科学领域还是在人工智能领域，音乐学习都是重要的研究课题。神经科学领域的相关研究表明，音乐是一种复杂且具有时间特性的声音刺激，人脑中多个功能区域会参与音乐信息的处理。同时，神经科学研究者们也从多个尺度上研究了相关脑区的结构功能及其之间的协同机制。神经科学领域在音乐研究方面的突出贡献促使我们研究新的人工智能方法去理解和应用与音乐有关的科学问题。　　受大脑在音乐处理方面神经机制的启发，本文构建了一个多尺度的类脑脉冲神经网络模型，主要研究与探讨音乐的感知、记忆、知识的表征与学习以及音乐创作几个问题。在微观层面上，本文借鉴生物神经元的放电特性，分别为兴奋性神经元和抑制性神经元建模，并利用生物大脑中突触的可塑性神经机制来调节神经网络。在介观层面上，本文参考了大脑在音乐处理时涉及的脑区及脑区间的环路，模拟了多个脑区及其之间的环路，形成了一个多脑区协同的神经网络，通过激活不同的脑区及其环路，实现了音乐的感知记忆与学习等多项任务。在宏观层面上，本文参考人类在音乐方面的行为活动，实现了音乐回忆、节奏调控和作曲等类人认知任务。基于以上研究，本文的创新点总结如下:　　第一，通过借鉴大脑在音乐感知与记忆方面的神经机制，构建了一个类脑脉冲神经网络的音乐记忆模型。具体而言，本文深入调研了大脑听觉系统对音乐的感知机制以及记忆机制，提出一种基于类脑脉冲神经网络的音乐记忆模型，能够对音乐曲目进行感知编码、记忆与回忆。模型首先借鉴了大脑听觉系统对音符的处理机制，分别对音符的音高以及时长进行编码;其次，受大脑记忆机制的启发，利用突触可塑性学习原理，模型能够对乐曲的音符进行有序学习与存储;此外，模型还实现了两种类人行为模式的音乐回忆，即根据乐曲名回忆乐曲以及根据乐曲片段回忆乐曲。目前根据我们调研的结果，该模型首次将类脑脉冲神经网络用于音乐记忆之上，实现了多个与记忆相关的任务，并具有较高的精确度。与传统算法相比，该模型也具有更强的生物可解释性。　　第二，通过分析与借鉴大脑韵律感知与调控的神经机制，构建了一个类纹状体的脉冲神经网络，实现了大脑在回忆乐曲时的速度调控。具体而言，该模型主要模拟了纹状体中调节韵律的神经元群体，并与记忆网络进行连接;通过调整该类纹状体网络神经元发放脉冲的频率，改变记忆网络中神经元的活动，从而控制回忆乐曲时的韵律与速度。目前根据本文的调研结果，该模型是首次将脉冲神经网络用于音乐韵律调整问题之上，实现了与记忆网络的相互协同，并能够有效的调控网络节奏，在一定程度上实现了行为类人的准则。　　第三，受大脑在进行音乐创作时相关的脑区结构及工作机制的启发，本文构建了一个类脑脉冲神经网络的多风格音乐作曲模型。具体而言，本文构建了一个类脑脉冲神经网络的层次化知识学习网络，在音乐记忆的模型基础上，引用生物神经元模型以及神经元动态生长机制，实现了音乐相关的理论与知识的编码与存储;利用突触可塑性原理以及神经震荡机制，使得知识网络与记忆网络能够动态地进行协同与学习，完成有序音符与音乐知识的联想学习;模型在以上记忆网络以及层次化的知识网络基础上，可根据古典音乐的流派以及不同音乐家的个人特色，创作相应风格的乐曲。通过实验结果及用户评估，该模型生成的大多数旋律都分别具有各流派或各音乐家的特色。目前根据我们调研的结果，该模型是首次将脉冲神经网络用于音乐作曲之上，并实现了不同古典流派，不同音乐家风格的作曲任务。