课程文献中心 更多>>

关键词： 分子动力学   深度学习   量化神经网络   后端设计   移位网络  

摘要： 随着生物、医学以及材料等科学的跨域式发展,分子动力学(Molecular Dynamics,MD)方法得到了极大的关注。分子动力学方法本质是通过计算机模拟分子的微观运动过程来推导出物质的本身宏观性质,这在物理、化学化工、生物医学、材料等学科领域中极为重要。然而,MD在进行如蛋白质折叠、DNA等大分子计算的过程中,面临着“算不动”的严峻挑战,即使利用超算,也无法满足预期。深度学习(Deep Learning,DL)算法的出现,在一定程度上缓解了这一现状。但是,“算不动”的瓶颈依旧存在,因为通常需要计算的原子数目以数万数十万起步,而实际计算机的计算能力有限。这一方面是因为缺乏精度高、速度快、计算量少的算法,另一方面是缺乏专用分子动力学计算硬件。传统的计算机采用的是具有“存储墙”“功耗墙”等瓶颈的冯诺依曼架构,这将会对MD计算力的提升造成负面的影响。“类脑芯片”概念的出现,将这种影响降至最小。针对现状,本文结合分子动力学、深度学习、神经科学、芯片技术等诸多学科领域,进行了对分子动力学类脑芯片的研究,主要包括:1.研究实现了一款应用于计算氮气分子的基于量化神经网络(Quantized Neural Networks,QNN)的高速分子动力学类脑芯片。此款芯片采用量化神经网络架构,结合专用集成电路(Application Specific Integrated Circuit,ASIC)技术,在中芯国际40nm工艺节点上得到正确的仿真验证。实验结果表明,同比传统DFT、Matlab和FPGA方法,完成一步分子动力学计算加速了7个、3个和0.5个数量级。同时,初步证实了神经网络在分子动力学类脑芯片上实现的可行性。2.进一步研究了一款应用于计算苯环分子的基于QNN的高速分子动力学类脑芯片。此款芯片较氮气芯片复杂,研究的原子数目由原来的2个增加到12个,芯片架构中增加了存储设计和特征提取设计模块。采用ASIC技术,在中芯国际40nm工艺上得到了仿真验证,完成单步分子动力学计算的芯片设计规模大小约为230万门(NAND2),功耗为20.41m W,核心面积为7.84mm。实验结果表明,同比传统DFT、Matlab和FPGA方法,完成一步分子动力学计算加速比同氮气一致。3.研究实现了一款应用于计算水分子的基于移位网络的高速分子动力学类脑芯片MLP模块。不同于量化神经网络,移位网络在功耗、面积上更有优势。此款芯片在Silterra 180nm工艺上完成后端设计、物理验证和后仿真,目前正处于流片阶段。实验结果表明,基于移位网络的水分子类脑芯片MLP模块在面积、功耗和计算性能方面更加符合设计需求。

关键词： 电解质栅控晶体管   人工突触   阵列集成   脉冲神经网络   神经形态计算  

摘要： 物联网、云计算、人工智能等信息技术的迅猛发展推动了人类社会向智能化迈进，但同时也导致了全球数据量井喷式增长，对信息的快速高效处理提出了更高的要求。另一方面，现有计算系统正遭遇摩尔定律失效和“冯·诺依曼”瓶颈等问题的严峻挑战，难以满足智能社会对计算能力的需求。为解决这种需求端和供给端的严重失配问题，亟需发展新型器件和新型计算范式以推动计算技术的变革。受人脑启发的神经形态计算技术具有存内计算、并行计算和模拟计算的特点，能够大幅提升数据处理能力、降低能耗，是高效处理智能化社会中海量数据的可行方案。神经形态计算技术需要区别与传统CMOS晶体管的新型基础器件以发挥全部优势，实现高吞吐量、高能效和高面积效率的信息处理。　　电解质栅控晶体管是一种符合神经形态计算特性的新型器件，具有读写分离的操作模式、丰富的动力学特性、良好的沟道调节能力和超低的功耗等优点，非常适合作为实现神经形态计算的基础器件。基于这类器件构建的神经形态计算系统有望实现计算能效的快速提升，在物联网、边缘计算等领域拥有广阔的应用前景。但目前基于电解质栅控晶体管的神经形态计算技术尚处于研究初期，仍然存在诸多问题和挑战。本论文针对器件性能、阵列集成和网络应用等方面开展研究，主要内容如下:　　(1)开展了全固态电解质栅控晶体管研究。我们构建了基于α-Nb2O5/LixSiO2材料体系的全固态电解质栅控晶体管，为后续的阵列集成和系统功能验证提供了便利。我们对器件的电学特性进行了表征，并综合利用直流测试、三角波脉冲测试、电容测试和SIMS测试对器件的工作机制进行了研究，验证了器件中的Li+掺杂过程，为器件性能的调控、优化以及生物仿生功能的实现提供了理论基础。在此基础上，我们研究了不同脉冲参数，如幅值、脉宽、频率、数目等对器件电学特性的影响规律，成功模拟了生物突触的EPSC、IPSC、短时程可塑性、长时程可塑性、长短时程转变等功能，此外还模拟了生物经典条件反射行为，从生物仿生角度证明了电解质栅控晶体管在神经形态计算中的应用潜力。　　(2)开展了电解质栅控晶体管阵列集成研究。我们首先针对神经网络应用中的需求对器件的多态、线性、写噪声、响应速度和转变能耗等特性进行了系统评估。器件表现出近线性的电导更新特性(0.68@LTP/1.65@LTD)，良好的循环特性(＞106)和保持特性(＞1000s)，极低的写噪声(～3.9％)，较低的电导值(≤100nS)和超低的操作功耗密度（20fJμm-2）。器件能够在低至100ns的写入脉冲下实现沟道电导的变化，但需要一定的write-read-delay以读出稳定的沟道电导状态。针对这一问题，我们探讨并提供了潜在的优化方案。我们进一步将器件集成为32×32的交叉阵列，并验证了阵列中器件具有良好的一致性。最后我们对阵列操作进行了介绍并对存在问题和解决方案进行了阐述。以上结果从硬件实现神经网络的角度证明了电解质栅控晶体管在神经形态计算中的应用潜力。　　(3)实现了基于电解质栅控晶体管的时空信息处理与智能感知系统的功能验证。我们首先利用小规模电解质栅控晶体管阵列构建了SNN并验证了网络对时空信息的学习和识别能力。我们进一步探讨了将该网络与触觉传感器结合，构建智能传感系统的可能性，并对移动方位识别的系统功能进行了验证。以上结果，为发展可用于物联网、边缘计算等领域的低能耗、可扩展的仿生信息处理系统提供了参考。　　(4)提出了一种1T1E结构的突触单元，并探索了这种结构在构建高能效神经形态计算系统方面的潜力。我们设计了一种1T1E的突触单元，以解决电解质栅控晶体管在实际应用中面临的自放电问题，并为实现STDP学习规则提供了便利。我们进一步将其与CMOS神经元连接，验证了该单元的in-situSTDP调节能力。在此基础上，我们基于1T1E突触单元进行了SNN的仿真，并验证了其图像恢复的能力。得益于时间编码的使用和1T1E突触单元良好的器件特性，网络能效实现了大幅提升，为未来开发高能效神经形态计算系统提供了参考。

关键词： 神经网络   同步   时滞   脉冲控制   牵制控制  

摘要： 近年来,神经网络的研究已经受到数学、人工智能、决策优化、航空航天和控制工程等各个领域学者的广泛关注.建立神经网络模型,可以为分析、判断和预测网络的动态行为提供理论依据.目前,对于神经网络的同步控制虽然已经取得了大量的研究成果,但由于时滞在现实世界中的普遍存在会对系统的稳定性产生极大的影响,所以仍然需要对很多问题进行深入的探究,特别是耦合时滞对神经网络产生的动态行为的影响.本论文主要借助常微分方程理论、Lyapunov稳定性理论和矩阵理论等工具,研究了两类含有耦合时滞的神经网络的同步控制问题.主要工作简单概括为以下两个方面:1.通过建立脉冲时滞微分不等式,结合Lyapunov理论和平均脉冲区间的概念,研究了具有分布时滞和比例时滞的异构神经网络的拟同步.设计脉冲控制器,得到了具有比例时滞和分布时滞的异构动态神经网络拟同步的两个定理判据.此外,利用比例时滞和分布时滞的参数变换公式,估计了拟同步的理论误差界.最后,通过数值仿真验证了理论结果的有效性.2.基于牵制脉冲控制,研究了耦合时变时滞神经网络的集群同步.对于具有耦合时变时滞的非线性神经网络模型,在耦合矩阵不具备对称或不可约的条件下,设计牵制脉冲控制器,该控制器在每个脉冲瞬时只有部分节点被牵制.通过构造Lyapunov函数,结合LMI技术,得到了耦合时滞神经网络实现集群同步的判定准则.最后,通过仿真算例验证了所得结果的合理性.

关键词： 人工智能   类脑计算   类脑模型   类脑导航   神经形态计算芯片  

摘要： 类脑计算是国际上的热门研究领域,也是人工智能发展的重要转折点。首先,回顾了近年来研究学者对局部脑功能运行机理的重要发现,并了解了其在类脑模型中的应用,如注意力机制和类脑导航等。随后阐述了神经形态计算芯片和人工神经元等类脑计算硬件的结构和特点,并对各国研究进展进行了简要梳理,从多个角度对类脑计算的研究内容、研究目标、研究方案和技术路线进行了全面总结。最后结合各国脑研究计划,分别从硬件和模型两个层面对芯片-算法兼容性及局部-全局整合等类脑计算的研究趋势进行了展望。

关键词： 电磁干预   功能磁共振成像   脉冲神经网络   多脑区协同   突触可塑性  

摘要： 脑科学和类脑智能的相互融合将引领脑疾病诊治的发展。目前脉冲神经网络作为计算神经科学必要理论和模型基础,存在缺乏生物可解释性和神经元模型单一化问题。此外,电磁神经调控已显示其临床价值,但在效果评估和机理方面尚存很大探索空间。针对该领域的难点问题,本文构建基于功能磁共振成像(functional Magnetic Resonance Imaging,f MRI)的工作记忆多脑区脉冲神经网络,对电磁干预该网络的作用效果进行研究并确定最优电磁干预参数,从网络内部的神经信息处理过程和多脑区功能协同关系角度对电磁干预效应进行机理分析。主要研究内容如下:(1)具有工作记忆多脑区的脉冲神经网络构建与分析。以基于f MRI的脑功能网络为类脑网络拓扑,工作记忆相关神经元模型和Izhikevich神经元模型为类脑网络节点,以兴奋性和抑制性突触共存的突触可塑性为类脑网络的边构建具有工作记忆多脑区的脉冲神经网络。基于神经元放电活动、突触调节过程和复杂网络特性对网络进行特性分析。实验结果表明:基于f MRI构建的类脑网络拓扑可反映生物脑的真实连接,提高类脑的生物可解释性,且具有小世界和无标度属性;神经元放电时刻随时间逐渐分散,其放电活动同步性由较强变得相对较弱,突触权重不断进行调节直至网络趋于稳定,复杂网络特性在实验前期不断变化直至网络逐渐趋于稳定。(2)电磁干预下脉冲神经网络的功能响应研究。考虑电磁干预的强度、频率和作用脑区,从神经元放电同步性、脑区节点间连通性和全局信息传输效率阐明电磁干预脉冲神经网络的作用效果,并确定最优电磁干预参数。实验结果表明:相较于单独刺激前额叶或海马脑区,同步刺激前额叶和海马脑区且刺激强度为0.2 T,频率为1Hz时,网络的放电同步性、节点连通性以及全局信息传输效率可同时达到最佳效果。(3)基于最优参数的电磁干预下脉冲神经网络的功能响应机理分析。针对各脑区和全脑网络进行神经信息处理过程分析;通过分析电磁干预对网络各脑区间的放电同步性、节点连通性和全局信息传输效率的影响以明确多脑区功能协同关系。实验结果表明:各脑区与全脑网络的动态演化过程从神经信息传递角度诠释了神经信息处理是神经元放电率、突触权重和拓扑结构动态演化的连锁反应过程;脉冲神经网络各脑区间具有多脑区协同作用,最优参数下的电磁干预可使得多脑区功能协同作用增强。

关键词： 类脑计算   脉冲神经网络   时空特征   反向传播  

摘要： 脉冲神经网络模仿生物采用脉冲进行信息的传递与处理,是类脑计算的重要研究内容,相比于传统的人工神经网络,它具有更高的生物可解释性、更强大的计算能力和更低的能耗,能够更好地处理时空特征信息,并且,基于脉冲神经网络能够构建神经形态计算,突破现代计算机发展的瓶颈。然而,深度脉冲神经网络具有复杂的时空关系和脉冲不可微的特性,这些难点限制了反向传播在深度脉冲神经网络上的利用,导致其性能与传统人工神经网络仍有差距。本文主要从脉冲神经元模型的角度进行分析,旨在构造在富含时空特征的动态任务上具有更好性能的深度脉冲神经网络。本文的主要贡献如下:(1)提出了一种与上一时刻电压相关的动态电阻,并结合神经元模型提出了动态电阻的C-LIF神经元模型,该神经元模型采用迭代形式,具有清晰的时空关系;(2)在动态电阻的C-LIF神经元模型上,提出了利用时空反向传播的具有新的时空关系的深度神经网络及其学习算法。结合脉冲编码,该深度神经网络在富含时空特征的单目标、多目标数据集上均能取得优于传统人工神经网络的性能,并且,实验表明,动态电阻能有效提高网络性能;(3)进一步提出了自适应的动态电阻,该动态电阻能够对动态电阻中的电压影响因子进行学习,自适应选取最佳影响因子。同时,通过在基于自适应动态电阻的深度脉冲网络上进行的实验,证明了自适应动态电阻能够有效选择影响因子,提高网络性能。(4)在多个富含时空特征的动态任务上评估本文提出的自适应动态电阻的深度脉冲神经网络的性能,并构造了具有自适应动态电阻的深度卷积脉冲神经网络,实验表明,在富含时空特征的动态任务上,自适应动态电阻的深度脉冲神经网络具有优秀的性能,其性能优于恒定电阻的深度脉冲神经网络,同时优于部分传统人工神经网络。

关键词： 神经形态计算   脉冲神经网络   Fitz Hugh-Nagumo模型   无乘法器设计   片上网络  

摘要： 神经形态计算凭借脉冲神经网络优良的生物可解释性和高能效比的优势而倍受关注,目前已有多款数字神经形态计算芯片问世。现阶段的数字神经形态计算硬件多采用一维神经元模型,一维神经元模型的生物细节表达能力却显不足。另有少数的神经形态计算硬件采用了二维神经元模型,但这些芯片所实现的二维神经元模型的硬件资源开销大且神经形态计算系统的可扩展性欠缺。本文在前人研究工作的基础上,针对以上问题,对数字神经形态计算硬件中的关键模块作了如下研究工作:针对一维神经元模型生物细节表达能力不足的问题,本文采用二维的Fitz Hugh-Nagumo(FHN)神经元模型作为数字神经形态计算系统的基本运算单元,相比于LIF神经元模型,FHN模型能模拟出更多的生物脉冲序列样式,且比Hodgkin-Huxley(HH)神经元模型的运算更简洁,因此更适合用于搭建数字神经形态计算系统。针对二维神经元模型硬件资源开销大的问题,本文在设计FHN神经元模型的运算时做了以下尝试:首先采用前向欧拉法对FHN数学模型进行离散化处理,以数值迭代替换微分运算;用sinh函数拟合FHN模型中的高次子式,拟合相对误差最大为0.5%;拟合后的多项式中的自然指数项又可转换为2为底数的指数运算,并对其指数项进行分段线性处理,使用移位运算及加减法替换乘法运算,实现了神经元的无乘法器设计;神经元的内部的运算过程采用流水线结构,在保证运算正确的同时拆分了长耗时运算步骤,优化了时序、提高了运行时钟频率。针对现有部分神经形态计算系统的可扩展性不足的问题,本文设计了数字神经形态计算系统的运算内核。单个内核中集成有128个并行运算的FHN神经元与128个独立的激励电流生成模块。内核中有一个首部调度模块和一个尾部调度模块,用于128个神经元模块的数据同步与数据格式转换。为了减小内核中数据存储压力,设计了权值查找表模块来量化权值,将神经元权值存储开销减小了75%。运算内核为数字神经形态计算系统的基本单元,可通过片上网络的核间互连方式进行同构化地扩展,这极大地提高了系统的可扩展性。本文的数字神经形态计算系统的参数配置网络部分采用分层总线架构,以100M全双工UDP协议配合自动化数据收发软件程序实现了上位机与神经形态计算系统硬件之间的数据自动化传输,通用的传输接口也提高了系统的通用性与易用性。文中对FHN神经元模块、运算内核模块、参数配置网络等各关键模块进行了仿真测试和FPGA原型验证测试,结果显示单个神经元仅占用1536个LUT资源且DSP资源占用为0,实现了神经元模块的无乘法器设计。运算内核与参数配置网络状态跳转与信号时序正确。

关键词： 深度递归脉冲神经网络   逐层预训练   反馈对齐   监督学习   癫痫  

摘要： 深度递归脉冲神经网络(Deep Recurrent Spiking Neural Network,DRSNN)模拟人脑的多层结构,对数据从低层到高层渐进地进行特征提取,进而提高了对复杂时空信息的处理能力。然而,由于递归脉冲神经网络复杂的层次结构和内在的非线性机制,构建高效的基于脉冲序列编码的深度学习方法非常困难。基于以上描述,本文使用递归脉冲神经机(Recurrent Spiking Neural Machine,RSNM)模块构建了一种具有分层结构的DRSNN,研究了适合该网络结构的无监督学习算法和基于反馈对齐机制的监督学习算法,并设计了基于脉冲神经网络的癫痫脑电数据实时计算模型,本文的主要研究内容如下:首先,基于脉冲序列编码,提出了一种新的无监督多脉冲学习规则,我们使用此规则来训练RSNM,它可以实现脉冲序列的复杂时空模式的学习任务。脉冲信号首先正向传播,然后进行反向重建,根据重建误差调整突触权重。该无监督学习算法已成功地应用于脉冲序列学习实验。在实验中,我们分析了RSNM中的学习率和神经元数目等不同的参数对学习结果的影响。此外,提出了DRSNN的逐层预训练算法,实验结果表明,该算法具有较低的重建误差。其次,根据脉冲序列的误差反向传播机制,提出了基于反馈对齐机制的深度递归脉冲神经网络监督学习算法。使用反馈对齐机制,即在误差的反向传播过程中,用一个固定的随机矩阵代替前馈结构中的突触权值来传递误差,来调整突触权值。然后通过脉冲序列学习过程来验证算法的有效性,并且分析了不同的学习率,连接度,随机矩阵取值上限以及输入脉冲发放频率等参数对学习结果的影响。实验结果表明,该算法在脉冲序列学习任务上具有很好的学习性能。最后,设计了一个基于脉冲神经网络的癫痫脑电数据分类模型,并在CHB-MIT数据集上进行了实验。我们对原始数据进行了预处理,提取了本研究所需要的数据,然后使用Bens Spiker Algorithm将其编码成脉冲序列,结合无监督学习算法与基于反馈对齐机制的监督学习算法对网络进行了训练。在测试集上得到了敏感度为94.17%,特异性为92.23%,准确率为93.20%的分类结果,与其他分类器相比,该模型具有更好的分类能力。

关键词： 脉冲神经网络   压缩感知   生物视觉   降维   排序  

摘要： 动物的视觉神经网络提供了无与伦比的模式识别性能,脉冲神经网络(SNNs,Spiking Neural Networks)通过模仿生物神经网络的结构和工作机制,较其他人工神经网络具有功耗低、生物合理性高的特点。但SNNs不具备特征提取的特点,在实际应用中不仅容易造成网络的过拟合,而且需要大量的神经元,硬件实现难度高。目前研究者提出了一些与SNNs相结合的特征提取方法,如卷积脉冲神经网络(CSNN,Convolutional Spiking Neural Networks)。但实际应用中的图像具有噪声、缺损和冗余的特点,使得这些方法的识别率较低。压缩感知(CS,Compressed Sensing)是模式识别领域的一个新方向,CS能够基于少量信息的前提下,通过还原算法高概率的重构图像信息,在处理噪声和缺损图像方面有独特的优势。本文将CS的稀疏特征提取过程和SNNs相结合,构建仿生视觉模型。主要内容如下:(1)构建了一种仿生视觉模型CS＿SNNs。生物视觉系统具有噪声和信息缺损的鲁棒性,CS能够基于少量信息的前提下,通过还原算法高概率的重构图像信息。因此,本文将CS作为图像稀疏特征表示的提取方法。使用更具有生物合理性的SNNs作为图像识别的分类器,用于模仿神经系统。CS＿SNNs不仅较传统的SNNs识别的准确率有所提高,在处理噪声和有缺损数据方面具有独特的优势。(2)改进CS算法,构建了有损CS图像处理方法。哺乳动物的视觉神经系统对于图像中的高频分量不敏感且噪声集中于高频分量。因此,将原图像的高频分量置零,提取图像低频分量的稀疏特征值不仅能够降低计算量和消除噪声,还能够使整个模型更具有生物合理性。具体方法为图像经过二维离散余弦变换(2DDCT,2 Dimensional Discrete Cosine Transform)后,将左上角W×W以外的系数置零,再进行CS的欠采样和图像重构。有损CS能够在较少降低图像重构性能的前提下,大幅降低运算量。(3)提出一种降维排序CS＿SNNs仿生视觉模型。该模型结合了(1)和(2),将(2)中置零改为截取,并将测量矩阵进行降序排序,使之更契合CS＿SNNs的特点。本文提出的模型能将N×N像素的图像,转换为M×M的稀疏特征表示。在使用大约CS＿SNNs的50%神经元数量前提下,达到更好的模式识别效果。该结构降低了网络复杂度,易于硬件实现,在识别含有噪声和缺损的图像方面表现的更好。

关键词： 旋律生成   深度学习   序列变分自编码器   脉冲神经网络  

摘要： 音乐旋律生成算法赋予机器生成旋律的能力,是人工智能在艺术领域上的应用,可用于辅助音乐人的创作,为音乐人提供新的创作思路。近年来,受深度学习的影响生成算法得到了快速的发展。结合了深度学习的生成算法,被称为深度生成算法,利用了深度神经网络超强的表达能力和高维的建模能力。本论文采用端到端的深度生成算法生成长度为16小节的单音旋律,通过改善现有的或探索新的深度生成算法的方式来提高生成旋律的质量。当前用于音乐旋律生成的深度生成算法大部分基于生成对抗网络或变分自编码器。本论文着重研究了基于变分自编码器的音乐旋律生成算法,旨在改善变分自编码器的优化目标以提高生成质量。在SeqGAN的启发下,本论文提出了变分自编码器的一个变体,称其为序列变分自编码器,它可被视为是生成对抗网络和变分自编码器的结合,相较于变分自编码器因添加了策略梯度损失而减少了优化目标的偏差,从而在一定程度上提高了学习能力。最终由实验可得,序列变分自编码器优于基线,能生成旋律性更强、节奏变化更优美的旋律。此外,本论文还探索了脉冲神经网络应用于音乐旋律生成的可能性。脉冲神经网络被认为是第三代人工神经网络,它从底层就考虑了时间维度信息,而音乐旋律是一种时间上下文依赖性强的结构。论文中主要考虑了使用Leaky Integrate-and-Fire替换生成算法中长短期记忆网络的Cell这一方案。论文中还基于Cell提出了 Leaky Integrate-and-Fire的变体。最终变体虽取得了好于原始的效果,但终究没能优于Cell,进而在生成算法中使用Leaky Integrate-and-Fire替换Cell没能提升生成旋律的质量。文中分析了失败的主要原因。最后,为了方便研究成果的展示,本论文基于提出的序列变分自编码器,搭建了人工智能音乐创作平台。