课程文献中心 更多>>

关键词： 脉冲神经网络   元学习   中心核对齐   小样本学习  

摘要： 近年来,深度脉冲神经网络(Spiking Neural Network,SNN)由于其低功耗的特性,已被广泛应用于边缘设备的智能应用中。然而脉冲神经网络与传统人工神经网络(Artificial neural network,ANN)一样,在训练过程中需要大量标记的数据,同时标记数据是一项高耗时和高成本的工作。元学习方法能够在一定程度上解决数据稀缺的困境,并在人工神经网络中被广泛应用,但基于深度脉冲神经网络的元学习算法研究与传统人工神经网络算法在准确率上面还有一定差距。因此,为了研究更适合脉冲神经网络的元学习方法,本文提出了一种适用于深度脉冲神经网络的二阶段元学习训练框架,并在该框架的元训练阶段中,进一步设计了适用于度量嵌入脉冲相似性的中心核对齐(Centered Kernel Alignment,CKA)元学习分类方法,并在此基础上设计了深度脉冲神经网络元学习训练系统。本文详细工作如下: (1)设计了一种适用于深度脉冲神经网络的二阶段元学习训练框架。该框架包括预训练阶段和元训练阶段。在预训练阶段中,使用所有数据训练分类嵌入SNN(Classify Embedding SNN Model,CESM),并用CESM提取所有数据样本的图像特征。在元训练阶段中,元嵌入SNN模型(Meta Embedding SNN Model,MESM)采用余弦相似度,计算查询集样本嵌入脉冲与支持集样本平均嵌入脉冲的相似度,从而进行分类。实验表明,本文提出的二阶段元学习训练框架比当前的SNN元学习方法拥有更高的准确率,同时该框架能够适应不同的编码方法,有较强的鲁棒性。 (2)设计了一种适用于深度脉冲神经网络的元学习分类方法。在二阶段元学训练框架中,使用余弦相似度等传统距离度量方法,会忽略嵌入脉冲元素的信息顺序,模糊不同嵌入脉冲的差异,因此本文设计了基于中心核对齐的元学习分类方法,用于计算在元训练阶段中的图像样本嵌入和平均样本嵌入之间的相似度。实验表明,中心核对齐方法表现优于余弦相似度,同时本文提出的基于中心核对齐度量的二阶段训练框架的平均性能,与之前的SNN元学习算法相比准确率提高了5%,并且超过了早期经典的ANN元学习方法。 (3)实现了深度脉冲神经网络元学习训练可视化系统。该系统包括四个模块:预训练模块、元训练模块、元测试模块、任务分类模块。用户可在对应模块中配置SNN参数、元学习等参数,即可直观训练所需求的模型,完成模型后可使用该模型上传真实图像数据进行分类。

关键词： 脉冲神经网络   跨波段分类   可见光-红外   图像分类   遥感图像  

摘要： 随着国家高分辨率对地观测系统重大专项的实施,为我国遥感技术发展注入了强大的动力,然而大量的行业需求对遥感应用提出了更高要求。作为重要的遥感技术手段,高光谱图像虽有精细频谱信息和图谱合一的特点,但存在数据维度高和空间分辨率小等问题;可见光遥感虽然空间分辨率高、直观可解释,但易受云雾等气象条件影响;红外遥感虽然大气中穿透力强,但是其图像边缘模糊,存在分辨率、对比度和信噪比低等特点。由于红外图像的军事用途背景,存在数据获取困难,可用的公开样本稀缺等问题。如何结合不同模态遥感图像,实现遥感图像的跨波段研究是当前遥感应用的重要问题。针对移动计算环境的低能耗遥感图像分类应用需求,解决不同模态的遥感数据的样本不平衡问题,本文利用迁移强化学习技术研究了可见光-红外跨波段遥感图像分类。主要研究工作如下: (1)利用高光谱数据图谱合一和覆盖波段多的技术特点,采用波段选择方法,构造了可见光-红外遥感图像跨波段数据集,解决了不同波段样本缺乏和数据不平衡的问题。论文利用高光谱遥感图像数据集分别构建了同一时空的可见光、红外等波段的遥感图像数据集,解决了不同模态的遥感图像的跨波段研究中实验样本数据缺乏的问题,为分类模型的能力提升提供了基础。 (2)采用迁移学习实现了基于脉冲神经网络的低能耗可见光-红外遥感图像的跨波段分类。为实现移动环境低能耗计算需求,在LIF神经元的基础上采用近似求导函数,基于脉冲神经网络实现了遥感图像的跨波段分类。为解决小样本数据导致的模型泛化能力不足和过拟合问题,利用不同模态分类模型的迁移学习,实现了可见光-红外遥感图像跨波段分类。实验研究发现基于脉冲神经网络的迁移学习,可见光-红外遥感图像跨波段分类具有良好的性能。 (3)为提升遥感图像分类效果,进一步基于迁移强化学习研究了可见光-红外遥感图像的跨波段分类。通过强化学习研究了不同网络层参数的迁移控制机制,提供动态调整网络架构迁移,实现多次迭代交互与反馈,以确定迁移网络的最佳层数配置。实验研究发现基于脉冲神经网络的迁移强化学习,可见光-红外遥感图像跨波段分类能有效提升遥感图像的分类结果。 充分利用不同模态遥感图像在分类任务中的特征表达,能有效地提升跨波段图像分类的任务效果。本研究是迁移学习和强化学习在遥感图像的跨波段分类的积极探索,对解决低能耗、样本不平衡的遥感图像分类问题,实现移动计算环境中遥感跨波段图像分类的工程应用具有重要现实意义。

关键词： 发作性偏头痛   慢性偏头痛   Allen人脑图谱   类淋巴系统   偏头痛慢性化  

摘要： 研究背景 偏头痛是一种常见的慢性神经血管性脑疾病,不仅对患者造成严重影响,也给家庭和社会带来沉重负担。偏头痛的诊断目前依据最新的国际头痛疾病分类第三版(the International classification of headache disorders 3rd,ICHD-3)。其典型特征是反复发作,通常是单侧、中重度的头痛,常伴有恶心、呕吐、对光和声超敏感,持续4-72小时,部分患者伴有先兆。临床常用的分类把偏头痛分为发作性偏头痛(Episodic migraine,EM)(每月头痛天数<15天)和慢性偏头痛(Chronic migraine,CM)(每月头痛天数≥15天,其中至少8次符合偏头痛标准,或对曲坦类药物或麦角胺类药物有反应)。一些EM患者可能发展为CM,这个进展的过程被称为偏头痛慢性化。尽管对偏头痛发作病理生理学的了解有了很大提高,但对偏头痛的发病机制(即偏头痛发作反复触发或自发的原因及其方式)仍然知之甚少。近年来,应用神经影像技术对偏头痛发病机制的探索日益增多。 静息态血氧水平依赖功能磁共振(Resting state-blood oxygen level dependent-functional MRI,rs-BOLD-fMRI)是一种功能强大的神经成像技术,其通过检测低频血氧水平依赖(Blood oxygenation level dependence,BLOD)信号变化来测量自发脑活动。在众多的rs-Bold-fMRI分析方法中,低频振幅(the Amplitude of low-frequency fluctuations,ALFF)、比率低频振幅(Fractional ALFF,fALFF)和区域一致性(Regional homogeneity,ReHo)是在单体素水平上从不同角度研究区域自发活动信号的主要方法。先前应用rs-Bold-fMRI技术的研究已经确定了偏头痛患者的一些自发脑活动异常区域,然而结果存在争议。神经影像转录组学作为一种新兴的研究方法,目前已广泛应用于多种疾病的机制探索。其中新引入的Allen人脑图谱(Allen human brain atlas,AHB A),是目前最常用的全脑基因表达图谱,可以帮助我们充分理解分子转录组尺度上的空间变化以及其与宏观神经成像表型之间的关系。偏头痛作为一种常见的神经系统疾病,其临床表现有40-60%由遗传因素决定,尽管全基因组关联研究(Genome-wide association studies,GWAS)已经确定了偏头痛的38个易感位点。但是将GWAS的发现转化为疾病途径是复杂的,偏头痛的遗传机制目前仍不明确。因此,将rs-Bold-fMRI与神经影像转录组学相结合无疑为我们探究偏头痛的遗传机制提供了一条可行的途径。 类淋巴系统是近年来新发现的全脑废物清除网络,其主要依赖星形细胞水通道蛋白4(Aquaporin-4,AQP4)来实现。Iliff和他的6位同事利用双光子成像技术,首次证明了 7只活鼠脑中的脑脊液(Cerebrospinal fluid,CSF)与间质液(Interstitial fluid,ISF)循环可用于液体运输。即脑脊液通过动脉血管周围间隙流入脑实质,然后依次流入间质间隙和静脉周围间隙,形成一条新的大脑废物排泄通道。一种基于弥散张量图像(Diffusion tensor image,DTI)的神经成像技术的分析方法,即髓静脉周围间隙弥散指数(Index for diffusivity along the perivascular space,ALPS指数)已被用于无创评估人脑内类淋巴系统功能。类淋巴系统代表了一种假设的废物清除途径,是大脑内稳态的组成部分。静息状态时脑脊液的大而慢的运动与灰质区域平均血氧水平依赖信号的变化有关,与此同时,脑脊液动力学与大脑废物的清除亦存在潜在的联系。由此我们推测,基于rs-Bold-fMRI的自发局部脑活动可能与类淋巴系统功能相关,类淋巴系统可能参与偏头痛发病机制中。 研究目的 本研究利用神经影像技术探索偏头痛局部自发脑活动可能的神经遗传机制及其类淋巴系统功能,并探索偏头痛慢性化可能机制。具体内容如下: (1)研究一:根据fMRI的ReHo图评估EM和健康对照组(Healthy controls,HCs)两组局部自发脑活动差异;然后通过转录组-神经成像空间相关分析,确定偏头痛中与ReHo变化相关的基因;最后,通过功能注释分析鉴定的ReHo相关基因的功能特征。探索EM患者局部自发脑活动的遗传机制。 (2)研究二:利用ALPS指数的方法对DTI成像进行分析及计算,评估并比较了EM和HCs患者类淋巴系统功能的改变;与EM患者临床特征及研究一结果ReHo值做相关分析。探索EM患者类

关键词： 忆阻   类脑智能   时序记忆   双通道记忆   情感演化   情绪习惯化  

摘要： 近年来,受到大脑工作机制的启发,类脑智能的发展越来越迅速。通过类脑智能硬件电路来实现情感和记忆功能已经成为了新的研究热点。忆阻作为一种新型的纳米级器件,具有阻值可变性、非易失性、功耗低、集成度高等优势。利用忆阻来构建类脑智能硬件电路能够显著提高电路的性能和效率。本文设计了基于忆阻的类脑记忆和情感演化电路,实现了双通道记忆、时序记忆、情感演化和情绪习惯化等功能。主要内容如下: 针对忆阻类脑记忆电路中只能通过单一通道来记忆外部信息的问题,引入了双通道记忆和时序记忆的概念,设计了一种能够实现双通道记忆和时序记忆的忆阻类脑智能电路。该电路由双通道记忆模块、时序记忆模块、反馈模块和回忆模块所组成,实现了长短时记忆、双通道记忆、时序记忆、回忆和时序判断等功能。基于忆阻的双通道记忆和时序记忆电路成功复现了生物大脑的双通道记忆和时序记忆机制,为后续通过硬件电路实现类脑记忆提供了一些思路。 针对忆阻类脑情感电路中只考虑了情感的生成过程,而忽略了情感的演化的问题,设计了一种能够实现情感演化的忆阻类脑智能电路。所设计的电路主要由信号处理模块、逻辑选择模块、情感生成模块、性格模块和情感表达模块组成。该电路模拟了情感的生成和演化过程以及不同性格特征下情感的衰退过程,并在PAD三维情感空间中实现了情感的表达。基于忆阻的情感演化电路成功复现了人脑中复杂的情感变化过程,为人工情感的发展提供了一些参考。 针对忆阻类脑电路只单独实现了习惯化或情绪功能,而忽略了情绪刺激下习惯化形成的问题,设计了一种可以实现情绪习惯化忆阻电路。所设计的电路由习惯化模块、情绪控制模块、情境控制模块和泛化模块组成,实现了习惯化、去习惯化、情绪习惯化、习惯化的情境依赖性和习惯化的泛化功能。基于忆阻的情绪习惯化电路将情感与习惯化结合,成功复现了生物体受到不同情绪刺激下的习惯化行为,为大规模类脑智能电路的构建提供了一些方法。 本文用忆阻作为核心器件,设计了双通道记忆和时序记忆忆阻电路、情感演化忆阻电路、情绪习惯化忆阻电路。用硬件电路的方式实现了类脑记忆和情感演化的相关功能,为忆阻在类脑智能领域的发展提供了参考。

关键词： 移动机器人   深度强化学习   脉冲神经网络   路径规划   风险规避迁移学习  

摘要： 移动机器人已广泛地应用于制造业、农业、医疗等领域。路径规划是移动机器人的重要技术之一，有效的路径规划方法可以保证给定任务的顺利完成。此外，高性能的路径规划方法能有效减少机器人作业时间、节约人力资源、提升工作效率等。基于深度强化学习（DeepReinforcementLearning，DRL）的移动机器人路径规划方法通常存在训练速度慢、适用环境简单的问题，大多难以在多楔形复杂障碍物环境中进行有效的路径规划。相比其他神经网络，脉冲神经网络（SpikingNeuralNetworks，SNNs）具有更好的鲁棒性、生物可解释性，以及硬件实现所需能耗更低。本文针对复杂环境中基于脉冲深度强化学习（SpikingDeepReinforcementLearning，SpikingDRL）的移动机器人路径规划技术进行研究，将SNNs与DRL相结合来提升移动机器人路径规划的成功率，路径规划模型的稳定性、泛化性，以及规划路径的平滑性。主要工作如下：　　（1）基于策略融合及SpikingDRL的移动机器人路径规划　　①提出脉冲卷积DDPG（SpikeConvolutionalDeepDeterministicPolicyGradient，SCDDPG）算法，使用卷积神经网络提取状态信息的多通道特征，以对环境信息进行更精准的学习;②在SCDDPG算法基础上，通过融入基于超声信息的状态约束策略，提出脉冲卷积约束DDPG（SpikeConvolutionalConstraintDeepDeterministicPolicyGradient，SC2DDPG）算法，将移动机器人的动作空间进行约束，避免危险环境下的经验探索。状态约束策略会采样经验训练DRL模型，从而减少训练时间;③针对楔形障碍物位于机器人前行方向和目标点间，机器人易陷入局部极小点而难以绕过楔形障碍物的问题，融入沿墙行走策略，提出策略融合迁移DDPG（PolicyFusionTransferDeepDeterministicPolicyGradient，PFTDDPG）算法。PFTDDPG算法设置分阶段控制模式：在路径规划开始时利用沿墙行走策略使机器人沿着楔形障碍物运行，驶出楔形障碍物后使用深度强化学习策略生成动作。沿墙行走策略亦采样经验训练DRL模型。仿真实验证明，所提SCDDPG、SC2DDPG、PFTDDPG算法在路径规划长度和训练速度方面对比基线算法都有不同程度的提升。　　（2）基于风险规避及SpikingDRL的移动机器人路径规划（RSTD3）　　针对多楔形障碍物构成的复杂场景，设计了SpikeTD3（SpikeTwinDelayedDeepDeterministicPolicyGradient，SpikeTD3）算法，基于SpikeTD3算法提出了风险脉冲TD3（RiskSpikeTD3，RSTD3）算法。首先设计SpikeTD3算法并使用近似梯度对其进行时空反向传播训练;其次将移动机器人所处的环境进行风险建模，并通过贝叶斯不确定性风险概率设计奖励函数;RSTD3算法使用优先经验回放和随机经验回放对模型进行交替训练，提高模型收敛速度;RSTD3算法引入迁移学习将先验知识通过策略迁移方法迁移至初始化模型中，使模型在初始化时就具备一定的路径规划能力，减少模型训练时间，提高了移动机器人路径规划的能力。　　实验结果证明RSTD3算法不仅在仿真多楔形障碍物环境中的完成了路径规划任务，而且在实际多楔形障碍物环境中亦成功地完成了仿真-现实（SimulationtoReality，Sim2Real）实验和泛化实验。在Sim2Real实验中RSTD3算法不需进一步精调直接实现仿真-现实的迁移;泛化实验结果证明了RSTD3算法具有很好的泛化性能。　　（3）基于多阈值SpikingDRL的移动机器人路径规划（RMSTD3）　　针对脉冲神经网络中单阈值神经元表示信息能力不足，强化学习对于多楔形障碍物环境路径规划成功率低等问题，在RSTD3算法的基础上利用多阈值脉冲PipLIF神经元——MPipLIF，提出风险多脉冲TD3（RiskMultipleSpikeTD3，RMSTD3）算法。设计了由MPipLIF神经元构成的多脉冲Actor网络，在多脉冲Actor网络中使用近似梯度进行多脉冲时空训练。其中每个MPipLIF神经元中包含多个不同阈值的PipLIF神经元，这不仅使脉冲神经网络有更丰富的脉冲发放模式，而且可通过MPipLIF神经元发放不同的脉冲模式来学习不同强度的环境信息。　　RMSTD3算法完成了仿真多楔形障碍物环境中的全部路径规划任务，相比RSTD3算法获得更高的路径规划测试成功率。在实际多楔形障碍物场景中，RMSTD3算法控制机器人成功地完成了路径规划任务，RMSTD3算法不需要精调就能直接实现仿真-

关键词： 脉冲神经网络   脉冲神经元   注意力机制   时间步长收缩   故障诊断  

摘要： 人工神经网络在计算机视觉、自然语言处理等领域取得了重要突破并广泛应用,但其推理需要大量计算资源,影响了其部署的高效性与广泛性。脉冲神经网络(Spiking Neural Network,SNN)模拟生物神经系统,在神经元之间传递离散的0-1脉冲序列,以低能耗和高生物可信性受到广泛关注。然而,现有的脉冲神经元仅对生物神经特性进行简单建模,缺乏深入的模拟机制限制了其表征能力;另外,SNN需要在多个时间步长内累积膜电势进行推理,弱化了其效率优势;并且,目前对于SNN的研究多局限于卷积/残差结构用于图像识别、检测,缺乏考虑脉冲特性的高效架构及实用任务的探索。为此,本文开展基于注意力机制的SNN研究及应用,以提升SNN模型的应用性能和效率。本文的主要研究内容和创新点如下: (1)提出了基于注意力机制的脉冲神经元模型。本文提出在脉冲神经元内部以注意力机制模拟生物树突过滤效应,进行输入电流自适应增强/抑制,提升脉冲神经元对输入信息的辨别能力及SNN的整体性能。进一步地,本文以轻量的通道-空间分离注意力替换普通卷积注意力,大幅降低所需参数量和计算开销,并维持相似的性能。实验表明,该方法能够在静态、神经形态目标识别及故障诊断任务中以较低的计算开销大幅提升模型性能。 (2)提出了基于时间步长收缩的SNN训练方法。为了降低推理延迟,本文提出将SNN划分为时间步长逐渐收缩的多个阶段,并在阶段间以轻量的非对称注意力机制构造时间尺度转换器转换信息的时间尺度,从而降低整体时间步长并保持性能。进一步地,本文提出在训练期间向SNN中添加多个辅助分类器,接收时间步长收缩后的信息并产生预测,进而计算辅助损失以促进误差梯度传播并缓和代理/真实梯度不匹配问题。实验表明,所提方法仅需轻微的额外参数及训练开销,能够大幅降低SNN的整体时间步长并提升性能。 (3)提出了基于注意力机制的SNN架构。为了提升SNN的特征提取能力,本文提出使用多尺度脉冲卷积操作提取输入数据中的多尺度特征,利用通道注意力对其进行选择性关注并融合编码为脉冲序列,从而实现高效的脉冲编码。为进一步提升模型的性能,本文提出脉冲残差注意力模块,使用通道注意力及空间注意力机制对深层残差特征进行修正,提升模型的表征能力。在故障诊断任务上的实验表明,与已有方法及SNN架构相比,所提方法具有更少的参数且更精确的诊断效果。当存在噪声干扰时,所提方法大幅超出已有方法,具有鲁棒的抗噪性。 (4)设计并实现了基于SNN的故障诊断系统。本文集成上述算法模型,结合故障诊断任务的实际需求,设计并实现了一套基于SNN的故障诊断系统并进行验证。测试结果表明,该系统能够按照真实场景的资源、速度需求灵活设置,并实现高效的多设备故障诊断及分析。 本文通过在脉冲神经元模型、SNN训练方法、SNN架构和SNN应用等四个层面对现有方法进行协同优化改进,降低了SNN模型的推理延迟并提升性能,促进了SNN模型的实际部署应用。