课程文献中心 更多>>

关键词： 图形识别   脉冲神经网络   自注意力机制   脉冲编码  

摘要： 近年,随着大数据技术的蓬勃发展,和并行计算能力的大幅提高,深度学习技术取得了空前的进步。另一方面,人类接受的信息中大约有80%以上是通过视觉信息传达的,因此,对图像识别技术进行研究有着重要的现实意义。但是深度神经网络也有着明显的缺点,相对于人脑大约20瓦特的功耗而言,深度神经网络的训练成本和运行功耗都高的惊人。传统的深度神经网络诞生于冯诺依曼架构的机器背景下,这种模型下的数据存储和计算是分离的,而人脑内的生物神经网络以脉冲信号为载体,网络以“存算一体”的形式工作,是其高效节能的结构基础。因此,深入研究类脑的脉冲神经网络(Spiking Neural Network,SNN)对于降低大模型的功耗,和进一步开发出存算一体的硬件,都有着巨大的推动意义。另一方面,自注意力机制(Self-Attention Mechanisms)是目前深度学习的热点之一。人类在观察外界事物时,会习惯性的根据自己的需求和兴趣,有选择地获取相关信息。同样地,注意力机制也允许模型对输入数据的不同部分赋予不同的权值,使其可以在更为需要关注的部分投入更多的计算。通过这种方式,注意力机制可以帮助模型在处理大量数据的时候,抽取关键信息并忽略无关信息,避免算力开销过大导致的信息过载。总之,在当今这个信息爆炸的时代,让大模型学会分清信息的重要程度,无疑会同时提升模型的表现效果与执行效率。综上,本文对基于注意力机制的脉冲神经网络在图像识别领域的研究方法进行了深入探索,提出了一种结合脉冲特性和自注意力机制的新型网络,并在静态图像数据和神经形态图像两种数据集上进行了实验,来研究该网络的表征能力。本文的具体研究内容如下:(1)提出仿生特征提取与优化的脉冲编码方案。针对传统Vi T模型在特征提取方面没有特定的边缘过滤机制,而是直接通过将视觉信息分块的方式输入到模型的问题。具体方法是受生物视网膜提取图像信息的启发,采用高斯差分滤波来模拟On-Off神经节对视觉信息预处理,能有效的对输入模型的信息进行增强。同时在脉冲编码方面,受时间相关的编码方案的启发,提出了强度微扰动间隔编码。在由像素强度转化而来的脉冲发放时刻上,加上微小的时间噪声扰动,可以提高模型的鲁棒性,这两点同时增强了模型的性能。(2)提出脉冲全局互注意模型(SGMA,Spike Global Mutual Attention)。针对深度学习模型的高成本高功耗,同时针对如何将自注意力机制引入脉冲网络的等问题,本文提出该新模型。前者为深度学习提供了一个节能和事件驱动的计算范式,而后者能够捕获特征之间的依赖关系。SGMA中通过使用脉冲形式的Query、Key和Value来建模稀疏的视觉特征。由于其计算是稀疏的并且避免了乘法,SGMA是高效的并且具有低的计算能耗。同时解决了一些列诸如如何在脉冲情景下实现位置嵌入的核心问题。通过对脉冲神经网络中神经元计算特性的研究,实验不同的训练算法,结合流行的脉冲框架的底层代码,对模型进一步深度优化。研究表明,在神经形态和静态的图像数据集上,SGMA在分类方面都展现出了有竞争力的性能。

关键词： 视觉搜索   特征注意   中心感受野   脉冲神经网络   非人灵长类  

摘要： 视觉是人类感知外部世界最为重要的感知觉形式,占获取信息70%以上。日常视觉行为过程中,人们通过眼运动整合视野中不同位置的信息以形成对外部环境全面的视觉感知,该过程依赖于视野中心和外周视觉信息处理和注意力等机制。本论文围绕“复杂自然刺激条件下,视觉注意如何引导高效眼动搜索行为的神经机制”科学问题,通过基于复杂刺激类别的自由眼动视觉搜索行为范式结合多脑区单/多细胞记录、深度脉冲神经网络(SNN)建模等方法,从视觉搜索过程中复杂刺激分类和神经反应计算建模、视野中心注意力的神经机制、视野中心和外周的注意力相互作用三个方面开展研究: 复杂刺激分类和神经反应计算建模。在猕猴执行视觉搜索任务过程中,在V4、IT、LPFC、OFC四个脑区合计记录4344个中心感受野神经元、1558个外周感受野神经元、6365个中心+外周感受野神经元。1)尽管一般认为IT细胞具有较大的感受野,本研究发现31.28%IT细胞为小感受野的中心感受野神经元;中心感受野细胞对面孔和房屋等复杂自然刺激表现出更强的类别选择性,类别选择性细胞占比为56.78%(IT)、30.03%(V4),而在外周细胞占比为8.79%(IT)和4.18%(V4)。2)基于深度SNN预测了中心神经元视觉反应动态,实现了对单个刺激的准确预测,和对面孔和房屋两类刺激平均反应的预测,误差分别为:3.17%、3.04%、2.9%,预测精度优于目前国际主流的卷积模型。 视野中心注意力的神经机制。在V4和IT记录到中心感受野神经元包括784个面孔选择性细胞,644个房屋选择性细胞、1609个非选择性细胞。1)搜索面孔或房屋目标时需要注意相应类别的刺激,这种特征注意导致中心细胞对目标类别刺激视觉反应的显著增强,其中选择性细胞对偏好类别刺激的反应增强更显著:面孔选择性细胞对面孔刺激反应增强10.62%(IT)、3.92%(V4),对房屋刺激反应增强1.18%(IT)、0.12%(V4);房屋选择性细胞对房屋刺激反应增强5.48%(IT)、4.74%(V4),对面孔刺激反应增强2.25%(IT)、2.14%(V4)。2)同一类别不同刺激之间视觉反应存在很大差别,而注意导致的反应变化幅度基本相似。IT和V4房屋选择性细胞对不同房屋刺激视觉反应变异度分别是随机误差的19.57、27.22倍,注意导致的反应增强变异度仅为1.09、0.33倍;面孔选择性细胞对不同面孔刺激视觉反应变异度是随机误差的16.32、18.38倍,注意导致的反应增强变异度仅为3.77、0.46倍。表明复杂的类别特征是影响注意效应的重要因素。 视野中心和外周的注意力相互作用。1)搜索过程中,V4、IT、LPFC外周神经元的特征和空间注意效应依赖于视野中心的特征注意状态:当中心刺激的特征被注意时,外周的特征注意效应消失,空间注意效应减小;当中心刺激的特征不被注意时,外周的特征和空间注意效应同时存在,提示视野中心特征注意在与外周注意相互作用中占主导地位。2)与上述注意效应在视野中分布一致,视野中心的特征注意状态对后续搜索行为有很大影响:当中心刺激特征不被注意时,下一个眼动指向外周目标刺激的概率为75.22%;当中心刺激特征被注意时,下一个眼动指向外周目标刺激的概率下降至48.44%。3)特征注意效应引导眼动的作用不仅限于紧随当前注视的眼动,当特征注意导致对一个目标刺激的反应显著增强时,这个刺激也更易于被后续第二个眼动扫视,无论该目标刺激是位于视野中心或外周。上述结果提示,视野中心和外周的注意过程协同引导高效的搜索行为:中心特征注意引导眼睛驻留在当前注视的目标刺激同时通过抑制外周的注意效应忽略外周的目标刺激,而外周的特征和空间注意引导眼睛至外周目标刺激。 本论文通过同步研究视野中心和外周的注意机制,发现了视野中心特征注意在与外周注意相互作用中占主导地位,比较全面地揭示视觉搜索过程中整个视野范围内特征和空间注意分布和变化模式,阐明了注意效应引导后续眼运动行为的机制,细化了“分布式特征注意效应”理论的适用范围。研究还发现复杂的类别特征是影响注意效应的一个重要因素,实现基于SNN的复杂刺激反应动态预测。本论文加深对主动视觉行为神经机制的理解,为发展高效类脑智能模型提供生物学依据。

关键词： 混凝土结构   裂缝检测   特征融合   脉冲神经网络   深度学习  

摘要： 随着使用年限的增长与外界环境的影响，建筑物出现裂缝的情况愈加严重，这将极大地影响建筑物的结构稳定性，进而危及人们的财产生命安全。因此，人们需要一种快速有效的混凝土裂缝检测方式。检测方式需要对混凝土中的可疑裂缝进行识别，从而能及时发现潜在的危险因素，进而消除安全隐患。　　现有的混凝土裂缝检测方法大多基于卷积神经网络等深度学习技术，在自适应能力和准确性等方面具有一定优势。然而，由于卷积神经网络模型占用内存多和功耗大等缺陷，导致其在移动场景下难以实现应用。而脉冲神经网络相较于卷积神经网络具有能耗低与稀疏性好的优势，在边缘硬件设备上有较好的商用前景。但现有脉冲神经网络模型的网络结构较为简单，提取特征能力不足，导致在混凝土裂缝检测任务中实现精度不高。　　因此，本文针对上述问题，拟提出轻量化的脉冲神经网络模型实现对混凝土裂缝的高精度检测，主要研究内容如下：　　（1）针对现有卷积神经网络模型参数量大、占用内存多的问题。本文设计了一种基于多尺度残差网络结构的轻量化脉冲神经网络检测模型。整个模型由多个模块与脉冲卷积层构建，该模块由多种不同尺度的卷积层与残差模块组合形成，进而实现快速裂缝检测。　　（2）针对检测模型提取能力不足的问题，本文提出了一种基于脉冲边缘纹理特征融合的模块GS。该模块首先由Gabor卷积模块与脉冲卷积模块分别提取裂缝图像的纹理特征与脉冲边缘特征，然后以特征融合的方式对提取特征进行有效整合和利用，最后再将融合特征送入检测模型中进行检测分类。　　实验结果表明，由多尺度残差模块组合成的脉冲神经网络检测模型在公开数据集SDNET与自收集数据集OCD的准确率分别为86.5%和95.6%，模型大小是基于现有脉冲神经网络检测模型的1/12，降低了对检测设备的存储空间要求。并且本文将纹理特征和边缘特征进行融合，有效地提升裂缝检测的准确性和鲁棒性。在基于多尺度残差检测网络的基础上，本文模型能在保持较低参数量的情况下，在SDNET与OCD数据集上实现的准确率分别为87.3%和96.4%，证明了在混凝土裂缝检测任务中特征融合方式的有效性。

关键词： 车辆检测   车辆跟踪   脉冲神经网络   LIF   数据融合  

摘要： 车辆检测跟踪是智能交通运输的重要组成部分,对防控道路交通风险,保障交通安全具有重要意义。针对复杂场景下车辆检测跟踪算法精度不足、泛化性较差等问题,本文重点围绕雷达视频融合技术并基于脉冲神经网络对车辆检测跟踪算法展开研究,具体内容如下:1.针对现有雷达视频融合数据集数量小、质量差,难以满足神经网络对训练数据的要求。本文首先基于多场景检测跟踪任务分别对雷达与视频数据进行采集,同时对时间同步与空间配准算法进行改进,并在改进的时空配准算法基础上完成了雷视融合数据集的构建,有效解决了复杂交通场景下雷视数据融合不佳的问题,为后续车辆检测跟踪算法提供了数据支撑。2.针对脉冲神经网络SNN(Spiking Neural Network)阶跃函数不可导,无法并行训练等问题,本文设计了梯度近似算法,改进了泄漏整合发放LIF(Leaky Integrate-and-Fire)神经元模型并以此构建脉冲神经网络模型,同时设计了一种邻域编码方式。解决了脉冲神经网络模型在编码脉冲效率低的情况。基于本文改进的脉冲神经网络在Tiny YOLOSNN目标检测模型上m AP达到了72.3%,提高了3.2%。3.基于改进SNN目标检测网络并结合跟踪算法进行车辆检测跟踪。针对SNN特征提取能力不强引入脉冲卷积编码、脉冲特征集设计等方法对目标车辆进行特征处理。同时,为减少目标检测误差,增强网络对小目标细节语义信息的表达能力,在检测网络中引入了特征融合方法。针对模型训练精度较差等问题,设计了一种基于时空域同步训练的梯度优化策略。通过在本文构建的数据集上与YOLOV5和Faster R-CNN检测模型进行对比实验,表明了本文改进的SNN网络对目标检测的精度更高,实时性更好,其对目标检测的准确率达到了94.8%。最后,本文在SNN目标检测基础上,采用Deep SORT跟踪器,实现了对车辆的目标跟踪。实验结果表明,本文设计的SNN+Deep SORT车辆跟踪算法相对Faster R-CNN+Deep SORT跟踪算法,其MOTA和MOTP指标分别提升了2.7%和1.3%,有效证明了融合数据对目标检测与跟踪效果的综合优势。最后,本文基于脉冲神经网络检测跟踪算法对车辆检测跟踪系统进行了设计与实现,并取得了良好的测试效果,表明了本文所提算法的可行性。

关键词： 动态视觉传感器   类脑计算   脉冲神经网络   无人机避障   类脑处理器   目标检测   避障决策  

摘要： 随着无人机在军用和民用领域的不断普及,无人机避障已经成为无人机飞行控制领域越来越重要的研究问题。大量已有研究针对无人机在静态环境中的避障方法展开研究,但在低空环境中往往存在大量随机且复杂的动态障碍物,动态避障问题变得不可忽视。已有的视觉避障工作结合传统视觉传感器获取到障碍物信息,采用功耗较大、计算资源需求较大的人工神经网络方法进行动态避障,面临很多的问题与挑战。 类脑计算具有出色的能效表现,已经得到学术和工业领域的广泛关注。动态视觉传感器以类脑计算为设计思路,是一种能够响应场景实时变化的传感器,其低延迟、低功耗、高动态范围的特性十分契合无人机动态避障的需求。高能效的脉冲神经网络作为类脑计算的核心运算方式,能够直接处理动态视觉传感器获取的脉冲事件信号。可以推断,动态视觉传感器与脉冲神经网络两者具有的低延迟、低能耗、高能效的特点均能在很大程度上减轻无人机平台上的能效和计算资源约束问题,但是现有无人机避障研究极少使用该组合。 因此,本文主要针对无人机避障,特别是动态避障问题,对基于动态视觉传感器和脉冲神经网络的无人机避障平台进行探索研究和设计优化。主要贡献如下: 1)基于动态视觉传感器和脉冲神经网络的避障框架。本文提出了无人机动态避障框架,该框架使用动态视觉传感器感知障碍物,并使用脉冲神经网络算法进行障碍物检测,使用避障动作决策方法生成避障动作。在该避障框架的支撑下,无人机可以成功避开大部分动态障碍物,且整体延迟略低于基于强化学习的避障方案。研究重点提出了脉冲神经网络目标检测算法和避障动作决策算法,并结合检测性能对脉冲神经网络算法进行了参数优化。根据估算,与转换前的人工神经网络基准方法相比,脉冲神经网络算法的功耗可降低三到四个数量级。 2)针对运动条件下事件数据的预处理方法。针对避障框架中动态视觉传感器的数据处理方式进行研究时,发现了基于差分方法获取的事件帧刷新速率过慢,以及无人机运动导致产生静态物体冗余事件的问题。为解决以上问题,本文提出了事件数据预处理的方法。该方法根据机体角速度信息与时间窗大小进行自运动补偿,消除静态背景在相对运动时产生的冗余事件;之后根据事件的时间戳分布,筛选事件并形成事件帧数据。仿真实验对预处理方法进行了测试,结果显示,事件帧上由静态背景产生的冗余事件减少了64%到70%,从而降低了障碍物检测算法对非动态物体进行误检的潜在可能性。 3)针对硬件规模和避障安全的避障算法优化设计。针对现有避障框架中脉冲神经网络算法延迟高、在类脑处理器上部署困难以及对准确的障碍物信息依赖所带来的安全问题,本文对无人机动态避障框架进行了优化。优化方法对障碍物检测部分进行修改,采用轻量级动态神经场和聚类方法来检测事件数据中的障碍物。优化方法还对动作决策部分进行修改,使用两种估计方法计算动态障碍物信息的估计值及预测范围。实验结果表明,优化后的动态避障框架能够在0.2秒内稳定躲避相对速度为8米每秒的动态障碍物;优化后的障碍物检测方法的检测速度提高了85%,并在牺牲小幅度精度的情况下降低了能耗,可部署于已有类脑加速器;优化后的动作决策算法支持处理包含误差和出现漏检情况的障碍物信息,能在给定不同置信度的情况下生成不同的无人机动作命令。

关键词： 脉冲神经网络   监督学习   图像分类   神经元剪枝  

摘要： 脉冲神经网络(Spiking Neural Network,SNN)借鉴生物神经元的信息传递机制,使用离散的脉冲来表示信息,因此具有较强的时序信息处理能力和低功耗的优势。与传统的人工神经网络不同,SNN更加贴近生物神经系统的运作方式,并且可以有效地处理时序数据。然而,由于脉冲信号的离散性,网络学习过程中存在不可导问题。而且,复杂的网络结构往往需要大量的参数来进行训练和推断。本文对时间编码下的SNN监督学习算法进行研究,探讨既能降低网络复杂性、提高能源效率、又能保持高准确度的有效解决方案。本文的主要工作内容如下:(1)针对SNN直接训练的不可导问题,本文提出一种脉冲时间依赖反向传播算法。引入首次脉冲时间的概念,设计一种具有动态阈值的神经元模型,减少死亡神经元的数量。在网络训练过程中,结合反向传播的全局优化,根据神经元间的时序关系局部更新连接权重。最后,在MNIST、Fashion-MNIST数据集进行图像分类实验,证明了算法的有效性,准确度为97.6%和88.2%。(2)为了减少SNN训练时的计算和存储需求,本文将突触权重进行二值化。在脉冲时间依赖反向传播算法的基础上,提出一种二值SNN直接监督学习算法。在网络推理过程中,使用二值权重进行前向传播,使用实值权重进行反向传播。在MNIST、Fashion-MNIST数据集上进行实验,与同样架构的二值神经网络相比,准确度分别提高了0.4%和1.2%,在延迟与能量方面具有优势。(3)针对实验过程中不重要的神经元,提出三种基于时间编码的神经元剪枝策略:恒定数量、恒定放电时间阈值与自适应放电时间阈值剪枝方法。神经元重要性取决于是否对数字分类有贡献,实验证明具有自适应放电时间阈值的剪枝方法简单高效,能量最多减少了55%,而相应的准确度损失仅为1.1%。

关键词： 移动机器人   类脑行为决策   好奇度参数   自适应调节   陌生环境  

摘要： 目前，随着人工智能技术的飞速发展，新的科技革命正在兴起，神经网络等传统机器学习算法已在多个领域得到广泛应用。但是，传统人工智能技术也面临着多种困境，如神经网络训练缓慢、人工标记数据费时费力以及自主学习能力不足等。为了解决上述问题，研究人员逐渐将人工智能的研究重心转向探索与模拟大脑的生理机制上。随着技术的进步，类脑智能因其低能耗、弱监督等优势逐渐在多个领域得到重视，并在各个领域得到应用。　　机器人行为决策是机器人学的重点研究领域之一，本文通过对大脑生理结构以及生理机制的研究，对原有的机器人类脑决策模型进行了进一步的设计，提高其动态决策能力，并通过未知环境中的移动机器人导航验证该模型的性能。　　首先，移动机器人执行非特定任务的前提是对任务环境具有充分有效的认知，但是通常移动机器人需要在未知环境中边探索环境边执行任务。为了解决移动机器人对未知环境的探索与利用平衡问题，本文对原有小脑-基底神经节决策模型进行了改进，设计了更具生理学意义的好奇度参数，通过模拟人脑蓝斑活动基音模式和阶段模式的切换，替换原有的策略选择方式实现了移动机器人环境探索利用的自适应调节。另一方面用随环境变换的自适应调节因子取代了原有的随时间变换的调节因子，提高了移动机器人对于环境变化的适应能力，使移动机器人学习能力更加稳定。最后设计了仿真实验在不同环境下验证了改进后模型的行为决策能力和学习能力，实验结果表明，改进后的模型具有更少的导航路径以及更快的收敛速度，同时在动态环境中的导航任务具有更高的成功率。　　进一步的，将人类大脑的学习与记忆模式引入到移动机器人对环境认知的学习与记忆中，同时结合心理学中好奇情感对记忆的强化和巩固作用，提出了一种好奇心触发的学习与记忆类脑决策模型。针对动作决策的记忆问题，模拟海马的记忆功能，通过多巴胺神经调节，实现机器人动作决策的短期记忆的编码以及短期记忆到长期记忆的转换。新模型采用半监督的方式进行学习，具备在线增量学习能力，可以根据环境进行针对性的学习，即使环境发生改变也可以根据过往知识对现有决策进行指导。现实环境下的导航实验结果验证了模型在不同环境下的增量学习能力，随着网络的学习，其在新环境的适应能力也大大提高。　　最后，对于上述所提及的模型，通过真实场景中的机器人Rikirobot平台和ROS软件系统，在真实环境中进行了移动机器人导航实验，实验结果显示本文模型能够达成目标要求。

关键词： 心电信号分类   数据扩增   脉冲神经网络   梯度替代算法  

摘要： 近十年来中国心血管病患者数持续增加，每年心血管病死亡人数中，因心脏病死亡占了很大比例，心脏健康已经越来越引起人们的重视。目前，心电图检测是最直接、便捷诊断心脏问题的方法，心电分类算法的研究可以辅助医生进行医疗诊断，尤其是对于差别细微的心拍信号的识别，极大地提升诊断准确率。所以研究高效的心电信号分类算法是十分有意义的。　　在数据层面，大部分研究方法在建模之前没有进行数据平衡处理，本文应用数据扩增的算法进行数据平衡处理。　　在算法层面，因为起源于脑科学并被誉为第三代神经网络的脉冲神经网络具有准确率高，能耗低等优点，其在处理医学图像问题已经被逐步应用。所以本文考虑使用脉冲神经网络，研究并选择梯度替代算法解决脉冲神经元的梯度问题，使脉冲神经网络可以应用人工神经网络的梯度下降算法进行训练，甚至直接应用其他ANN现有的研究成果。　　本文先建立了卷积神经网络、长短时记忆神经网络和Transformer模型。再将它们转换为对应的脉冲神经网络模型，三种脉冲神经网络在MIT-BIH数据库对五种心拍类型分类准确率分别为98.48%、98.03%和97.52%，与上述原始的三种人工神经网络分类效果基本相同。证明了用梯度替代算法优化的脉冲神经网络的分类有效性，并且分类评价指标较好。