课程文献中心 更多>>

关键词： 计算机视觉   水稻病虫害识别与检测   脉冲神经网络   Faster R-CNN   K-means++  

摘要： 水稻是我国主要粮食农作物,提高水稻生产质量是保障我国粮食安全的前提。病虫害是阻碍水稻生长的重要原因,及时有效的对水稻病虫害进行识别和检测并进行针对性防治对提高水稻生产质量具有重大意义。计算机视觉技术的发展使得利用神经网络对病虫害进行识别与检测已经成为了发展现代化农业的必然趋势。然而为适应越来越复杂的视觉任务,基于传统神经网络的识别与检测模型也越来越复杂,实现水稻病虫害实际场景下的识别与检测任务就需要更多的资源,限制了模型的实际应用部署。 脉冲神经网络(Spiking Neural Network,SNN)以事件驱动,通过二进制脉冲序列传递信息,这使得SNN具有计算高效、低功耗且更符合生物神经元工作特性。因此将SNN应用于水稻病虫害识别与检测领域对于实现良好的识别与检测性能的同时降低模型计算资源具有重要意义。 本文以SNN为理论基础,通过采用梯度替代下降算法以构建基于SNN可直接训练的水稻病虫害识别与检测模型。 (1)针对脉冲神经元的脉冲释放函数具有离散不可微的特性,选用梯度替代下降算法,通过在反向传播过程中利用近似脉冲释放函数的替代函数替换脉冲释放函数,构建基于梯度替代下降算法的SNN识别与检测模型,实现了SNN可直接训练。针对水稻病虫害图像数据不足的问题,在参考现有水稻病虫害图像数据集的基础上采用数据增广的方式扩充数据样本,丰富模型训练数据,并对数据集图像进行标注以构建目标检测实验数据集。 (2)建立融合卷积注意力机制的SNN水稻病虫害识别模型——CAM-SNN,并在所构建的实验数据集上实现水稻病虫害识别。针对复杂背景环境下SNN水稻病虫害识别精度较低的问题,设计了一种不参与时间累加的静态卷积注意力机制并将其与SNN相结合,卷积注意力机制提高模型对图像重要信息特征学习能力的同时减少输入图像的特征维度,降低SNN模型结构的复杂性。在实验数据集上,CAM-SNN在实现81.67%的识别准确率的同时模型大小仅为16.82M,FPS达到了212.05帧/秒,通过结果验证和对比实验,证明了该网络模型不仅能够实现良好分类性能还具备模型轻量化和识别实时性的优势。 (3)以两阶段目标检测算法Faster R-CNN为框架,结合LIF神经元和梯度替代下降算法构建基于SNN可直接训练的水稻病虫害检测模型。通过将RPN和分类回归网络中的卷积层和全连接层与LIF神经元集成,构建Spiking-RPN和脉冲分类回归网络,以此为基础建立基于SNN的水稻病虫害目标检测模型——Spiking Faster R-CNN。利用LIF脉冲神经元计算效率高和低功耗的特性降低模型推理过程的能耗。除此之外,尝试融合FPN模块和K-menas++聚类优化算法,FPN模块提高模型对复杂背景图像不同层次特征的学习能力,K-menas++优化预设锚点框以更好的适应数据标注框。实验结果表明,相比于Faster R-CNN,Spiking Faster R-CNN在保证检测精度的同时其能耗降低了27.39%,提高了模型部署于实际场景的适用性。融合FPN模块和Kmenas++聚类优化的Spiking Faster R-CNN在检测精度上达到了最高73.03%的m AP值,实现了对水稻病虫害的有效检测。

关键词： 脉冲神经网络   终身学习   自上而下注意力   记忆检索  

摘要： 脉冲神经网络(Spiking Neural Network,SNN)是一种受人脑结构和功能启发的类脑智能算法,被誉为第三代神经网络。由于脉冲神经元的独特时空特性,SNN在处理时空信息和低功耗计算方面展现出了卓越的潜力,并被广泛应用于人工智能领域。然而,与人工神经网络(Artificial Neural Network,ANN)相似,SNN也面临着“灾难性遗忘”难题。为了实现更具通用性和资源友好型的类脑智能系统,“灾难性遗忘”是一个不可回避的问题。因此,受大脑生物机制的启发,本文提出了一种能够缓解“灾难性遗忘”问题的SNN终身学习方法。以下是本文的主要工作和成果: 第一,受赫布规则启发,设计了适用于终身学习场景的SNN赫布剪枝方法。该剪枝方法能在保证模型所学旧知识不受损害的基础上,实现旧神经元向新神经元的知识迁移,提高整个模型的神经元利用率。在此基础上,结合生物脑自上而下注意力机制,构建了适用于SNN的自上而下注意力(Top-down Attention,TDA)方法。随后,受生物记忆过程的启发,向TDA中加入记忆检索策略(Memory Retrieval Strategy,MRS)。MRS在回放少量数据且不进行额外学习的情况下进一步提高了模型的终身学习能力,大幅缓解了“灾难性遗忘”现象。 第二,将ANN领域中的三类终身学习经典方法(正则化、知识蒸馏和数据回放)应用在SNN上。通过这种方式验证ANN领域中的终身学习方法在SNN上的适配性,并在三种数据集上与本文所设计的SNN终身学习方法做可量化的性能对比。其中,无需数据回放的TDA方法与ANN领域中非数据回放的经典方法相比,在SNN上实现了至少35%的性能提升。同时,MRS在三种数据集上均超越ANN领域中需要进行额外学习的经典回放方法,且最高性能逼近到了上界性能的83%。 综上所述,本文提出的脑启发SNN终身学习方法在多种数据集上都展现了可观的性能。得益于赫布剪枝方法,模型的神经元利用率得到了提高,能够储存更多的知识。并且在自上而下注意力机制和记忆检索策略的加持下,模型能在遗忘较少旧知识的前提下不断学习新知识,大幅节省了储存与算力资源。同时,本文的主要工作集中在模型的分类器部分,对各种主干网络具有良好的兼容性。这意味着SNN终身学习方法具备在目标检测、强化学习等多种场景下部署的潜力,为在现实场景中部署具备终身学习能力的类脑智能模型提供了有力的参考和支撑。

关键词： 槟榔   槟榔成瘾   脑类淋巴系统   扩散张量成像   血管周围间隙  

摘要： 目的:类淋巴功能在物质成瘾神经机制中发挥重要作用,本研究基于磁共振联合应用血管周围间隙扩散张量成像（DTI-ALPS）指数和全脑血管周围间隙（Perivascular space,PVS）负荷旨在探讨槟榔依赖（Betel quid dependence,BQD）患者脑类淋巴系统功能的改变及与临床特征的相关性。 方法:纳入2019年5月至2023年4月在海南省招募的66例BQD患者（男40例,女26例）和50例健康对照组（Healthy control,HC）(男22例,女28例),所有患者均进行多模态磁共振扫描和神经心理学量表评估。基于高角度分辨率扩散成像技术（High angle resolution diffusion imaging,HARDI）处理得到双侧侧脑室旁ALPS指数,辅助应用自动化分割软件分割PVS,计算PVS体积分数并对扩大的血管周围间隙（Enlarged perivascular space,EPVS）进行评级。连续变量采用t检验或u检验,分类变量采用X2,对两组间的临床一般资料、神经心理学量表、ALPS指数、PVS体积分数、EPVS数目和评级进行差异性检验。最后运用Pearson或Spearman相关性分析及偏相关性分析探讨对类淋巴系统评估指标产生影响的因素及这些评估指标与神经心理学量表的相关性。 结果:校正年龄、性别、受教育程度、身体质量指数（Body mass index,BMI）、酒精及尼古成瘾评分、汉密尔顿焦虑及抑郁量表评分后,BQD组左侧ALPS指数（t=-3.203,P=0.002）、右侧ALPS指数（t=-3.462,P=0.001）和平均ALPS指数（t=-3.628,P<0.001）均小于HC组,BQD组半卵圆中心的PVS体积分数大于HC组（z=2.242,P=0.027）。两组间全脑的EPVS数目及评级均不存在差异性（P>0.05）。偏相关性分析结果表明槟榔依赖量表（Betel quid dependence scale,BQDS）评分与左侧ALPS指数（r=-0.298,P=0.017,FDR校正）、右侧ALPS指数（r=-0.287,P=0.026,FDR校正）及平均ALPS指数（r=-0.317,P=0.008,FDR校正）均存在负相关,左侧ALPS指数与右侧颞叶PVS数量呈负相关（r=-0.255,P=0.038,FDR校正）,右侧ALPS指数与冲动性量表呈负相关（r=-0.277,P=0.019,FDR校正）。半卵圆中心的PVS体积分数与加利福尼亚词语学习测试多个指标呈负相关（P<0.05）。年龄、酒精、尼古丁、焦虑属于混杂因素,与类淋巴系统功能评估指标密切关联。 结论:BQD患者类淋巴系统功能下降,且随着成瘾程度加重,功能下降越显著;BQD患者半卵圆中心的PVS体积分数较对照组升高,且半卵圆中心较高PVS体积分数与较差的延迟回忆能力相关,提示BQD患者延迟回忆功能受损与类淋巴功能下降密切相关。

关键词： 值分布强化学习   脉冲神经网络   分位数回归   梯度替代策略  

摘要： 近年来,脉冲神经网络(Spiking Neural Networks,SNN)因其生物和理论上的优势,以及在智能芯片上的低功耗潜力,受到了研究学者们的广泛关注,并被视为第三代神经网络。值分布强化学习(Distributional Reinforcement Learning,DRL)算法因其独特的价值分布视角,被认为与神经科学有着内在联系,并在部分任务中展现出超越传统算法的性能和稳定性。值分布脉冲强化学习近年来被认为是一个拥有巨大潜力的研究领域,然而,关于如何将脉冲神经网络与值分布式强化学习相结合的研究仍处于起步阶段。尽管目前存在一些转换方法能够直接将训练好的人工神经网络(Artifact Neural Networks,ANN)转换为SNN网络,并取得了一定的实验效果,但是与ANN版本的值分布强化学习算法之间存着着较大的差距。 为解决上述问题,本文首先提出了一种直接训练的值分布脉冲强化学习框架。该框架通过值分布贝尔曼方程和脉冲梯度替代策略实现了脉冲神经网络的直接训练。然后,在该框架基础上,引入分位数回归和全参数分位数理论,设计并实现了一种基于SNN的全参数值分布强化学习算法(Spiking Fully Parameterized Quantile Function,SFQF)。最后,在14个雅达利游戏上,通过与值分布强化学习算法和脉冲强化学习算法的对比,验证了本论文所提出框架的有效性。具体来说,本文的主要研究内容和贡献如下: (1)提出了一种可直接训练的值分布脉冲强化学习框架,该框架基于值分布贝尔曼方程和脉冲梯度替代策略,主要包括一种基于SNN的状态特征提取网络和结合脉冲编码的值分布构建方法。这一研究为脉冲强化学习与值分布强化学习有效结合提供了一种可行的方式。 (2)在可训练的分布式脉冲强化学习框架的基础上,引入分位数回归和全参数分位数理论,设计并实现一种基于SNN的全参数值分布强化学习算法,并且在雅达利游戏平台上对该算法的效果进行了充分的实验验证,实验结果证明该算法与出传统值分布强化学习相比具有优秀的性能和优越的稳定性。 (3)设计并实现了一个应用于雅达利游戏的强化学习系统,该系统实现了强化学习算法的训练参数调整和模型测试等功能,并且以可视化的形式展示出来。

关键词： 脉冲神经网络   脉冲时间依赖可塑性   深度脉冲神经网络   脉冲神经网络硬件加速器  

摘要： 脉冲神经网络(SNN,Spiking Neural Network)作为第三代神经网络,受生物神经元的启发,具有高度生物相似性和出色的时空特征处理能力,速度更快、功耗更低、开销更少。目前,SNN的算法主要基于脉冲时间依赖可塑性(STDP,Spike-TimingDependent Plasticity),并在不同的应用中衍生出了多种形式的变体,但众多的变体没有统一的实现形式。此外,完全基于STDP的学习算法在深度SNN(DSNN)上的训练效率并不高,还需对其进行针对性设计。在硬件实现方面,GPU等硬件并未对SNN的训练进行专门优化,而不同的STDP算法映射到硬件时也会带来硬件设计效率低的问题,因此,需要对基于STDP的SNN进行专门的硬件加速设计。 基于上述问题,本文对多种STDP算法进行了研究,提取出他们的共同特征,归纳为一个可配置参数的通用算子,实现不同STDP算法,在此基础上,设计了一个通用算子的硬件架构,通过配置STDP通用算子,并结合不同的网络结构,能够实现基于不同STDP学习算法的DSNN硬件加速。 接着,为了提高网络的训练效率,提出了一种基于纠错引导机制的奖励调节STDP(R-STDP,Reward-modulated STDP)学习算法,加快网络训练的收敛速度。在此基础上,为了提升网络提取特征的能力,构建了一种结合无监督STDP和基于纠错引导机制的监督R-STDP学习算法的DSNN网络架构。在MNIST数据集上对该网络进行测试,仿真结果显示,在相同的网络结构下,基于纠错引导机制的R-STDP算法相对于传统的R-STDP算法,在准确率达到96.45%的同时,训练迭代次数从203次下降到85次,平均每幅图片处理速度提升了2.4倍,显著提高了网络训练的效率。 最后,本文针对所提出的结合无监督STDP和基于纠错引导机制的监督R-STDP学习算法的DSNN训练架构,设计了基于STDP通用算子的SNN硬件加速器,并将设计移植到Xilinx Zynq ZCU102的FPGA开发板上进行测试,测试结果表明,在标准MNIST数据集上,本文设计的SNN硬件加速器,在100MHz的时钟下,系统的功耗为3.822W,每张图片的处理时间为106ms,支持在线学习功能,少量迭代训练后准确率可达95%。与同类工作相比,本系统在功耗、处理时间以及硬件资源消耗上均具有一定的优势。

关键词： 神经形态计算   忆阻器紧凑模型   忆阻器突触   脉冲神经网络   数模混合电路  

摘要： 近年来,神经网络、人工智能等数据密集型应用迎来突破性的发展,已经成为当前科学技术领域的焦点之一。忆阻器,作为一种新型存储器件,在信息存储和存内计算领域受到了广泛关注;基于忆阻器突触的神经形态计算电路是一项融合了生物启发和工程创新的前沿科学研究,旨在模仿生物神经系统行为,为构建更智能、高效的仿生计算电路设计提供了新的思路。为探索新型仿生神经网络电路,本文开展了忆阻器突触基仿生神经形态计算电路设计研究,并基于电路实现新型仿生脉冲神经网络计算。具体内容如下: 通过分析脉冲神经网络(Spiking Neural Network,SNN)电路中权重调整的方式,提出了一种适用于SNN突触设计的通用忆阻器模型,该模型兼顾了灵活性、效率、收敛性和仿真性能需求,旨在实现更高效、可靠的SNN电路模拟和设计,此模型被应用于本工作中后续电路设计,其性能得到充分检验。同时,针对电路设计和仿真平台忆阻器工艺模型库(Process Design Kit,PDK)缺失这一问题,对现有忆阻器进行了调研、整理和归纳,基于Simscape Language硬件描述语言开发了一套包含多种典型忆阻器模型的虚拟PDK,以促进忆阻器在电路仿真设计中的应用,并满足了本文后续工作中的需求。 接着,提出了一个由四个忆阻器和两个电阻组成的4M2R突触结构,该突触可通过简单的改变电阻位置来实现兴奋性突触或抑制性突触,首次实现了不需额外调整神经信号的情况下实现赫布(Hebbian)和反赫布(Anti-Hebbian)训练;同时,4M2R突触的权重变化具有高度对称性、线性和抗器件变化稳定性,从而可大幅提高权重更新精度。随后,基于4M2R突触设计了神经元电路,实现了高鲁棒性pairwise-STDP(Spike Time-Dependent Plasticity)学习;该设计中,为克服由信号复杂性引起的权重更新精度问题,提出并实现了基于时钟信号的神经脉冲传递和突触权重调节方案,使得神经元电路的鲁棒性和与数字电路的兼容性得到了显著提升。研究过程中,基于开发的通用忆阻器模型和特定元件的虚拟PDK,搭建了电路原理图,通过仿真测试对所设计的突触和电路的性能进行了系统性分析验证,结果表明在标准情况下,电路与算法模型取得的结果之间的均方根误差(Root Mean Square Error,RMSE)仅为0.06144。 进一步地,将上个设计中的电路改进,设计了用于triplet-STDP学习规则的神经元电路,使其能够实现更复杂的仿生学习规则。为实现更高精度、更灵活的学习规则,提出了一套多级量化(Multiple-Step Quantized,MSQ)triplet-STDP混合信号电路设计方案,通过使用脉冲宽度编码权重调整信号,极大地提高了神经网络电路的鲁棒性。通过将triplet-STDP算法模型的计算结果与所提出的电路测试结果进行对比,验证了电路的功能和性能,结果表明在标准情况下,电路与算法模型取得的结果之间的归一化均方误差(Normalized Mean Square Error,NMSE)仅为6.736%。 综上所述,本文聚焦于忆阻器人工突触,针对设计兼顾仿生、实际功能和可靠性的神经形态计算电路展开了一系列研究,旨在为将忆阻器突触和神经元电路与数字控制单元相结合提供启发,推动其作为边缘计算设备的发展。