课程文献中心 更多>>

关键词： 脉冲神经网络   注意力机制   LIF神经元   脉冲   稀疏注意力机制  

摘要： 随着人工智能技术的快速发展,深度学习通过加深神经网络结构极大地提升了传统人工神经网络(Artificial Neural Networks,ANN)的性能,尤其在自然语言处理和计算机视觉等复杂任务中表现优异。然而,传统ANN在训练时资源消耗巨大。脉冲神经网络(Spiking Neural Networks,SNN)模拟生物神经元内部的脉冲机制,以脉冲序列为输入,展现出低功耗、低延迟的优势,且更具有生物可解释性。 深度学习中的注意力机制(Attention Mechanism)模仿了人类视觉和认知系统的方法,使神经网络能够集中处理输入数据中的关键部分,优化资源分配,提升模型的准确性和效率。注意力机制和脉冲机制都是人类生物系统的重要特征,本文基于两种机制的生物学特性,结合各自的优点进行深度学习,提升脉冲神经网络的性能,并在时序数据集中进行了实验验证。本文的主要贡献及创新点如下: (1)本文实现了基于脉冲神经网络的深度学习,充分发挥脉冲神经元的类脑机制,通过借鉴传统卷积神经网络(Convolutional Neural Networks,CNN)的经典架构和模块,如卷积、池化和残差结构,直接训练SNN,验证了其通过加深网络层数在提高学习能力方面的有效性。通过不断加深SNN层数进行对比实验,证实了脉冲神经网络能够成功应用于深度学习领域。 (2)设计了一种基于注意力机制的SNN模型(SNN＿Attention),融合了注意力机制和自注意力机制,以增强模型对时间序列数据中关键信息的捕捉和利用能力。SNN＿Attention通过计算浮点形式的Query与Key之间的相关性,得到注意力权重矩阵,并利用加和矩阵来确定输入的重要程度。最终,通过Softmax函数将原始输入转换为注意力权重。研究表明,在时序数据集上SNN＿Attention表现出优秀的性能。 (3)提出了一种基于稀疏注意力机制的SNN模型(SNN＿Prob Attention),该模型通过引入稀疏注意力机制,有效解决了传统全注意力机制在计算时间和延时方面的限制,大幅提高了模型的处理效率。研究表明,SNN＿Prob Attention不仅在处理长序列数据时表现出色,还在图像识别和目标检测等应用中展现出良好的性能,为脉冲神经网络在时序数据任务领域带来了新的突破和应用可能性。

关键词： 轴承故障诊断   特征提取   脉冲神经网络   变分模态分解   多尺度样本熵  

摘要： 轴承作为印刷机中的关键零部件,其健康状况与印刷机的安全运行息息相关。但由于印刷机经常运行在高速、高温等复杂恶劣环境下,致使其故障发生频率倍增,轻则导致印刷机停机,重则出现严重的安全事故。因此,开展印刷机轴承故障诊断技术研究具有重要的工程应用价值。 本文以印刷机轴承为研究对象,通过分析其运行过程中产生的振动信号,研究了一种自适应信号分解算法与熵相结合的特征提取方法,并结合类脑智能思想,构建了基于脉冲神经网络模型的印刷机轴承智能故障诊断策略。研究内容如下: (1)针对传统振动信号特征提取方法自适应能力差,难以有效分离信号中的混叠成分等问题,研究了基于自适应变分模态分解与多尺度样本熵相结合的特征提取方法。首先,通过采用最小包络熵作为麻雀搜索算法的适应度评价标准,确定了变分模态分解算法最佳的模态分量和惩罚因子。其次,利用这一组优化后的参数对轴承故障信号进行变分模态分解,进而分离出多个独立的模态分量。最后,选择相关系数较大的5个模态分量进行多尺度样本熵计算得到特征向量集,并通过实验对比验证了本方法提取轴承故障特征具有良好的效果。 (2)针对传统神经网络模型结构复杂、参数调整繁琐等问题,研究了一种基于奖惩机制的脉冲神经网络轴承故障诊断模型。首先,使用了一种基于感受野编码方式,降低输入数据的噪声敏感性。其次,通过在学习层引入STDP规则,实现了网络自我学习和调整能力。最后,在决策层引入奖惩机制,使相对应的神经元获得奖惩信号,完成决策输出。将该网络模型应用于轴承故障诊断问题上,结果表明,其轴承故障诊断准确率可以达到99.33%,并验证了在相同的网络层数下,该智能故障诊断模型在诊断轴承故障具有一定的优势。 (3)搭建了印刷机轴承故障诊断实验平台,以实际工况下采集的轴承振动信号作为数据集,对本文研究的轴承故障诊断方法进行了实验验证。实验结果表明,本文所提出的故障诊断策略,可在实际工况下有效实现轴承不同故障的分类诊断,准确率达到了 93.17%,且稳定性良好。

关键词： 缺陷识别   卷积神经网络   脉冲神经网络   注意力机制   迁移学习  

摘要： 热轧带钢作为钢铁产业关键性材料,在传统的人工识别检测以及机器视觉识别检测中存在主观性强和效率低下的问题。本文采用深度学习技术对热轧带钢缺陷图像进行识别,首先对缺陷数据集进行图像扩充等预处理,然后使用基于卷积神经网络的识别方法并进行模型性能评估实验,验证了卷积神经网络模型算法在热轧带钢缺陷识别方面的潜力。接着对网络模型进一步改进,提出了融合脉冲神经元层和注意力机制的脉冲卷积神经网络模型来提高识别准确率和精度,最后基于改进后的模型设计并实现了一个热轧带钢缺陷识别系统。本文的主要工作和创新点总结如下: (1)使用了一种基于Diffusion-model的图像扩充方法并开展卷积神经网络模型对比实验。首先对热轧带钢缺陷数据集进行了图像预处理和Diffusionmodel扩充,构建了一个包含多种类、样本量足够的热轧带钢缺陷图像数据集。随后使用卷积神经网络模型在此数据集上进行实验训练和验证,分别比较了不同学习率、网络深度和模型对识别效果的影响。实验结果显示,在热轧带钢缺陷图像识别任务中Mobile Net V2模型相较于其他模型表现优异,达到了96.78%识别准确率和96.95%的平均精度。 (2)提出了一种改进的用于热轧带钢缺陷图像识别的脉冲卷积神经网络算法并探索了基于模型迁移的小样本学习策略。在原始Mobile Net V2网络模型基础上,为了解决模型泛化能力和缺陷特征信息的辨识能力不足等问题,嵌入脉冲神经元层,对图像进行脉冲编码提高泛化能力。加入注意力机制则能有效捕捉到缺陷图像中的细节信息,有效利用低维特征信息和抑制无关信息提升了网络模型对缺陷信息的提取能力。经过改进后的脉冲卷积神经网络对比原网络识别准确率提升了1.07%,平均精度提升了1.08%,证明了所提出的识别算法的有效性和可行性,并进一步减少了网络模型的参数数量,最后还通过迁移学习策略有效缓解了缺乏样本数据的问题。 (3)基于PyQt5框架设计开发了一款自动化的热轧带钢缺陷识别系统,该系统包括多个功能模块。系统能够加载训练好的网络模型去识别热轧带钢表面缺陷图像并进行有效检测。输出结果包括缺陷类型编号以及识别率,同时对系统功能进行了全面的测试,包括不同类型的识别率和单张图像测试,确保了系统的稳定性和可靠性,并具有一定程度的实际应用潜力。

关键词： 脉冲神经网络   导航避障   移动机器人   动态脉冲阈值   注意力机制  

摘要： 脉冲神经网络(SNN)因其低能耗和时序性,已在移动机器人的导航和避障领域得到广泛应用。然而,现有脉冲模型相对简单,难以应对复杂场景下的避障问题,如动态变速障碍物和环境噪声干扰等。因此,提出了一种基于脉冲神经网络的复杂场景导航避障算法。该算法采用了注意力机制以增强对动态障碍物的避障能力,使得模型能够更加集中地关注动态障碍物的信息,从而更准确地做出避障决策。此外,还根据生物启发设计了一种动态脉冲阈值,使得模型可以自适应地调整脉冲信号的触发,从而适应具有噪声干扰的环境。实验结果表明,在虚拟复杂场景下,该算法表现出最优的导航避障性能,在所设计的3种复杂场景下(变速动态场景、输入干扰、权重干扰)导航避障成功率分别为86.5%,79.0%和76.2%。该研究成果为解决复杂场景下机器人导航避障问题提供了一种新的思路和方法。

关键词： 脉冲神经网络   类脑计算   学习算法   神经形态芯片   应用场景  

摘要： 脉冲神经网络(SNN)是更具生物可解释性的新一代人工神经网络,具有独特的信息编码处理方式、丰富的时空动力学特性、低功耗事件驱动工作模式等优势,近年来受到广泛关注并在医疗健康、工业检测、智能驾驶等方向获得探索性应用。本文介绍了SNN的基本要素和学习算法,包括经典的神经元模型、突触可塑性机制、常用的信息编码方式,分析了各类学习算法的优缺点,总结了主流的SNN软件模拟器、脉冲神经形态硬件的研究情况;细致梳理了SNN在计算机视觉、自然语言处理、推理决策等方面的研究以及行业应用场景,发现SNN在目标检测、动作识别、语义认知、语音识别等任务中具有突出的潜力,显著提升了相应的计算性能。我国在SNN领域的研究与应用发展,重在加强关键核心技术攻关、推动技术成果转化应用、持续优化产业生态格局,以尽快实现与国际先进水平的接轨;类脑复杂系统、类脑控制等理论与方法的深入研究和逐步突破,也将促进大规模SNN新模型的构建,有望拓展人工智能的更广阔应用前景。

关键词： 认知地图构建   类脑导航   具身智能   网格细胞   移动机器人   同时定位与地图构建  

摘要： 与基于结构化场景建模的传统导航算法不同,哺乳动物通过内嗅皮层和海马体中多种神经细胞的分工协作构建认知地图,实现了适用于非结构化场景且具有强鲁棒性、泛化性的导航.随着认知神经科学、人工智能等领域的发展,类脑导航在近年来受到了广泛的关注,成为实现“具身智能”中机器人环境认知与导航功能的可行方案.本文结合大脑空间认知机理以及同时定位与地图构建算法,提出了一种基于网格细胞群表征模型的移动机器人认知地图构建系统.在该系统中,网格细胞模型与位置细胞模型协同配合完成了位置表征、路径积分的功能.基于公开真实数据集的实验,验证了该系统在认知地图构建任务中的有效性与网格细胞群表征模型的度量特性.此外,这种脑启发式的认知地图构建系统为进一步揭示人脑的空间认知机理提供了有效的实验环境.

关键词： 忆阻器   脉冲神经网络   脉冲时序依赖可塑性规则   忆阻器阵列  

摘要： 忆阻器是一种具有非易失性、类突触可塑性和多值性的新型存储器件,能够模拟生物神经元和突触的功能,实现神经形态计算的存算一体化。脉冲神经网络是一种基于生物神经系统信息处理机制的第三代人工神经网络,具有高效性、并行性、稀疏性和自适应性的特点,能够处理复杂的时空信号。利用忆阻器构建的脉冲神经网络是神经形态计算的一个重要研究方向,已经在图像处理、语音识别、自然语言处理、机器学习等领域实现突破性的进展。本文总结忆阻器脉冲神经网络的基本原理、主要应用和存在的挑战,并对其未来的发展趋势和研究方向进行展望。

关键词： 隐形冠军   医疗器械   组织再生   新药研发   北京昌平   自贸试验区   独角兽   前沿技术  

摘要： 近日,《中国(北京)自贸试验区科技创新片区昌平组团促进医药健康产业发展支持办法》发布。《办法》聚焦生物技术、数字技术两大核心驱动力,围绕前沿技术、医疗器械、美丽健康三大赛道,大力培育具有支撑引领作用的“链主”企业、头部企业,加快汇聚创新性强、成长性高的专精特新、“小巨人”“独角兽”隐形冠军等潜力企业,最高支持资金达1亿元。

关键词： 热轧带钢表面缺陷   脉冲卷积神经网络   代理梯度   数据增强  

摘要： 针对目前热轧带钢表面缺陷识别存在训练样本量小、识别效率低等问题,提出了一种基于脉冲卷积神经网络的带钢表面缺陷识别分类方法。为提高模型泛化性,首先利用扩散模型(Diffusion Model)对不平衡小样本数据集进行数据增强扩充,然后搭建脉冲卷积神经网络,并通过引入代理梯度方法进行网络监督训练,同时加入注意力模块来提高特征提取效率。实验结果表明:本文提出的脉冲卷积神经网络模型在保证识别率的基础上具有较强的生物合理性,为深度脉冲卷积神经网络在实际工程的应用提供借鉴。