课程文献中心 更多>>

关键词： 机器学习   神经网络   类脑计算   脉冲神经网络  

摘要： 近年来,人工神经网络(Artificial Neural Network,ANN)成功借鉴了大脑在脑区尺度进行层次化信息处理的结构,在各种应用领域取得了突破性进展,但是仅模拟大脑的宏观神经结构还不足以实现类似于人脑的智能水平。此外,ANN的成功依赖于海量的训练数据和庞大的GPU计算资源,而人脑只需要20瓦左右的功率就能完成各类认知任务。人脑与现有ANN之间的这种差距,部分原因可以归结为对生物系统的信息处理机制和信息传递方式借鉴不足。类脑计算对大脑的微观神经元模型、脉冲编码机制和突触可塑性机理进行了较好的模拟,其中脉冲神经网络(Spiking Neural Network,SNN)能够有效模拟生物神经元之间信息随时间连续传递的动力系统,是认知神经科学对生物大脑工作机制深入探究的产物。尽管自SNN自诞生以后,借助神经科学的最新发现,其取得了一系列研究成果,但现有的基于脉冲网络的类脑计算模型性能仍然较差,需要进一步设计高性能、高效率的脉冲神经网络计算模型和学习方法。本文围绕脉冲网络的时空依赖和时间异步特性,通过分析已有脉冲网络模型的优势和不足之处,同时深度借鉴ANN的最新知识,设计了一系列新型的脉冲神经网络类脑计算模型及编程框架,具体内容包括: 1.针对现有时间注意力机制和SNN的异步信息传输存在冲突的问题,本文提出了一种基于SNN的时空自注意力(Spatial-Temporal Self-Attention,STSA)机制,能够在保持异步传输的同时捕捉时间和空间上的特征依赖。由于STSA无法捕获脉冲的位置信息,本文还设计了时空相对位置偏差(Spatial-Temporal Relative Position Bias,STRPB),从而让模型感知脉冲的时空位置。基于STSA和STRPB,本文构建了时空脉冲Transformer模型(Spatial-Temporal Spiking Transformer,STSTransformer),该模型能够以异步事件驱动方式运行。实验表明,STS-Transformer在主流时序数据集如DVS128 Gesture、CIFAR10-DVS和Google Speech Commands数据集上优于其他最先进的类脑计算模型。 2.将ANN转换为SNN是一种高效的SNN监督训练方法,然而,现有的转换方法通常会产生较大误差,或是其通过修改原始ANN提高了转换后的SNN准确性,缺乏广泛适用性。为了解决这一问题,本文分析了ANN转换到SNN存在的离散误差和异步误差,提出了命名为DNISNM的类脑转换模型,旨在克服ANN与SNN之间差异所带来的转换错误。通过设计基于数据的神经元初始化(Data-based Neuronal Initialization,DNI)和带记忆机制的符号神经元(Signed Neuron with Memory,SNM)两项技术,该框架有效提升了SNN转换后的精度,且无需修改原始ANN。实验结果显示,在CIFAR10、CIFAR100和Image Net-1k数据集上,DNISNM模型相较于其他转换方法更加高效和准确。 3.深度神经网络虽然受人类视觉皮层层次结构的启发并在多项应用中表现出色,但因计算需求高,边缘计算应用有限。脉冲神经网络模拟生物神经系统的脉冲信息处理,具有很好的低功耗计算潜力。本文基于脉冲神经网络从微观和宏观两个层面模拟人类视觉系统,构建了一个基于脉冲网络和生物视觉通路的类脑计算模型。首先仿照大脑的视觉信息处理系统,构建了一个具有横向连接的深度脉冲神经网络模型。其次,基于真实神经元横向效应,提出全局-局部混合脉冲时间依赖可塑性(Global-Local Hybrid Spike-Timing-Dependent Plasticity,GLHSTDP)算法,结合传统脉冲时间依赖可塑性(Spike-Timing-Dependent Plasticity,STDP)算法和横向突触学习机制训练具有横向连接的SNN。实验表明,该模型在主流视觉数据集上表现出很好的性能。 4.由于脉冲神经网络的复杂时空依赖、脉冲不可微分特性,使用传统人工神经网络框架(如PyTorch、Tensor Flow)训练SNN需要较多的学习成本和较长的网络训练时间。为解决这一问题,本文基于Python和CUDA开发了一个面向SNN的类脑计算编程框架,命名为FastSNN。其不仅简单易用,还能大幅缩短SNN训练时间。FastSNN集成了构建SNN模型所需的所有组件,包括数据集、编码方法、神经元模型、训练方法和可视化工具,且组件即插即用,对初学者友好。实验表明,使用FastSNN训练SNN的时间比PyTorch快2至10倍。

关键词： 脉冲神经网络   在线学习   突触可塑性   神经形态计算  

摘要： 随着对类脑计算理论的不断探索和深化,脉冲神经网络日益成为学术界关注的研究焦点。然而,当前基于脉冲神经网络在线学习的硬件研究,在训练网络方面尚存在一定问题,主要原因在于脉冲的不可微分特性,导致广泛应用于深度神经网络的反向传播算法无法直接运用,并且采用这类方案存在硬件实现成本过高的问题。相反,基于脉冲时间依赖可塑性（Spiking-Timing Dependent Plasticity,STDP）学习方法具有无标签学习、计算量少和硬件成本低的优点。因此,本论文依托硬件友好的脉冲神经网络计算算子和在线学习硬件架构设计了一个基于无监督学习突触可塑性且支持在线学习的关键模块。 在基本算子电路层面,本论文采用基于“迹”的突触可塑性学习规则策略,引入两个实时追踪神经元前后状态的变量,将原始突触可塑性学习规则中的指数运算简化以减少网络的计算复杂度与运算量;采用基于电导的IF神经元模型,以实现脉冲的发放并体现一定的生物相似性;采用网络延迟方案,更加真实的模拟生物突触的运作机制;采用归一化方法,以限制权重的失控增长。 在电路架构层面,依托上述基本算子,本论文提出了在线学习加速电路的整体架构。该架构由STDP计算模块、神经元计算模块、在线学习参数存储模块、核心控制模块、数据存储模块以及脉冲稀疏化模块相互协同,对计算单元采用分时复用的方法以此提高了硬件资源的利用率,并通过内外部共同存储的方式优化存储空间,并且对外具备多种可配置的指令。在以上方法的共同作用下构成了一个小规模、高扩展性的在线学习训练推理引擎,具备出色的可复用性和灵活性。 最终,本论文融合多种数字电路设计技术,完成了从电路设计、验证到评估的全流程工作。首先,利用Verilog语言实现算子电路和整体架构硬件设计;然后,结合System Verilog和Python搭建硬件仿真测试平台,并在Matlab环境下建立基于突触可塑性的算法模型进行数据比对,确保了数据处理逻辑的正确无误;最后,通过集成电路设计工具,在中芯国际40nm工艺下,时序约束为200MHz时,得到计算电路总面积为0.19 mm2,总功耗为103.3m W。与相关著名工作相比,本论文设计电路在面积和功耗上具有一定优势。

关键词： 脉冲神经网络   学习算法   目标检测方法   事件驱动的仿真计算方法   直接反馈对齐  

摘要： 近年来,以深度学习为代表的人工神经网络算法在图像识别、自然语言处理及人机对弈等领域取得了显著进展,引领人类社会步入全新的人工智能时代。然而,随着深度神经网络应用范围的拓展,其高昂的计算成本、能量消耗以及鲁棒性和可解释性不足等问题逐渐成为制约其进一步发展的核心障碍。神经形态计算以其模拟生物感知和处理信息的方式,为突破这些难题提供了新的思路,吸引了广大研究者的关注。脉冲神经网络(Spiking Neural Network,SNN),被誉为“第三代神经网络模型”,因其生物学合理性、强大的时空信息处理能力和高效的能量效率,在神经形态计算领域中占据了举足轻重的地位。然而,由于脉冲神经元和突触复杂的时空动力学特性,目前尚未形成公认的核心训练算法和技术体系。现有的SNN学习算法存在训练耗时过长、学习性能与能量效率不够高、缺乏通用性强的事件驱动仿真计算方法等问题,这些因素极大地限制了SNN的广泛应用和普及。 针对上述挑战,本文深入研究了SNN学习算法及其应用,论文主要贡献和创新成果包括: (1)为了加快学习算法训练速度,提出了基于直接反馈对齐的精确脉冲时间(PREcise Spike Timing based on Direct Feedback Alignment,PREST-DFA)学习规则。受脉冲分层误差再分配学习算法的启发,PREST-DFA采用基于脉冲卷积差的误差信号定义形式,通过输出层迭代计算误差值,并借助基于直接反馈对齐(Direct Feedback Alignment,DFA)的误差传输机制,将误差信号广播至隐藏层神经元,进而实现突触权值的更新。本文成功实现了时间驱动的PREST-DFA学习算法,设计了精确脉冲时间学习能力验证、学习性能比较和训练速度比较三组实验,通过实验验证了PREST-DFA具备精确脉冲时间学习能力,能以较低的推理延迟实现有竞争力的学习性能,与采用同样学习规则使用反向传播的学习算法相比能加快训练速度。本文不仅首次验证了基于DFA机制的学习规则能在深层网络中控制脉冲的精确发放时间,表明DFA机制可用于设计基于脉冲时间的学习算法,还展示了PREST-DFA学习规则不需要逐层误差反向传播,计算简单,能加快训练速度,易于硬件实现,有良好的生物学合理性和学习性能。 (2)针对现有学习算法缺乏良好通用性的事件驱动仿真计算方法的问题,提出了聚合事件驱动的仿真计算方法。通过深入研究事件驱动的仿真计算过程,本文发现逐事件计算的直接事件驱动方法中存在同时间戳问题,可能导致神经元输入总突触电流计算错误。聚合事件驱动的方法通过修改神经元发放检查时机,将单个事件聚合成一批事件统一计算,从而有效避免了计算错误。本文选择已在图像和手势识别领域成功应用的精确脉冲驱动(Precise-Spike-Driven,PSD)学习规则,实现了聚合事件驱动的PSD学习算法。通过计算复杂度分析和仿真计算时间比较实验,证明聚合事件驱动的方法计算复杂度和仿真计算时间优于时间驱动的方法。本文还设计了神经形态数据集和静态图像数据集目标分类比较实验,通过实验验证了聚合事件驱动的PSD学习算法能够以较少的参数和神经元数量实现良好的学习性能,训练速度和学习性能均优于时间驱动的PSD学习算法。本文提出的聚合事件驱动的仿真计算方法具有良好的通用性,能加快训练速度提高学习性能,可应用于SNN和其他学习算法的仿真计算。 (3)为了提高学习算法在目标检测任务中的检测性能和能量效率,提出了基于多维注意力机制的端到端直接训练的脉冲神经网络目标检测方法。该方法在脉冲YOLO模型基础上,构建了一个融合多维注意力机制的端到端直接训练的新SNN模型(SpikingYOLO based on Multidimensional Attention,MA-Spiking-YOLO),通过不发放的LIF(Leaky Integrate and Fire,LIF)神经元膜电位来构造损失函数,采用代理梯度计算误差信号和梯度值,利用随时间反向传播方法对网络进行训练。通过多维注意力机制有效性验证、检测精度比较和能量效率比较三组实验,本文验证了引入多维注意力机制后的MA-Spiking-YOLO模型提高了检测精度,可实现有竞争力的检测性能,尤其是在能量消耗方面,实现了高达28%的降幅。因此,MA-Spiking-YOLO模型能够在提升检测精度的同时,显著降低能量消耗,具有精度提升不依赖于推理时间延长的特点。 (4)为了验证上述算法在真实场景中的有效性,设计并实现了一个面向神经形态视觉的目标识别和检测系统。该系统由八大模块组成,包括事件流录制和保存、事件流预处理、目标识别、目标检测、识别和检测结果输出、事件流可视化、事件数据标注和事件数据集存储。本文采用运动感知的特征提取方法、时空反向传播算法

关键词： 忆阻器   SiC   类脑神经形态计算   脉冲神经网络  

摘要： 生物大脑神经系统具有高效性和节能性,可以克服传统冯·诺依曼体系架构面临的存储墙和功耗墙瓶颈,受此启发而衍生的类脑神经形态计算因此颇受研究者关注。生物大脑中神经元数量约为1011个,突触数量约为1015个,因而构建高效的神经元和突触模型对类脑神经形态计算至关重要。然而,目前基于传统互补金属氧化物半导体（Complementary Metal-Oxide-Semiconductor,CMOS）有源电路构建的人工神经元和突触模型电路复杂、功耗高、尺寸大,难以实现大规模集成,更无法完成复杂的类脑计算任务。忆阻器因具有生物相似性,可以在元器件尺度上模拟复杂的突触及神经元功能而引起了研究学者的广泛关注。碳化硅（Silicon Carbide,SiC）作为第三代半导体材料的典型代表,具有宽带隙、高击穿电压、高电子迁移速率、高热导率等优点,有利于制备低功耗器件。研究SiC基薄膜忆阻器对寻求具有开发潜力的介质材料,构建工艺简单、性能优异、可与现有CMOS工艺兼容的神经元及突触模型具有重要意义。本文具体研究内容如下: 一、基于SiC薄膜忆阻器的突触特性研究。本文通过磁控溅射技术制备了Pd/SiC/n-Si结构的忆阻器,研究了不同制备温度条件下的薄膜质量及器件性能,发现当温度为室温时,薄膜粗糙度较低,器件性能更为优异。该器件在电流-电压（I-V）测试中展现出电导线性可调的多阻态特性,正向线性度为0.964。此外,通过脉冲调制模拟实现了脉冲速率依赖可塑性、兴奋性突触后电流、生物不应期等突触仿生功能,证明了该器件具有用于高密度集成神经形态系统的极大潜力。最后,基于该器件完成了手势识别任务,准确率为94%。这表明该器件可作为类突触器件应用,为SiC材料在构建人工突触模型及类脑神经形态计算应用方面提供了崭新的发展思路。 二、基于SiC薄膜忆阻器的可重构特性研究。本文制备了Ag/SiC/n-Si结构的忆阻器,发现当薄膜制备压强为3 Pa、温度为室温时,Ag/SiC/n-Si忆阻器展现出了可重构特性。即在器件电学测试中发现,通过调节限制电流,可以在一个器件中实现易失型忆阻器特性和非易失型忆阻器特性的相互切换。当器件被调控为易失型器件时,器件具有高达10～5的开关比、低至1.26 V的开启电压以及低至3.4 p W的功率;当器件被调控为非易失型器件时,器件具有典型的“8”字I-V回线,保持时间长达1.5×10～4 s。此外,还模拟实现了多种突触仿生功能,如双脉冲易化、双脉冲抑制、长短期记忆转变、连续学习等。最后,对器件的可重构机理进行分析,将其转变行为归因于形成导电细丝的强度改变。 三、基于SiC薄膜忆阻器的神经元特性研究。为进一步改善器件的阈值性能（如开启电压、开关速度等）,本文通过在功能层掺杂Ag的方式制备了Ag/SiC/Ag/SiC/n-Si结构的忆阻器,该器件具有低至0.8 V的开启电压和42 ns的开启速度。此外,通过电路实现了该器件在“Leaky Integrate and Fire”（LIF）神经元模型方面的应用,并通过提取LIF神经元模型参数作为脉冲神经网络的激活函数,实现了手写数字识别,其识别准确率为94.7%。综上,该项工作为SiC忆阻器在神经科学与人工智能领域的交叉研究提供了新的理论基础和方法路径。

关键词： 忆阻器   存算一体   类脑计算   信息安全   神经形态仿生  

摘要： 随着大数据、人工智能、物联网等技术的兴起,传统硅基计算平台在数据处理的能效和速度上遭遇严重挑战。忆阻器作为一种新型神经形态器件,具有结构简单、高速、CMOS兼容性以及易于集成等优势,成为构建存算一体器件及系统的理想选择。目前,基于忆阻器的存算一体技术研究主要面临忆阻器结构设计、类脑特性亟待提升、存算一体电路系统构建与安全应用等重大挑战。实现具有优异的类脑特性忆阻器的核心是开发理想的功能层材料,特别是在纳米尺度设计具有独特离子迁移通道和电化学活性位点的低维材料更有利于实现功能集成和性能提升、功耗降低。本论文从忆阻器功能层材料入手,着眼于具有二维基元结构的无机-有机杂化材料和全无机材料,设计出二维（PEA）2MA3Pb4I13钙钛矿和Bi Ti S3硫化物材料以及宽禁带半导体氧化镓薄膜为功能层的新型忆阻器。探明功能层材料结构与忆阻器件性能之间的构效关系,借助多尺度表征技术分析材料结构基元和电极协同作用的局域氧化还原机制,探索出忆阻器类脑特性的调控规律,进而构建基于忆阻器阵列的存算一体电路系统。 论文首先通过一步溶液法制备了二维有机无机杂化的层状（PEA）2MA3Pb4I13钙钛矿功能层。XRD显示该薄膜存在（111）和（202）两个晶面,表明（PEA）2MA3Pb4I13钙钛矿呈层状多晶结构。拉曼光谱显示功能层由（PEA）2MA3Pb4I13组成且含有苯乙胺（PEA）和甲基胺（MA）两种有机官能团,揭示了功能层中存在有机和无机组分的协同效应。光致发光PL光谱在754 nm处有一个发射峰,表明功能层中（PEA）2MA3Pb4I13主导的量子限制效应能够促进载流子的输运,易于电导的精确调控。通过限流控制（10 n A-1m A）,二维（PEA）2MA3Pb4I13钙钛矿忆阻器具有易失/非易失可重构性。基于低限流下的易失性,单个忆阻器能够实现泄漏-整合-激发（LIF）的神经元特性。基于高限流下的非易失性,器件在脉冲电刺激下能够模拟长时程增强（LTP）和长时程抑制（LTD）的生物突触特性,并实现了高达500个电导状态的精准调控;进一步对器件施加520 nm的绿光和400 nm的紫光,发现器件电导在不同波长光刺激下响应不同,从而模拟视网膜感光细胞对不同颜色光的反应。由此从实验上设计了一种电导多阶可调的光电忆阻器并实现光电突触的模拟和视觉感知系统应用。 论文进一步将聚乙烯咔唑（PVK）有机溶液和多晶Bi Ti S3无机溶液混合并旋涂在ITO基底上制备了大面积均匀的有机无机复合的二维硫化物功能层。Bi Ti S3纳米片薄膜呈中Bi Ti S3的多晶结构且存在6.6%硫空位。结合C-AFM测试,发现器件的易失性特性主要归因于Bi Ti S3中硫空位的存在,这些空位促进了银（Ag）原子在功能层内形成稳定的导电通道。为模拟人体受到疼痛伤害后逐渐恢复的现象,将易失性有机无机复合的Ag/PVK:Bi Ti S3/ITO忆阻器与商用微型压力薄膜传感器集成,发现外部刺激力度从100 Pa增加至200 k Pa时,忆阻器电流从0 m A升至1 m A,特别是当压力超过50 k Pa时,忆阻器的电流超过了0.2 m A的痛觉阈值,电流从0.2 m A增加至1m A,由此基于阈值调节的响应电流变化模拟了人工触觉感受器的疼痛响应。 论文最后采用磁控溅射技术制备了非晶氧化镓薄膜为功能层,基于0.13μm工艺制备了1μm x 1μm通孔结构的Pt/Ga Ox/Ti N忆阻器阵列。研究表明该器件具有5 bit的多级存储特性、小于20 ns的超快开关速度、大于500阶的电导调制能力,成功的模拟了生物突触的权重调节。进一步,基于Ti N/Ga Ox/Pt忆阻器阵列搭建了人工神经网络（ANN）,有效的识别了50000张手写数字图像,准确率达到90.2%。通过单个忆阻器实现异或逻辑运算,对手写数字进行加密和解密。 综上所述,本论文二维（PEA）2MA3Pb4I13钙钛矿及硫化物作为功能层,获得了易失/非易失性忆阻器,其电导多阶线性可调。基于非易失特性探究了生物突触可塑性和模拟视觉感知系统;基于PVK和Bi Ti S3有机无机复合易失性忆阻器成功构建了感存算一体实体电路系统,最后还基于氧化镓忆阻器阵列的异或逻辑运算对识别的手写数字进行加密解密,从而实现了一种基于忆阻器的识别-加密-解密一体化的硬件安全系统。这些研究不仅为存算一体技术的研究提供了材料基础和器件设计理论,而且大力满足了后摩尔时代半导体高性能计算芯片的发展需求。

关键词： 可重构忆阻器   易失性忆阻器   g-C3N4   LIF神经元   脉冲神经网络  

摘要： 目前基于传统冯·诺依曼架构的中央处理器和内存模块的分离设计在现实应用中并不完美。并且由于摩尔定律受到挑战,集成电路上的晶体管将变得越来越难以缩小,导致计算速度和容量的进一步提高面临重大挑战。而忆阻器是一类具有高阶动力学的两端器件,具备结构简单、能耗低,获取数据快等优势,可以实现类似脑神经结构的计算存储一体化,并在提高计算效率与降低计算功耗方面展现出了巨大潜力。近年来,人们将二维材料如石墨烯、MXenes、Mo Se2和黑磷（BP）作为忆阻器的功能层,显示出了较低的工作电压。然而这些材料的制备过程复杂,而且在大气中不稳定,限制了它们在忆阻器中的应用,因此,有必要寻找更加稳定的忆阻材料。石墨相氮化碳（g-C3N4）纳米片是一种很稳定的二维材料,具有带隙适中、无毒无害、制备简单等优点,并且由于邻近纳米片间的强范德华力,使得g-C3N4具有热稳定性,可以通过简单的溶液处理将其应用在忆阻器中。因此本文制备了基于g-C3N4二维材料的忆阻器件,在两种不同的顶电极下,器件分别表现出了可重构特性和易失性特性,并对器件的电学特性、阻变机制以及人工神经元仿生应用进行了探究。论文的主要研究内容如下: 一、通过脉冲激光沉积系统（Pulse Laser Deposition,PLD）、台式匀胶机以及磁控溅射设备制备了Al/g-C3N4/La0.67Sr0.33MnO3（LSMO）/Sr Ti O3（STO）/Si结构的可重构忆阻器。通过常见的半导体表征方法探究了器件的表面形貌:原子力显微镜（AFM）、X射线衍射（XRD）、X射线光电子能谱（XPS）、能量色散X射线光谱仪（EDS）、透射电子显微镜（TEM）。接着探究了最适宜的g-C3N4溶液浓度（2 mg/ml）。在电学测试中,器件显示出明显的可重构特性,这与导电细丝形成的强度以及限制电流的大小有关。当限制电流为1×10-4 A时,忆阻器表现出典型的双极性阻变开关行为,高低阻保持时间达1×10～4 s;当限制电流为1×10-6 A时,忆阻器表现为稳定的阈值开关行为,两者在100次电流-电压（I-V）循环中显示出较优异的耐久特性。器件的开关比在10～3左右,并且器件的易失性开关特性可以通过改变脉冲幅值、脉宽和间隔进行调控。利用此器件构建了基于RC的泄露-积分-激发（Leaky Integrate and Fire,LIF）神经元电路,最后通过调控输入脉冲模拟了人工伤害感受器,成功实现了伤害感受器的关键特征如“不适应”、“放松”和“敏化”。 二、通过改善电极材料,将Al电极改变为活泼金属银（Ag）,对其进行功能优化,制备了结构为Ag/g-C3N4/LSMO/STO/Si的易失性忆阻器,并对其进行了电学测试。在1×10-6 A的限制电流下,器件表现出了明显的易失性阈值开关特性,并发现其具有较小且稳定的阈值开启电压（1.24 V左右）,且开启电压的分布更加集中,器件在I-V循环中显示出了约6×10-10 A的低关态电流以及约10～3的开关比。然后探究了器件的物理机制,建立了基于Ag导电细丝的阻变机制模型。通过改变输入脉冲可以对器件的开启进行调控,之后利用此器件构建了基于RC的LIF神经元电路,实现了阈值驱动尖峰、动作电位的全有和全无、不应期以及调制尖峰频率等功能。此外,搭建了基于CMOS的LIF神经元电路,使得大规模集成的神经形态计算系统更加可行。在此基础上又搭建了脉冲神经网络（Spiking Neural Network,SNN）,实现了手写数字识别,识别准确率可达97.13%,这将有助于神经形态计算的高精度发展。

关键词： 类脑定位   大脑定位神经环路   智能机器人   类脑计算芯片   类脑感知芯片  

摘要： 智能机器人需要与环境进行高效实时交互，这对位置表征的多样性和定位的实时性、适应性、鲁棒性及低功耗等提出了新的需求，给传统定位技术带来了许多新的挑战。借鉴大脑定位神经环路机理所发展的类脑定位技术为解决这些难题提供了新的技术路径。重点阐述了类脑定位原理及方法，探讨了类脑定位的系统框架及计算模型，并展望了类脑定位技术的未来发展。