关键词:
循环神经网络
变体
忆阻器
硬件电路设计
荷电状态估计
摘要:
近年来,循环神经网络及其变体在深度学习领域得到了广泛的研究和发展,并在动作识别、场景标记、语言处理、情感分析和预测等多个领域展示了广泛的应用前景。然而,目前大多数循环神经网络仍主要依赖于基于冯·诺依曼计算结构的传统软件平台进行实现,在计算速度、内存容量、能耗和编程难度等方面存在诸多限制。同时,目前硬件架构实现的循环神经网络存在高复杂性和功耗、大内存需求、慢并行计算速率以及低灵活性和低可扩展性等问题。因此,如何设计灵活、节能的循环神经网络硬件电路,显得十分迫切和必要。由于第四种基本电路元件忆阻器具有优异的非易失性、超低功耗、纳米级结构和易于集成等特点,将大量忆阻器组织成交叉条阵列,可以实现内存并行计算,而且功耗极低。基于此,本文在“器件-电路-系统”框架下,提出了一种基于忆阻器的循环神经网络硬件电路设计方案,主要的研究内容包括:
(1)器件层面:针对忆阻器制备过程中存在的工艺优化、尺寸效应与集成度等技术壁垒问题,以及基于忆阻器的神经形态计算系统对器件本身一致性和稳定性要求较高,本文通过深入研究一种实物忆阻器(Ag/Ti Ox/Ti忆阻器)的电化学特性,明晰了其内部阻值转换的机理并构建了对应的忆阻器数学模型和电路模型。该工作为后续构建具有实物忆阻器特性的通用忆阻器模型提供了参考依据,同时也为忆阻器与神经形态计算系统的深度融合建立了一定的模型基础。
(2)电路层面:针对当前基于忆阻器的循环神经网络电路设计方案存在密集不可配置等问题,本文认识到循环神经网络的多样性使得现有基于忆阻器的方法在通用性和灵活性方面存在不足,进而可能导致额外资源消耗。同时,这些方法缺乏完整的电路描述、前向/后向推理过程的明确定义以及具体的功耗数据。与现有的基于忆阻器设计的循环神经网络电路不同,本文提出了一种基于权值调整电路和非线性激活函数电路的灵活方案,它能以更小的功耗实现循环神经网络及其变体。
(3)系统层面:为验证所提出的基于忆阻器的循环神经网络电路的正确性和有效性,本文将设计的循环神经网络电路用于锂离子电池的荷电状态估计。同时,该方法能够有效解决目前基于数据驱动的锂离子电池荷电状态估计方法存在的高计算负担、高延迟且无法在实际车辆运行过程中进行实时估计等难题。这项工作有望整合神经形态电子学和电池管理系统,进一步推动智能城市中电动汽车的发展。