关键词:
FPGA
加速计算
剪枝
摘要:
随着人工智能相关理论和技术的不断发展,深度神经网络模型在图像处理,目标检测,语音识别,语义分割等方面都取得了重要的进展,并且在实际生活中得到了广泛的运用。目前为止,大多数的深度学习方法及深度神经网络模型的计算都由图形处理器(Graphic Processing Unit,GPU)来完成。它高并行的特点能够很好的解决深度学习中复杂计算方面的问题。但受限于其的高功耗特点,使得深度学习在嵌入式设备,小型,移动设备等在规模和功耗方面受到限制的场景中的应用成为一个难点。近年来,随着电子元器件的工艺技术发展,现场可编程门阵列(Field Programmable Gate Array,FPGA)的存储和计算能力迅速提高。已经能够较好的完成深度神经网络的相关计算过程。而FPGA相比于GPU有着更低的功耗和更高的能效比。因而在实际应用中有关深度学习与FPGA异构计算结合的研究逐步开展,逐渐成为一个重要的技术发展方向。论文首先调研了深度神经网络的基础以及压缩相关技术。研究了异构平台的发展状况以及不同设备的优点。对于深度神经网络模型在异构平台上的应用和发展现状进行了研究。随后,论文针对传统的模型压缩方法的缺陷,提出了一种新的基于加权的剪枝方法。这种新的剪枝方法计算了各层的重要性程度,并据此对各层设置不同的剪枝率。从而达到加权剪枝的目的。而剪枝过程采用了基于几何中位数的剪枝方法,避免了剪枝过程中对于权重参数的依赖性,并通过实验验证了新的方法在不同模型上有很好的迁移性。最后,研究了 FPGA异构平台上的加速计算方法,针对深度神经网络模型的结构以及运算特点,将大量的卷积计算交由FPGA进行,设计了整体的架构和计算流程。并提出了一种新的深度加速优化方法,通过存储优化,数据流优化,深度计算优化等方式,充分利用了硬件资源。最后验证了该深度加速优化方案的有效性。实验结果说明了新的加权剪枝方法以及深度加速方法对于在功耗,规模受限场景下的深度神经网络应用是一个重要优势,对于实际工程中深度神经网络部署和应用有着重要意义。