关键词:
张量分解
神经网络
紧致模型
模型压缩
模型初始化
训练加速
摘要:
近年来,深度神经网络模型对社会产生了极大的影响,更是在各种任务上取得了突破性的成功。然而,在取得各种成功的同时,深度模型的训练确存在两大挑战:1)模型体积庞大导致对资源需求的增加,不仅仅是增加存储资源,对运行内存的使用量也急剧增加;2)训练的计算成本也在日益扩增,导致深度模型的训练不仅需求庞大的计算力,还很耗时。基于此,为了实现深度学习模型在参数压缩、训练加速方面的目标,本文着眼于张量模型紧致的特点,介绍了一系列结合紧致张量网络和深度模型的研究工作。本文的研究集中在四个关键领域:张量卷积神经网络的通用初始化方法、张量环网络的优化秩搜索、Transformer模型的张量环高效训练策略、以及从零开始训练的3渐进式深度扩展方法。这些研究工作共同推进了深度学习领域的发展,特别是在处理模型复杂性和计算资源限制方面。本文提出的方法具体如下:
第一,针对张量卷积神经网络(Tensorial Convolutional Neural Network,TCNN)的初始化问题,本文提出了一种考虑其拓扑结构的通用初始化方案。该方案首先将TCNN表示为一个由Dummy张量和超边构成的张量图,从而提取出一个核心的骨干图,进一步将其编码为邻接矩阵。通过这一邻接矩阵,能够计算出一个适宜的初始方差,为TCNN的权重初始化提供一个稳定的起点。这种方法充分考虑了TCNN中的信息流动特性,能够适配不同的数据流类型,如前向传播中的特征传递和后向传播中的梯度流动,从而为TCNN提供了一个更为稳定且高效的初始化方案。
第二,为了实现更好的压缩率和性能的平衡,本文提出了一种渐进式张量环网络搜索策略,称为PSTRN。该策略核心在于采用多目标遗传算法(NSGA-II)来平衡参数压缩比与模型性能之间的关系,从而自动寻找最优的张量环秩配置。PSTRN方法通过定义一个全面的秩元素候选组合搜索空间,并在进化过程中逐步推导出最优秩配置。为了提升搜索效率,采用了一种权重继承策略,这一策略能够通过重用先前训练模型的权重来减少新模型的训练时间。通过这种交替的进化和渐进阶段,PSTRN有效地探索了秩配置空间,实现了在模型压缩和性能之间的最佳平衡。
第三,在提升Transformer模型训练效率方面,通过深入分析不同预训练模型之间的内在联系,本文提出了一种基于全映射转换的策略Mango。该策略不仅利用了预训练模型的权重,还通过设计一种创新的多线性结构来优化权重映射过程。Mango方法将大型的映射张量分解为多个较小的张量,从而大幅降低了参数空间的需求,同时保留了模型间权重转移的高表达力。这一策略不仅显著提升了训练效率,还维持了模型性能,展示了利用预训练模型权重在加速新模型训练中的巨大潜力。
第四,在从零开始高效训练深度模型方面,提出了Apollo方法。Apollo通过对Tensor Train Time(3)分解的建模,实现了模型深度的逐步扩展,并通过采样因子进行深层预学习,有效加速了训练过程。利用低值优先采样LVPS技术,Apollo优先训练较浅层,从而在整个训练过程中降低了资源消耗。同时,通过深层预学习为模型后续扩展提供了坚实的基础。此外,Apollo还采用了一种插值技术来平滑地扩展模型深度,有效避免了直接层叠可能引起的训练不稳定问题。结果显示,Apollo能有效加速模型训练,并超过一些通过预训练加速的模型(如bert2BERT)。
综上所述,本文围绕紧致张量化神经网络的课题进行了低秩模型和模型加速的探究,成功实现了模型的压缩,并实现有效的初始化,以及为继承加速和从零加速提供有效的解决思路。这些成果展现了本文在理论和实践上的创新,对深度学习领域的发展具有重要的贡献。在未来,预计这些方法能够进一步优化,以适应更广泛的应用场景和更复杂的数据类型,期待这些方法在未来能够促进深度学习技术的进一步发展,特别是在资源受限的环境下,实现高效而强大的深度学习模型。