关键词:
移动计算
边云协同
计算卸载
DNN推理
DNN查询
智能应用
摘要:
随着移动设备的普及,人脸识别、智能语音助手、手势识别等智能应用已广泛应用于人们的日常生活中。然而,由于移动设备计算能力不足,往往很难支持复杂的深度神经网络(Deep Neural Network,DNN)推理。为减轻移动端计算压力,传统方法多选择将DNN模型卸载到云/边缘服务器,而为了在云/边缘服务器上运行DNN模型,需要将DNN模型按需提前卸载到指定计算节点。在这个过程中,如何实现任务执行时延及数据传输时延的权衡,进而获得高效的DNN迁移计划是研究者们一直在探讨的问题。此外,为实现实时DNN查询,本文考虑在上传DNN分区的同时执行DNN查询。在以往的研究中,学者们多选择在单客户端-单边缘服务器计算环境下结合最短路径法及惩罚因子法划分DNN模型并创建其对应的上传计划。然而由于惩罚因子可选取的个数有限,这导致DNN分区往往很大,难以获取细粒度DNN分区。本文提出了一种在本地-边缘-云协同计算环境下加速DNN推理的卸载方案——EosDNN,其中DNN推理加速主要体现在优化迁移时延和实现实时DNN查询上。EosDNN综合考虑了迁移计划和上传计划两方面:对于前者,利用粒子群遗传优化算法(Particle Swarm Optimization-Genetic Algorithm,PSO-GA)生成DNN模型中各DNN层在服务器下的分布,进而优化迁移时延;对于后者,提出了一种层合并上传算法(Layer Merge Uploading Algorithm,LMU)来获取DNN分区及其上传顺序,从而优化实时DNN查询的性能。本文的主要贡献如下:(1)首先,基于PSO-GA算法,本文提出一种DNN迁移计划,以获取本地-边缘-云协同计算环境下DNN层在各服务器的分布情况。这种方法适用于多任务并行的情景,避免了传统算法极易陷入局部最优的缺陷,有利于获得满足低时延的DNN模型迁移计划,进而加速DNN推理。此外,本文提出了一种名为二步迁移预处理的方法来处理拓扑类型DNN模型,使得EosDNN卸载方案适用于不同类型的DNN模型。(2)其次,本文提出LMU算法来获取DNN分区及其上传顺序,进而生成满足高效DNN查询性能的DNN上传计划。这种方法不仅克服了传统DNN上传计划仅适用于单客户端-单云/边缘计算环境的限制,还大大降低了DNN分区的粒度,极大地提高了DNN查询的性能。(3)最后,本文考虑了一种更为现实的卸载场景——在资源有限的多用户本地-边缘-云协同计算环境中卸载DNN模型,该场景适用于大规模DNN模型的迁移和上传,能够切实满足现实情景中用户对服务质量的需求。此外,本文也探讨了由大规模DNN模型在资源有限计算环境中并行所带来的任务排队时间。