关键词:
头部化身
三维重建
区域编码
点云
光栅化
深度学习
摘要:
传统的头部化身大多基于3D可变形模型(3DMM)制作,虽然3DMM能够方便地进行驱动,但无法表达头发等非刚性结构。近期,基于神经辐射场的头部化身工作虽然取得了优秀的视觉效果,但在可驱动性和训练效率上存在不足。为了解决以上问题,单目视频被作为原始数据,一个数量动态增长的点云被用来构建可驱动的头部虚拟化身。点云能够通过光栅化操作快速渲染为图像,大大减少了训练时间。在纹理表示上,颜色被解耦为反照率和阴影,阴影又进一步被分解为法线和通过对点进行稀疏性编码获得的区域特征的组合,这种分解最终得到了更精准的纹理。然而,点云固有的离散性质会导致渲染时出现孔洞。因此,一项法线平滑策略被用来提高纹理的连续性,从而有效地消除了牙齿、舌头等区域上的纹理孔洞。在多个主体上的大量的实验表明,相比IMavatar,PointAvatar,NerFace和StyleAvatar等目前最好的头部化身构建算法,基于点云并结合区域编码和法线平滑策略构建的可驱动头部化身在PSNR指标上平均取得了约3.41%的提升。消融实验表明,相较于不使用区域编码和法线平滑策略,所提方法的PSNR指标分别提升了约3.50%和3.44%。