关键词:
多视图三维物体重建
张量分解
多尺度感受野网络
摘要:
由于多视图三维物体重建任务在AR、测绘和医疗等领域的广阔应用前景,多视图三维物体重建引起了诸多研究者的广泛关注。近几年的多视图三维物体研究发现,多视图三维重建任务主要围绕降低重建代价以及提高重建质量两个方向进行研究。本文围绕降低重建代价和提高重建质量这两个任务方向提出两个方法,具体如下:本文第一个方法旨在提出一种深度张量学习方法用于加速重建并且降低模型大小,同时保证网络性能。具体来说,本文选择对全卷积网络进行CP分解,由于全卷积网络的参数化模型适于张量分解,可以有效地降低模型参数,提升卷积的处理速度,学习低秩信息,同时使用膨胀卷积来替换原本的3*3卷积,增大感受野,捕捉多尺度信息,学习稀疏性信息。本文第二个方法旨在提出一种多尺度感受野网络结构构建特征提取模块提升重建性能,同时结合深度分离卷积和膨胀卷积,构建多尺度感受野网络,从特征提取着手,提升特征网络的学习能力。论文的主要工作为:1.本文提出了基于张量分解和稀疏学习的方法重构三维物体重建任务中的卷积网络,利用张量分解的低秩约束达到参数降维的目的,并使用空洞卷积改进原本的卷积,使得卷积学习时的感受野更大,并且通过空洞卷积进行稀疏学习,与张量分解的低秩结构共同组成低秩加稀疏的学习。进行定性定量实验,结果显示,相较基准方法,在选择秩为3时,分解的2D CNN参数压缩为原本参数量的1%,精度相比原baseline模型还有所提升,同时完整度性能指标也重建较好,定性结果显示重建出的3D模型噪音少,该方法在保证重建质量同时降低了模型大小。2.本文提出基于空洞卷积构建多尺度感受野网络,通过HDC原则设计膨胀率构建锯齿状卷积网络,形成多尺度感受野,然后通过深度分离卷积引入非线性结构,加深网络且并不引入额外参数,提升特征网络的学习能力,进行定量定性实验,结果显示,本方法的精确度和完整度及总体分数指标优于基准方法,有效的提升了重建的结果。3.设计实现了一个在线3D物体重建系统,将本文提出的方法集成到系统中,实现用户自由登录以及上传图片进行三维物体重建的功能。