关键词:
VVC
帧间预测
率失真优化
视频编码
硬件设计
摘要:
随着科学技术的快速发展,近些年人们的物质精神生活得以丰富,人们对于娱乐交流的方式逐渐从文字向着图像视频转变,导致了对于更高清晰度的图像视频的需求逐渐提升。同时,人们之间的交流如学习、工作、会议等也由于近两年新冠疫情的影响由线下转为了线上,因此也对高清视频、实时视频提出了更高的要求。由于现有的视频编码标准如H.264、H.265等等不能满足人们对于更高清晰度视频和实时通信的需求,因此国际组织提出了最新一代的视频编码标准多功能视频编码(VVC)。VVC相比于上一代的HEVC,性能大幅度提升的同时,能更加有效的对视频进行压缩,可以更好的满足人们对于8K等超高清视频的需求。在VVC中,编码主要由两路编码通路构成——帧间编码和帧内编码,其中帧间编码可以有效对多帧进行压缩,帧内编码可以对一帧进行高效压缩。帧间编码作为VVC编码中其中一个关键环节,从早期的编码标准开始就对数据吞吐和计算量有着极大的要求,在VVC中更是添加了更多新技术,导致了VVC的硬件实现变得更加的困难。因此,本文从硬件实现的角度对帧间编码过程进行深入研究,对帧间率失真优化编码进行设计实现,主要研究创新如下:
1.对帧间率失真优化部分采用全并行处理,支持亮度编码块同时以8×8、16×16、32×32、64×64四路并行计算。同时在内部以流水线的方式充分利用时间和存储空间,并且降低不同编码块之间的数据关联性,以加快处理速度。
2.由于并行计算架构将会导致硬件设计模块数量大大增加,导致开发成本极速上升的问题,设计了可以灵活使用的硬件架构,通过对不同参数的配置,例化出不同的模块,实现对不同编码块的计算。该结构支持8×8、16×16、32×32、64×64甚至于更多的编码块的计算;同一套硬件设计支持8bit、10bit两种模式的亮度深度,通过不同配置实现不同的亮度深度切换。
3.由于64×64块数据量过大,若是直接采用完成64×64块的处理方式,会导致硬件设计成本成倍增长,因此为了降低整体的硬件开销,对64×64块的计算进行拆分处理,拆为4个32×32块串行计算,有效降低了硬件中间数据缓存时所使用的SRAM数目和面积。
最后的仿真结果表明本文所设计帧间率失真优化编码器可以正确实现出帧间率失真编码的模式选择及重建值计算。同时,对设计进行综合表明本文所设计的编码器在满足8K30的性能的同时具有很高的灵活性,并且在对于64×64块的计算上可以有效节省硬件成本,可以节约约30%的逻辑门数量和44%的SRAM面积。
本文所设计的帧间率失真优化编码器设计由于具有较好的灵活性,可以适用于多种不同场合,同时有利于日后的更新与升级,并且其满足8K30的性能指标为更高清更实时的视频编码设计提供一个可选的方案,有利于超高清视频相关行业的发展。