关键词:
ISP
高动态范围
多曝光融合
算法
硬件设计
摘要:
近几年随着社会生活智能化的深入与计算机视觉技术、硬件基础的提升,使得人们对于视觉信息的要求越来越高,这对ISP(Image Signal Processing,图像信号处理)技术提出了更高的性能要求。其中,高动态范围成像(High Dynamic Range Imaging,HDRI)因为能够获取更高的动态范围来保存现实场景更多细节和层次的属性,在各种ISP新进入的如自动驾驶、辅助驾驶领域要求ISP拥有低照度图像分析能力和夜视能力、多媒体领域要求ISP拥有场景识别能力等领域受到了更高的要求,成为了ISP继续优化的一个方向。
因为显示技术原因,HDR(High Dynamic Range,高动态范围)图像会被映射到低动态范围来显示。因此HDR成像技术最终的结果是输出具有丰富信息的低动态范围图像。而多曝光融合算法用于产生具有丰富信息的低动态范围图像,就结果而言,多曝光融合算法与HDRI同属于实现HDR图像的算法。本文旨在对于ISP中实现HDR图像的算法进行研究,结合现ISP算法需要优化与硬件化的背景,完成软件算法的优化与硬件实现与加速。
首先提出一种基于分块和分层的改进多曝光融合算法。文中详细分析了多曝光融合算法在融合过程中产生的块效应和鬼影问题与影响这些问题的关键因素。基于一定原有算法,针对关键因素的分析,提出基于分块和分层的改进多曝光融合算法,将图像块级的对比度权重与亮度权重分别作为分层的细节层和基础层的权重因子,同时引入基于色彩先验的像素级曝光度因子对细节层权重进行修正,使得信息充足的图像块中曝光良好的像素点拥有较好的保留程度的同时,图像整体亮度能够均匀分布。通过主客观评估方法与几种经典算法做对比实验,实验结果表明该算法在结构一致性和信息熵评估上都能有大部分最佳的结果,证明该算法能够在保留住图像细节信息的同时拥有良好的曝光与亮度分布。
然后为了能够将多曝光融合算法在硬件层次中实现,本文根据硬件设计的思路,对算法进行了层次重构,完成了所需的框架设计以及数据流通设计。根据硬件数据流与存储的特点,将图像块级与像素级运算在时间尺度上分开运算,在保证计算量的同时,减少了中间数据的存储量。对部分复杂计算如指数运算,一方面使用并行流水线设计专门设计相应函数;另一方面做近似算法处理,极大地简化了运算复杂度,提高了硬件运算效率。其中,提出了一种无信息反馈控制的硬件化的改进盒式滤波器,提高了盒式滤波器的运作效率。
在完成了基于软件算法优化的硬件设计之后,对该硬件设计进行了功能仿真、综合与形式验证。结果表明,该硬件设计在100MHz时钟频率可综合的情况下,能够于约8.8ms内完成三帧源图像的输入与一帧融合图像的输出。