光环境应对技术使用场景
宽动态、强光抑制等技术在平安城市、智能交通等行业中应用较多,应用时间上主要在夜间,使用场景是运动的车辆大灯以及路灯、店铺霓虹灯等复杂的光环境,这种环境下就需要宽动态等技术来实现视频监控画面不受影响。
强光抑制功能在平安城市的应用中主要是降低汽车大灯照射的影响,但如果宽动态范围足够大,大到把汽车大灯的亮度也能包含内,就可以覆盖强光抑制及背光补偿等功能,所以宽动态功能是核心,也是目前大部分视频监控厂商主要研究开发的方向。
光环境应对技术分类及原理
光环境应对技术主要包含宽动态、强光抑制及背光补偿等技术。宽动态一般是指摄像机适应照度反差(变化范围)的能力。背光补偿也称作逆光补偿或逆光补正,一般指摄像机在逆光环境下拍摄时可以弥补画面主体黑暗缺陷的能力,早期宽动态技术实际上就是背光补偿技术,因此背光补偿技术可以归纳在宽动态技术范围之内。强光抑制一般指摄像机将视频的信号亮度调整为正常范围,避免同一图像中前后反差太大的能力。三种技术中以宽动态技术为核心。
以宽动态技术为例,实现方式一般有双曝光技术和多重取样技术等。双曝光技术是目前视频监控领域应用较为成熟广泛的技术,该技术又称双快门技术,是指摄像机针对明暗反差较大的场景进行两次曝光合成画面的技术。其中一次曝光为针对明亮区域的快速曝光,另一次为针较暗区域的慢速曝光,两次曝光分别取得明亮区域和较暗区域的清晰图像,最后将两幅图像进行叠加而成一张明暗反差较小的图像。
中星电子股份有限公司总工程师施清平介绍道,目前有些厂商如松下研发了四次曝光技术,可以实现更大的宽动态范围,宽动态效果更好。
原任职于公安一所现为本刊技术顾问李仲男介绍说:多重取样技术也可称为多通道技术,该技术是指利用CMOS传感器分别处理像素信号的功能,对一帧(一场) 图像进行空间域处理的技术,具体指对摄像机感光单元每帧(场)积累的电荷进行多次取样。该技术的实现过程是在器件的输出(取样)过程中进行的。这过程的实现依靠的是DPS(数字像素传感)技术——DPS是根据数字信号处理理论的数学模型和算法设计出来的高集成硬化微处理器,专门进行数字信号处理,DSP芯片可进行诸如二维数字滤波、数字动态图像检测、数字背景光补偿、细节补偿频率调节等功能——DPS可分析画面的亮度值及变化趋势并控制曝光时间并决定该次取样是否输出,如画面明亮部分只需第一次取样即可输出,较暗部分则需要最后一次取样才输出,相当于对不同亮度区域进行曝光时间控制。
李仲男介绍道,多次曝光与多重取样技术实质上都有对图像进行亮度密度分布的变换。将不良图像的亮度密度分布变换为符合人眼视觉特性的形状,是最经典的图像处理技术。
双曝光方式是对图像进行整幅的调节,多重取样是每个像素的调节,显然,后者在技术上更合理,实际效果也要好一些。
但是这样的处理可能出现两个问题:一是在明亮端部分图像分辨率会降低;二是变换后,图像会缺乏层次感。
实际上、人的视觉分辨亮度差别的级数是有限的,既摄像机可显示的亮度级数是有限的。这既决定了宽动态是有限值的,也说明了宽动态不是指标越高越好。
其他影响光环境应对技术的因素
施清平介绍说:芯片是光环境应对技术最核心的部分,然而大部分视频监控厂商在芯片货源上受制于国外芯片厂商,一般在技术研发商都把精力放在算法上面,即数字宽动态技术。一般来说数字宽动态效果远不如以芯片为基础的宽动态效果,这点a&s在实际检测中也得到了印证
除了芯片的关键因素之外,还有哪些因素对光环境应对技术有影响呢?在a&s对厂商的采访中我们了解到,镜头、视频编码技术甚至摄像机清晰度也对光环境应对技术有非常重要的影响。
镜头因素虽然经常被人忽视,但实际上非常重要。镜头对光环境应对能力主要因素影响因素之一是自动光圈,由于自动光圈是根据摄像机的平均通光量来进行调节光圈大小,比如在夜间的时候光圈会自动调整到最大,如果此时突然有车灯照射,自动光圈会突然缩小,而此时暗部的画面细节就会丢失掉。所以镜头的自动光圈会带来新的问题,最近市场上开始推广P-Iris镜头,可以达到精确控制光通量的效果,但是价格较高。另外一个因素是镜头的光圈值,普遍来看镜头的光圈值达不到标称值,尤其是国产镜头。一般来说,光圈主要影响的性能是低照度,宽动态等的影响相对小一些。其三是镜头镀膜,这个非常关键,如果镀膜不好的话会形成鬼影、光斑等,在复杂光环境下的光环境应对能力就会大打折扣。总体来说镜头这方面不如传感器、芯片等受到重视,但实际上好的镜头对摄像机的光环境适应等性能上有很好的帮助。
一般来说编码标准对宽动态等效果没有太大的影响。因为画面质量在传感器、IP处理这一层已经决定了。但是SVAC编码有所不同,因为SVAC支持10比特的编码,而其采用其他编码的摄像机基本上都是支持8比特的,这样芯片比较宽的动态范围在编码的时候就会压缩,压缩后的结果就是会损失掉很多信息。SVAC多2比特,这样支持的动态范围更宽。后面中星电子与公安一所还在制定SVAC2.0的标准,可以支持到16比特,基本上可以将前端采集过来的图像原汁原味的放进去,更多的保留了画面细节。
视频监控已经逐渐由模拟标清时代迈向数字高清时代,4K高清的技术也初现端倪。对于视频监控清晰度的影响,施清平认为高清时代里像素点缩小了,给芯片带来感光、加工等问题;然后模拟时代普遍采用CCD传感器,数字高清时代CMOS是主流,应对光环境的技术处理会不一样。但无论摄像机是模拟型还是数字型,对宽动态等光环境应对技术影响不大。施清平认为4K技术目前来看还比较遥远,虽然很多厂家已经做出来了产品,但实际应用还有很长的路要走。4K技术带来的主要问题是像素点更小,对复杂光源环境更难处理。
技术提升空间
施清平认为宽动态等光环境应对技术的主要提升空间还是在传感器/芯片上,现在大部分厂家还是在多次曝光、算法上去做文章,虽然这方面也有提升空间,但是会越做越复杂,而且也不一定能适应越来越复杂的光环境。从芯片、传感器等源头方面解决问题才是最主要的,这方面中星电子正在开发的24比特曝光输出芯片就是一个很好的诠释。而光环境应对技术的极限提升空间施总认为应该是像素点的曝光,即针对每一个像素点决定曝光时间。目前一帧一帧的曝光,其缺点是一个画面只能取一个平均值,会漏掉很多动态范围之外的东西。而根据每一个像素点进行不同时间的曝光,比如暗的地方曝光时间可以长一些。亮的地方曝光时间会短一些,这方面的技术主要是将传感器芯片进行智能整合,是一个非常有挑战性的极限性解决方法。
光环境应对技术测试标准及问题
据李仲男顾问介绍,目前各厂家测试方法理论相同,都是用被测摄像机摄取一张照度反差很大的图像,再根据图像可以达到的分辨能力(亮度差、细节),分别测量出图像中最亮与最低部分的照度,然后计算出动态范围值。主要有反射式测试卡检测、透视测试卡检测等:
1.反射式测试卡方式,采用反射式测试卡,对其进行分别的照明,一部分高照度,一部分低照度,适当调节两个照明,当两部分都能显示出区域内相关图形(亮度台阶或黑白条)时,分别测量两部分的照度值,再计算出动态范围。
这种方法要求两个照明不能互相干扰(主要是亮影响暗),这是有难度的。同时、把图像分成照度反差极端的两部分,与实际场景不符合。
2.透视测试卡方式,采用灯箱和带有多级数灰度台阶条的透视卡。按设定值进行照明,然后观察灰度台阶条,测量可以分辨的台阶数。灯箱的亮度是设定的,各台阶对应的照度就是确定的,根据台阶数即可推算出动态范围。多级数灰度台阶(又称光楔)的制作和计量是关键,比如,30多阶的光楔。难点是:测试时很难判断亮度台阶是否可分辨。
在透视卡制作两个不同区域,上面印有规定的图形,光箱对其进行分别的照明,形成最亮区和最暗区,其余部分(应超过图像一半)用正常照明,作为图像的中间层次。再进行上述的测试,推算出动态范围值。李仲男认为这是比较可行的方法。
上述两方法,是相同的,都存在一些问题,虽是测量相同的量,但结果差别很大。
还有一种测试方法,不直接测量动态范围,而是测量因宽动态的作用,导致摄像机动态范围扩大的倍数,既是宽动态摄像机获得最大输出时的景物照度与不采用(关断)宽动态技术时最大照度的比值。由于不采用宽动态技术时的最大照度不好测量,所以用测量摄像机输出50%白电平时的照度来代替,因此数值差6 分贝。
另据接受采访的视频监控厂商反应,认为以上测试手段都属于静态测试,而摄像机面对的场景往往是动态的甚至高速的,因而还建议增加在动态场景下的光环境应对能力检测。如采用二次曝光的宽动态摄像机在监控高速运动物体时往往会产生较为明显的拖影现象,而采用多重取样技术的摄像机则克服类似问题。
结语
由于视频监控很大一部分是用在平安城市、智能交通等复杂光环境场景中,光环境应对技术是视频监控厂商必须重视的技术,然而目前来看光环境应对技术仍未受到足够的重视,在缺乏统一权威的测试标准的情况下,很多厂商出现虚标宽动态范围的现象。此外由于国内厂商受限于芯片生产源的限制,很难从根源上解决问题。由于考虑到生产成本的问题,很多摄像机在配备镜头等配件的时候也往往选择最廉价的,在一定程度上也影响到了光环境应对技术的发展。
总体来看,光环境应对技术还有很大的发展空间,在芯片、镜头、技术重视程度甚至视频压缩标准上都可以下功夫,在需要应对复杂光环境的场景中,优秀的光环境应对技术可以让视频监控更得心应手,更好地守护人们的生命、财产安全。