走向成熟的智能数字视频监控

Intelligent Digital Video Surveillance Is Bounding to Mature 摘要：视频监控技术伴随着“平安中国”的畅想以及北京奥运会和上海世博会等大型活动的顺利举办，成为近期备受关注的电子技术应用领域。作为智能数字视频核心的半导体器件，在智能监控技术的普及中占据着极为重要的地位，本文通过多个角度，解析数字视频监控发展趋势及其对半导体产品的需求。关键词：视频监控；传感器；DSP；FPGA DOI：10．3969/j.issn.1005-5517.2011.04.001 对于每个人而言，平安是幸福生活最基本的要素之一，而如何保障平安生活，无疑需要时刻有一双慧眼的保护。无论是生活安全的监控、突发事件的预警、交通违章情况和流量监控还是重点场所的安全保障，甚至山林火险监控、边界和领海各种情况的监控等，都需要先进的智能数字视频监控系统做保障。具体到中国，人口众多地域辽阔的特点仅仅依靠人力很难满足保障国土安全、人民安居乐业的需求。因此，无论近年来全球经济如何动荡，中国的公共安防市场却总是保持旺盛增长的势头。“平安中国”计划的推广，特别是随着2008年北京成功举办奥运会过程中，国产的监控产品广泛被采用，表现不凡，进一步引发了国内数字化视频监控产业的发展。数字视频监控系统是以数字视频处理技术为核心，综合利用光电传感器、计算机网络、自动控制和人工智能等技术的一种新型监控系统。数字视频监控系统除了具有传统闭路电视监视系统的所有功能外，还具有远程视频传输与回放、自动异常检测与报警、结构化的视频数据存储等功能。与数字视频监控系统相关的主要技术有视频数据压缩，视频的分析与理解，视频流的传输与回放和视频数据的存储。技术发展趋势 TI DSP业务发展经理郑晓龙认为，数字视频监控的核心技术主要有四种，即视频压缩、影像处理、视频显示和视频分析，如图1所示。回顾数字视频监控的发展历程，数字音视压缩技术的发展导致了压缩标准的制定，数字音视压缩技术包含视频编码和解码，在视频监控应用中已由MPEG4过渡到H．264而成为主流，而SVC作为一个效率更多的标准也将接受市场的考验。在各种宽带和无线数字监控系统中，既有多通道处理的需求，也有多格式、多码率及多视频流的支持。富士通半导体(上海)有限公司市场部产品经理沈弘人则将监控产品的技术及市场需求概况为五大发展趋势。网络化市场需求：消费型客户的需求量较大对高清需求不多，售价低，以公众互联网布线为主；而项目客户则需求量较少，对高清需求较多，但售价高，且多半以内网／专网布线为主。技术发展：向高清视频(HD／Full HD)方向发展，可进行实时压缩(H．264)，并经由IP网络实时传送(Real-TimeStreaming，一般网络的传送递延时间最好不超过一秒。智能化市场需求：除传统云台控制摄像头转向／缩放功能外，智能影音分析(前端及后端)的应用需求将越来越多。技术发展：智能影音分析软件，如移动动物／人脸追踪、危险物(静态物体)监测、火灾监测、门禁人员／车辆计数等。大部分智能影音分析都在后端实施，如中控系统(CMS)，或是软件离线分析，但也有一些智能影音分析功能逐渐开始内置在头端(摄像头)进行重要事件监测及数据分析。高清化市场需求：目前市场需求的起始规格为720P 30，进阶规格则为720P 60或1080P 30。而有些应用，如车牌辨识(LPR)，甚至需要1080P60或是更高的规格。技术发展：为了满足高清化需求，传感器技术也逐渐走向高阶CMOS(1．3M，2M，5M等)，而CMOS在高动态(HDR)和低照度(low lux)方面也已经赶上CCD的水平。另外，高阶影像处理器(ISP)、高阶编码技术(H．264)及高分辨率镜头(HDLens)也是重要的技术发展方向。安全化市场需求：数字视频录像(DVR)、网络数字视频录像(NVR)、高容量硬盘(HDD)、磁盘阵列(DiskArray)的市场需求大增，也因而让数据存储更容易、更安全。技术发展：扩充DVR／NVR到集中式网络储存技术(NAS)或是主从式储存设备网络技术(SAN)以及加强网络防火墙(Fire Wall)，让数据储存更安全，且具备容错能力，灾难备援，以及快速回复数据之能力。分工化市场需求：高端监控市场的特性包括应用多元化、规格定制化和少量多样化，且要求存储时间长，因此对质量的要求比一般消费性产品高很多，所以每个组件都应具有最高规格和性能，这也使高端监控的产业链必须达到专业分工。技术发展：传感器(CCD或CMOS)、高阶影像处理器(ISP)、影像压缩编解码器(CODEC)、网络传输(IP Video Streaming)和高清闭路电视(HDCCTV)等各自发展或部分整合。换句话说，没有一颗单芯片(SoC)能完全满足高端监控的需求，当然对于入门级的家用监控系统则可能用一颗单芯片就可以完成。莱迪斯半导体市场营销副总裁Douglas Hunter则直言未来视频监控两个最重要的趋势是：百万像素摄像机和高动态范围(HDR)照相机。对于半导体制造商，这意味着需要向市场提供器件，提供更高的处理能力，以便处理由兆像素图像传感器和HDR处理需求结合所引起的大量数据的增加。Maxim业务总监JimFox则认为，视频监控市场的整体增长率将保持在5％-10％左右，而IP摄像机这样的具体产品增长率可以达到30％以上。最重要的技术发展趋势除了高清和百万像素摄像外，智能视频分析和成像也非常重要。当然，趋势总是由市场的需求所推动的。视频监控市场正要求更高的分辨率和更精准的图像内容，包括场景内容和活动的“智能”识别(如车牌号码识别，清点人数的能力，检测侵入者)。可以用被称为视频分析(VA)的自动化软件夹处理越来越多的复杂视频监控。为了能够有效、避免产生“误报“，VA软件需要较高的分辨率和HDR处理。这就是对摄像机制造商的要求，以高帧率来处理大量的数据。摄像头高清、3D一个都不能少高清技术将使数字视频监控系统彻底淘汰传统模拟系统，于是在CIF／D1分辨率的基础之上，720p和1080p的呼声很高，视频压缩技术在新的潮流下得到了进一步的提升。Aptina Imaging公司资深业务发展／市场经理Cliff Cheng认为，监控摄像头领域最普遍的发展趋势是转向分辨率为720P和1080P两种格式的高清(HD)摄像头，而所提供的接口选项的数量增加了，包括子兆位以太网、闭路高清(HDCCTV)以及IP over Coaxial(电缆)，这些都正逐渐成为HD视频的首选接口。多媒体2D／3D图像加速技术已开始引入，HDMI高清接口将成为必需，显示加密技术也许不可或缺。随着CMOS视频传感器技术的成熟和推广，数字一体化摄像机将融合更多的影像处理技术，其中包括自动曝光(AE)、自动白平衡(AWB)和自动聚焦(AF)技术将有可能被掌握。随着继承有视频前端的单片系统(SoC)的推出，不仅支持上述的弘功能，还有可以支持3D噪声滤波、人脸检测、LDC镜头校正和WDR宽动态等功能。与CCD图像传感器相比，由于CMOS图像传感器具备同等甚至更好的成像性能、更低的成本、更高的集成度、更低的功耗以及更高的速度，因此在网络摄像头领域的应用也日益增多。高速HD视频摄像头转向CMOS图像传感器的原因之一是CMOS器件固有低功耗的特性。功耗较低的CMOS图像传感器还结合了数项节能功能，如门控时钟(gated clock)设计、可变帧率，以及低待机电流，这些功能均可通过CMOS工艺技术来实现。莱迪斯半导体的Douglas Hunter认为，视频监控需要图像传感器有更多的像素以得到更好的场景定义，更好的微光性能，并能够为HDR功能提供足够的数据。关于市场趋势，图像传感器将继续从CCD转变到CMOS技术。更高的兆像素传感器将变得司空见惯。为了增强微光性能，更大格式的传感器可能更为常见。像那些菜迪思伙伴的传感器制造商将对传感器从提供并行接口转向串行接口，以便每秒从图像传感器送出更多的像素数据。一个新兴的发展趋势是加入宽动态范围(Wide Dynamic Range，WDR)功能，借助WDR功能，视频监控摄像头的放置就不再受到限制，几乎可以放置在任何环境中，包括严苛的高对比度光照环境。Aptina用于监控市场的最新HD和全HD图像传感器解决方案都加入了统计引擎、3D立体摄像头支持、感兴趣区域(region of interest)和WDR功能，将更多的计算工作量从视频分析引擎中卸载，让摄像头的算法可以提供更高的准确度和智能化水平更高的功能性。媒体处理器百花齐放回顾数字视频监控的发展历程，数字音视压缩技术的发展导致了压缩标准的制定，于是在高速数字信号处理器(DSP)上得以实现和应用。DSP得天独厚的高性能和低功耗的软件可编程的特性使之成为嵌入式数字音视频压缩的理想处理平台，而在高速通用DSP芯片上集成多个视频接口以及丰富的外围接口，就成为数字媒体处理器。数字视频监控产品的推陈出新得益于核心处理平台的升级换代，其中数字媒体处理器发挥了重要的作用。单片的通用DSP可以很好地实现视频数字压缩或智能视频数字分析处理工作，但还需要在外围接视频接口和前端或后端处理设备，因此系统比较复杂。 TI推出的第一颗数字媒体SoC对于数字视频监控行业的影响极其深远，从而开创了以创新大师达芬奇冠名一个系列媒体处理平台。如图2为数字视频SoC集成结构，其中包含有ARM和DSP核心系统，还有视频协处理器(VICP)，以及视频处理子系统(VPSS)。随着监控行业对高清需求的增加，DSP一统天下的格局在变化。赛灵思公司亚太区市场及应用总监张宇清介绍，传统的视频监控由于对运算的要求不高，只需要DSP芯片即可。随着智能分析和高清视频监控成为主流，FPGA的优势逐渐显现。智能分析的关键在于算法，需要大量的矩阵运算以及乘法器。通常有两种方式来实现智能分析。一是，DSP+FPGA，FPGA作为协处理器，来弥补DSP在运算方面的不足。然而，虽然DSP在信号处理、监控方面具有优势，但其通过执行串行指令进行处理运算、智能分析，一个时钟只能执行一个指令。而FPGA是并行指令架构，可以在一个时钟内执行几百个指令。以运算速度来看，即使DSP的运算达到1G以上，FPGA的速度700M，但显然，FPGA的并行处理仍然要远高于DSP的串行处理。同时，FPGA带有硬件乘法器和DSP核，具有高度灵活的扩展性，目前很多高端视频监控设备已采用这一架构。二是，在DSP中嵌入硬核，用硬核做硬件加速器，但其弹性小，没有扩展性，导致产品差异化低。 FPGA可以在复杂的像素处理方面替代DSP，如高性能视频分析，各种图像传感器宽动态范围压缩，以及高精度图像处理。对于高清视频监控来说，FPGA的作用更是不可小觑。高清监控，数据流量非常大，需要更高的处理能力，并且还要提供自动曝光、高效的自动白平衡和高动态范围等功能，传统DSP已经难以应付，需要FPGA共同完成。对FPGA在视频监控领域应用非常看好的还有莱迪斯半导体。DouRlasHunter认为一个显而易见的方法是从顺序处理转变为并行处理。例如，FPGA是并行处理器件，可以在每个时钟周期比传统DSP处理更多的数据。由于在每个时钟周期能够处理更多的数据，比如LatticeECP3系列FPGA可以使用较低的时钟速度，因此消耗的功耗更少，而顺序处理的器件需要更快的时钟速度；因此消耗大量的功率。视频分析视频分析技术业已在数字视频监控领域逐步显露锋芒，从而使得监控真正向智能化的视觉方向发展。视频分析所包含的内容相当广泛，其中有物体检测统计、目标物体识别和监控目标跟踪，还可以设立警戒区进行检测或行为分析。对于摄像机自身的智能化处理，已有视频稳定和镜头受袭告警实用技术。人脸识别技术目前已经开始实现市场化，并已有不少成功的应用，例如北京奥运会和上海世博会。在谈到数字视频监控新的增长点时，智能视频分析一定是一个热门话题。视频分析从计算机后端分析到前端嵌入式分析，使得其应用范围大大增加，目前已开始启动市场化的进程。TI郑小龙认为，在这过程中通用可编程的DSP扮演了极其重要的角色，从DM642到DM6437或DM6435，许多智能视频分析厂商推出了出色的算法并进入实用。基于现在的达芬奇的C64+核心，已可实现单片的智能视频应用。未来DM8168的C674x将可提供更加强大的高级智能视频分析性能。在视频监控中的软件算法可以用于两个方面。首先是图像处理引擎中执行一套算法。第二个是帮助人们完成任务的VA软件，如内容和事件的识别。在图像信号处理(ISP)领域，莱迪思从合作伙伴HelionGmbH那里得到了算法，它提供了业界最快的自动曝光，支持传感器高达16兆像素的分辨率，ISP流水线的HDR(高动态范围)可达192分贝。 MAXIM业务总监Jim Fox介绍，该公司的Mobilygen专利技术大大降低了系统计算的复杂度，在保持低功耗的同时提供最高画质。预先定义的配置和固件API允许开发人员设置比特率、帧速率等参数以及GOP结构、H．264工具等。MAXIM器件支持完整的高画质H．264工具套件，包括8x8转换、矩阵比例缩放、CABAC和任意分割尺寸的宏模块自适应帧／场(MBAFF)。先进的固件算法提供图像自适应帧／场(PAFF)编码、加权预测、定制矩阵比例缩放和影视图像反转处理，以达到最佳图像质量。视频输出处理器能够组合实时图像和／或存储图像，其图像覆盖功能可以创建单路输出。该输出可以放大或缩小，通过双向端口发送到另外一个器件或输出，以8位YUV4：2：0格式或18位RGB格式驱动本地显示器。行业应用的特殊需求虽然在所有的应用之中，数字视频监控的基本图像处理相似，不过某些应用确有具体的特殊需求。例如，在工业应用中，高速度和高帧率是捕捉图像细节的必备条件，需要传感器具有全局快门，而不是滚动快门；在医疗市场中，出色的低光照性能和极低的功耗是必不可少的，要求非常低的延时和无损图像压缩；对于交通运输摄像头，需要增强的HDR性能和快速的自动曝光，需要使用带有全局快门的捕捉速度极高的摄像头，以便在夜间光线较暗时读取车牌号码，当有迎面而来的车辆前车灯时，他们也许突然变得明亮。因此需要对不同产业类别的应用根据FW做特殊的应用，以配合特殊产业与厂商的需求。例如工业应用要求高速视频(120-240fps)，但是对分辨率的需求并不是很高(QVGA—VGA)，医疗应用则需要可抛式摄像头，这些特殊功能都需要图像感应器厂商与镜头厂商配合。这些需求构成了对半导体制造商相同的基本挑战：即提高了数据处理负载。莱迪思Douglas Hunter坦言，半导体制造商必须提供低成本、低功耗并行处理器件，如各种配置的FPGA，针对大的和小的应用提供处理逻辑。他们还必须提供IP，支持不同种类的图像传感器，以及提供低延迟和HDR处理的ISP流水线。对于交通行业而言，需求又有所不同。如何利用车载摄像机降低交通事故数，减少人员伤亡，控制直接财产损失，是中国汽车电子行业不容无视的重大研究课题和商机，本文通过概要介绍若干系统，为中国汽车电子行业抛砖引玉。值得一提的是，开发针对汽车安全的车载摄像机系统需要汽车电子与汽车生产厂家开展密切合作，从摄像头、视频数据采集、视频传输、实时监视和播放平台等多个方面进行研究，才有利于车厂最终使其产品化。特别的，车载摄像头需要的高速总线，MOST(面向媒体的系统传输总线)技术目前已经被50多种车型采用它由MOST组织来主持标准化与规格化工作。截至目前，已经有15家国际性汽车厂商和70余家主要零配件生产厂商加盟该组织。目前已经实现产品化的MOST技术有MOST25、MOST50，第3代MOST 150Mbps技术一150MOST正在开发中。150Mbps可以达到与MOST25塑料光纤同等的传输速度，不用增加物理层成本就可以提高通信速度。采用MOST150后，视频传输变得更容易，不仅可以用在休闲娱乐方面，还可以用在车载摄像头等行车系统上。 MOST在制订上完全合乎ISO／OSI的7层数据通讯协议参考模型，而在网线连接上MOST采行环状拓朴，允许改采星状(亦称放射状)或双环状的连接组态，每套MOST传控网络允许最多达64个装置(节点)建立连接。目前，在MOST的应用中，美国车种仅占9％，欧洲车种占比达58％，亚太车系则占比大约为33％。