前言
近些年来全国各地的平安城市建设如火如荼得展开,建设思路也逐渐向数字化、网络化、集成化、智能化的方向发展。同时伴随着摄像机的数量的急剧增加,大量路数的视频数据给城市管理者带来极大的挑战,对于操作者来说在监控室有限的视频前长时间发掘潜在的有用信息更显得力不从心。
基于现状大多城市的城市报警联网系统的建设应用价值仍受到一定限制,大多只是提供事后的录像检索,提供破案的现场依据。因而一方面大多数视频只是在默默的进行视频录像,难以保障所有视频录像都具有高质量的画面质量;另一方面对于具有潜在的或者已经发生违法事件不能及时报警,事件的智能预警成都仍有待提高。因而针对平安城市建设中的特殊场合应用视频智能分析,系统对于视频画面质量和潜在事件的自动预警的功能需求日益增长。
客户需求分析
通过在实际项目中积累的经验,客户以及业主对视频智能化的需求主要体现在以下几个方面:
视频质量智能分析
对于一个小路数视频监控系统,监控中心通过画面轮询即可实现对所有视频画面的质量在短时间内掌握,而对于一个上百路甚至成千上万的大型平安城市视频监控系统,大多数视频画面质量不能有效在短时间全面掌握,大多数的视频画面显示是否正常、是否是在高质录像,能否在事后录像回放时提供高质的现场画面是业主方十分关心的问题。在此问题的解决上,天地伟业公司在监控平台中推出了视频质量诊断模块,可实现多方位的视频质量诊断,旨在解决这一基本视频质量问题,走到了安防行业的技术前沿。
视频行为分析的需求
应用视频监控的各行各业都有对行为分析的特别需求,例如监狱的周界要预防罪犯靠近、监舍要预防打架斗殴、铁轨沿线要预防人员接近、交通道路要预防车辆排队过长、违章停车等、银行要防止有人徘徊和跟踪、电力、水力、党政机关等这些重点企事业单位的周界是否有人要非法强入要多加防范、车站、广场需要注重是否有异常聚集,机房、仓库需要检测是否有人闯入等等。各个行业的不同场合都有应用需求,由于这些重点监控场所需要24小时不间断监控,并且提前预警事前预防比事后处理更为重要,智能行为分析的应用价值不容忽视。
面部特征、车牌识别
特征识别仍是在一些特殊场合需求较多,随着技术的发展和成本的缩减,相信在不久的将来也会大面积应用。如需要和通缉犯照片进行比对的特殊场合,机场、银行、车站、宾馆等,同时也会越来越多得应用在门禁系统中。车牌识别在智能交通系统中应用较为广泛,但是对于视频监控中的车牌识别技术的应用仍是较少,由于违章行车、停车的现象越来越多、道路监控中集成车牌识别技术的需求也会越来越多。
视频智能化技术
由客户的需求来看我们可以提供以下视频智能化技术来满足业主功能需求,总体来说可以分为两个方面:一是对实时视频的画面质量进行智能化检测;二是对视频中的关心对象应用智能行为分析。
视频质量检测:视频质量的出现大多数由于前方摄像机的机械故障引起,主要有以下表现:视频信号缺失、视频信号清晰度异常、视频信号亮度异常、视频噪声(图像模糊、扭曲、雪花、抖动或滚屏等)、视频偏色、画面冻结、人为干扰、PTZ失控等。部分上述现象如下画面所示:
视频智能行为分析
智能行为分析分类:视频智能行为分析从实现原理上主要分为两大类:第一类是背景模型建立为基础,主要检测在静止背景画面基础上出现的各种异常动作,如周界防范检测(绊线穿越、区域入侵)、物品丢失/滞留、人脸检测、自动跟踪、人的行为异常分析(聚集、打架、徘徊、倒地、异常奔跑、限高检测、突然站立、非法驻留等)。环境的异常分析(烟雾、火焰、撒纸片、车流量、交通拥堵等)。
第二类是以特征识别为基础,如:面部识别、车牌识别等。部分以上现象如下画面所示:
错误!超链接引用无效。
技术实现方式探讨
业内实现上述智能行为分析的途径主要有三种,一是前端采用带有智能行为分析功能的网络视频服务器或者嵌入式硬盘录像机,或者带有智能行为分析功能的网络摄像机,主要依靠集成有分析算法的DSP分析处理实现。二是后端监控平台软件通过对网络视频的分析处理,主要依靠软件实现。三是既有前端智能分析又有后端软件分析的混合方式。
前端硬件检测实现方式:
前端分析方式采用的主要设备是嵌入式智能行为分析服务器,将不同行为的分析算法写在DSP中,在对接入的模拟视频进行网络编码的同时对其视频画面中的对象进行分析,如周界防范检测、物品丢失/滞留、人脸检测、聚集、打架、徘徊、倒地、异常奔跑等,将分析后的数据通过网络传输到监控中心以及客户端。
后端软件检测实现方式:
后端分析主要采用视频综合管理平台中的视频智能分析服务器以及视频诊断服务器,通过特定功能的软件模块对任意一路的视频进行视频行为分析,可实现视频画面质量以及所有类型的行为分析,分析后产生的报警数据集成在平台中进行处理和联动。
两种实现方式的优缺点分析:
前端分析:优点是不对后端软件平台以及服务器造成压力,仅提供分析后的数据,使得整个系统运行更加稳定可靠,不足之处是不能对网络视频进行分析,并且只能对某一路视频进行分析,在高清视频监控越来越普及的今天,尤其重点单位重点场所均开始逐步采用高清网络摄像机,采用嵌入式智能行为分析服务器方式就显得力不从心了。另外行为分析的类型较少以及后期算法优化升级容易受到硬件限制的影响。
采用后端软件分析:优点是对网络视频流进行分析,这样不受到标清、高清视频以及某特定一路的限制,可以随时根据需要更换需要分析的视频,方案配置以及系统规划更加灵活方便。通过对软件的升级,可实现对不同场景下的行为分析进行优化,减少误报漏报概率。分析效果以及分析类型相对硬件分析有较高的提升。可实现平台软件对前端视频的后台自动巡检,发现画面质量异常的视频即使报警。不足之处后端处理对于平台软件以及服务器的处理压力提出了更高的考验。由于是对网络视频进行分析,那么对经过编码压缩后的网络视频质量以及传输线路提出了更高的要求。
业界的大多数厂家普遍采用前端硬件分析方式,这种技术实现方式已较为成熟,同时天地伟业公司已在后端软件平台的处理分析方式上进行了深入开发,行为分析技术更为专业,提供不同用户以更多的选择和组合,并且在同一平台中集成了视频质量的诊断以及智能行为分析两大功能模块,走到了业界视频智能化的前沿。
在实际工程应用中可能遇到的问题及解决方法。视频智能化通过这些年发展的已小有成就,涵盖的行为模型以及深入的行业也比较广泛,但远还没达到成熟的地步,从现场应用的方面看,对于事件分析误报、漏报是主要问题所在。应用的环境要求较为苛刻,干扰因素众多,一些因素仍未能够通过技术手段加以避免。
周围环境对视频分析的影响
周围环境的很多因素都容易对行为分析的结果造成影响,例如在铁轨沿线安装行为分析设备,用以检测是否有人跨线,进入铁轨危险区域,那么铁轨沿线的树木的影子就容易会对设备造成误报影响。针对此种一方面可以改变摄像机位置,选取树木阴影影响较小的区域,另一方面通过调节参数设置,降低灵敏度,达到最优效果。
相类似地我们在工程施工过程中需考虑以下几个方面:
尽量避免逆光,减少强光直射造成的画面亮度过高,细节分辨不清的影响。
尽量选取周围光线变化较小的场所。
调节摄像机角度,使得画面获取更多有用信息,而且要避免无谓的画面大幅变化。尽量避免可能存在的遮挡。
考虑周围场景颜色,应避免场景颜色过于繁杂,画面繁乱。
要求室内摄像机距地面不宜低于2.5米,不高于5米,室外距地面不宜低于3.5米。避免细节程度过高导致的画面变化过大。
降低视频源的影响,一方面保障摄像机提供较清晰的视频画面,另一方面在后端处理还要考虑视频压缩损失以及网络传输对网络视频的影响。
除了以上环境因素的考虑,我们知道夜间的防范也尤为重要,由于夜间的照度低,细节呈现度差,因而我们选用摄像机时要选优先选用具有强光抑制以及低照度的摄像机。为保障夜间的行为分析效果,除了采用低照度摄像机,仍需进行红外补光或者泛光灯补光。除了外界因素还有内在因素产生的影响:
行为分析算法的优化程度。一方面不同厂家的行为分析算法的差异性会直接导致行为识别的有效率差异,另一方面由于行为分析基于数学模型进行分析,数学模型的建立与实际场景的特这符合度有多大,能够进行可匹配的特征数量多少,匹配特征越多分析准确率就越高,何况实际的每一个场景都具有不同的场景特征等等,都会直接影响分析的准确率。
对于既定模型的非有用信息干扰一般通过过滤器进行滤除,这种非有用信息考虑得是否全面、非有用信息的模型建立以及识别方式是否得当都会对行为分析的结果造成影响。例如对于人和动物、车辆的区分。较远处的人和较近处的物的区分等等。
智能行为分析仍需要自学习自适应的过程,对于不同场景的自适应会使得智能行为分析有更好的智能辨别能力。例如下雪天,场景变得复杂,颜色变得单一,自适应优化就显得格外重要。水面监控,水天一色,何从识别。晴天下较为严重的人影与人形的区分。夜间车灯强光的抑制等等。在这一方面,天地伟业的嵌入式行为分析仪对此类场景进行了算法优化,取得了较为理想的分析结果,如下所示。
1-18下雪天1-19水面监控1-20强光抑制1-21夜间红外。除了软件以及算法上的优化,还有硬件上的因素,如DSP的处理性能,集成电路的设计,服务器CPU的处理能力等等,只有软硬件相结合,具备较为完善全面的数学模型库,才更有利于提高行为分析的准确率。
未来安防行业智能化这方面的发展趋势
安防视频智能化的发展方向个人愿抛砖引玉,望引起业界同行的进一步思考:
视频智能行为分析的分类更加行业化
由于不同行业对于行为分析的类型要求以及使用场景不尽相同,如监狱环境注重周界防范的跨线以及禁区入侵,监舍内的打架、限高、滞留、突然起立、随意走动等。道路交通环境注重违章停车、行驶轨迹、车牌识别、车流量统计、交通拥堵检测等。广场等公共场所注重人员聚集、突然奔跑、打架、烟火检测等。银行等重要场所注重人员徘回、跟踪、跨线、滞留、物品遗留等。轨道交通注重跨线越界、禁区入侵等等。因而可以看出不同的行业对于视频智能化行为分析的功能需求是有区别的。天地伟业公司借鉴多年的行业化发展经验,在视频智能化的行业化发展上也具有了突出进步,如平安城市、公检法、智能交通等行业都具有了初步的智能化行业区分。因而今后的视频智能行为分析产品也会针对不同的行业做进一步的背景模型优化和特定功能开发。
后端平台软件检测方式逐渐呈现
相对于前端嵌入式硬件检测方式,后端的平台软件检测有着自身优势,尤其在如今平安城市建设的数字化、网络化程度越来越高,能够对于高清网络摄像机输出的网络视频流的分析显得尤为重要。并且随着系统集成度的提高,视频智能行为分析这一硬件产品逐渐成为平台软件的一个功能模块已成为平台的一个发展方向。
视频智能行为将在某一行为类型更加单一化和专业化
从行为分析的实际应用来看,绝大部分场景均采用了一种行为分析类型,一方面是出于技术本身的限制,另一方面不同的场景有着不同的功能需求,厂家需要考虑的不只是一台设备能够实现更多的分析类型,更应注重对某一种行为分析类型提高它的准确性,降低它在各种环境以及存在环境众多干扰因素情况下的误报率以及提高它对环境的自适应能力。
从行为类型简单判断向行为动机智能化研判发展
将来的视频分析智能化程度会越来越高,甚至会将人的逻辑思维模式嵌入到行为分析中去,不仅能对已出现的行为作出初步判断,如跨线、禁区入侵、突然奔跑等行为。还能对行为背后的动机甚至下一步动作作出估计以及判断,真正实现视频智能化分析。
从单纯的视频行为分析向从视频画面中提取更多有用信息转变
需求信息才是有用信息,因而在视频智能化发展的方向也是向能够为公安以及其他部门提供更多更有用的隐藏信息,对于哪些信息是我们用户真正关心的,这些信息达到的细节、数量程度以及通过这些信息的综合研判得出什么样的潜在结论和规律,是我们安防厂商推动安防智能化发展的努力方向。
结语
总体来看,视频智能化这些年得到了快速发展,逐渐成为了安防行业的一支新生力量,但在看好其发展前景的同时我们要看到它目前在应用中存在的诸多问题,解决这些问题不仅需要在工程施工中细心设计和调试,更需要我们这些安防厂家对智能分析算法进行不断的优化和补充,相信在摄像机数量增加而监控效率降低的矛盾中,视频智能化将作为一枝独秀很好地解决这一大难题。