需求分析
平安城市建设计划在全国城市建设监控视频设施，部署实施了2000多万摄像头，在社会管理工作中起到了积极的作用。然而，监控视频数据带来的问题日益突出，主要体现在海量视频的有效利用上。2012年南京“1.6”案件发生后，在案件侦破过程中，南京警方从全市1万多个摄像头共提取了近2000T的视频数据，为了处理这些视频，调动1500多名公安干警查阅搜索视频线索，共耗时一个多月。目前视频侦查应用中面临着以下几个重要问题：
·视频数据未得到很好利用，人、车、物目标搜索识别，视频分析研判等任务，靠人工进行，无法有效处理海量视频数据；
·由于存储容量限制，视频数据存储一个月即删除，关键信息无法得到长时间保存。
针对视频设施应用存在的问题，公安部要求：各级公安机关要围绕视频监控技术的深度应用，服务公安实战，提升打防绩效。对监控建设应用的要求，从以硬件建设为主的第一阶段，向以智能应用为主要特征的第二阶段过渡，解决视频调阅慢、分析难的问题，从海量视频中发现重要而有价值的线索，快速识别定位目标，挖掘其行动轨迹，从而缩短办案时间，降低办案人员的工作强度，提高各部门联合作战效率。公安视频侦查、治安、情报等业务部门应该配备具有相应智能分析功能的实战工具和装备，能进行海量视频的智能视频分析、信息检索、特征识别、图像增强、报警与监控。
面向公共安全应用，中国科学院自动化研究所、中国物联网研究发展中心(筹)和中科奥森科技有限公司联合对公安视频业务进行了深入调研，认为：解决这些问题的出路是，针对海量视频分析研判，研发智能视频分析、人车物目标识别、目标轨迹挖掘、海量数据分析等前沿高技术，针对公安视频侦查与情报业务，研发面向实战的专业应用系统，由此提升公安业务水平和效率。
针对上述迫切需求，在国家科技支撑计划课题和工信部物联网专项的支持下，中国科学院和中科奥森研发了海量视频智能分析研判系统(简称VSearch)。该系统面向公安视频侦查、治安和情报业务专业应用的智能视觉物联网系统，如下图所示，由2个部分构成：(1)视频线索分析建库(后台)，(2)前台视频线索综合研判(前端)。第(1)部分处理分析海量监控视频数据，从中提取出有价值的视频线索并构建海量视频情报库，对视频目标进行多模态、全方位的描述，包括如空间、时间、表象、行为等特征。第(2)部分为公安业务综合研判平台，在海量视频情报库基础上，提供多模态视频线索和信息管理、目标快速搜索，轨迹挖掘、案件串并、综合研判等功能。由此可见，该系统工作方式与Google索引和服务类似，是一个面向中国公安业务的专用智能搜索系统。
视频线索分析建库
海量视频智能分析研判基于智能视觉物联网的视觉标签系统。第一步是提取出有价值的视频线索并构建出海量视频情报线索库。视频线索提取包括目标检测、目标属性提取、目标关联、和关系挖掘。这些线索构成视频情报库的基本元素，存储在云端供客户端应用随时调阅。
中科院李子青博士2010年提出视觉物联网(VisualInternetofThings，VIOT)，其核心为物联网视觉标签系统，对环境中主要物品“人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。属性标签主要是视频中的运动对象的静态属性，如运动目标的颜色、形状和纹理(如衣服是豹纹还是格子衫)等低层特征，以及头饰，眼镜、发型、配饰等特征。此外，还包括运动目标的类别属性(如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类)，和特定属性(如行人身份，以及车辆车牌号等)。行为标签是用来描述视频数据中的运动对象的运动信息和行为信息，如运动对象的运动方向、运动速度是属于运动标签，徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。
视觉标签的提取将构成对运动目标的多模态的、全方位的描述。这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素，是VSearch的技术核心部分。
目标属性提取
目标属性(视觉标签)提取是VSearch的基础技术，要求对环境中主要物品“人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。分两步：目标检测和目标描述。
目标检测把视频里活动的目标一一检测和分割出来，并跟踪其在单个场景里的活动。在实际监控场景中，由于摄像机视角的不同以及环境光照的变化，对精确的行人、车辆检测和分割提出了较高的要求。作为智能视频分析中的核心问题，VSearch拥有业内领先的专利技术，对由于摄像机视角，光照，和动态背景变化，以及目标物体内在的表象变化(比如人的动作和衣著，以及车的类型和颜色)等引起的复杂的运动视频能够实现精确的行人、车辆检测、分割和跟踪。
VSearch的宗旨是从视频里分割出来的目标不能有遗漏，这也是公安业务中最关心的功能，否则可能会丢失有重要价值的信息。其次是控制虚警。虚警太多不但影响后续模块的处理，也影响分析研判的效率。
目标描述由静态属性标签和动态行为标签组成。属性标签主要是视频中的运动对象的静态属性，VSearch提取的属性标签包括：
(1)时间属性：运动目标活动的时间；
(2)空间属性：运动目标活动的空间位置；
(3)底层特征属性：如运动目标的颜色、形状和纹理特征(如衣服是豹纹还是格子衫)；
(4)装扮属性：如帽子，头饰，眼镜，发型，配饰等特征；
(5)类别属性：如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类；
(6)特定属性：如行人身份，以及车辆车牌号等。
行为标签是用来描述视频数据中的运动对象的运动信息和行为信息的，VSearch提取的行为标签包括：
(1)运动标签：如运动对象的运动方向、运动速度和运动轨迹；
(2)特定行为标签：如徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。
视觉标签的提取将构成对运动目标的多模态的、全方位的描述。VSearch提取的这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素。
目标关联
目标关联是实现大范围跨摄像机视频情报检索的基础。实际应用中受物理距离和建筑物空间布局的影响，单个摄像机的监控范围是有限的，通常需要多个摄像机合作共同监控一个公共区域，如机场、火车站、地铁站、商场等。因此，跨摄像机目标关联就成为VSearch系统针对大范围视频情报搜集的关键技术。有了跨摄像机目标关联技术，VSearch将能绘制出每个运动目标的大范围活动轨迹，这对公安办案时掌握嫌疑人的来龙去脉是非常重要的。VSearch技术攻克了诸多导致跨摄像机目标关联困难的挑战性问题，如实际场景的复杂多样性，光照变化，距离变化，目标姿态变化，目标遮挡，摄像头参数不一等困难问题。
由于国内人口众多，大部分公共区域都涉及比较密集的人流。这种情况下传统的颜色特征将不足以鉴别跨摄像机的目标匹配。海量视频智能分析研判系统针对这一国情一方面加强了高清摄像机视频的研究，使得目标的局部细节能被利用起来作为更有效的目标匹配方式。另一方面，VSearch技术也挖掘时间、空间、环境相关的局部约束等多模态信息实现更可靠的跨摄像机目标关联。
以上描述的目标发现、关联与标签提取都是关注运动目标本身的。然而，在情报侦察中仅仅关注目标本身是不够的。因此，VSearch同时关注一个目标与其周围目标的互动关系，如同伙关系(总是在一起活动的人)和接洽关系(两个目标不定期地会接触)。同时，一旦关系的判定为真，则同时挖掘同伙或接洽人的大范围活动轨迹，提取所有与其相关的视觉标签，以及同伙或接洽人的衍生关系。
VSearch技术深层的关系挖掘最终能够绘制出同伙或接洽人的分布图，以及一个团伙的所有关系网，这些情报对公安在缉拿逃犯过程中的全局把握，和对一个团伙活动的纵深认识都将具有重要的利用价值。
云端存储
以上描述的四个处理环节将产生巨大的信息量，如何组织和存储这些信息也将是个艰巨的课题。VSearch系统将大范围的监控视频逐级汇总到分布式的云端服务器中，并保障传输网可靠的安全性和稳定性。同时，存储端的访问设置了逐级权限控制，整个公安专网的监控视频网络中，公安部具有最高权限，往下是省厅，市局和各地派出所。
海量视频智能分析研判系统支持涉案完整原始视频资料存储在案件所属分局、案件相关视频片段以及相关信息存储在地市、案件视频线索信息存储在省厅，大要案、系列案视频线索信息全国集中存储的四级存储管理机制。保障涉案视频信息完整性以及共享、查询工作。从而制定案件视频信息资料存储标准，构建分级管理的标准化，开放式存储平台。
视频线索综合研判
多模态信息综合研判
监控视频改变了传统信息化背景下的案件信息分布和作用模式，进而改变了案件信息综合研判的方式。这与当前“大情报”信息战略的发展趋势是一致的。视频侦查技术体系涉及从集成、到上级主管部门、各警种相互配合以及各类信息综合利用，建设视频线索综合研判技术平台以及相关标准，保证足够有效的信息获取，以形成信息的规模效应。因此，在当前公安信息化的大背景下，如何利用已有公安信息资源，有效整合治安监控、道路监控、社会资源监控等各类视频监控资源，统一规划实施建设适应当前一线干警视频侦查工作的作战模式、支持视频侦查相关业务单位业务工作流程、支持案件查证和串并案案件视频共享机制，成为视频线索综合研判的关键。
视频线索综合研判的过程是一个尽量充分利用视频信息的过程，包括已知信息的获取、重点信息梳理、残缺信息推断、信息扩展和关联。监控视频既反映了犯罪现场的静态信息，又反映了犯罪行为及包含犯罪现场的区域相关动态信息；既包含了时间和空间点的局部信息，又包含了时间段和空间距离内的大范围信息。信息内容丰富而形象，具有传统信息无法比拟的优势。同时，监控视频包含有许多与其他种类信息关联的冗余信息，可以与其他信息进行相互验证，深入挖掘，有利于情报信息的融合。如在监控视频中反应的嫌疑人形态、面貌可以与目击证人描述相印证，监控视频中的车辆信息可以与车辆库信息相印证等。
在公安信息化建设中，目前主要包含了公共基础信息(金盾工程信息库包括全国人口基本信息资源库、全国出入境人员资源库、全国机动车/驾驶人信息库、全国警员基本信息资源库、全国在逃人员信息资源库、全国违法犯罪人员信息资源库、全国被盗抢汽车信息资源库、全国安全重点单位信息资源库等信息库)、旅馆业治安管理信息系统、涉枪、涉爆人员信息库；现场勘查信息(正在推进的现场勘验信息系统)；刑侦应用信息系统(十五个，其中包括物证信息如DNA数据库、指纹数据库等)；PGIS系统和其他一些专业应用系统等。
在视频线索综合研判过程中，派出所、侦查员以视频侦查采集工作为主体，主要完成视频提取、疑似目标检索、相关信息标注、视频资料打包上传；区县刑侦部门(专案组)以视频侦查分析工作为主体，主要完成涉案视频汇总、清晰化处理、信息关联研判；地市相关部门以侦查与技术支持、主要完成地区视频案件信息管理、完整技术体系建设、重特大案件技术支持和指导；省厅相关部门以技术标准、规划、指导为主体，主要完成技术体系规划、信息共享平台建设、人员培训以及重特大案件技术支持。
将“海量视频智能分析研判系统”和“大规模数据库人脸识别比对系统”纳入“大视频”系统建设中，与“大情报”并列。对案件视频线索实行统一管理，对图像、视频线索进行多模态全方位描述，对大案要案、窝案串案进行深度关联分析，利用视频资源捕捉发案规律，破解突破方向，提高视频线索分析利用对办案工作的“贡献率”。
通过构建海量视频情报库，就可以通过有效的查询手段实现特定目标的快速查询和分析，从而构建一个海量视频智能分析研判系统(VSearch系统)，及其相应的便携式工作站设备。
VSearch系统
海量视频智能分析研判系统面向公安视频侦察新业务，集成智能视频分析技术，包括运动目标提取，视觉标签检索，目标轨迹挖掘，及目标关系挖掘等，提取海量视频中的有用信息，提升监控视频的利用效能，从而支撑公安的智能视频侦查业务平台。
针对视频侦察业务的特点，VSearch设计为可接入公安视频监控专网和连接其他视频文件。通过人工参与的半自动视频研判处理和脱离人工参与的全自动的视频研判处理两种处理方式，将视频中包含的案件信息线索保存至案件视频库，使前方办案警员可以随时查看最新进展、线索，或者直接将最新线索推送到前方办案警员处。
VSearch面向公安的主要应用业务包括：
(1)视频线索浏览：该应用提供给公安直接浏览提取出来的所有目标图像，优势是不会遗漏任何一个目标，但不足的是目标数目有可能非常庞大，难以快速定位嫌疑目标。
(2)视频浓缩快览：将提取出来的所有运动目标重新安排进一个短小的视频播放，类似视频快进功能，但重新生成的视频画面里不会遗漏任何一个曾经出现过的运动目标。该应用使得公安能够短时间地快速浏览视频场景里的所有目标。同时，观看视频的过程中只要对某一目标感兴趣，可立刻定位到原始视频进行细节察看。
(3)视频目标检索：视频目标检索是VSearch的核心业务，该业务类似于Google的搜索功能，能根据语义明确的关键词检索满足要求的特定目标。VSearch提取出的所有目标属性都可以通过单一或组合的检索条件实现目标检索。如：红色小汽车；中关村东路上的红色小汽车；2012年9月16日上午10点至11点在中关村东路上往北行驶的红色小汽车；穿白色上衣的行人；知春路地铁站A出口穿白色上衣戴黑色帽子的男人等。将列出所有满足要求的目标供公安干警浏览确认(正如在Google搜索里浏览确认检索到的网页条目)。这大大地缩小排查的范围，加快办案速度。另一方面，如果有嫌疑目标的截图或视频片段，可以直接作为VSearch的输入，从监控视频里检索出相似的目标。基于图像或视频的目标再辨识技术相比于语义检索能更精确地搜索到满足要求的目标，从而实现更便利的办案排查。
(4)视频图像增强：对于锁定的嫌疑目标，监控录像有可能存在模糊不清的情况，使得关键细节无法辨认(如人的脸像或车辆的车牌号码)。VSearch提供视频图像增强技术，对感兴趣的目标进行视频图像后处理，使得感兴趣的细节得到明显增强，给公安破案提供更多有价值的线索。目前视频图像增强支持的功能包括：去噪，去模糊，去雾，暗处增强，和基于动态序列的超分辨率等。
(5)目标轨迹挖掘：锁定嫌疑目标后，VSearch可以进一步在其他相关的监控录像中搜索嫌疑目标，并进一步在地图上绘制出嫌疑目标的行踪轨迹，从而为公安掌握嫌疑目标的来龙去脉，获取破案线索和制定缉逃计划提供全面的参考。
(6)目标关系挖掘：锁定嫌疑目标后，VSearch还可以进一步挖掘嫌疑目标的同伙和接洽人，及其衍生的关系网。深层的关系挖掘最终能够绘制出同伙或接洽人的分布图，以及一个团伙的所有关系网，这些情报对公安在缉拿逃犯过程中的全局把握，和对一个团伙活动的纵深认识都将具有重要的利用价值。
VSearch设备
便携式智能视频工作站是VSearch系统的移动式延伸，其功能与前述平台一样，可一站式调往突发事件、重大任务现场、能有效增强警力和业务效率，实现实时警务，是智能视频情报侦察平台的立体化延伸，是海量视频信息处理与案情研判的金刚利器。
由上，海量视频智能分析研判系统将构建一个基于海量视频并能快速响应的情报检索平台。该系统工作方式与Google索引和服务类似，是一个面向中国公安业务的专用智能搜索系统。该平台利用海量视频云端情报库，可实时检索公安需求的情报信息，如满足特定条件(视觉标签)的目标人或车辆，该目标大范围的行踪轨迹，该目标的同伙的分布及其关系网等等。这些信息都将能立体地呈现出来，给公安办案装备全新的、高科技的武装。
结束语
海量视频智能分析研判系统(VSearch)基于中科院核心技术，其系统产品经过实战测试和演练，展示了视频侦查、治安和情报业务的智能分析研判能力。未来将在实践中提炼关键问题并全力攻关，进一步加强核心技术研发，使之能处理密集人群中精确的目标跟踪，远距离摄像机的目标关联，和复杂的目标关系网络的可靠推断等。VSearch在实战中不断改进，逐渐成熟，将能极大地提升公安的警力和办案效率。我们期待那一天的到来!
作者简介：李子青，国防科大硕士、英国Surrey大学博士。现为中科院自动化所生物识别与安全技术研究中心主任。
技术中心
