摘 要：本文提出了以双目立体机器视觉为主要道路环境感知手段的汽车智能驾驶系统，并分析了基于机器视觉的智能驾驶的可行性，指出急待研究的相关技术难点。
Abstracts: This paper presents an automobile intelligence steer system’s framework, which takes a 2-CCD machine vision system as the chief measurement of road environment recognition. This paper also analyzes the feasibility of automobile intelligence steer system base on machine vision and points out the key technologic difficulties to be solved.
关键词：机器视觉 智能驾驶 立体配对 三维重建
Key Words: Machine Vision, Intelligence Steer, Stereo Matching, 3-Dimision Reconstruction
1、引言
随着社会的发展和人口的增长，汽车越来越多的进入我们的日常生活，交通也日益拥挤。驾驶汽车是一项复杂的活动，长时间的驾驶很容易使人感到疲劳，从而容易导致交通事故。此外一些工程车辆在作业时环境恶劣、劳动强度大，这些车辆的驾驶自动化是非常有必要的。为了使汽车驾驶操作简单、安全、舒适，把人从繁重枯燥的汽车驾驶中解脱出来，当今世界各国都在积极研究开发自动驾驶技术。
德国、美国和日本等国在汽车自动驾驶领域开展了积极的研究并取得了很大的成绩。我国国防科技大学机电工程学院一直在进行汽车自动驾驶技术的研究，其与第一汽车集团公司联合研制的无人驾驶型“红旗”CA7460于2003年6月在湖南长沙试车成功，稳定行驶时速达130KM/h（美国最高水平100KM/h、德国120 KM/h），最高时速达170 KM/h，具备安全超车能力。但他们的系统主要是依靠车载雷达、红外测距仪和图像传感器来识别测量路面环境状况，所得到的路面环境信息不丰富，不能满足汽车智能驾驶的要求，所以这些系统都还只能在路况良好的高速公路上应用，无法适应道路环境恶劣的低级公路和城市公路。
视觉是人类观察世界、认识世界的重要功能手段,人类从外界获得的信息约有75%来自视觉系统,特别是驾驶员驾驶需要的信息90%来自视觉。在目前汽车辅助驾驶所采用的环境感知手段中，视觉传感器比超声、激光雷达等可获得更高、更精确、更丰富的道路结构环境信息[5]。随着计算机技术的发展和图像处理/识别技术的成熟，机器视觉技术获得长足的发展，目前广泛的应用在三维测量、三维重建、虚拟现实、运动目标检测和目标识别等方面。在汽车的自动驾驶发面，一个前提性的问题就是路况识别和车辆、障碍物的距离、速度检测，解决了这个问题才可能去控制汽车的驾驶。而机器视觉技术融合三维测量和图像识别技术于一身。
目前，机器视觉在智能机器人领域的研究热火朝天：Klaus Fleischer等人提出的基于机器视觉的城外公路基础设施固定对象的检测与跟踪（Machine-Vision-Based Detection and Tracking of Stationary Infrastructural Objects Beside Inner-city Roads）[3];D. Brzakovie等人提出道路边缘检测在移动机器人导航中应用（Road edge detection for mobile robot navigation） [2] ; O.Djekoune等人提出基于神经网络的视觉引导机器人导航（Vision-guided mobile robot navigation using neural network ） [4]。这些研究成果对机器视觉在智能驾驶中应用有着重要的启迪。
本文把机器视觉技术为主要的路况感知手段应用到车辆自动驾驶中去，为实现车辆智能化驾驶提供一个不同的思考角度。
2、机器视觉技术
自从MARR视觉计算理论提出以来，机器视觉技术迅速发展，是目前智能驾驶领域发展最快的技术之一，也是智能驾驶领域研究的主要方向之一。
2.1机器视觉基本原理
获取场景中各点相对于摄像机的距离是立体视觉系统的重要任务之一，场景中各点相对于摄像机的距离可以用深度图（depth map）来表示。机器视觉系统主要是依靠双（多）目CCD在不同的空间位置上上获取两（多）幅图像，通过这两（多）幅图像的深度信息和成像几何来生成深度图[1]（图1所示）。
本文以比较简单常用的双目CCD视觉系统为例，它的几何关系如图所示。它由两个完全相同的CCD摄像机（摄像头）构成，两个图像平面位于同一个平面上，两个摄像机（摄像头）的坐标轴相互平行，且x轴重合，摄像机之间在下x方向上的间距为极限距离B。
图1 双目立体视觉几何模型
在图中，场景点P在左右图像平面中的投影点分别为P左和P右，假设坐标系原点与左透镜中心重合，比较相似三角形PMCl和PlLCl得到：
（1）
同理，从相似三角形PNCr和PlRCr，得到：
（2）
合并上面两式：
（3）
其中F是焦距。
由上面推导可知各种场景中的深度信息可以通过计算视差来实现。在机器视觉系中统要能准确的计算视差，一个重要的前提就是能够找到左右图像对中投影点的共轭对（场景中同一点在不同的图像中的投影点称作共轭对），即立体匹配。匹配的方法主要有边缘特征匹配、区域特征匹配和相位匹配三类。立体配对是机器视觉里面研究的一个重要方向，在这方面有很多有用的研究成果，O.Djekoune等人在[4]文中提出了应用神经网络的方法提高立体像对的匹配速度和准确度的新算法。
2.2 机器视觉技术在智能驾驶中应用
在智能驾驶中应用机器视觉技术,机器视觉技术必须具备实时性、鲁棒性、实用性这三个特点[7]。实时性要求机器视觉系统的数据处理必须与车辆的高速行驶同步进行;鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等,复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等,各种天气晴、阴、雨、雪、雾等均具有良好的适应性;实用性指智能车辆能够为普通用户所接受[7]。
目前,机器视觉主要用于路径的识别与跟踪[7]。与其它传感器相比,机器视觉具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点，但数据处理量极大,存在系统实时性和稳定性问题，要靠开发高性能的计算机硬件，研究新算法来解决。随着计算机技术和图像处理技术的飞速发展,三维重建道路环境为车辆高速智能驾驶提供强大的信息,在不远的将来具有现实可行性。
机器视觉的道路识别基本原理为,公路路面的环境（白色路标、边缘、路面颜色、坑洼、障碍物等）的CCD图像灰度值和图像纹理、光流有差异。根据这种差异,经图像处理后可以获得需要的路径图像信息,如方位偏差、侧向偏差、车辆在道路中的位置等信息。将这些信息与车辆的动力学方程相结合,可构成车辆控制系统数学模型。
3、智能驾驶系统的结构设计
（1） 机器视觉系统
机器视觉系统的硬件构成：主要由参数、型号、性能一样的两个CCD摄像头、两片同样的视频采集卡和计算机上的视频处理软件构成。我们利用左右两路CCD摄像头摄取的照片对进行图像处理而得到相关的深度信息，必须保证左右两路CCD摄像头信号是同步的，否则摄取的图片不对应，就无法正确的提取相关深度信息。因此我们左右两路CCD摄像头是经过同步处理的摄像头，就是从左路摄像头的帧同步电路里引出帧同步信号到右路CCD摄像头的帧同步电路里，从而保证左右两路的图像总是同步的。
机器视觉处理软件系统主要是担负着障碍物检测识别、交通信号检测识别、交通图案识别检测、公路边缘识别检测、弯道弧度识别检测和前方车辆距离速度检测和路面坑洼坡度识别检测这些主要信息的提取，在这些信息数据的基础上进行道路环境的三维重建。机器视觉处理软件系统处理得到的道路环境信息和辅助系统的多传感器的信息进行融合，结合车辆动力学模型（已经有很多科学家在研究模糊控制技术和神经网络技术在车辆动力学模型上的应用）和车辆行驶状态参数，由车辆行为决策调度系统做出合理的决策调度，然后由路径规划系统生成合理的路径规划和车辆控制命令，对汽车进行控制。
公路边缘识别检测关系着汽车能否正确识别公路，尤其是缺乏交通图案的低等级公路。我们机器视觉检测公路的边缘信息和公路的宽度信息。公路的边缘检测，对CCD摄取的图像进行二值化处理，就可以提取出公路边缘;公路宽度信息检测，利用左右两路CCD摄取的公路图像进行立体匹配，提取里面的深度信息，依据机器视觉理论计算出公路的宽度。依据其他传感器的数据确定汽车在公路中的位置和汽车的行驶状态参数，做出合理的路径规划，优化控制汽车在公路中的位置，做好路径跟踪，不至于行驶中偏离公路路面。
交通图案、道路标识、交通信号的识别检测。交通图案包括常见的斑马线、车道线、箭头等。这些交通图案都是有固定的颜色（比如斑马线都是白色的）和固定的形状，因此对他们的识别只要使用简单的图像处理，然后对照我们预先建立的交通图案模型就可以快速的识别。交通标识识别就要相对麻烦一些。有些交通标识上面有文字，我们不仅需要利用图像处理技术提取这些文字信息，而且需要分析这些文字蕴含的交通信息。交通信号包括交通信号灯和交警旗语，他们都有固定的运行模式，可以预先建模，然后根据图像处理结合其他传感器的信息，进行检测识别。
前方汽车、障碍物的距离、速
