国内外三维视觉测量系统的发展现状

国内外三维视觉测量系统的发展现状

1.1相关技术综述

与二维图像信息相比，三维信息能够更全面、真实地反映客观物体，提供更大的信息量。近年来，各种技术应用于三维信息测量中，由此形成了各类三维测量系统。经过几十年发展，三维视觉测量系统已具有较成熟的理论和技术基础，生产实践也不断证明这类系统操作简便、适应性强、精度高[2]。

从狭义上讲，三维视觉测量技术即通过计算机分析处理，让计算机不仅具有和人眼一样的视觉感受，而且能够获得人眼所不能直接获得的经过量化的物体参数。

获取空间三维物体的距离信息是三维成像、三维物体重建和计算机辅助设计中最基础的内容，有着广泛的实际应用价值。进入二十世纪90年代以来，各种硬件和软件技术的发展使得人们不仅能处理二维图像而且开始处理三维图像，许多能获取三维图像的设备和处理分析三维图像的系统研制成功，大大扩展了人们对客观世界的认识[3]。光学三维形貌测量具有非接触、高精度、高效率的特点，并且在科研、医学诊断、工程设计、刑事侦查现场痕迹分析、自动在线检测、质量控制、机器人及许多生产过程中得到越来越广泛的应用。为此，国际光学学会在1994年以信息光学的前沿为主题的年会上，首次将光学三维测量列为信息光学前沿的7个主要领域和方向之一[4]。

80年代初，Marr从信息处理的角度综合了图像处理、心理物理学、神经生理学以及临床病学的研究成果，提出了第一个较为完善的视觉系统框架，称之为Marr视觉理论[3]。该理论从信息处理系统的角度出发，将系统的研究分为三个层次[3]：计算理论层次、表达与算法层次、硬件实现层次。

从视觉计算理论出发，将系统分为自下而上的三个阶段[3]，即视觉信息从最初的原始数据（二维图像数据）到最终对三维环境的表达经历了三个阶段的处理。第一阶段构成所谓“要素图”或“基元图”，基元图由二维图像的边缘点、直线段、曲线、顶点、纹理等基本几何元素或者特征组成；第二阶段，Marr称为对环境的2.5维描述，这是一种形象的说法，意即部分的、不完整的三维信息描述，用“计算”的语言来讲，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置；第三阶段，即三维阶段，是对物体的完整三维描述，即物体本身某一固定坐标系下的描述。

从低层次的处理而言，我们最为关注的是图像数据在计算机中的表达，即计算机如何理解和区分“景物”。在高层，我们希望能够通过高性能的计算机，求解出人眼无法实现的功能，比如精确地识别、定位以及参数的测量等。

图像的预处理：

图像预处理是最低层的操作，输入输出都是亮度图像，需要指出的是，图像的预处理不会增加新的信息量[5]。主要的图像预处理按照在计算新像素亮度时所使用的像素领域的大小分为四类：第一类：像素亮度变换；第二类：几何变换；第三类：局部预处理方法；第四类：图像复原技术。

图像平滑是指用于突出图像的宽大区域低频成分、主干部分或抑制图像噪声和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的图像处理方法。图像平滑的方法包括[5]：插值法、线性平滑法、卷积法等。

图像分割[5]是对图像预处理后的图像数据进行分析之前，最重要的步骤之一，它的主要目标是将图像划分为与其中含有的真实世界的物体或区域有强相关性的组成部分。通常，可将图像分割分为三类：第一类，是有关图像或图像部分的全局知识，这种知识一般由图像特征的直方图来表达；第二类，是基于边缘的分割；而第三类是基于区域的分割，在边缘检测或区域增长中可以使用多种不同的特征，例如亮度、纹理、速度场等。

摄像机的标定：

对于摄像机标定，目前已经提出了很多种方法，摄像机标定的理论问题已得到较好的解决。对摄像机标定的研究来说，工作集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。

传统的摄像机标定起源于摄影探测学中的校正。在摄影测量学中所实用的方法是数学解析分析的方法，在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。通过数学处理手段，摄像机标定提供了专业测量摄像机与非量测摄像机的联系。在1889年到1951年之间，发表了近百篇与相机校正有关的论文，Brown对此进行了总结并给出了文件列表[6]。

20世纪50年代到70年代是镜头校正技术发展的黄金时期。在这期间，许多镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型。这些模型是在原来摄像测量模型的基础上增添了许多新的概念，如像元、像素、焦距、像元的倾斜等[7]。而从摄像机标定的角度来看，传统摄像机标定的概念已经比较成熟。传统的摄像机标定一般指利用一个标准参照物与其对应图像的约束关系，来确定摄像机模型的参数，可以通过一幅以上的图像进行标定。如果不考虑镜头像差的影响，可以使用线性方法标定，如直接线性变换法。但由于没有考虑成像畸变因素，标定精度较低。1966年，B.Hallert首次将最小二乘法用于对镜头标定多余观察数据的处理，并将其应用在野外立体坐标测量仪上，而得到高精度的测量结果。B.Hallert为非线性优化在摄像机标定中的应用开启了大门。到1975年，W. Faig考虑到摄像机成像过程中的各种因素，建立较为复杂的摄像机成像模型并用非线性优化来求解。非线性优化对提高摄像机标定精度提供了一条很好的途径，非常适合采用多参数的非线性畸变模型的标定，在能提供较好初值、可以较快收敛，从而得到高精度优化的结果。

传统摄像机标定方法总结：

20世纪80年代中期Tsai提出的基于RAC的定标方法[8,9]是计算机视觉相机标定方面的一项重要工作，该方法的核心是利用径向一致约束来求解除像机光轴方向的平移外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷、准确。

2、张正友的平面标定方法：

张正友等人基于2D平面靶标提出了摄像机的三维标定方法。在该方法中，要求摄像机在两个以上不同方位拍摄一个平面靶标，摄像机和2D靶标都可以自由移动，不需要知道运动参数。在标定过程中，假定摄像机内部参数始终不变即不论摄像机从任何角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生变化。张正友标定法是目前使用最为广泛的方法。

3、摄像机自标定方法：

三维形貌测量方法：

三维形貌测量的方法从测量方式上可分为接触式和非接触式。

（1）测量时测量头与被测物之间有接触压力，它不适合测量柔性物体，而且对测量头无法触及的表面没有很好的测量效果；另外不当的操作容易损伤被测物体的表面，特别是高精度表面，同时也会使测量头磨损。

（2）测量头本身的半径以及接触测量时被测物体受到测量头挤压发生局部形变会影响测量的精度。

（3）接触式测量是以逐点扫描的方式进行测量的，所以测量速度慢，尤其在测量较大物体时，非常耗时。

（4）由于测量机的机械结构复杂，对工作环境要求很高，必须防震、防灰、恒温等，使其应用范围收到一些限制。

尽管世界各国生产厂家都试图用各种高新技术来改变这一现状，但至今都未能从根本上解决测量机原理本身所造成的结构庞大和复杂的不足，难以满足当今高效率、高精度测量的需求。

目前，光学三维视觉测量方法的种类主要分为：摄影测量法、飞行时间法、三角法、投影条纹法、成像面定位法、干涉测量法等。而获取宏观物体的三维信息的基本方法可以分成两大类[11]：被动三维传感和主动三维传感。被动三维传感采用非结构光（自然光）照明方式，从一个或多个摄像系统获取的二维图像中确定的距离信息，形成三维面形数据。被动三维传感需要进行大量的相关匹配运算，当被测目标的结构信息过于简单或过于复杂，或者被测物体上各点的反射率没有明显差异时，这种相关匹配运算将变得十分复杂和困难。主动三维传感启用结构光照明方式，这是由于物体三维表面对结构光场的空间或时间调制，观察到的变形广场包含了物体三维面形的信息，对变形广场进行解调，便可以获得三维面形数据。主动三维传感具有非接触、高自动化、高灵敏度、高精度等优点，因此，大多数以三维精细面形测量为目的的系统都采用主动三维传感方式。

根据物体三维表面对结构照明光场调制方式的不同，人们又将主动三维传感方法分为时间调制与空间调制两类。其中更为常用的是空间调制方法，根据测量原理的不同，空间调制又可以分为两类：直接三角法和相位测量法。直接三角法轮廓测量是以纯粹的三角测量原理为基础，通过出射点、投影点和成像点三者之间的几何成像关系确定物体各点高度。直接三角法的优点是信号处理简单可靠，无需复杂的条纹分析就能唯一确定各个测量点的绝对高度信息，自动分辨物体凹凸，即使物体上的物理断点（台阶、裂缝）、阴影等使图样不连续的缺陷也不会影响测量；缺点是精度不高，不能实现全场测量。而近几年来兴起的相位测量法是采用面结构光照明的三角光路测量法，这类方法首先将规则的光栅条纹图像投影到被测物表面，从另一角度看，可以观察到由于受物体高度的影响而发生变形的条纹。这种变形可解释为相位和振幅均为被调制的空间载波信号。采集变形条纹并从被调制的结构光场中提取所需的相位信息，然后再根据高度与相位的映射关系计算出被测物体的三维面形信息。相位测量法采用面结构光进行投影，不需要对物体扫描就可以得到物体面形的三维信息，具有全场测量、高速测量的特点。但是由于求解相位时用到了反三角函数运算，相位截断在三角函数的主值范围内，因此还需要进行相位展开才能得到被测物体真实的相位分布。

1.2国内外发展现状

1、线结构光视觉测量系统国内外研究现状及应用领域：

2、单目视觉测量系统发展现状：

由于采用测棒测量方式，克服了传统的视觉坐标测量系统直接从被测表面获取被测信息的缺点，改变了以往的由于被测表面形状复杂而使应用受到限制的缺点，能够实现遮挡点及高光点的测量，所以该方法得到了广泛的研究。国外在这方面的研究起步比较早，已开发出成熟产品，如Metronor公司的SCS系统、Lecia公司的V-STARS/S系统和Aicon公司的ProCam系统。

Aicon 公司的 ProCam 系统，它与上述两种系统不同，数字摄像机设置在沿轨道滑动的移动测头上，以固定在摄像机视场范围内合适位置的目标模板作为空间特征点约束，从而得到测头上的触测点相对于模板坐标系的空间坐标位置，实现坐标的测量。

国内在这方面的研究相对起步较晚，还处于理论探索阶段，目前还没有开发出成型产品。哈尔滨工业大学测控技术与质量工程研究所是国内较早进行这方面研究的单位，对基于测棒成像的单目视觉坐标测量方法进行了研究，并在1998年研制出实验样机。另外，天津大学的精仪学院和上海大学等院校也正在进行该方面的研究工作。

3、双目视觉系统发展现状：

Metronor 的 DCS 系统，由两台摄像机、专利光学测头、外参校准棒、笔记本电脑及三脚架等组成。DCS 系统采用带有 6 个光学特征点的外参校准棒完成双机系统的在线校准，同样利用含有 5 个光学特征点的光学测头进行大空间三维测量，其测量范围为1.5 m~10 m，分辨率为0.001 mm，长度测量精度指标：±0.020 mm/2.5 m，±0.03 mm/6 m,±0.06 mm/10 m。该系统应用于汽车、航空、造船及铸造领域中各种大型部件的测量。

Lecia 的 V-STARS/M 系统也是现场校准的立体视觉测量系统的典型代表，其测量精度高，在世界范围内获得了广泛应用。它也采用接触式光学测头作为成像目标，利用含有反射式光学特征点的光学测棒实现大尺寸三维坐标测量。该系统在大范围内几何尺寸测量方面具有较强的技术优势，主要表现在测量速度快、方便携带、使用灵活、可在狭小的空间测量、受温度影响小、可在振动环境下工作和测量精度高，在10 m范围内其测量精度可达到0.06 mm~0.085 mm。因此广泛地应用于航空航天以及天线安装等大型装置的测量。上述两个系统根据被测工件的特点在现场按照一定的布局进行设置，利用光学参考棒对两台摄像机之间的外部方位参数进行现场校准。

就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系统，还有很长的路要求，进一步的研究方向可归纳如下：

（1）如何建立更有效的双目立体视觉模型，能更充分地反映立体视觉不确定性的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度；

（2）探索新的实用于全面立体视觉的计算理论和匹配的准则及算法结构，以解决存在灰度失真、几何畸变（透视、旋转、缩放等）、噪声干扰，及对特殊结构（平坦区域、重复相似结构等）、遮掩景物的匹配问题；

（3）算法向并行化发展，提高速度、减少运算量、增强系统的实用性；

（4）强调场景与任务的约束，针对不同的应用目的，建立有目的的面向任务的双目立体视觉系统。

4、多目视觉系统发展现状：

三摄像机视觉测量系统是多摄像机视觉测量系统的一个特例，是人们在进行立体视觉测量时为减小特征点误匹配常采用的一种方法，该系统通

常将外部参数已经精确校准的三台摄像机固定在一个支架上，利用三台摄像机对被测空间点进行成像来确定其空间位置，如Krypton公司推出的400-CMM和600-CMM系统。测量时将系统任意摆放在被测件附近，使被测体处于系统视场范围内，通过光学接触式测头进行逐点测量。测头上包含9个位置关系确定的光学特征点，通过测头和测尖的组合变换可以实现不可见点的测量；系统不需要现场校准，可以根据被测体的大小和位置来改变测量系统的摆放位置，但是由于三台像机位置固定不动，所以其视场范围受到了很大的限制，并且该系统还比较笨重。