双目视觉简介.pdfVIP

双目立体视觉，在百度百科里的解释是这样解释的：双目立体视觉 （Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理 并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点 间的位置偏差，来获取物体三维几何信息的方法。我相信未来的世界一定是三 维感知的世界，毕竟二维世界很多情况下不能满足要求的。 一 视差 Disparity 与深度图 那么提到双目视觉就不得不提视差图：双目立体视觉融合两只眼睛获得的 图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对 应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们 称作视差 (Disparity) 图像。 对于视差的理解自己可以体验一下：将手指头放在离眼睛不同距离的位置， 并轮换睁、闭左右眼，可以发现手指在不同距离的位置，视觉差也不同，且距 离越近，视差越大。 那么提到视差图，就有深度图，深度图像也叫距离影像，是指将从图像采 集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷 达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。 那么这里引申一下深度图与点云的区别，点云：当一束激光照射到物体表 面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行 扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得 到大量的激光点，因而就可形成激光点云。 深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数 据可以反算为深度图像。 两者在一定条件下是可以相互转化的，之前的博客 里，有使用 PCL库实现过点云提取深度图，当然给出相机参数也是可以由深度 图转为点云的。截图一个深度图： 所以深度与视差的关系如下 比如绝对差值法 绝对差值图的计算方法如下： D=|L-R| 式中， L、R和 D分别代表左视图、右视图和对应的绝对差值图的亮度值。 绝对差值图并不是严格意义上的视差图，但是它的计算方法最为简单，速度快， 它给出的结果可以作为参考。 那么我们知道视差又有另外一个概念就是 UV-disparity mapping ，简单的 给个图表示： 是怎么得到这个结果的呢？原来是统计统计视差的个数，比如 V- disparity Map 中的第一行分别统计视差为 0,1,2,3,4,5 的个数，所以得到了 V-disparity Map 的第一行分别为： 0，2,0,1,1,1 ，那么在真实的图喜爱那个 中得到的结果如下： 那么利用视差可以做很多有用的功能，比如列举一篇文章。 二 Rays ray 就是连接图像上一点到光心形成的一条射线。这个也是之后的对极约 束的基础。 那么建立世界坐标系，我们的两条 rays 是相交的。如下图所示，接下来就 是利用 rays 的相交关系，来解释対极几何（ Epipolar geometry ）了。 以上的图文说明明了对极几何（ Epipolar Geometry ）描述的是两幅视图 之间的内在射影关系，与外部场景无关，只依赖于摄像机内参数和这两幅试图 之间的的相对姿态。 有以下几种概念 1. 基线（ baseline ）：直线 Oc-Oc' 为基线。 2. 对极平面束（ epipolar pencil ）：以基线为轴的平面束。 3. 对极平面（ epipolar plane ）：任何包含基线的平面都称为对极平面。 4. 对极点（ epipole ）：摄像机的基线与每幅图像的交点。比如，上图中的点 e 和 e' 。 5. 对极线（ epipolar line ）：对极平面与图像的交线。比如，上图中的直线 l 和 l' 。 6. 5 点共面：点 x ，x' ，摄像机中心 Oc Oc' ，空间点 X 是 5 点共面的。 7. 极线约束：两极