外贸网站营销建站,做网站代码难么,快手网页版,360免费wifi上不了网Pinhole Camera Model#xff08;针孔相机模型#xff09; 针孔相机是一种没有镜头、只有一个小光圈的简单相机。 光线穿过光圈并在相机的另一侧呈现倒立的图像。为了建模方便#xff0c;我们可以把物理成像平面(image plane)上的图像移到实际场景(3D object)和焦点(focal p…Pinhole Camera Model针孔相机模型 针孔相机是一种没有镜头、只有一个小光圈的简单相机。 光线穿过光圈并在相机的另一侧呈现倒立的图像。为了建模方便我们可以把物理成像平面(image plane)上的图像移到实际场景(3D object)和焦点(focal point)之间把他想象成一个和物理成像平面等大小的虚拟图像平面(Virtual image plane)这样一来就不再是倒立的图像而是直立图像。 有了相机后上图中的蓝色盒子就变成了相机上图中的物理成像平面Image plane也被数字化到由一个个pixel组成的sensor上并保存下来。因此对于相机而言上图中的焦点就是相机的镜头而上图中的物理成像平面需要被转换成像素平面(pixel plane)物理成像平面(image plane)与像素平面(pixel plane)大小相同计量单位不同。物理成像平面的单位是一个物理单位例如mm,而像素平面实际上就是一个二维图像他的单位实际上是某某pixel在图像中的第几行第几列。 为了后续的描述方便我们这里先定义四个坐标系
1二维像平面(焦平面)坐标系Image plane原点为坐标轴用表示。
2二维图像坐标系pixel plane原点为坐标轴用表示。
3三维相机坐标系pinhole plane/camera原点为坐标轴用表示。
4三维世界坐标系world原点为坐标轴用表示。 将3D世界场景映射成2D图像(像素平面pixel plane)总共分两步第一步是把定义在世界坐标系中的实际3D物体映射到3D相机极坐标系中。相当于是把实际世界中的物体分别通过两个不同的坐标系来表示然后通过找到这两个不同坐标系之间的差异建立这两个坐标系之间的联系。这一转换关系就是下图中到的转换。 从3D世界坐标系(world coordinates)到3D相机坐标系(camera coordinates)需要用到外参(extrinsic parameters)或外参矩阵(extrinsic matrix)---[R t]。 其次从3D相机坐标系(camera coordinates)到2D像素坐标系(pixel plane)需要用到内参(intrinsic parameters)或内参矩阵(intrinsic matrix)---K。同样是把成像后的图像用两个不同的坐标系来表示然后再建立这两个坐标系(物理成像坐标系与二维图像坐标系)之间的联系使两者可以相互转换。 extrinsic parameters外参世界坐标系到相机坐标系 对于世界坐标系中的某一点大M而言他本身是存在了并不会因为我们有没有建立坐标系而受影响。但当我们人为的建立坐标系以后这个点在我们所定义的坐标系下就有坐标值了。首先对于点M而言他在世界坐标系下可表示为M[]而在相机坐标系中M[]这是同一个点只不过在不同的坐标系所对应的坐标值不同。(其中中的上角标“M”表示点M,下角标w表示世界坐标系worl以此类推关于下角标的定义可参照我上面定义的四个坐标系。) 相机坐标系相对于世界坐标系而言我们不能保证两个坐标系的原点完全重合因此对于x-y-z都存在一定的位移由一个3x1矩阵t(translation)表示其中每个元素分别对应了x-y-z方向上的位移: 此外我们也不能保证相机在拍照时没有任何角度的偏差因此这两个坐标系的坐标轴存在一个整体的旋转。由一个3x3矩阵R(rotation)表示 二者合并得到增广矩阵[R|t]使得: 其中 这一数学表达式的意义是一个在世界坐标系中定义的点如果要用相机坐标系来表示可以用矩阵[R|t]左乘该点的世界坐标系坐标实现。 这样一来就完成了大M点在世界坐标系下的坐标值到相机坐标系下的坐标值的转化 Intrinsic parameters内参: 通过前面的研究我们找到了世界坐标系与相机坐标系的联系相当于学会了用相机坐标系来表示世界的物体(3D Object)现在我们用相机坐标系来分别描述世界中的实际物体与“挪到前面来的”物理成像平面中物体的像即在相机坐标系中用不同的坐标值定义了世界中的实际物体大M点与虚拟成像平面上的像---小m点(图一)并找到他们之间的联系。 (图一) 表示光心也叫摄影中心。过光心做垂直于物理成像平面的直线叫主光轴(principal axis)垂点叫主点(principal point)。光心与主点之间的距离为焦距f。 现在在相机坐标系中我们令世界中的某一点大M的坐标值为M[]。在虚拟成像平面中所成的像为小m且小m的坐标值为m[](注意x-y-z的上角标我用大写的M表示实际点大M所对应的坐标值用小写的m表示虚拟成像平面中的点小m)。同时我们令主光轴与相机坐标系中的轴重合单看相机坐标系中由与轴组成的平面(图二)我们令大M在这一平面上的投影为令小m在-平面上的投影为。 (图二) 在三角形中线段的长度为小m在轴方向的坐标值线段的长度为小m在轴方向的坐标值。在三角形中线段的长度为线段的长度为。根据三角形与三角形相似可以建立如下关系 又因为小m点一定在物理成像平面上则在3D相机坐标系中恒等于等于焦距f代入上式后得出 同样如果单看相机坐标系中的与轴所组成的平面(见图三)且用表示大M在这一平面上的投影用表示小m在-平面上的投影 (图三)
根据相似相似三角形 与三角形可以建立如下关系 这样一来我们就建立了世界中的大M与虚拟成像平面上的对应点小m在相机坐标系中的关系 上面两式合称为公式1 相机坐标系到像平面坐标系 又因为虚拟成像平面中的小m点不仅在3D相机坐标系中也在2D像平面坐标系中。且像平面坐标系的中心在主光轴上。这就意味着对于同一个点光心O而言他在相机坐标系下的坐标值和在2D像平面坐标系下的坐标值相同。即光心在相机坐标系下的坐标值为[00]同时他在2D像平面坐标系中的坐标值也等于[00] 同理已知相机坐标系中小m点的坐标值为m[]令小m点在相平面中的坐标值为m[]则有 公式2
如图四所示 (图四)
这就完成了相机坐标系到像平面坐标系的转换。 像平面坐标系到图像坐标系 在相机内部物理成像平面被sensor以pixel为单位采样了且图像坐标系的原点在图像的左上角见图五。因此像平面坐标系中的小m点的坐标值还需要一个转换关系。 (图五) 一方面图像坐标系是用mxn个像素对像平面坐标系的采样。所以需要一个由mm为单位的像平面坐标系到以pixel为单位的图像坐标系的转换。 假设图像传感器的物理尺寸也就是物理成像平面的大小为mxn(mm)传感器保存的图像尺寸为wxh(pixel)。要想把mxn的像保存到wxh的图上则以mm为单位的物理成像平面与以pixel为单位的图像之间的比例关系为 第一个等式表示图像中每个pixel的物理尺寸有多宽mm。
第二个等式表示图像中每个pixel的物理尺寸有多高mm。 这样一来就能用图像坐标系的坐标值(第几行第几列)来替换小m点在像平面坐标系中的坐标值(即在方向的长度为(mm)和在方向的长度为(mm)) 公式3 另一方面二维图像坐标系的原点在图像(sensor)的左上角而像平面坐标系的原点则是在senor的中心。因此对于同一个点光心O而言他在2D图像坐标系下的坐标值和在2D像平面坐标系下的坐标值不同这两个坐标值之间存在一个偏移量Offset。我们在图像坐标系内定义方向上到的偏移量为他等于图像的宽度的一半---w/2在方向上到的偏移量为他等于图像的长度的一半---h/2。 光心O在图像坐标系中的坐标值是 公式4
其中 公式4的意思是光心O在图像平面中的坐标值等于他在像平面中的坐标值加上一定的偏移量。同理已经转换到图像坐标系内的小m点的坐标值(见公式3)加上Offset后为 公式5 进一步将公式2带入公式5后有 然后再带入公式1得到 公式6 我们令则上式可简化为 公式7
其中
1表示以mm为单位的物理焦距f在横向等于多少个像素。
2表示以mm为单位的物理焦距f在竖向等于多少个像素。 公式7用矩阵的方式可表示为 其中的3x3矩阵就叫内参矩阵用大写的英文字母K表示。 总结 最后我们来梳理一下整个转换过程
1大M点在世界坐标系下的坐标值[]通过外参矩阵[R t]得到了大M点在相机坐标系中的坐标值[]。(通过同一点在不同坐标系中的坐标值找到两个坐标系之间的关系。) 2在相机坐标系中根据相似三角形求出大M点在虚拟成像平面中所对应的小m点的坐标值[]。通过同一坐标系下的不同点找到这两个点之间坐标值的联系 3根据虚拟成像平面在相机坐标系中的位置根据小m点在相机坐标系下的坐标值[]得到他在像平面坐标系下的坐标值[]。(通过同一点在不同坐标系中的坐标值找到两个坐标系之间的关系。) 4最后根据像平面坐标系与图像坐标系的相对关系通过内参矩阵把小m点在像平面中的坐标值[]转到了图像坐标系中所对应的坐标值[]。 参考文献 1https://www.cnblogs.com/xiaohuidi/p/15711767.html 2What Is Camera Calibration?- MATLAB Simulink- MathWorks 中国 32.3 透视投影的相机模型_哔哩哔哩_bilibili 版权声明文中的部分图片文字或者其他素材可能来自很多不同的网站和说明在此没法一一列出如有侵权请告知立即删除。欢迎大家转载但是如果有人引用或者COPY我的文章必须在你的文章中注明你所使用的图片或者文字来自于我的文章否则侵权必究。 ----松下J27
