kinect外文文献翻译解析

2020-03-02 23:29:06 来源：范文大全收藏下载本文

3D与Kinect 扬斯米谢克，米哈尔Jancosek和Tomas Pajdla控制论，费用，在布拉格捷克技术大学的CMP

摘要

我们分析的Kinect作为3D测量设备，实验调查深度测量分辨率和误差性能和使超高动力学的定量比较精度立体声重建从单反相机和一个3D-TOF相机。我们提出的Kinect几何模型和它的校准程序提供精确的校准Kinect的3D测量和Kinect摄像头。我们通过整合演示的Kinect校准的功能它变成一个SFM管道，其中三维测量从运动的Kinect被变换成一个共同的坐标系统通过从比赛计算相对姿态彩色摄像机。

1.简介

Kinect正成为一个重要的三维传感器。它接收了大量的关注表示感谢，以人迅速对构成三维测量上开发识别系统。测量的成本低，可靠性承诺使Kinect的主要3D测量室内机器人，三维场景重建设备，和物体识别。

在本文中，我们提供的几何分析Kinect的，设计它的几何模型，提出了一个校准过程，并展示其性能。方法建模Kinect的几何形状，从而出现近日，为了解一个良好的基础传感器。主要有以下几种最相关的作品。文献结合OpenCV的摄像机标定用Kinect的逆差距的计量模型来获得基本Kinect的校准程序。他没有学习Kinect的传感器的特定功能，并没有纠正他们。几乎相同的程序实施活性氧，其中该红外线之间的表观位移和深度图像被校正。这种做法的另一个变化出现在，其中的OpenCV校准替换通过Bouguet的校准工具箱。我们建立在以前的工作之上，并设计了一个精确的校准程序的基础上考虑的几何模型，以及作为一个额外的校正程序会计“学习”对于剩下的非建模误差。我们使用全相机型号和他们的校准程序为实现在，超高动力学逆视差之间的关系和深度如，正确深度和红外图像位移如，并添加其他校正训练有素的校准板的例子。我们证明该校准超高动力学可以与结构相结合运动来获得三维数据一致的坐标系中，允许通过多视角来构建观测到的景物的表面立体声。我们的对比表明，Kinect是优越在精度SwiRanger SR-40003D-TOF相机接近中等分辨率单反立体声钻机。我们的研究结果是根据[10]其中兼容观测关于Kinect的深度量化被提及。

图1.Kinect的由红外（IR）投影仪，红外照相机和RGB摄像头。

图2.Kinect的两尼康D60单反相机钻机。

2.作为Kinect的三维测量装置

Kinect是由一个红外投影仪的复合设备一图案和IR照相机，其用于三角测量点在太空中。它可以作为一个深度摄像头，以及一颜色（RGB）相机，它可以用来识别图像内容和纹理的3D点，图1作为测定装置，超高动力学提供三种输出：红外图像，RGB图像，以及（逆向）深度图像。

2.1 红外图像

IR（1280×1024像素的57×45度视场，6.1 mm焦距长，5.2μm像素大小）摄像头是用来观察和解码红外投射图案三角3D场景。如果由卤素灯[16，19]，同时提供适当的照明红外投影受阻，如图7（c，d）中，它可以可靠地校正由[2]使用用于相同的棋盘图案在RGB摄像头。相机表现出不可忽略的径向和切向变形，标签2。

2.2 RGB图像

RGB（1280×1024像素的63×50度视场，2.9毫米焦距，2.8μm像素大小）相机提供介质质量的图像。它可以由[2]进行校准和用于跟踪由SFM系统，例如照相机运动[17，7]。

2.3 深度图像

超高动力学的主要原料输出是对应的图像到的深度在场景中。而不是提供实际深度z，Kinect的返回“逆深度”d图。图3（a）。考虑到深度分辨率达到的Kinect的（部分2.4），我们通过模型等式。 5建议在[3]。深度图像是通过三角测量构造从红外图像和投影，因此它是由IR图象，等式“携带”。 5。

2.4 深度解析

图3（b，c）表示深度分辨率的函数距离。深度决议通过移动测量Kinect的距离（0.5米，15米）从平面靶足够精心录制返回所有值约5◦视图围绕图像中心领域。量化步骤q的大小，也就是距离两个连续的记录值之间，被发现是深度z的以下函数：

q(z) = 2.73 z2 + 0.74 z − 0.58 [mm].(1) 以Z米。 q中开始，RESP值。的操作范围在末端，分别为q(0.50 m) =0.65 mm, resp.q(15.7 m) = 685 mm.

(a)Kinect逆深度作为实际深度的函数。

(b)深入Kinect的量化步长Q（0-15米）。

(c)Kinect的深度量化步长（0-5米细节）。

2.5 红外图像和深度图像之间切换

发现IR和深度图像被移位。为了确定移位[U0，V0]？几个不同的目标被捕获红外和深度图像，图。图4（a）。对比目标从背景和分割出移是通过使分割的形状在确定最好对准，图图4（b）。几个实验对象不同结果形状如表1所示。 1.移估计为平均值在所有实验。我们的结果表明，在深度使用尺寸的相关窗口7×7像素计算处理。这是接近9×9的窗口大小估计在[11]。

(a)对准前

（b）对准后

图4.红外深度图像移位和校正。

一个目标的红外图像显示为黑色。的深度图像目标是通过其白边表示。

表1.红外深度摄像头像素位置偏移。

3.Kinect的几何模型

我们建模的Kinect作为由多视图系统RGB，红外和深度摄像头。 RGB的几何模型和红外摄像机，其投射一个三维点X为图像点[U，V]?,由[2]给出的失真参数K =[K1，K2，。。。，K5]，摄像机标定矩阵K，旋转R和摄像机中心C[6]。

图5.Kinect的几何模型。

超高动力学的深度相机相关联的几何红外相机。它返回逆深度d沿z轴，图5，对每个像素[U，V]的红外摄像机作为

其中，U，V是由方程给出。 3，真正的深度z由公式。4，[U0，V0]按Tab键。 1，X代表一个3D的三维坐标点，以及C1和C0是模型的参数。我们联想Kinect的坐标系与红外相机，因此得到RIR=我和CIR=03D点XIR构造从测量[X，Y，D]在深度图像通过

并投射到RGB图像作为

其中，存款保险计划是由等式给出的失真函数。 3，基里巴斯，kRGB是红外的各自失真参数和RGB摄像头，KIR是红外摄像机标定矩阵KRGB，RRGB，CRGB是校准矩阵，所述旋转矩阵和中心将RGB摄像头。

4.Kinect的标定

我们校正[2] Kinect的摄像头一起通过展示相同的校准目标到IR和RGB照相机，图7（c）。以这种方式，两个照相机被校准w.r.t.该相同的3D点和相机WRT的因此姿势点可以链接给他们的相对姿态，图8.以直角坐标红外相机作为系统Kinect的全球坐标系，使相机相对造成等于RRGB，CRGB。标签。 2，第3显示内部参数和图图6显示效果在摄像机的扭曲。我们包括切线畸变，因为它的非忽略增加了整体三维测量的精度。图。图7（a）示出了该IR图像在正常运行的Kinect标定板当它是由其IR发射照亮。更好的图像是通过阻断红外投影仪和照明获得由卤素灯图偏出。图7（b）。

图6.既Kinect的摄像头预估失真的影响。

红色数字表示的尺寸和箭头的方向像素位移引起的透镜失真。交叉显示图像中心的圆的主点的位置。

图7.在IR，RGB和深度图像的校准板。

参数C0，深度相机的C1被校准如下。我们得到了N次测量，正从深度图像全部校准点，图7（d）。笛卡尔坐标相同XIRi校准点测量在IR笛卡尔系统通过交叉投影点进去红外图像的光线用最好的平面装配到重建的校准点。参数C0，C1进行了优化，以最合适的XDI到使用等式6。

表2.Kinect的红外摄像机内部参数。

表3.Kinect的摄像头RGB内部参数。

图8.位置和Kinect的IR和RGB摄像头的方向

与单反一对立体声（左，右）与3D完全校准重建在平面校准目标点。

图9.平面残差拟合出的固定模式噪声

从不同的距离的深度图象。

表4.评价的z修正。的标准偏差

平面的残差拟合到平面目标的测量已经减少。

4.1 学习复杂的剩余误差

它已经观察到超高动力学校准与上述程序仍然呈现小而相对复杂的残余错误近距离测量。图。 9显示残差平面拟合到校准Kinect的测量后平面靶的跨越视场。目标已被抓获，从18个不同的距离，从0.7至1.3米，高度相关的残差进行核算。沿250水平深度图像行残差图10（a）。残值是一贯的积极中心和负在外围。为了补偿该残留误差，我们形成z值的Z校正图像构造为所有的残余图像的逐像素平均。的z校正图像是从z中减去坐标XIR的计算等式所。 6。为了评估该修正方法，在z校正图像从甚至图像，然后对残差构建施加到奇数（表的第一行。4）和偶数（第二行选项卡中。 4）深度图像。的标准偏差残差下降。施加的z校正Kinect的测量后从在第5.1节，平均所描述的实验的残留误差减少了约0.25毫米，图。图10（b）。在4410点的残差进行评价跨越视场。

5.验证

5.1 Kinect的，SLRStereo和3DTOF的比较

我们比较的平面靶的测定精度通过Kinect的，单反立体声和3D TOF相机。 Kinect和单反立体声（图像尺寸2304×1536像素）分别为刚性地安装（图2）和校准（图8）在一起。单反立体声被重建校准点完成由[2]提取并通过线性最小二乘三角三角[6]。他们测量了同一平面靶中315控制校准点在每个14的目标。 SR-40003D TOF[13]不同的测量平面靶，但在一个可比的距离范围0.9Kinect的标定：代码完成。http://www.daodoc.com/，2010年2月

[20]柳树车库。摄像机标定和三维重建。 HTTP：// OPENCV。

willowgarage.com/documentation/cpp/camera_calibration_and_3d_reconstruction。 HTML，2011年6月

[21]柳树车库。 Turtlebot。 HTTP：// WWW。willowgarage.com/turtlebot，2011年1月