|
阅读：1885回复：1
DSO之光度标定
光度标定（Photometric Camera Calibration）是DSO（Direct Sparse Odometry）论文中比较特别的一部分。常规的vSLAM不太考虑光度标定的问题。比如基于特征点的vSLAM，由于特征描述一般会有光照不变性，对图像的亮度值并不敏感。而在直接法（direct method）中，由于姿态估计以图像的亮度值为出发点，亮度值的准确度会影响算法的精度和稳定性。因此，作者引入了光度标定的概念，利用精细的相机成像模型，标定成像过程中的光度参数，并用这些参数校正图像亮度值。 由于本人不是光学专业，文中难免有不准确的地方，还望大家不吝赐教。
参考文献
相机成像原理 一般而言，相机测量的是场景中的光的辐射度（radiance）。成像过程如下图[3]。  radiance用来描述物体表面单位面积上的能量分布，和方向有关。In radiometry, radiance is the radiant flux emitted, reflected, transmitted or received by a surface, per unit solid angle per unit projected area. For example, radiance in direction of the optical axis of a LED is higher than it's radiance at an angle of 15°.irradiance用来描述物体表面单位面积总的入射能量，和方向无关。比如，用来描述传感器像元的入射光强（来自于不同方向的环境光的累加）。 In radiometry, irradiance is the radiant flux (power) received by a surface per unit area. Irradiance commonly is used referring to power incident on a surface.下面详细分析一下各个模块的影响。 光学（镜头和光圈） 除了大家熟悉的小孔成像模型和畸变模型，还会有晕影（vignetting）。以下摘自wiki。 光学晕影是由一个或多个透镜的实际尺寸造成的，后方的元件遮蔽了前方的，导致前端透镜离轴的有效入射光减少，结果是光的强度由图像中心向周围逐渐减弱。光学晕影对镜头的开口相当敏感，只要适当的调整光圈就可以消除，通常缩小2至3格就可以完全消除。也就是说，假如拍摄一个亮度非常均匀的物体，图像中心和边缘的亮度值并不一致。 如果这些因素都没有影响，那么从scene radiance到sensor irradiance的转化是线性的。 
快门 快门影响的是曝光时间。自动曝光模式下，不同场景曝光时间并不一样，会导致同一物体在不同场景下的灰度值产生差异。另外还想提到的是全局快门（global shutter）和卷帘快门（rolling shutter）。全局快门保证所有感光元件的曝光起始时间和间隔是一样的，卷帘快门并不能保证。因此文献中一般推荐使用全局快门。 传感器 传感器（CCD/CMOS）将每个像元接收到的光子通过一系列处理转化为亮度值。这里面涉及到光电效应、ADC、DSP等过程。输入的曝光量和输出的亮度值之间的关系称为响应函数（response function）。响应函数一般来说是非线性的，甚至包含人为调整的成分，比如伽马校正、白平衡、色调、饱和度等。为图像进行伽马编码的目的是用来对人类视觉的特性进行补偿，从而根据人类对光线或者黑白的感知，最大化地利用表示黑白的数据位或带宽。人眼对暗部比较敏感，因此一般选择提高暗部的分辨率。这些因素会非线性地修正曝光量，因此作者希望通过光度标定来补偿它们的影响。 |
|
最新喜欢： happyb...
|
|
沙发#
发布于：2018-10-14 22:21
论文解析 下面我们来看看作者在DSO中如何排除这些因素的影响。作者采用的数据集中有两个镜头，一个鱼眼一个广角。上一节提到的三个因素都有影响。
标定响应函数 响应函数有几种常见的参数模型，比如线性、伽马和基函数。而作者用非参数估计的方法来标定。具体而言，在固定场景下，相机在不同曝光时间下，重复拍照得到一系列图像。由于场景不变，B在不同图像中是一样的，图像亮度值的差异来源于曝光时间和响应函数。因此，作者构建了一个能量误差函数，用迭代的方法求解U=G^{-1}。其中待求解变量为B和U。每步迭代中，先用估计的U求解B，然后用更新的B求解U。具体细节参见文献2第2.3.1节。 实验中，作者采集了1000幅不同曝光的图像，其中的5幅见下图。  文献2图3提供了作者标定出的gamma校正曲线。蓝色是有gamma校正的结果，绿色是没有gamma校正的结果。 
标定晕影 假设响应函数G已经标定好了。作者通过大量图像数据，迭代估计V的值。具体而言，从不同角度重复拍摄一个 Lambertian surface，得到一系列图像。作者选择了白墙作为Lambertian surface。理想光照下，墙上的每个点在不同角度下的radiance是均匀的，因此B在不同图像中是一样的。作者并不要求白墙的亮度均匀，因此B中每个点的值是不一样的。场景见下图  利用响应函数的逆得到B'=V*B。作者构建了一个能量误差函数，用迭代的方法求解V。其中待求解变量为B和V。每步迭代中，先用估计的V求解B，然后用更新的B求解V。具体细节参见文献2第2.3.2节。从不同角度拍摄时，白墙上不同位置的三维点相对于镜头的位置是不一样的，晕影的影响也不一样。因此需要将白墙变换到相机坐标系，引入了姿态估计的问题。作者用了一个AR marker来估计姿态。文献2中，作者采集了700幅图像，其中的4幅见下图。  文献2图4给出了两个不同镜头模组的晕影。 
有光度标定时的处理 通过标定V和G，就可以反解出B（参考文献1式(3)）。使用B去做直接法当然要比I准确地多。当然，场景的亮度在不同视角下有差异，这是无法避免的。 
一般情形 对于做过光度标定的相机，我们可以用上面的方法处理。对于一般的相机怎么办呢？作者在估计姿态的同时，还估计图像校正参数，用于粗略去除响应函数的影响。具体做法是加入一个affine brightness transfer function。个人理解，这个affine brightness transfer function其实是线性响应函数的逆函数。（似乎也可看做是一种归一化的方式）  这个函数可以校正曝光时间(正比于e^{-a_i})和图像亮度基底(b_i)的影响。晕影不太好建模，作者暂时没有考虑。 因此，总的姿态估计的目标函数为  这里的I指的是校正过的亮度值。当没有光度标定时，G=V=t=1，因此I就是输出图像本身。有光度标定时，I=t*B。 作者还加入正则项来平衡有无光度标定的影响。  当有光度标定时，a_i和b_i可以设为0，也可以不为0（相当于额外的校正，正则项限制了它们不会很大）。当没有光度标定时，lambda_a和lambda_b均为0，也就是说，a_i和b_i不做任何限制，均作为待求参数参与优化。另外，当lambda_a和lambda_b均为无穷时，a_i和b_i必须为0，因此不会优化图像校正的参数（即参考文献1图14中的brightness constancy）。光度标定参数的影响见参考文献1第4.2小结。  思考：一般情形下，是否可以用伽玛响应函数代替线性响应函数？只需要一个额外的参数就可以模拟非线性的情形。 小结 推荐大家有时间看一下参考文献2。想发自内心地吹一波，Engel他们的工作做得真是太细致了。 【版权声明】泡泡机器人SLAM的所有文章全部由泡泡机器人的成员花费大量心血制作而成的原创内容，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能否进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！ 【注】商业转载请联系刘富强（liufuqiang_robot@hotmail.com）进行授权。普通个人转载，请保留版权声明，并且在文章下方放上“泡泡机器人SLAM”微信公众账号的二维码即可。 【编辑】王超群，刘富强，吴博，李平，范帝楷，朱小英  |
|
