8igdog
泡芙1级
泡芙1级
  • UID2773
  • 粉丝0
  • 关注0
  • 发帖数1
阅读:142回复:4

彩色图与深度图需要对齐嘛

楼主#
更多 发布于:2019-05-20 08:57
请问彩色图与深度图需要对齐嘛?

需要的话,用什么方法呢?
OptSolution
管理员
管理员
  • UID122
  • 粉丝4
  • 关注0
  • 发帖数35
  • 社区居民
  • 忠实会员
沙发#
发布于:2019-05-20 10:20
不一定需要对齐吧
OptSolution
管理员
管理员
  • UID122
  • 粉丝4
  • 关注0
  • 发帖数35
  • 社区居民
  • 忠实会员
板凳#
发布于:2019-05-20 10:20
libfreenect2开源的,也许可以参考
DreamWaterPro
泡芙5级
泡芙5级
  • UID705
  • 粉丝1
  • 关注1
  • 发帖数9
  • 社区居民
  • 忠实会员
地板#
发布于:2019-05-20 12:31
使用RGB-D数据之前一定要进行配准。

这个“对齐”对应的专业术语叫做“配准”,也有叫做“注册”的。由于彩色相机和深度相机的内参和图像大小均不严格相同,得到的彩色图像和深度图像都是或多或少有错位的现象存在的。彩色图像和深度图像只有配准之后,彩色图像上的像素和深度图像上的像素才能够保持一一对应的关系;否则就会出现类似于“取彩色图像上像素(200,200)的深度值,但是在深度图上坐标为(200,200)处的深度值却是彩色图中(198,203)这个像素的深度值”这种情况。

不过目前大部分驱动在提供彩色图和深度图的时候都会提供进行图像配准的API接口,通过这个接口可以直接读取到经过配准后的深度图像和彩色图像;但是个人实践感觉有些驱动例如楼上说的Libfreecnt有时候提供的配准图像并没有做到非常好的效果,疑似是需要把彩色相机和深度相机(一般也就是红外相机)的内参写入到相关文件中,才能够拿到比较好的配准结果。对于kinect2在windows SDK下的配准结果就挺不错的。



配准的方法有专门的研究,严格来讲已经不是咱们这个板块“SLAM”技术的范围内了,可以检索相关论文,以及楼上提到的开源驱动libfreect。这个我不太了解,但是觉得也基本上是一个 well-studied 的问题了,资料会挺丰富的。
十六进制带我飞。
xiaoC
论坛版主
论坛版主
  • UID231
  • 粉丝9
  • 关注9
  • 发帖数51
  • 社区居民
4楼#
发布于:2019-05-22 22:32
我用华硕xtion,直接用ROS的openni2驱动的。openni2里边有对齐的选项,通过设置为对齐,在rviz上显示的深度图和彩色图是重合的。否则就是有偏差的。在跑SLAM的时候肯定是要重合的,否则深度对不好,系统就崩了。
游客

返回顶部