Alan's Notebook🦍

摘要

本文提出了一种充分利用立体图像中稀疏、密集、语义和几何信息的自主驾驶三维目标检测方法，称为Stereo R-CNN，扩展了Faster R-CNN的立体输入，以同时检测和关联目标的左右图像。

在立体区域建议网络(RPN)之后添加额外的分支来预测稀疏的关键点、视点和目标维数，并结合二维左右框来计算粗略的三维目标边界框。然后，我们恢复准确的三维框，以区域为基础的光度比对使用左和右ROI，得到精准的深度。

目前在自动驾驶领域的传感器中，LIDAR是一种较为精确的传感器，可以获取三维空间的准确深度信息。但其有两个缺点，一是与相机相比分辨率太低，只能得到稀疏的深度图，二是价格十分昂贵难以量产。

本文中的算法以RBG图像的信息作为引导，将稀疏深度图转为稠密的深度图。截止目前，在KITTI的深度补全任务上排名第一。