设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 欧洲华人圈 › 英国华人圈 › 伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR .. ...
回复 发帖
返回列表 发新帖
开启左侧

[问答] 伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ...

[复制链接]
34370 0
千金商人 发表于 2021-12-21 21:14:34 | 只看该作者 打印 上一主题 下一主题
 
原文链接：伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR！
1. 摘要

最近，伦敦大学学院开源了面向对象的SLAM系统DSP-SLAM，它为前景对象构建了一个丰富而精确的稠密3D模型的联合地图，并用稀疏的地标点来表示背景。可以在3种不同的输入模式下以每秒10帧的速度工作：单目、双目或双目+激光雷达。与最近基于深度先验的重建方法相比，物体姿态和形状重建有了改进，并减少了KITTI数据集上的相机跟踪漂移。
项目网站：https://jingwenwang95.github.io/dsp-slam/
代码：https://github.com/JingwenWang95/DSP-SLAM
demo如下所示

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第1张图片

最终建立的地图如下所示

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第2张图片

2. 背景

随着计算机视觉和深度学习的发展，SLAM也从传统的纯几何表示进入了语义和物体级别的场景理解。语义和物体级别的理解对于许多更高级的应用十分重要，例如家庭机器人，自动驾驶等。已有的物体级SLAM算法，例如SLAM++[1]，MaskFusion[2], CubeSLAM[3]在物体表示方面存在一些不足：
1. 以SLAM++为代表的先驱工作需要预先建立精确的物体模型数据库，在运行时识别并利用ICP来估计物体的6D位姿。这类方法可以实现十分精确和完整的物体级地图的创建并且可以通过位姿图优化和回环检测来获得全局一致的地图，但是只能受限于预先重建过的物体。
2. 以MaskFusion为代表的工作克服了以上工作需要预先建立物体CAD模型的缺点，利用2D实例分割的结果分别在线重建和跟踪不同的物体以及背景。这类方法可以精确重建任意新见到的物体，但是由于重建是在线进行的，无法得到完整的物体重建，例如物体的背面，被遮挡以及深度缺失部分的。
3. 最后，以CubeSLAM为代表的工作把物体建模为简单的3D几何图形，例如立方体，球体或椭球体。这类方法可以完整地重建任意新见到的物体，但是重建结果丢失了很多物体形状的细节。
这篇工作解决的问题就是利用物体的形状先验来同时实现以上三个目标，即：对新见到的物体精确且完整的重建。

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第3张图片

3. 方法

基于形状先验的物体重建

我们使用预训练的DeepSDF作为形状先验，将同一个类别的物体形状表示为64维向量。物体的重建可以被转化为对物体形状向量和7D位姿的联合优化，使得形状和位姿最适合于当前的观测。我们利用稀疏点云观测和2D分割结果作为观测，最小化表面损失和深度渲染损失函数。为了保证SLAM的实时性，我们使用高斯牛顿法求解整个优化过程，并且详细推导了所需要的雅可比矩阵。

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第4张图片

物体SLAM

我们进一步将物体重建过程嵌入到一个完整的物体级SLAM系统之中。我们利用ORB-SLAM2作为SLAM骨架，为每一帧提供相机位姿和稀疏点云。对于每一个关键帧，我们进行物体检测，对于检测到的物体得到2D检测框，分割结果和稀疏点云。对于新观测到的物体基于这些观测进行物体重建；对于已重建过的物体更新位姿并加入BA因子图中。随后，联合BA同时优化相机位姿，地图点和物体位姿。

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第5张图片

重建结果

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第6张图片

伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR ... 第7张图片

[1] Renato F. Salas-Moreno, Richard A. Newcombe, Hauke Strasdat, Paul H.J. Kelly, and Andrew J. Davison. Slam++: Simultaneous localisation and mapping at the level of objects. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2013.
[2] M. Runz, M. Buffier, and L. Agapito. Maskfusion: Real-time recognition, tracking and reconstruction of multiple moving objects. In 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 10–20, Oct 2018.
[3] Shichao Yang and Sebastian Scherer. Cubeslam: Monocular 3-d object slam. IEEE Transactions on Robotics, 35(4):925–938, 2019.
独家重磅课程！
1、三维视觉基础 如何实现视觉深度估计？单/双目+几何算法/深度学习网络
2、视觉SLAM必备基础 太卷了！听说学懂ORB-SLAM2课程第3期可全额退款？敢不敢来挑战？
3、 VINS:Mono+Fusion SLAM面试官：看你简历上写精通VINS，麻烦现场手推一下预积分！
4、VIO进阶：VIO最佳开源算法：ORB-SLAM3超全解析课程重磅升级！
5、图像三维重建课程（第2期）：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图
6、重磅来袭！基于LiDAR的多传感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM
7、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战
8、激光定位+建图课程：激光SLAM框架Cartographer课程90+视频全部上线！适合服务机器人！
链接：伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR！
全国最棒的SLAM、三维视觉学习社区↓
链接：伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR！
技术交流微信群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群，请添加微信号 chichui502 或扫描下方加群，备注：”名字/昵称+学校/公司+研究方向“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
投稿、合作也欢迎联系：simiter@126.com
链接：伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR！
扫描关注视频号，看最新技术落地及开源方案视频秀 ↓
链接：伦敦大学学院开源物体级语义SLAM！支持单/双目+LiDAR！
—   版权声明  —
本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。


上一篇：哪些英国大学毕业最好找工作？
下一篇：英国以前殖民地遍布全球,但是为什么大家并不太仇恨？
标签：面试伦敦大学学院面向对象的3d模型面向对象
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千金商人白金会员

0关注

7粉丝

455帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-6-17 19:46