Waymo 挑战赛冠军团队带你走近 BEVFormer

在上周第 10 期社区开放麦中，我们首次迎来了部署方向的分享。MMDeploy 开发者介绍了如何基于 ncnn 部署 OpenMMLab 算法库的模型；如何使用 MMDeploy 中的 SDK 进行模型部署；分享了基于 MMDeploy 开发的安卓目标检测 Demo。京腔满满、生动幽默的讲解博得一众好评，错过的小伙伴可以看下录播哦~

随着智能驾驶落地应用场景不断延伸，系统信息表达的准确度要求进一步提升。一个合格的智能驾驶系统，需要准确表示包括道路布局、车道结构、道路使用者等元素组成的周围环境。然而，物体的距离、场景的深度信息在 2D 感知结果上并不能得到有效呈现。这些信息才是智能驾驶系统对周围环境进行正确判断的关键。因此，3D 场景感知才是智能驾驶视觉感知的优选。

最近，基于多视角摄像头的 3D 目标检测在鸟瞰图下的感知（Bird's-eye-view Perception, BEV Perception) 吸引了越来越多的注意力。一方面，将不同视角在 BEV 下统一与表征是很自然的描述，方便后续规划控制模块任务；另一方面，BEV 下的物体没有图像视角下的尺度和遮挡问题。如何优雅地得到一组 BEV 下的特征描述，是提高检测性能的关键。

本期分享，我们邀请到 Waymo 竞赛 2022 环视感知冠军算法团队来分享他们的解决方案：BEVFormer 环视感知方案。

BEVFormer 是基于 Transformer 和时序模型在鸟瞰图视角下优化特征的环视物体检测方案，其在多视角摄像头的 3D 目标检测任务性能指标脱颖而出，一度引领 NuScenes 3D Object Detectiob 榜单。在 CVPR 2022 自动驾驶 workshop 的 Waymo 大赛中，李弘扬博士带领的团队凭借着 BEVFormer++ 模型大幅领先，摘得 camera-only 3D 检测项目桂冠。

北京时间

2022 年 6 月 30 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

李弘扬

上海人工智能实验室青年科学家，香港中文大学计算机视觉方向博士学位，在 CV、ML 等领域的顶级会议和期刊上发表多篇论文，累计谷歌索引 1200+。

司马崇昊

普渡大学在读博士，主要研究方向为 3D 视觉和 AI X Science。

• BEV 感知：背景与动机

• 融合感知算法业界方案
  

• BEVFormer 环视感知方案介绍

为了方便大家观看，直播将在 OpenMMLab 视频号和 B 站直播间同步播出。在直播间积极参与讨论提出问题，将有机会获得 OpenMMLab 小海象限量周边一份！感兴趣的小伙伴们赶紧关注起来了，开播不迷路，6 月 30 日（周四）晚 8 点，我们不见不散～

👇

👇

同时为了方便大家交流沟通，我们还建立了以【OpenMMLab 社区开放麦】为主题的社群，欢迎大家扫码添加小助手发送关键词“社区开放麦”，直播相关的所有资料都将在群里分享，还能与大佬 1v1，赶紧加入我们吧~