导读：无人驾驶近几年在人们的视野中出现地越来越频繁，并且随着计算机科学、智能控制技术的发展，研究者和企业对无人驾驶的探索更加深刻。特斯拉、Waymo、蔚来、百度，国内外企业大笔投入资金，推动了自动驾驶的发展进程。

自动驾驶是智能交通的必然趋势，行业求职者也越来越多，深蓝学院为各位同学整理了25节公益性质的自动驾驶公开课合集。

深蓝学院邀请了自动驾驶领域国内外知名的一线研究者为大家分享自动驾驶方向的研究思路与进展，同时，为各位同学配套建立了专业的技术交流群。系列公开课涵盖的方向包含感知、定位建图、规划控制、就业指导等四个部分。

以下是课程介绍（由于篇幅有限，本文展示部分课程详情，完整的课程合集请扫码添加工作人员免费领取）

一、感知方向

获取全部公开课链接及入群，

请扫码联系工作人员

请务必备注“自动”，优先通过哦！

(1). 《无人驾驶中感知的挑战与尝试》

讲师：邹晓艺元戎启行点云感知方向技术负责人

毕业于华南理工大学，曾就职于百度自动驾驶事业部，目前负责自动驾驶感知模块的算法研发。

在自动驾驶中，感知系统相当于自动驾驶汽车的眼睛，需要理解整个场景，包括检测自动驾驶汽车周围环境中的障碍物，同时需要对这些障碍物进行跟踪获得速度和预测其在未来一定时间内的轨迹。

由于无人驾驶场景的复杂性和多样性，对感知系统提出了非常高的挑战。本次公开课重点介绍下感知基本的模块和典型方法，同时分享一些实际路测场景中遇到的问题和一些思考。

(2). 《自动驾驶感知算法简介》

讲师：王弢小鹏汽车自动驾驶北美视觉感知负责人，原Drive.ai联合创始人。

毕业于斯坦福大学，目前主攻深度学习在自动驾驶领域的应用。

环境感知是自动驾驶的核心技术之一，由于环境的复杂多变，自动驾驶的感知面临诸多挑战。通常来说，量产的环境感知方案需要满足准确、完备、实时、经济等特性。

本次公开课将重点讲解视觉感知算法的发展历程以及发展趋势，同时介绍量产的感知算法开发流程。

(3). 《自动驾驶感知前沿技术介绍》

讲师：周寅Waymo研发经理、特拉华大学博士

为了让无人车自己思考，我们要先教会它如何理解周围的世界。伴随着深度学习的崛起和算力的提升，这些年环境感知性能得到了长足的进步。

本次公开课将围绕scalability，重点介绍环境感知中的热点研究方向和前沿技术动态。

通过这节课，学员将对自动驾驶系统架构有一个整体的理解，并且对感知系统的核心问题以及前沿动态有比较深入的认识。

(4). 《自动驾驶纯视觉3D物体检测算法》

讲师：王岩康奈尔大学博士

本次课程将针对自动驾驶场景，详细介绍以相机为主的纯视觉3D物体检测算法，剖析以特斯拉为代表的使用纯视觉的物体检测方案的优势和劣势。

通过本次课程，你将学习如何用深度学习进行深度估计、3D物体检测，同时了解纯视觉3D物体检测存在的挑战。

(5). 《3D物体检测的发展与未来》

讲师：祁芮中台 Waymo高级研究科学家、斯坦福大学博士、清华大学本科

3D物体检测在增强现实、机器人与自动驾驶中都有着普遍的应用。随着业界需求的增加与深度学习的出现，相关的算法在近几年有了长足的进步。

本次公开课将从技术发展的角度，介绍几种经典的3D物体检测算法以及它们之间的联系，并延伸讨论目前方法的局限性和未来的研究方向。

通过这节课，学员将能对3D物体检测算法有一个全局的认识，并且能了解潜在的研究机会。

(6).《移动机器人视觉三维感知的现在与将来》

讲师：王凯旋香港科技大学UAV group博士

相比于其他传感器，相机能提供丰富的场景信息，同时在尺寸、重量、功耗及成本上有着巨大的优势，因此被广泛应用于移动机器人领域。

在这个技术分享会上，我将介绍基于视觉的三维环境感知方案，即通过图像序列对环境的三维结构进行估计和重建；将介绍基于多视角几何的方案以及当前基于深度学习的方案。这些方案被成功地应用于无人机的自主飞行中。随着技术的发展，我们也发现一些其他的场景表示方案，我们将探讨这些方案将会如何影响未来的实时三维场景重建技术。

(7). 《基于点云场景的三维物体检测算法及应用》

讲师：史少帅香港中文大学多媒体实验室博士生，研究方向为计算机视觉与深度学习，专注于深度学习在三维场景理解上的应用。

3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection.

(8). 《基于三维点云场景的语义及实例分割》

讲师：杨波牛津大学计算机系在读博士，研究方向为计算机视觉与深度学习。

讲师：胡庆拥牛津大学计算机系在读博士，国防科技大学硕士，研究方向为3D视觉、机器人、机器学习。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.

(9). 《深度学习在点云识别中的应用》

讲师：刘永成中科院自动化所在读博士，研究兴趣包括3D点云处理、图像分割、多标签图像分类等。

讲师：李瑞辉香港中文大学计算机系在读博士，主要研究方向为三维点云处理，三维重建等。

(10).《点云上的卷积神经网络及其部分应用》

讲师：李伏欣美国俄勒冈州立大学助理教授，2009年获中科院自动化研究所获工学博士学位。

(11).《相对位姿估计的进展和新方法》

讲师：赵季华中科技大学博士， CMU 博士后，曾在自动驾驶公司担任定位方向的技术负责人。研究兴趣包括3D视觉、多传感器融合、 SLAM 等。在 PAMI 、1JCV、 CVPR 、 ICcV 、 ECCV 、 ICRA 、 IROs 等发表多篇论文。在定位、建图、标定方面有丰富的项目经验。

(12). 《用于无监督双目立体匹配学习的视差注意力机制》

讲师：王龙光国防科技大学博士生，研究方向为深度学习与低层视觉，专注于图像超分辨与图像复原，在 TPAMl / TIP / CVPR / ECCV 等知名期刊及会议上发表多篇论文。

获取全部公开课链接及入群，

请扫码联系工作人员

请务必备注“自动”，优先通过哦！

二、定位建图方向

(1).《视觉SLAM基础》

讲师：高翔慕尼黑工业大学博士后、清华大学自动化系博士

(2). 《语义信息增强的激光雷达SLAM》

讲师：陈谢沅澧德国波恩大学博士生，师从Cyrill Stachniss教授，RoboCup机器人世界杯救援机器人组技术委员会成员。

准确可靠的定位与建图是大多数移动机器人以及无人车系统的关键组成部分。激光雷达传感器凭借其高精度以及对光照变化十分鲁棒等优点，目前被广泛应用于SLAM问题中。

近年来，随着深度学习的发展，语义信息在机器人定位与建图中的起到了越来越重要的作用。语义信息包含对环境更高层级的理解，可以为SLAM提供更可靠的数据关联，帮助SLAM在现实复杂地动态环境中更加鲁棒地进行运动估计，从而实现更高精度地定位与建图。同时，语义信息还可以帮助SLAM进行更可靠的地点识别以及闭环检测。

(3). 《深度学习与视觉SLAM 》

讲师：杨楠慕尼黑工业大学博士生，师从Daniel Cremers教授，主要研究方向为视觉SLAM及其与深度学习的融合。

在视觉SLAM领域，近年来以深度学习技术为代表的层次化图像特征提取方法，并成功应用于SLAM帧间估计和闭环检测。

深度学习算法是当前计算机视觉领域主流的识别算法，其依赖多层神经网络学习图像的层次化特征表示，与传统识别方法相比，可以实现更高的识别准确率。同时，深度学习还可以将图像与语义进行关联，与SLAM技术结合生成环境的语义地图，构建环境的语义知识库，供机器人进行认知与任务推理，提高机器人服务能力和人机交互的智能性。

(4). 《视觉SLAM开源代码论文带读（ORB_SLAM2）》

讲师：刘国庆

视觉SLAM领域中特征点法的代表作，也是首个同时适用于单目、双目和RGB-D相机的开源SLAM方案。代码主要分为三个线程：前端实时定位跟踪、后端优化建图与回环检测。整套代码几乎涉及到了视觉SLAM系统的方方面面：从单目系统初始化、特征提取匹配，到LocalBA、GlobalBA的优化设计，到关键帧的选取、地图的复用，以及诸多巧妙设计的工程技巧等等。代码结构较为清晰，称得上是最适合新手学习的第一套VSLAM代码。

(5). 《因子图的理论基础与在机器人中的应用》

讲师：董靖佐治亚理工学院计算机博士，主要研究方向包括机器人学、机器人领域相关的感知问题。

近十几年来，作为一种概率图模型，因子图在机器人领域（特别是SLAM问题）中得到广泛的应用。在大规模SLAM问题上，因子图与传统卡尔曼滤波相比，具有速度快、精度高等优点。

在本次讲座中，我们将初步了解因子图模型以及因子图在机器人学中的应用。

(6). 《视觉SLAM开源算法ORB-SLAM3 原理与代码解析》

三、规划控制方向

(1). 《量产自动驾驶中的规划控制现状》

讲师：肖志光小鹏汽车创始团队成员
小鹏汽车自动驾驶产品开发高级总监小鹏XPILOT2.0辅助驾驶系统量产主导者

规划控制是自动驾驶核心技术之一，主要解决车在路上如何行驶的问题，需要综合考虑行驶过程中的碰撞安全、交通规则、驾乘舒适性、节能高效等特性。

本次公开课重点介绍自动驾驶中规划控制的主要功能，并分享量产自动驾驶研发中的实际难点及解决思路。

(2). 《视觉导航：从状态估计到运动规划》

讲师：张子潮苏黎世大学Robotics and Perception Group博士生，导师为Davide Scaramuzza教授。主要研究方向为视觉SLAM及其在移动机器人导航中的应用。