首页 文章详情

史上最全 | 室外大规模3D检测数据集汇总

3D视觉工坊 | 17 2022-11-24 18:02 0 0 0
UniSMS (合一短信)

点击进入—>3D视觉工坊学习交流群

1、KITTI数据集

年份:2012年;

作者:Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago;

场景数:约50个,室外场景;

类别数:共9类,分别是Car,Van,Truck,Pedestrian,Person_sitting,Cyclist,Tram,Misc,DontCare;

是否360°采集:否;

数据总量:包括7481张训练集,7518张测试集,以及其对应的点云数据;

标注总数:约200,000个3D标注框;

传感器型号:GPS/IMU型号为OXTS RT 3003,激光雷达型号为Velodyne HDL-64E,灰度相机型号为FL2-14S3M-C,彩色相机型号为FL2-14S3C-C,激光雷达的频率为10帧/秒,每次循环大约捕捉100,000个点,相机快门时间最快2ms,且使用激光雷达触发相机拍摄,因此相机频率与激光雷达频率持平;

数据集链接:https://www.cvlibs.net/datasets/kitti/index.php;

简介:KITTI是自动驾驶领域最重要的数据集之一,提供了大量的真实场景数据,用来更好的度量和测试算法的表现。除3D目标检测外,KITTI数据集还可用于评测立体图像,光流,视觉测距,3D跟踪等计算机视觉技术在车载环境下的性能。每张图像中最多达15辆车和30个行人目标,同时包含了各种程度的遮挡与截断。

2、nuScenes数据集

年份:2019年;

作者:nuTonomy;

场景数:约1000个场景,室外场景,采集自Boston和Singapore;

类别数:共23类,包括Car,Pedestrian,Bus,Bicycle等;

是否360°采集:是;

数据总量:包括40,000张图像数据,及其对应的点云数据;

标注总数:约1400,000个3D标注框;

传感器型号:共配备了6个相机型号为Basler acA1600-60gc,分辨率均为1600x900,除了背面的相机FOV为110°,其他的5个相机的FOV为70°,前置相机和侧面相机的视野中线角度为55度,相机采集速率为12Hz,使用了一个32线的LiDAR,型号为Velodyne HDL32E,采集频率为20Hz,还配置了5个Radar型号为Continental ARS 408-21,以及一个GPS/IMU型号为Advanced Navigation Spatial;

数据集链接:https://www.nuscenes.org/nuscenes#overview;

简介:nuScenes是自动驾驶领域最重要的数据集之一,相比KITTI数据集,nuScenes规模更大,同时记录了雷达数据(采集自Radar)。数据集由1000个场景组成,每个场景长度为20秒。在每一个场景中,有40个关键帧,也就是每秒有2个关键帧,其他的帧为sweeps。关键帧经过手工的标注,每一帧中都包含若干个annotation,标注的形式为bounding box,不仅标注了大小、范围、还有类别、可见程度等。这个数据集在样本的数量上、标注的形式上都非常好,记录了车的自身运动轨迹(相对于全局坐标),包含了非常多的传感器,可以用来实现更加智慧的识别算法和感知融合算法。

3、Waymo数据集

年份:2020年;

作者:Waymo LLC和Google LLC

场景数:共1150个场景,主要采集自San Francisco,Mountain View,Phoenix等;

类别数:共4类,分别是Vehicles,Pedestrians,Cyclists及Signs;

是否360°采集:是;

数据总量:共包含 2030个片段,每个片段长度为20秒;

标注总数:约12,600,000个3D标注框;

传感器型号:包含1个mid-range LiDAR,4个short-range LiDARs,5个相机(前置及侧面),同时LiDAR和相机是经过同步和标定处理过的;

数据集链接:https://waymo.com/open/;

简介:Waymo是自动驾驶领域最重要的数据集之一,规模很大,主要用以支持自动驾驶感知技术的研究。Waymo主要由两个数据集组成,Perception Dataset及Motion Dataset。其中,Perception Dataset包含3D标注,2D全景分割标注,关键点标注,3D语义分割标注等。Motion Dataset主要用于交互任务的研究,共包含103,354个20s片段,标注了不同物体及对应的3D地图数据。

4、Lyft L5数据集

年份:2019年;

作者:Woven Planet Holdings;

场景数:共1805个场景,室外;

类别数:共9类,包括Car,Pedestrian,traffic lights等;

是否360°采集:是;

数据总量:包括46,000张图像数据,及其对应的点云数据;

标注总数:约1300,000个3D标注框;

传感器型号:包括2个LiDARs,分别是40线和64线,安装在车顶及保险杠上,其分辨率为0.2°,在10Hz下采集约216,000个点。此外,还包括6个360°相机和1个长焦相机,摄像机与LiDAR采集频率一致。

数据集链接:https://level-5.global/data/;

简介:Lyft L5是一整套L5级自动驾驶数据集,据称“业内最大的自动驾驶公共数据集”,涵盖了Prediction Dataset及Perception Dataset。其中Prediction Dataset涵盖了自动驾驶测车队在Palo Alto沿线遇到的各类目标,如Cars,Cyclists和Pedestrians。Perception Dataset则涵盖了自动驾驶车队装置的LiDARs和摄像机采集的真实数据,并通过人工方式标注了大量的3D边界框。

5、H3D数据集

年份:2019年;

作者:Honda Research Institute;

场景数:共160个场景,室外;

类别数:共8类;

是否360°采集:否;

数据总量:包括27,000张图像数据,及其对应的点云数据;

标注总数:约1100,000个3D标注框;

传感器型号:共配备了3个相机型号为Grasshopper 3,分辨率均为1920x1200,除了背面的相机FOV为80°,其他的2个相机的FOV为90°,使用了一个64线的LiDAR,型号为Velodyne HDL64E S2,以及一个GNSS+IMU型号为ADMA-G;

数据集链接:http://usa.honda-ri.com/H3D;

简介:本田研究所于2019年3月发布其无人驾驶方向数据集H3D。该数据集使用3D LiDAR扫描仪收集的包括3D多目标检测和跟踪数据,包含160个拥挤且高度互动的交通场景,在27,721帧中有超过100万个标记实例。

6、ApplloScape数据集

年份:2019年;

作者:Baidu Research;

场景数:共103个场景,室外;

类别数:共26类,包括small vehicles,big vehicles,pedestrian,motorcyclist等;

是否360°采集:否;

数据总量:包括143,906张图像数据,及其对应的点云数据;

标注总数:标注总数未知;

传感器型号:共配置了2个VUX-1HA laser scanners,6个VMX-CS6相机(其中两个前置相机分辨率为3384x2710),还有一个IMU/GNSS设备;laser scanners利用两束激光来扫描其周围环境,与常用的Velodyne HDL64E相比,scanner可以获得更高密度的点云,同时具备更高精度(5mm/3mm);

数据集链接:http://apolloscape.auto/index.html;

简介:ApolloScape由RGB视频和对应的稠密点云组成。包含超过140K张图片,并且每张图片都有像素级的语义信息。在国内采集的数据,所以相比于国外的一些数据集,ApolloScape数据集包含的交通场景较复杂,各类目标数量较多,且与KITTI数据集类似,同样包含Easy,Moderate,Hard三个子集。

7、Argoverse数据集

年份:2019年;

作者:Argo AI等;

场景数:共113个场景,室外,包括USA,Pennsylvania,Miami,Florida等;

类别数:共15类,包括Vehicle,Pedestrian,Stroller,Animal等;

是否360°采集:是;

数据总量:包括44,000张图像数据,及其对应的点云数据;

标注总数:约993,000个3D标注框;

传感器型号:与KITTI及nuScenes相似,Argoverse数据集配置了两个32线LiDAR传感器,型号为VLP-32。同时,包括7个高分辨率环视相机,分辨率为1920x1200,2个前置相机,分辨率为2056x2464;

数据集链接:https://www.argoverse.org/;

简介:Argoverse中的数据来自Argo AI的自动驾驶测试车辆在迈阿密和匹兹堡(这两个美国城市面临不同的城市驾驶挑战和当地驾驶习惯)运行的地区的子集。包括跨不同季节,天气条件和一天中不同时间的传感器数据或“日志段”的记录,以提供广泛的实际驾驶场景。其包含了共113个场景的3D跟踪注释,每个片段长度为15-30秒,共计包含11052个跟踪目标。其中,70%的标注对象为车辆,其余对象为行人、自行车、摩托车等;此外,Argoverse包含高清地图数据,主要囊括匹兹堡和迈阿密290公里的车道地图,如位置、连接、交通信号、海拔等信息。

8、Matterport3D数据集

年份:2017年;

作者:Princeton University,Stanford University等;

场景数:共90个建筑物,室内场景;

数据总量:共194,400张RGB-D图像,10,800个全景图像,24,727,520个纹理三角面;

传感器型号:Matterport的数据获取,使用了三脚架固定的相机设备,有3个彩色相机和3个深度相机,分布在上中下。对于每个全景,它需要沿着垂直方向旋转到6个不同的方向(也就是60度拍一下),每个彩色相机都要拍高动态范围图像。当相机旋转时,3个深度相机持续拍摄数据,整合生成1280x1024的深度图像,与每幅彩色照片进行配准。每个全景图像是由18个彩色图片组成,中心点正好是拍摄人员的高度。

数据集链接:https://niessner.github.io/Matterport/#explore;

简介:Matterport3D,是一个大规模的RGB-D数据集。提供了表面重建、相机姿态以及二维和三维语义分割标注。Matterport3D具有的精确全局对准和全面的、多样的、覆盖整个建筑物的全景集,使得各种计算机视觉任务成为可能,包括keypoint matching、view overlap prediction、normal prediction、semantic segmentation, scene classification等;

Reference

[1] https://blog.csdn.net/weixin_40994913/article/details/83663270;

[2] 3D Object Detection for Autonomous Driving: A Survey,Pattern Recognition;

[3] https://gas.graviti.com/open-datasets?usedScene=Autonomous+Driving&from=cn&page=2;

本文仅做学术分享,如有侵权,请联系删文。


点击进入—>3D视觉工坊学习交流群


干货下载与学习

后台回复:巴塞罗自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件

后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf

后台回复:3D视觉课程,即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网:3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法:算法梳理与代码实现
10.自动驾驶中的深度学习模型部署实战
11.相机模型与标定(单目+双目+鱼眼)
12.重磅!四旋翼飞行器:算法与实战
13.ROS2从入门到精通:理论与实战
14.国内首个3D缺陷检测教程:理论、源码与实战
15.基于Open3D的点云处理入门与实战教程
16.透彻理解视觉ORB-SLAM3:理论基础+代码解析+算法改进

重磅!粉丝学习交流群已成立

交流群要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。


扫描以下二维码,添加小助理微信(dddvision),一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿,微信号:dddvision

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,4000+星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
 圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~  

good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter