点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
前言
这一篇文章核心介绍一些two-sgate的方法中的refine阶段怎么做的。
1. 为啥要做两阶段方法
2. two-sgate 的第二阶段,refine怎么做?
F-pointnet
PointRCNN
Fast-PointRcnn
STD
PV-RCNN
这篇文章的解读已经很多了,作者自己的讲解中也说到这个方法是想 融合point和voxel二者的优点,其中proposals由voxel-based的backbone提出,然后第二阶段的refine也是在proposal内部的点上集成point的feature,这里作者设计的融合方法和前面提到的文章的最大的不同就是grid的使用。之前的refine的方法尽管也都是在原始的点上进行的,(partA2这篇文章有在BEV上做过),但是不可避免的一个问题是每一个proposals中的点个数一样,同时点的分布也是不同的,以前的方法都是直接采用pointnet网络将batch这个维度直接和point这个维度融合在一起。而PVRCNN的refine网络不一样的是对每一个proposas内部均匀划分设置了6×6×6个格点,而这些格点会通过插值的方式得到原始点云的特征,最终是在这些格点中进行refine工作。
所谓均匀的格点就如下图所示。其中红色的这种均匀的点就是作者自己设置的,然后灰色的点是原始点云的点,可以通过特征插值的方式(3NN)将原始点云的点插值给均匀设置的点,这样设置点后,每一个proposal的点个数一致。
3DCVF & MMF
具体的refine网络如下所示,首先也是在bbox表面设置一些特征点,由于本文采用的是Image信息融合,所以在设计refine网络时,先是回到iamge域得到特征(也就是特征融合),然后再采用pointnet对点信息融合做refine。
笔者总结
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。 同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿 ▲长按关注公众号
▲长按关注公众号