首页 文章详情

全景分割新标杆!南大&港大提出:Panoptic SegFormer

公众号CVer | 271 2021-09-13 17:26 0 0 0
UniSMS (合一短信)

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

本文转载自:Smarter


前一段时间的MaskFormer提出可以将分割任务看成是mask预测任务(详细可以看之前的文章MaskFormer:语义分割是像素分类问题吗?),Panoptic SegFormer思路和MaskFormer类似。


Panoptic SegFormer

论文:https://arxiv.org/abs/2109.03814


相比于MaskFormer主要有3点不同:


1.backbone部分采用PVTv2,并且同时使用backbone的多尺度feature


2.引入了location decoder,通过辅助的位置预测loss加快收敛


3.提出mask-wise merge的策略来合并things和stuff



01

Overall architecture



Panoptic SegFormer整体框架如图所示。先通过backbone抽取多尺度feature,然后送入transformer encoder编码,最后通过location decoder和mask decoder解码。训练阶段,先进行双边匹配得到每个query对应的label,location decoder输出预测位置和尺寸,mask decoder输出预测mask和类别;推理阶段,用mask-wise merge策略对预测结果去重。


下面详细讲一下location decoder、mask decoder和mask-wise merge部分。


Location Decoder


给定N个初始化queries,训练阶段,在location decoder后面添加一个辅助MLP来预测位置和尺寸,location decoder的输出称为location-aware queries;推理阶段,去除辅助MLP。这一个辅助loss,可以帮助网络快速收敛,每个query关注区域指向性更明确。


Mask Decoder



mask decoder将location decoder的输出location-wise queries当作query,和MaskFormer预测mask和类别不同的是,Panoptic SegFormer预测mask需要先将attention map拆分成A3,A4,A5,然后都上采样到H/8xW/8的分辨率,concat在一起得到A_fuse,最后通过1x1卷积得到mask预测结果。


Mask-Wise Merge



之前的分割去重,一般都是使用pixel-wise argmax策略,也就是重叠部分保留预测分数最大的类别。本文提出的mask-wise merge策略,对于重叠部分进行舍弃,上图是伪代码。


02

实验结果



从上表可以看出,Panoptic SegFormer比之前的算法收敛速度更快,效果更好。



可视化对比,Panoptic SegFormer预测结果更加sharp,并且由于mask-wise merge策略,实例之间的边缘更加清晰。


03

总结


之前的全景分割算法如Panoptic FCN和Panoptic-DeepLab都引入了位置辅助预测,在MaskFormer中引入位置预测是很自然的,这有利于query快速关注到合适的位置,帮助模型更好的收敛。


Panoptic SegFormer用了更好的backbone(并且增加了多尺度特征),更好的位置先验,更好的后处理,Panoptic SegFormer做的相当完整了,全景分割想再进一步提升感觉非常困难了。



Panoptic SegFormer论文下载


后台回复:PSegFormer,即可下载上述论文PDF


ICCV和CVPR 2021论文和代码下载


后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集

后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集

后台回复:Transformer综述,即可下载最新的两篇Transformer综述PDF


重磅!图像分割交流群成立


扫码添加CVer助手,可申请加入CVer-图像分割微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。


一定要备注:研究方向+地点+学校/公司+昵称(如图像分割+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲长按加小助手微信,进交流群

▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter