极市直播回放丨第76期-许鸿斌：AAAI'21杰出论文，一个解决三维重建对数据依赖的新框架（已开源）-技术圈

↑ 点击蓝字关注极市平台

多视图立体几何（Multi-view Stereo, MVS）是一种很经典的三维重建方法，旨在从多视角图像中恢复场景的三维信息。近年来，越来越多的工作开始将深度学习与传统的多视图立体几何方法结合，以提升三维重建的精度，如MVSNet、R-MVSNet等。尽管深度学习的强大表征能力可以带来显著的性能提升，但是其对于数据的依赖却十分严重，需要大量的数据以及Ground Truth来训练神经网络。在现实场景下，三维的Ground Truth较难获取，采集标注成本很高，给基于深度学习的三维重建带来了不小的困难。

在这次分享中，我们邀请到了来自华南理工大学的许鸿斌，为我们介绍他团队在AAAI 2021上的工作

Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation。

此前的自监督三维重建方法都是基于颜色一致性假设，即匹配点具有相同的颜色。然而这一假设在自然场景下却难以成立，因为不同视角图像之间天然存在的光照差异等干扰，导致匹配点间具有不同的颜色。这可能会导致自监督信号失效，无法有效地起到监督作用，我们称其为颜色一致性歧义问题。针对这一问题，他们团队在自监督训练框架中引入协同分割和数据增强策略：通过协同分割挖掘多视角之间的共有抽象语义，并设计了一个语义一致性损失；通过将自监督训练拓展为双阶段，引入数据增强一致性损失。

在极市平台公众号后台回复“76”或“许鸿斌”即可获取PPT下载地址~

➤详情传送门

极市直播｜AAAI'21杰出论文许鸿斌：一个解决三维重建对数据依赖的新框架（已开源）

➤论文地址

Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation

论文地址：

https://www.aaai.org/AAAI21Papers/AAAI-2549.XuH.pdf

➤分享大纲

1、背景知识（基于深度学习的MVS方法，自监督的MVS方法）

2、存在的核心问题（颜色一致性歧义问题）

3、我们的方法（基于协同分割与数据增强的自监督训练框架）

4、实验分析