港中文-商汤OpenMMLab开源全景图!

AI算法与图像处理

共 4087字,需浏览 9分钟

 · 2020-08-10


点击上方AI算法与图像处理”,选择加"星标"或“置顶”

重磅干货,第一时间送达

来源:OpenCV中文网


OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法。


OpenMMLab 在Github上不是一个单独项目,除了大家所熟知的 Github 上万 star 目标检测库 MMDetection,还有其他方向的代码库和数据集,非常值得从事计算机视觉研发的朋友关注。


近期 OpenMMLab 进行了密集更新,新增了多个库,官方称涉及超过 10 个研究方向,开放超过 100 种算法和 600 种预训练模型,目前Github总星标超过 1.7 万。是CV方向系统性较强、社区活跃的开源平台。


这些库大部分都基于深度学习 PyTorch 框架,算法紧跟前沿,方便易用,文档较为丰富,无论对于研究还是工程开发的朋友都很值得了解。


项目主页:

http://openmmlab.org/


本文带领大家细数各个代码库,相信总有一款适合你!


MMCV



MMCV是用于计算机视觉研究的基础Python库,支持OpenMMLab旗下其他开源库。
Github | https://github.com/open-mmlab/mmcv
主要功能是I/O、图像视频处理、标注可视化、各种CNN架构、各类CUDA操作算子。

MMDetection


MMDetection是基于PyTorch的开源目标检测工具箱。是OpenMMLab最知名的开源库,几乎是研究目标检测必备!

主要特点:

  • 模块化设计

  • 支持开箱即用的多方法

  • 高效率

  • SOTA

demo:


Github | https://github.com/open-mmlab/mmdetection

主持的主干网:

  •  ResNet

  •  ResNeXt

  •  VGG

  •  HRNet

  •  RegNet

  •  Res2Net

支持的算法:

  •  RPN

  •  Fast R-CNN

  •  Faster R-CNN

  •  Mask R-CNN

  •  Cascade R-CNN

  •  Cascade Mask R-CNN

  •  SSD

  •  RetinaNet

  •  GHM

  •  Mask Scoring R-CNN

  •  Double-Head R-CNN

  •  Hybrid Task Cascade

  •  Libra R-CNN

  •  Guided Anchoring

  •  FCOS

  •  RepPoints

  •  Foveabox

  •  FreeAnchor

  •  NAS-FPN

  •  ATSS

  •  FSAF

  •  PAFPN

  •  Dynamic R-CNN

  •  PointRend

  •  CARAFE

  •  DCNv2

  •  Group Normalization

  •  Weight Standardization

  •  OHEM

  •  Soft-NMS

  •  Generalized Attention

  •  GCNet

  •  Mixed Precision (FP16) Training

  •  InstaBoost

  •  GRoIE

  •  DetectoRS

  •  Generalized Focal Loss

论文盘点 | CVPR 2020 -目标检测篇


MMDetection3D


从CVPR2020 中也可以看出3D目标检测研究异常火热,该库是专门用于3D目标检测的开源库。

主要特点:

  • 支持开箱即用的多模态/单模态检测器

  • 支持开箱即用的室内/室外检测器

  • 与2D目标检测自然融合

  • 高效率

demo:


Github | https://github.com/open-mmlab/mmdetection3d
论文盘点 | CVPR 2020 -目标检测篇


MMSegmentation



MMSegmentation是一个基于PyTorch的开源语义分割工具箱.

主要特点:

  • 统一基准

  • 模块化设计

  • 支持开箱即用的多方法

  • 高效率

demo:


Github | https://github.com/open-mmlab/mmsegmentation

支持的骨干网:

  •  ResNet

  •  ResNeXt

  •  HRNet

支持的算法:

  •  FCN

  •  PSPNet

  •  DeepLabV3

  •  PSANet

  •  DeepLabV3+

  •  UPerNet

  •  NonLocal Net

  •  EncNet

  •  CCNet

  •  DANet

  •  GCNet

  •  ANN

  •  OCRNet

论文盘点 | CVPR 2020 -语义分割篇


MMClassification



MMClassification是基于PyTorch的开源图像分类工具箱。


主要特点:

  • 各种骨干与预训练模型

  • Bag of training tricks

  • 大规模训练配置

  • 高效率与可扩展性


Github | https://github.com/open-mmlab/mmclassification

支持的骨干网:

  •  ResNet

  •  ResNeXt

  •  SE-ResNet

  •  SE-ResNeXt

  •  RegNet

  •  ShuffleNetV1

  •  ShuffleNetV2

  •  MobileNetV2

  •  MobileNetV3


MMPose



MMPose是一个基于PyTorch的开源姿势估计工具箱。

demo:


Github | https://github.com/open-mmlab/mmpose
论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇


MMAction


MMAction是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 可以解决以下任务:

  • 从剪辑视频中进行动作识别

  • 未剪辑视频中的时序动作检测(也称为动作定位)

  • 未剪辑视频中的时空动作检测。

  • 支持各种数据集

  • 支持多动作理解框架

  • 模块化设计


Github | https://github.com/open-mmlab/mmaction

论文盘点 | CVPR 2020 -动作识别篇


MMAction2


MMAction2是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 模块化设计

  • 支持多种数据集

  • 支持多重动作理解框架

  • 完善的测试和记录

MMAction2比MMAction支持的算法更多,速度更快,开发者也更活跃。

demo:


Github | https://github.com/open-mmlab/mmaction2

支持的动作识别算法:

  •  TSN

  •  TSM

  •  R(2+1)D

  •  I3D

  •  SlowOnly

  •  SlowFast

支持的动作定位算法:

  •  BMN

  •  BSN

论文盘点 | CVPR 2020 -动作识别篇



MMSkeleton



MMSkeleton

用于人体姿势估计,基于骨架的动作识别和动作合成。

特点:

  • 高扩展性

  • 多任务

demo:


Github | https://github.com/open-mmlab/mmskeleton

论文盘点 | CVPR 2020 -动作识别篇

论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇



MMFashion



MMFashion是一个基于PyTorch的开源视觉时尚分析工具箱。

特点:

  • 灵活:模块化设计,易于扩展

  • 友好:外行用户的现成模型

  • 全面:支持各种时装分析任务

demo:





 


 



Github | https://github.com/open-mmlab/mmfashion

支持应用:

  • 服饰属性预测

  • 服饰识别与检索

  • 服饰特征点检测

  • 服饰解析和分割

  • 服饰搭配推荐

相关解读 | 当时尚遇上AI!港中文MMLab开源MMFashion工具箱

相关解读 | 研究CV、研究美,MMFashion开源库升级~



MMEditing





MMEditing是基于PyTorch的开源图像和视频编辑工具箱
主要特点:


  • 模块化设计
  • 在编辑中支持多任务
  • SOTA


demo:




Github | https://github.com/open-mmlab/mmediting
论文盘点 | CVPR 2020 -抠图Matting篇
论文盘点 | CVPR 2020 -图像质量评价篇
论文盘点 | CVPR 2020 -去雨去雾去模糊篇
论文盘点 | CVPR 2020 -图像修复Inpainting篇
论文盘点 | CVPR 2020 -图像增强与图像恢复篇

OpenPCDet



OpenPCDet 是一个清晰,简单,自成体系的开源项目,用于基于LiDAR的3D目标检测。

设计模式:



Github | https://github.com/open-mmlab/OpenPCDet
支持一阶段和两阶段的3D目标检测框架、多机多卡分布式训练和测试、ATSS等。

论文盘点 | CVPR 2020 -目标检测篇



OpenUnReID




OpenUnReID是研究用于目标重识别的无监督学习和无监督域适应的开源库,基于PyTorch实现。
主要特点:


  • 多机多卡分布式训练和测试

  •  支持数据集、骨干网、损失函数高度灵活的结合

  •  高速的基于GPU的伪标签生成和k-reciprocal重排序方法

  •  即插即用的适用任何骨干网的批规范化方法:BatchNorms、sync BN

  •  强大的基线实现

  •  目前目标重识别领域无监督学习和域适应的众多SOTA算法

支持算法:



Github | https://github.com/open-mmlab/OpenUnReID


OpenSelfSup



OpenSelfSup是基于PyTorch的无监督表示学习工具箱



主要特点:


  • 方法众多
  • 灵活可扩展
  • 高效
  • 算法比较评测简单


包含算法:



其中BYOL刚出来没多久!


Github | https://github.com/open-mmlab/OpenSelfSup
相关解读 | OpenSelfSup: Open-MMLab自监督表征学习代码库


下载1
在「AI算法与图像处」公众号后台回复:yolov4即可下载 YOLOv4 trick相关论文

下载2
AI算法与图像处公众号后台回复:DL三件套即可下载包括经典好书

个人微信(如果没有备注不拉群!
请注明:地区+学校/企业+研究方向+昵称


浏览 56
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报