本周AI开源项目精选 | 时间序列预测模型、用于对图像进行自我监督学习的python库

七月在线实验室

共 4128字,需浏览 9分钟

 · 2021-03-20


本周关键词:时间序列、Open3D、nni、图像监督

modeltime 时间序列预测模型和机器学习框架


时间序列在变化。企业现在每天需要10,000多个时间序列预测。这就是我所说的高性能时间序列预测系统(HPTSF)-准确,稳健和可扩展的预测。高性能预测系统将为公司节省数百万美元。

特点与优势:

  • Modeltime在一个框架中解锁时间序列模型和机器学习。无需在各种框架之间来回切换。modeltime解锁了机器学习和经典时间序列分析。

  • 预测:使用ARIMA,ETS和更多模型

  • 先知:使用Facebook的先知算法

  • 其他五花八门的模型

  • 简化的预测工作流程。Modeltime合并了一个简单的工作流,以使用最佳实践进行预测。

项目地址:

https://github.com/business-science/modeltime


Open3D-ML Open3D的扩展,可解决3D机器学习任务

Open3D-ML是Open3D的扩展,用于3D机器学习任务。它建立在Open3D核心库的基础上,并通过用于3D数据处理的机器学习工具进行了扩展。此项目集中于诸如语义点云分段之类的应用程序,并提供了可用于常见任务以及用于训练的管道的预训练模型。

Open3D-ML可与TensorFlow和PyTorch轻松集成到现有项目中,并且还提供独立于ML框架的常规功能,例如数据可视化。

Open3D-ML集成在Open3D v0.11 + python发行版中,并且与以下版本的ML框架兼容。

  • PyTorch 1.6

  • TensorFlow 2.3

  • CUDA 10.1 (On GNU/Linux x86_64, optional)


主要功能:

  • 读取数据集  数据集名称空间包含用于读取常见数据集的类。在这里,我们阅读了SemanticKITTI数据集并将其可视化。

  • 模型,数据集和管道的配置存储在ml3d / config中。用户还可以构造自己的yaml文件来保留其自定义配置的记录。

  • 运行预训练的语义分割模型  在前面的示例的基础上,我们可以使用经过预训练的语义分割模型实例化管道,然后在数据集的点云上运行它。请参阅模型动物园以获取预训练模型的权重。

  • 训练语义分割模型  与推理类似,管道提供了用于训练数据集上的模型的接口。

  • 使用预定义脚本。


任务与算法:

  • 语义分割任务

对于语义分割的任务,我们在所有类上使用均值交越联合(mIoU)来衡量不同方法的性能。该表显示了细分任务的可用模型和数据集以及相应的分数。每个分数都链接到各自的体重文件。

Model / Dataset

SemanticKITTI

Toronto 3D

S3DIS

Semantic3D

Paris-Lille3D

RandLA-Net (tf)

53.7

69.0

67.0

76.0

70.0

RandLA-Net (torch)

52.8

71.2

67.0

76.0

70.0

KPConv     (tf)

58.7

65.6

65.0

-

76.7

KPConv     (torch)

58.0

65.6

60.0

-

76.7

  • 目标检测

对于物体检测任务,我们使用鸟瞰(BEV)和3D的平均平均精度(mAP)来测量不同方法的性能。该表显示了对象检测任务的可用模型和数据集以及相应的分数。每个分数都链接到各自的体重文件。为了进行评估,根据KITTI的验证标准,使用验证子集对模型进行了评估。对模型进行了三类训练(汽车,行人和骑自行车的人)。计算出的值是所有难度级别下所有类别的mAP的平均值。

Model / Dataset

KITTI [BEV / 3D]

PointPillars (tf)

61.6 / 55.2

PointPillars (torch)

61.2 / 52.8


项目地址:

https://github.com/intel-isl/Open3D-ML


nni  用于自动化机器学习生命周期的开源AutoML工具包

NNI (Neural Network Intelligence) 是一个轻量但强大的工具包,帮助用户自动的进行特征工程神经网络架构搜索超参调优以及模型压缩

NNI 管理自动机器学习 (AutoML) 的 Experiment,调度运行由调优算法生成的 Trial 任务来找到最好的神经网络架构和/或超参,支持各种训练环境,如本机远程服务器OpenPAIKubeflow基于 K8S 的 FrameworkController(如,AKS 等)DLWorkspace (又称 DLTS), AML (Azure Machine Learning), AdaptDL(又称 ADL) ,和其他的云平台甚至 混合模式

使用场景:

  • 想要在自己的代码、模型中试验不同的自动机器学习算法。

  • 想要在不同的环境中加速运行自动机器学习。

  • 想要更容易实现或试验新的自动机器学习算法的研究员或数据科学家,包括:超参调优算法,神经网络搜索算法以及模型压缩算法。

  • 在机器学习平台中支持自动机器学习。


NNI 功能一览:

NNI 提供命令行工具以及友好的 WebUI 来管理训练的 Experiment。通过可扩展的 API,可定制自动机器学习算法和训练平台。为了方便新用户,NNI 内置了最新的自动机器学习算法,并为流行的训练平台提供了开箱即用的支持。


支持的框架和库        

算法        

内置      


  • 支持的框架

  • PyTorch

  • Keras

  • TensorFlow

  • MXNet

  • Caffe2

  • 支持的库

  • Scikit-learn

  • XGBoost

  • LightGBM

  • 示例

  • MNIST-pytorch

  • MNIST-tensorflow

  • MNIST-keras

  • Auto-gbdt

  • Cifar10-pytorch

  • Scikit-learn

  • EfficientNet

  • GPU Kernel 调优

超参调优        

穷举搜索

  • Random Search(随机搜索)

  • Grid Search(遍历搜索)

  • Batch(批处理)

启发式搜索

  • Naïve Evolution(朴素进化)

  • Anneal(退火算法)

  • Hyperband

  • PBT

贝叶斯优化

  • BOHB

  • TPE

  • SMAC

  • Metis Tuner

  • GP Tuner

基于强化学习

  • PPO Tuner

神经网络架构搜索          

  • ENAS

  • DARTS

  • P-DARTS

  • CDARTS

  • SPOS

  • ProxylessNAS

  • Network Morphism

  • TextNAS

  • Cream

模型压缩          

项目地址:

https://github.com/microsoft/nni/blob/master/README_zh_CN.md#nni-has-been-released


lightly  用于对图像进行自我监督学习的python库

lightly 是一个用于自我监督学习的计算机视觉框架。


基准测试:

当前实施的模型及其在cifar10上的准确性。所有模型均已使用kNN进行了评估。我们报告了各个时期的最大测试精度以及最大的GPU内存消耗。该基准测试中的所有模型都使用相同的增强功能以及相同的ResNet-18主干。训练精度设置为FP32,并且SGD与cosineLR一起用作优化器。

Model

Epochs

Batch Size

Test Accuracy

Peak GPU usage

MoCo

200

128

0.83

2.1 GBytes

SimCLR

200

128

0.78

2.0 GBytes

SimSiam

200

128

0.73

3.0 GBytes

MoCo

200

512

0.85

7.4 GBytes

SimCLR

200

512

0.83

7.8 GBytes

SimSiam

200

512

0.81

7.0 GBytes

MoCo

800

512

0.90

7.2 GBytes

SimCLR

800

512

0.89

7.7 GBytes

SimSiam

800

512

0.91

6.9 GBytes


环境要求:

  • hydra-core>=1.0.0

  • numpy>=1.18.1

  • pytorch_lightning>=0.10.0

  • requests>=2.23.0

  • torchvision

  • tqdm


项目地址:

https://github.com/lightly-ai/lightl



回顾精品内容


推荐系统

1、干货 | 基于用户的协同过滤推荐算法原理和实现

2、超详细丨推荐系统架构与算法流程详解

3、推荐 :一文从0到1掌握用户画像知识体系

机器学习

1、从小白到大师:一文Get决策树的分类与回归分析

自然语言处理(NLP)

1、AI自动评审论文,CMU这个工具可行吗?我们用它评审了下Transformer论文

2、Transformer强势闯入CV界秒杀CNN,靠的到底是什么"基因"

计算机视觉(CV)

1、9个小技巧让您的PyTorch模型训练装上“涡轮增压”...

GitHub开源项目:

1、火爆GitHub!3.6k Star,中文版可视化神器现身

2、两次霸榜GitHub!这个神器不写代码也可以完成AI算法训练

3、OCR神器现世,Star 8.4K,霸榜GitHub

每周推荐:

1、本周优秀开源项目分享:无脑套用格式、开源模板最高10万赞

七月在线学员面经分享:

1、 双非应届生拿下大厂NLP岗40万offer:面试经验与路线图分享

2、转行NLP拿下40万offer:分享我面试中遇到的54道面试题(含参考答案)

3、NLP面试干货分享:从自考本科 在职硕士到BAT年薪80万

浏览 14
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报