技术圈首页
程序员
解决方案
聚合短信
APP下载
登录
注册
首页
文章详情
【IJCAI2022教程】可微分优化:将结构信息集成到训练流程中
数据派THU
|
79
2022-08-03 14:32
0
0
0
来源:
专知
本文
约1000字
,建议阅读
5分钟
本教程从可微优化的基础开始,讨论如何将优化转换为可微构建块,以便在更大的体系结构中使用。
结构信息和领域知识是训练一个好的机器学习模型的两个必要组成部分,以最大限度地提高目标应用中的性能。本教程总结了如何使用优化作为可区分的构建块,将应用程序中的重要操作信息合并到机器学习模型中。
机器学习模型在许多工业应用和社会挑战中取得了重大成功,包括自然语言处理、计算机视觉、时间序列分析和推荐系统。为了适应不同的应用,将应用中的结构信息和领域知识纳入机器学习模型是训练过程中的一个重要元素。但是它经常依赖于微调和特征工程,而没有系统的方法来适应各种应用。另一方面,运筹学是一种应用驱动的方法,优化问题是在目标应用的知识和约束的基础上制定,以导出可操作的解决方案。优化公式在应用中可以捕获结构信息和领域知识,但优化过程的不可微性和复杂的操作过程使其难以集成到机器学习模型中。
本教程从可微优化的基础开始,讨论如何将优化转换为可微构建块,以便在更大的体系结构中使用。
可微优化的直接好处是将优化公式中的结构信息和领域知识集成到机器学习模型中。本教程的第一部分涵盖了各种应用,将优化作为机器学习模型中的可微单元,以适当地处理强化学习、控制、最优运输和几何中的操作任务。实验表明,可微优化方法比神经网络更能有效地模拟操作过程。本教程的第二部分侧重于将各种工业和社会挑战作为可区分的优化层集成到训练管道中。这种机器学习模型和应用驱动优化的集成导致端到端学习,以决策为中心的学习,训练模型直接优化目标应用中的性能。最后,本教程总结了可微优化的一系列应用及其计算限制,并为读者提供了各种开放的方向。
https://guaguakai.github.io/IJCAI22-differentiable-optimization/
0
赞
0
收藏
×
添加附言
附加内容, 使用此功能的话, 会给所有参加过讨论的人发送提醒.
回复数量:
0
暂无评论~~
请注意单词拼写,以及中英文排版,
参考此页
支持 Markdown 格式,
**粗体**
、~~删除线~~、
`单行代码`
, 更多语法请见这里
Markdown 语法
支持表情,见
Emoji cheat sheet
@name 会链接到用户页面,并会通知他
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jp(e)g, png, gif
Ctrl+Enter
下载APP
数据派THU
1275
文章
3
获赞
关注TA
NEW
相关文章推荐
迈向可验证的 AI: 形式化方法的五大挑战
送3本好书,唤醒超能力
送3本好书,助你爆发式成长
三伏盛夏,送3本好书
人工智能|制造业人工智能的8大应用场景
比A100性能高4.5倍!英伟达H100横扫AI推理基准测试
博士推荐:几个高质量人工智能方向的优质原创公众号
AI技术栈太庞大!吴恩达给出职业生涯规划:终生学习