新智元
【新智元导读】让机器人研究走向大众。加州大学伯克利分校和谷歌大脑的研究人员联合打造低成本机器人学习平台ROBEL，支持机器人实验扩展和强化学习，兼具稳健性、灵活性和可重复性。该平台现已发布至开源社区。快来新智元 AI 朋友圈参与讨论吧～
ROBEL由D’Claw和D'Kitty组成，D'Claw是一个有三只手臂的机械臂型机器人，可以帮助学习灵巧的操作任务.
D'ClawD'Kitty是一个有四条腿的机器人，可以帮助学习灵活的腿部运动任务。
D'Kitty这个机器人平台是低成本的，模块化的，易于维护，足够强大，能够支持从零开始的硬件强化学习。
左：十二自由度D'Kitty；中：9 自由度D'Claw；右：功能齐全的 D'Claw 装置D’Lantern。
左：站立-直立。中：调整方向-使方向与目标保持一致。右：走-移动到目标点。针对这些基准任务，研究人员评估了几种深度强化学习方法(on-policy, off policy, demo-accelerated, supervised)，评估结果和最终策略被作为baseline包含在软件包中以供比较。具体的任务细节和基线性能请查看论文。
在不同实验室开发的两个真实D'Claw机器人执行任务的训练性能
重要的是，D'Claw平台是高度模块化的，而且具备高度可重复性，便于进行扩展实验。通过扩展设置，我们发现多个D'Claws可以通过共享经验更快地对任务进行集体学习。
通过共享SAC的分布式版本的硬件训练流程，可以面向多个目标任务实现任意角度的结合。在多任务定制中，完成五个任务只需要单个任务经验的2倍即可。在视频中，五只D'Claws机器人将不同的物体旋转180度（这是出于视觉呈现的考虑，实际策略可以实现任意角度的旋转） 我们还成功地在D’Kitty平台上部署了强大的移动策略。下图中为D'Kitty在“盲眼”条件下在室内和室外地形上稳定行走，在“看不见”这一干扰条件下展现了步态的稳健性。
左：躲避移动的障碍物：通过Hierarchical Sim2Real训练的策略可以学习躲避移动障碍物，到达目标位置。中：向移动目标推动另一目标。通过Hierarchical Sim2Real训练的策略学习将目标推向移动目标（由手中的控制器标记）。右图：双机器人协同-通过Hi-Herarchical Sim2Real训练的策略可以学习协调两个D'Kitty机器人，将沉重的障碍物推向目标位置（地板上标出的两个+号）总之，ROBEL平台成本低、性能强大、可靠性高，可以满足新兴的基于学习范式的需求，这些范式需要高度的可扩展性和弹性。我们已经将ROBEL发布到开源社区中，相信可以推动相关研究和实验的多样性的提升。 要使用ROBEL平台和ROBEL基准测试，请访问roboticsbenchmarks.org
参考链接：https://ai.googleblog.com/2019/10/robel-robotics-benchmarks-for-learning.html
