Daily Trend [11-09]

【1】RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

【URL】http://arxiv.org/abs/2311.01455

【Time】2023-11-02

一、研究领域

generative robotic agent

二、研究动机

robotic research一个很有挑战的task是：赋予机器人多种技能，使它们能够在各种non-factory环境中运行，并为人类执行各种各样的任务。但是，由于现实世界数据收集的昂贵且费力的性质，所以其中许多技能都是在具有适当领域随机化的模拟中进行训练，然后部署到现实世界。文章利用现有的基础模型，提出了一种自动化的范式驱动机器人的skill learning。

三、方法与技术

RoboGen包含四个阶段：

（1）task proposal：使用特定的robot type和从池中随机采样的object来初始化系统，使系统能够生成 meaningful, diverse, and high-level 的 tasks for robots to learn （形式是query texts）。

（2）scene generation：先用GPT增强query（不在database中的物体描述等）；再从objaverse中检索object或者用text-to-image-to-3D模型生成assets（形式是3D mesh）；然后使用这些assets和特定的configuration来填充相应的场景，从而生成任务对应的场景。

（3）training supervision generation：RoboGen 中集成了三种不同类型的学习算法：强化学习、进化策略、基于梯度的轨迹优化和具有运动规划的动作原语，不同的算法适用于不同类型的任务。用GPT-4编写奖励函数，以及决策使用哪种算法解决哪种任务。

（4）skill learning with generated information：一旦我们获得了所提出的任务所需的所有信息，包括场景组件和配置、任务分解以及分解的子任务的训练监督，就能够为机器人构建模拟场景，以学习完成任务所需的技能任务。

四、总结

非常复杂的pipeline居然很神秘地work了，背后应该涉及非常多的工程性问题。