具身智能又进一步！卡内基梅隆&Meta&苏黎世联邦实现虚拟人超灵活抓取

文章摘要

本文介绍了一种用于控制虚拟人形抓取物体并沿物体轨迹移动的新方法。通过设计一种灵巧且通用的人形机器人运动表示，本文方法显著提高了样本效率，并实现了高成功率的抓取策略。关键在于利用人形运动表示学习合成抓取姿势和轨迹，无需配对的全身和物体运动数据。实验表明，该方法能够适应超过1200种物体，并在未见过的对象上实现好的泛化能力。

Omnigrasp：抓取多样化的物体并跟随物体轨迹

针对抓取物体并沿多样化轨迹的挑战，本文提出了一种分层强化学习框架，利用简单且有效的奖励和状态设计，结合灵巧人形机器人运动表示PULSE-X，实现高效抓取策略学习。

PULSE-X：基于物理的通用灵巧人形机器人运动表示

本文介绍了PULSE-X，一种包含关节手指动作的运动表示。通过数据增强和在线蒸馏学习，PULSE-X能够生成类似人类的动作，加速训练过程，且不需要真实的全身运动数据集。

预抓取引导的物体操作

使用PULSE-X训练的策略能够基于潜在运动表示执行任务，简化了状态和奖励的设计，允许在没有配对的物体和人类运动数据的情况下学习抓取策略。

实验

本文的方法在GRAB和OakInk数据集上表现出色，展现了在抓取和轨迹跟踪方面的高成功率。跨数据集实验进一步证明了该方法在未见过物体上的鲁棒性。

消融 & 分析

消融实验表明，PULSE-X动作空间、预抓取指导、灵巧数据集的训练以及难负样本挖掘对提高抓取成功率至关重要。多样化的抓取策略分析显示，本文方法能够根据物体形状和轨迹调整抓取姿态。

限制、总结和未来工作

尽管本文方法展现了可行性，但在旋转误差、手内操作精确性、特定类型抓取等方面还有改进空间。未来工作将着重于提高轨迹跟踪成功率、抓取多样性并支持更多物体类别。