从无动作视频中学习技能

本文介绍了一种名为“光流技能抽象（SOF）”的新框架，用于从无动作视频中学习潜在技能。其核心创新在于使用光流作为中间表示，以弥合视频动态和机器人动作之间的差距。通过在此基于流的潜在空间中学习技能，SOF有助于高层规划，并简化了技能到机器人可执行命令的转换。实验结果表明，在多任务和长时程设置中，性能均有所提高，突显了SOF直接从原始视觉数据中获取和组合技能的潜力。这种方法为开发能够从容易获得的视频数据中学习复杂行为的通用机器人提供了一条有希望的途径，从而绕过了对大量机器人特定数据集的需求。