用于透明物体感知的扩散模型

本文介绍了一种用于透明物体深度和法线估计的新方法，这对于计算机视觉来说是一个非常困难的问题。作者利用了视频扩散模型的生成能力，这些模型隐式地理解了光与透明材料相互作用的物理学。他们创建了一个合成数据集（TransPhy3D）来训练一个视频到视频的翻译器，并在几个基准测试中取得了最先进的结果。这项工作意义重大，因为它展示了将生成模型重新用于具有挑战性的感知任务的潜力，并为机器人抓取等现实世界的应用提供了实用的解决方案。

• •提出了一种使用视频扩散模型进行透明物体深度和法线估计的新方法。
• •引入了一个用于训练模型的合成数据集 (TransPhy3D)。
• •在包括真实世界数据集在内的几个基准测试中取得了最先进的结果。
• •展示了将生成模型重新用于感知任务的潜力。
• •为机器人抓取等应用提供了实用的解决方案。