用于透明物体感知的扩散模型

本文介绍了一种用于透明物体深度和法线估计的新方法，这对于计算机视觉来说是一个非常困难的问题。作者利用了视频扩散模型的生成能力，这些模型隐式地理解了光与透明材料相互作用的物理学。他们创建了一个合成数据集（TransPhy3D）来训练一个视频到视频的翻译器，并在几个基准测试中取得了最先进的结果。这项工作意义重大，因为它展示了将生成模型重新用于具有挑战性的感知任务的潜力，并为机器人抓取等现实世界的应用提供了实用的解决方案。