基于语言的3D场景实时物理模拟

本文介绍了 PhysTalk，这是一个新颖的框架，它使用自然语言提示实现了基于物理的 3D Gaussian Splatting (3DGS) 场景的实时 4D 动画。它解决了现有视觉模拟管道的局限性，提供了一种交互式且高效的解决方案，绕过了耗时的网格提取和离线优化。使用大型语言模型 (LLM) 生成可执行代码以直接操作 3DGS 参数是一项关键创新，允许开放词汇表的视觉效果生成。该框架无需训练且计算量小，使其易于访问，并将范式从离线渲染转变为交互式对话。

• •实现基于物理的 3D 场景实时 4D 动画。
• •使用大型语言模型 (LLM) 将语言提示转换为可执行代码。
• •直接操作 3D Gaussian Splatting (3DGS) 参数。
• •避免耗时的网格提取和离线优化。
• •无需训练且计算量小，使其易于访问。