言語駆動型3Dシーンにおけるリアルタイム物理シミュレーション

本論文は、自然言語プロンプトを使用して3D Gaussian Splatting (3DGS)シーンのリアルタイム、物理ベースの4Dアニメーションを可能にする新しいフレームワーク、PhysTalkを紹介しています。既存の視覚シミュレーションパイプラインの限界に対処し、時間のかかるメッシュ抽出やオフライン最適化を回避するインタラクティブで効率的なソリューションを提供します。大規模言語モデル（LLM）を使用して3DGSパラメータを直接操作するための実行可能コードを生成することは、オープンボキャブラリーの視覚効果生成を可能にする重要な革新です。このフレームワークは、トレーニング不要で計算負荷が少ないため、アクセスしやすく、オフラインレンダリングからインタラクティブな対話へのパラダイムシフトを実現します。