統一的なシーン理解とマルチモーダル生成のための3Dガウス駆動世界モデル

この論文は、3Dガウスシーン表現を活用して、運転環境におけるシーン理解とマルチモーダル生成を改善する新しいDriving World Model (DWM)を紹介しています。主な革新は、言語的特徴をガウスプリミティブに埋め込むことによって、テキスト情報を3Dシーンに直接整合させ、より良いコンテキストと推論を可能にすることです。この論文は、3Dシーン理解、マルチモーダル生成、およびコンテキストエンリッチメントを組み込むことによって、既存のDWMの限界に対処しています。タスク対応の言語ガイド付きサンプリング戦略とデュアルコンディションマルチモーダル生成モデルの使用は、フレームワークの機能をさらに強化します。著者は、nuScenesおよびNuInteractデータセットで最先端の結果を使用してアプローチを検証し、コードを公開する予定であり、この分野への貴重な貢献となっています。

• •3Dガウスシーン表現に基づく新しいDWMを提案。
• •3Dシーン理解とマルチモーダルシーン生成の両方を可能にする。
• •言語的特徴をガウスプリミティブに埋め込むことで、早期のモダリティアライメントを実現。
• •タスク対応の言語ガイド付きサンプリング戦略を採用。
• •デュアルコンディションマルチモーダル生成モデルを利用。
• •nuScenesおよびNuInteractデータセットで最先端のパフォーマンスを達成。
• •コードは公開される予定。