コントラスト学習による統一3Dインスタンスセグメンテーション

この論文は、3D Gaussian SplattingやNeRFなどの技術を用いて2Dセグメンテーションを3Dに拡張する際に生じる、ビュー間の2Dインスタンスラベルの不整合という課題に取り組んでいます。著者は、コントラスト学習とラベルの一貫性ステップを統合した統一フレームワークUniC-Liftを提案し、効率性とパフォーマンスを向上させています。彼らは、ガウスプリミティブにおけるセグメンテーションのための学習可能な特徴埋め込みと、新しい「Embedding-to-Label」プロセスを導入しています。さらに、境界アーティファクトに対処するために、線形層によって安定化されたハードマイニング技術を組み込んでいます。この論文の重要性は、その統一されたアプローチ、ベンチマークデータセットでのパフォーマンスの向上、および境界アーティファクトに対する新しい解決策にあります。

• •3Dインスタンスセグメンテーションのための統一フレームワークUniC-Liftを提案。
• •コントラスト学習とラベルの一貫性ステップを統合し、効率性とパフォーマンスを向上。
• •学習可能な特徴埋め込みと「Embedding-to-Label」プロセスを導入。
• •ハードマイニングと安定化線形層により、オブジェクト境界アーティファクトに対処。
• •ScanNet、Replica3D、Messy-Roomsデータセットでベースラインを上回る。