LENS：マルチモーダルセンシングデータからのLLMを活用した精神的健康ナラティブ生成

本論文は、精神的健康評価のためのマルチモーダルセンサーデータから臨床的に関連性の高いナラティブを生成するためにLLMを活用する新しいフレームワーク、LENSを紹介しています。センサーとテキストのペアデータが不足していることと、LLMが時系列データを直接処理できないことが主な課題です。大規模データセットの作成と、時系列統合のためのパッチレベルエンコーダーの開発は重要な貢献です。臨床的関連性に焦点を当て、精神保健専門家からの肯定的なフィードバックは、研究の実用的な影響を強調しています。

• •LENSフレームワークは、精神的健康評価のために、マルチモーダルセンサーデータとLLMの間のギャップを埋めます。
• •EMA応答から大規模データセットを作成することにより、センサーテキストデータセットの不足という課題に対処します。
• •時系列センサーデータをLLMに直接統合するために、パッチレベルエンコーダーを採用しています。
• •ベースラインと比較して優れたパフォーマンスを示し、精神保健専門家から肯定的なフィードバックを受けています。