M$^3$KG-RAG：多跳多模态知识图谱增强检索增强生成
分析
本文介绍了一种新的检索增强生成（RAG）方法 M$^3$KG-RAG，该方法利用多跳多模态知识图谱（MMKG）来增强多模态大型语言模型（MLLM）的推理和基础能力。 主要创新包括用于构建多跳 MMKG 的多代理管道和用于精确实体基础和冗余上下文修剪的 GRASP（Grounded Retrieval And Selective Pruning）机制。 本文解决了现有多模态 RAG 系统的局限性，特别是在模态覆盖、多跳连接和不相关知识的过滤方面。 实验结果表明，MLLM 在各种多模态基准测试中的性能显着提高，表明所提出的方法在增强多模态推理和基础方面是有效的。
引用
“为了解决这些限制，我们提出了 M$^3$KG-RAG，一种多跳多模态知识图谱增强 RAG，它可以从 MMKG 中检索与查询对齐的视听知识，从而提高 MLLM 中的推理深度和答案的忠实度。”