QianfanHuijin：金融LLM的多阶段训练

本文介绍了QianfanHuijin，一个金融领域LLM，以及一种新颖的多阶段训练范式。它解决了对既具备领域知识又具备高级推理/代理能力的LLM的需求，超越了简单的知识增强。包括持续预训练、金融SFT、推理RL和代理RL在内的多阶段方法是一个重要的贡献。本文侧重于真实世界的业务场景，并通过基准测试和消融研究进行验证，表明这是一种实用且有影响力的工业LLM开发方法。

• •介绍了金融领域LLM QianfanHuijin。
• •提出了一种用于工业LLM增强的多阶段训练范式。
• •采用了持续预训练、金融SFT、推理RL和代理RL。
• •在金融基准测试中表现出色。
• •消融研究验证了推理和代理RL阶段的有效性。