用于群体智能的贝叶斯Transformer

本文介绍了一种新方法，通过将大型语言模型（LLM）转化为贝叶斯Transformer来增强LLM。核心思想是从一组预先训练好的权重中采样，创建模型实例的“群体”，每个实例的行为略有不同。这允许多样且一致的预测，利用“群体智慧”来提高各种任务的性能，包括零样本生成和强化学习。

• •提出了Population Bayesian Transformers (B-Trans)，从单个预训练的LLM创建模型行为的分布。
• •在归一化层偏差上使用高斯变分近似来引入随机性，而无需完全的贝叶斯训练。
• •在序列级别冻结采样的噪声以保持时间一致性。
• •通过聚合来自多个模型实例的预测，证明了在零样本生成和强化学习任务中的性能有所提高。