用于掩码扩散语言模型的激活引导

本文介绍了一种在推理时控制和引导掩码扩散语言模型 (MDLM) 输出的新方法。关键创新在于使用从单个前向传递计算的激活引导向量，这使其具有效率。这解决了当前对 MDLM 理解中的一个空白，MDLM 已经显示出前景，但缺乏有效的控制机制。这项研究侧重于属性调制，并在 LLaDA-8B-Instruct 上提供了实验验证，证明了所提出的框架的实际适用性。

• •提出了一个用于 MDLM 的激活引导框架。
• •从单个前向传递高效地计算引导向量。
• •实现推理时控制和属性调制。
• •在 LLaDA-8B-Instruct 上进行了验证。