新加坡国立大学推出“DMax”:超快扩散大语言模型 (LLM) 的突破性新范式
分析
新加坡国立大学推出了DMax,这是扩散大语言模型 (LLM) 领域的一项极其令人兴奋的进步,极大地加速了并行解码。通过巧妙地将生成过程重新定义为渐进式自我完善机制,该模型能够在嵌入级别迭代地纠正自身的错误。这一突破在牺牲准确性的情况下实现了每秒处理量的巨大飞跃,标志着向超高效推理迈出了激动人心的一步。
要点
引用 / 来源
查看原文"DMax将解码重新定义为从掩码嵌入到令牌嵌入的渐进式自我完善...在各种基准测试中的大量实验证明了DMax的有效性。与原始的LLaDA-2.0-mini相比,我们的方法在保持准确性的同时,将GSM8K上的TPF从2.04提高到了5.47。"