NUSが「DMax」を発表:超高速な拡散大規模言語モデル (LLM) の画期的な新パラダイム
分析
シンガポール国立大学は、並列デコーディングを大幅に加速させる拡散大規模言語モデル (LLM) の非常にエキサイティングな進歩である「DMax」を導入しました。生成プロセスを漸進的な自己洗練メカニズムに巧みに再定義することで、モデルは埋め込み (Embeddings) レベルで自身のエラーを反復的に修正できます。この画期的な成果は、精度を犠牲にすることなく、1秒あたりのトークン処理量の飛躍的な向上を実現し、超効率な推論に向けたワクワクするような一歩を示しています。
重要ポイント
引用・出典
原文を見る"DMaxは、マスク埋め込み (Embeddings) からトークン埋め込みへの漸進的な自己洗練としてデコーディングを再定義します...様々なベンチマークによる広範な実験が、DMaxの有効性を実証しています。オリジナルのLLaDA-2.0-miniと比較して、本手法はGSM8KでのTPFを2.04から5.47に向上させつつ、精度を維持しています。"