拡散言語モデルは最適な並列サンプラー:理論的根拠

公開:2025年12月31日 18:03
1分で読める
ArXiv

分析

この論文は、より高速な推論のための拡散言語モデル(DLM)の効率性について、理論的根拠を提供しています。特にChain-of-Thought(CoT)を付加したDLMが、最適な逐次ステップ数で任意の並列サンプリングアルゴリズムをシミュレートできることを示しています。また、最適な空間計算量と表現力の向上には、リマスキングやリビジョンのような機能が重要であり、DLM設計への組み込みを提唱しています。

参照

多項式長のChain-of-Thought(CoT)で拡張されたDLMは、最適な逐次ステップ数を使用して任意の並列サンプリングアルゴリズムをシミュレートできます。