TWEO：異常値の少ないTransformerによりFP8トレーニングと量子化が容易に

この研究論文は、FP8フォーマットでのトレーニングを中心に、トレーニングを簡素化し高速化するように設計された、修正されたTransformerアーキテクチャTWEOを紹介します。 FP8トレーニングと量子化に焦点を当てることで、大規模言語モデルの効率性とアクセシビリティを向上させるための取り組みが示唆されています。

• •TWEOは新しいTransformerアーキテクチャです。
• •このアーキテクチャはFP8トレーニングと量子化に焦点を当てています。
• •目的はトレーニング効率を改善することです。