TWEO：无极端异常值的Transformer 实现了FP8训练和量化

这篇研究论文介绍了TWEO，这是一种改进的Transformer架构，旨在简化和加速训练，尤其是在使用低精度格式时。 专注于FP8训练和量化，表明了提高大型语言模型效率和可访问性的努力。

• •TWEO是一种新的Transformer架构。
• •该架构侧重于FP8训练和量化。
• •目标是提高训练效率。