MoR：动态混合精度训练

Research Paper#Deep Learning, Quantization, Mixed-Precision Training🔬 Research|分析: 2026年1月3日 19:34•
发布: 2025年12月28日 06:28
•
1分で読める
•ArXiv

分析

本文介绍了Mixture-of-Representations (MoR)，一个用于混合精度训练的新框架。它基于张量的属性，在张量和子张量级别动态地选择不同的数值表示（FP8和BF16）。这种方法旨在提高低精度训练的鲁棒性和效率，并可能实现使用更低精度格式（如NVFP4）。主要贡献是动态的、属性感知的量化策略。
引用 / 来源
查看原文
"Achieved state-of-the-art results with 98.38% of tensors quantized to the FP8 format."
A
ArXiv2025年12月28日 06:28
* 根据版权法第32条进行合法引用。
较旧

On Composite Foster Functions for a Class of Singularly Perturbed Stochastic Hybrid Inclusions

较新

Fast mixing in Ising models with a negative spectral outlier via Gaussian approximation

相关分析

Research Paper

SpaceTimePilot：时空控制的生成视频渲染

2026年1月3日 06:10

Research Paper

量子混沌哈密顿量演化下的随机性生成

2026年1月3日 06:10

Research Paper

GaMO：几何感知扩散用于稀疏视角3D重建

2026年1月3日 06:32

来源: ArXiv