MoR：動的混合精度トレーニング

Research Paper#Deep Learning, Quantization, Mixed-Precision Training🔬 Research|分析: 2026年1月3日 19:34•
公開: 2025年12月28日 06:28
•
1分で読める
•ArXiv

分析

この論文は、混合精度トレーニングのための新しいフレームワークであるMixture-of-Representations (MoR)を紹介しています。テンソルの特性に基づいて、異なる数値表現（FP8とBF16）をテンソルレベルおよびサブテンソルレベルで動的に選択します。このアプローチは、低精度トレーニングの堅牢性と効率を向上させることを目的としており、NVFP4のようなさらに低い精度フォーマットの使用を可能にする可能性があります。主な貢献は、動的でプロパティを意識した量子化戦略です。
引用・出典
原文を見る
"Achieved state-of-the-art results with 98.38% of tensors quantized to the FP8 format."
A
ArXiv2025年12月28日 06:28
* 著作権法第32条に基づく適法な引用です。
古い記事

On Composite Foster Functions for a Class of Singularly Perturbed Stochastic Hybrid Inclusions

新しい記事

Fast mixing in Ising models with a negative spectral outlier via Gaussian approximation

関連分析

Research Paper

SpaceTimePilot：空間と時間の制御による生成ビデオレンダリング

2026年1月3日 06:10

Research Paper

量子カオスハミルトニアン進化におけるランダム性生成

2026年1月3日 06:10

Research Paper

GaMO：幾何学認識拡散を用いた疎視点3D再構成

2026年1月3日 06:32

原文: ArXiv