融合されたTritonカーネルを用いた八元数Bitnet：スパース性と次元特化の探求

この投稿では、カスタム融合Tritonカーネルで実装された、八元数とBitnetからの三項重みを組み合わせた実験について詳しく説明しています。主な革新は、複数のmatmulカーネル起動を単一の融合カーネルに削減することと、八元数ヘッドミキシングです。初期の結果は、急速な収束と良好な汎化を示しており、検証損失がトレーニング損失を下回ることもあります。モデルは、トレーニング中に高いスパース性（80〜90％）に向かう自然な傾向を示し、大幅な圧縮を可能にします。さらに、モデルはさまざまな単語タイプに対して異なる次元に特化しているように見え、八元数構造が有益であることを示唆しています。ただし、著者は、浮動小数点モデルまたはBitNet自体に対するパフォーマンスを比較するために、より広範なテストが必要であることを認めています。