Show HN: LLM推論を2倍高速化（可能性あり）

このHacker Newsの投稿は、LLMの推論速度を、推論中の計算負荷を動的に調整することによって高速化することを目指すプロジェクトを紹介しています。主なアイデアは、許容できる出力品質を維持しながら、より少ない重み乗算（潜在的に20〜25％）を実行することです。実装はM1 / M2 / M3 GPUを対象としており、Llama.cppよりも高速であり、さらなる最適化の可能性があります。このプロジェクトはまた、速度/精度のリアルタイム調整と、モデルの重みの選択的なロードを可能にし、メモリ効率を提供します。Mistral用に実装され、MixtralおよびLlamaでテストされており、FP16サポートとQ8が開発中です。著者は主張の大胆さを認め、アルゴリズムの説明とオープンソースの実装へのリンクを提供しています。

• •プロジェクトは、重み乗算を減らすことによってLLMの推論を高速化することを目指しています。
• •リアルタイムの速度/精度調整を提供します。
• •メモリ効率のために、モデルの重みの選択的ロードを可能にします。
• •Mistral用に実装され、他のモデルでテストされており、オープンソースの実装があります。