Show HN: LLM推論を2倍高速化（可能性あり）

このHacker Newsの投稿は、LLMの推論速度を、推論中の計算負荷を動的に調整することによって高速化することを目指すプロジェクトを紹介しています。主なアイデアは、許容できる出力品質を維持しながら、より少ない重み乗算（潜在的に20〜25％）を実行することです。実装はM1 / M2 / M3 GPUを対象としており、Llama.cppよりも高速であり、さらなる最適化の可能性があります。このプロジェクトはまた、速度/精度のリアルタイム調整と、モデルの重みの選択的なロードを可能にし、メモリ効率を提供します。Mistral用に実装され、MixtralおよびLlamaでテストされており、FP16サポートとQ8が開発中です。著者は主張の大胆さを認め、アルゴリズムの説明とオープンソースの実装へのリンクを提供しています。