llama.cpp がパフォーマンスを向上: IQ*_K と IQ*_KS 量子化が登場！

llama.cpp ユーザーにとって朗報です！ このアップデートにより、革新的な IQ*_K および IQ*_KS 量子化手法が ik_llama.cpp から導入され、大幅なパフォーマンス向上が期待できます。 大規模言語モデル (LLM) の推論を最適化する大きな一歩です。