128GBメモリのvLLMに最適なコーディング+ツールエージェントモデルはどれですか？

このr/LocalLLaMAの投稿では、128GBのメモリ制約内で収まるコーディングに特化したLLMを見つけることの難しさについて議論されています。ユーザーは、より小さい（〜30B）モデルとより大きい（〜120B+）モデルの間にギャップがあるように見えるため、約100Bパラメータのモデルを探しています。彼らは、120Bモデルを適合させるために、GGUFやAWQのような圧縮技術を使用することの実現可能性について問い合わせています。この投稿はまた、モデルのストレージサイズが利用可能なRAMを超える場合、それが使用不可能になるかどうかという根本的な疑問を提起しています。これは、コンシューマーグレードのハードウェアで大規模言語モデルを実行することの実際的な制限と、効率的な圧縮および量子化手法の必要性を強調しています。この質問は、コーディングタスクのためにローカルでLLMを実行しようとしている人にとって関連性があります。