llama.cpp更新：--fit标志和CUDA Cumsum优化
分析
本文讨论了llama.cpp的最新更新，重点关注`--fit`标志和CUDA cumsum优化。作者是llama.cpp的用户，强调了用于最大化GPU利用率的自动参数设置（PR #16653），并寻求用户对`--fit`标志影响的反馈。文章还提到了CUDA cumsum回退优化（PR #18343），承诺提高2.5倍的速度，但作者缺乏充分解释它的技术专长。对于那些跟踪llama.cpp开发并寻求用户体验的实践见解的人来说，这篇文章很有价值。原始帖子中缺少基准数据是一个弱点，而是依赖于社区的贡献。
引用 / 来源
查看原文"How many of you used --fit flag on your llama.cpp commands? Please share your stats on this(Would be nice to see before & after results)."