使用vllm-mlx，大幅提升Mac上的大语言模型体验！

vllm-mlx 是一个在 Mac 上高效运行大语言模型 (LLM) 的绝佳工具。 它通过有效重用缓存结果来优化首个令牌的时间 (TTFS)，即使使用长提示也是如此。这意味着在与您的本地LLM交互时，体验更流畅，响应更灵敏。