vllm-mlx: 加速 Apple Silicon 上的 AI!

对 Apple Silicon 用户来说是个令人兴奋的消息！新的 vllm-mlx 框架提供了一个类似于 vllm 的接口，针对 Apple 的 GPU 进行了优化，支持文本、图像、视频和音频。 它承诺显着的性能和内存改进，使其成为在 Mac 上开发和部署尖端 生成式人工智能 应用程序的强大工具。

• •vllm-mlx 提供了专为 Apple Silicon (M1、M2、M3、M4) 调整的 vllm 接口，并带有 GPU 加速。
• •它支持 多模态 方法，在统一的平台上处理文本、图像、视频和音频。
• •用户可以利用 OpenAI API 兼容性，并访问多种语言的本地 TTS。