速度狂飙至100 TPS：Qwen3.6-27B在单张RTX 5090上实现256k上下文窗口

这个展示令人兴奋地证明了社区驱动的优化是如何突破本地大语言模型 (LLM) 性能极限的。通过利用高效的INT4量化和vllm，开发者在推理中实现了惊人的每秒105-108个token的速度。这一突破确保了庞大的原生256k上下文窗口现在能够在消费级硬件上轻松运行，为本地AI爱好者解锁了令人难以置信的可扩展性。