揭秘18 t/s陷阱：在RTX 5090上测试大语言模型 (LLM) Qwen3.6-35Binfrastructure#gpu📝 Blog|分析: 2026年4月22日 02:52•发布: 2026年4月22日 02:26•1分で読める•Zenn LLM分析本文提供了一次激动人心的实战测试，展示了在NVIDIA最新的RTX 5090上运行大型大语言模型 (LLM) 是如何挑战消费级硬件极限的。作者像侦探一样找出了导致推理速度意外降至18 t/s瓶颈的真正原因，突显了AI硬件优化的奇妙复杂性。对于任何对高性能本地生成式人工智能和自定义量化技术感到兴奋的人来说，这都是一篇不可多得的佳作！关键要点•Qwen3.6-35B模型利用先进的Unsloth Dynamic (UD) 量化技术，完美平衡了文件大小与高质量性能。•推理速度最初戏剧性地降至18 t/s，与前代令人印象深刻的214 t/s相比让用户感到震惊。•测试揭示，这种速度陷阱与32GB RTX 5090上显存占用飙升至30GB以上有关，构成了一个激动人心的硬件优化谜题。引用 / 来源查看原文"VRAM使用量超过了30GB。原因是…"ZZenn LLM2026年4月22日 02:26* 根据版权法第32条进行合法引用。较旧SpaceX Partners with AI Startup Cursor to Build AI Models, Including a Massive $6.5B+ Acquisition Option较新Evaluating AI Agent Resilience: A Fascinating Audit of GPT-4o-mini, Claude Haiku, and Gemini!相关分析infrastructure端侧 AI 正在重写实时感知效率上限2026年4月22日 11:19infrastructure点对点分发AI智能体技能：开源chezmoi dotfiles入门套件2026年4月22日 13:35infrastructure谷歌发布下一代TPU，并将AI笔记功能引入所有会议2026年4月22日 13:17来源: Zenn LLM