moe

"DeepSeek-V3拥有671B参数，但在推理时只有37B在运作。仅占整体的5%多一点，却能展现出与GPT-4比肩的性能。"

"由于 MoE 的激活参数仅相当于 3B，文本生成（tg）速度相对于模型规模来说非常快。"

"智能体编码能力可与活跃参数量十倍于它的模型相媲美"

"一款稀疏MoE模型，总参数350亿，激活参数30亿……其智能体编码能力与活跃参数量十倍的模型不相上下"

"MoE在增加总参数数量的同时，通过在推理时仅选择性地利用部分专家来抑制计算成本。"

"现在有一篇流传甚广的帖子声称，通过将token投射到3D空间并使用RT Core通过光线三角形相交来寻找最近的专家，MoE路由可以实现218倍的加速。"

"接管MoE模型中的路由决策（哪个专家处理哪个令牌）...利用GPU专用的光线追踪硬件来寻找合适的专家...实现了硬件加速的O(log N)而非O(N)复杂度"

"Gemma 4 在精度、速度和 VRAM 效率等所有指标上都优于 Qwen 3.5。特别是 MoE 版本 (26b) 展示了实际部署的理想平衡——在不降低精度的情况下实现了最快的速度和最小的显存占用。"

"Wan 2.2 是首个用于视频生成的开源 MoE 模型。"

"我们清晰地看到，破解难题的钥匙，在于“系统工程”——即从底层基础设施到上层应用范式的全链路协同创新。"

"2026年3月17日，乐天集团宣布推出“Rakuten AI 3.0”，一款被称为“日本最大规模”的大语言模型（LLM）。"

"Qwen3.5的核心创新在于它同时提供了基础模型和混合推理模型。"

"Flash-MoE是一个旨在在普通笔记本电脑上运行具有3970亿（397B）个参数的巨大Mixture-of-Experts（MoE）模型的项目。"

"集成到优化的推理引擎中，我们的方法实现了高达 14% 的输出token时间（TPOT）的减少，相比于从CPU内存中按需加载专家。"

"Flash-MoE 旨在在通用笔记本电脑上运行一个拥有 3970 亿 (397B) 参数的巨大 Mixture-of-Experts (MoE) 模型。"

"小米 MiMo-V2-Pro 是一个拥有超过 1 万亿参数（420 亿活跃）的 MoE 模型，其编码性能超越了 Claude Sonnet 4.6，智能体性能接近 Opus 4.6。"

"以Llama 4 Scout为例：总参数量：1090亿 每个token的活跃参数：170亿（16个专业专家 + 1个共享专家） 剩余约920亿的参数在该token处理中处于休眠状态 也就是说，计算效率是170亿级别，同时又能保持拥有多种专业知识的1090亿的表达能力，这是理论上的优势。"

"Rakuten AI 3.0 正式发布。"

"本文整理了 Llama 4 的技术机制以及实际在您自己的设备上运行它的具体步骤。我认为这对于那些知道公告但不知道如何实际使用它的人特别有帮助。"

"也就是说，计算效率是17B级别，同时又能保持拥有多样专业知识的109B的表达力，这是理论上的优点。"

"Nemotron 3 Super 现在可以在 Amazon Bedrock 上作为完全托管和无服务器模型使用，加入了 Amazon Bedrock 环境中已经可用的 Nemotron Nano 模型。"

"2026年3月17日，乐天集团推出了日本最大的LLM“Rakuten AI 3.0”。"

"Dan使用了苹果2023年的论文《闪存中的LLM：有限内存的高效大型语言模型推理》中描述的技术。"

"Mistral Small 4: 1190 亿参数 / 128 个专家 / 4 个活跃（60 亿活跃参数）MoE 模型。支持 256k 上下文"

"ROME (ROME is Obviously an Agentic Model) 是一个开源智能体LLM。"

"该模型是开源的，专为多智能体系统设计。"

"苹果将在 iOS 26.4 中将基于 Gemini 的 1.2 万亿参数 MoE 模型集成到 Siri 中。"

"DeepSeek V4是一个拥有1万亿参数的MoE模型，在推理过程中，其活跃参数约为320亿-370亿。"

"GLM-5 是一个 744B MoE / 40B 活跃参数的开源模型（MIT 许可证）。"

"推理时计算缩放正在兴起，允许在推理期间通过计算能力动态扩展性能。"