分析
Gemma 4 的发布标志着开源模型架构迈出了极其激动人心的一步,提供了令人印象深刻的原生支持多模态输入的模型系列。凭借 Dual RoPE、Shared KV Cache 以及最高可达 256K 的巨大上下文窗口等杰出创新,此次发布极大地突破了效率和性能的边界!
关键要点
Reference / Citation
View Original"所有模型均支持多模态输入,上下文长度从 128K 到 256K 不等。它融合了滑动窗口注意力与全注意力交替配置、Dual RoPE 以及 Shared KV Cache 等创新技术。"