Gemma Scope 2 发布
分析
Google DeepMind 的 mech interp 团队正在发布 Gemma Scope 2，这是一套在 Gemma 3 模型家族上训练的稀疏自编码器 (SAE) 和转码器。 此次发布比之前的版本有所改进，包括支持更复杂的模型、涵盖所有层和高达 27B 模型尺寸的更全面的发布，以及对聊天模型的关注。 该版本包括在不同站点（残差流、MLP 输出和注意力输出）上训练的 SAE 和 MLP 转码器。 尽管团队已不再优先研究 SAE 的基础研究，但他们希望这能成为社区的有用工具。
要点
引用 / 来源
查看原文"The release contains SAEs trained on 3 different sites (residual stream, MLP output and attention output) as well as MLP transcoders (both with and without affine skip connections), for every layer of each of the 10 models in the Gemma 3 family (i.e. sizes 270m, 1b, 4b, 12b and 27b, both the PT and IT versions of each)."