Gemma Scope 2 发布

Google DeepMind 的 mech interp 团队正在发布 Gemma Scope 2，这是一套在 Gemma 3 模型家族上训练的稀疏自编码器 (SAE) 和转码器。 此次发布比之前的版本有所改进，包括支持更复杂的模型、涵盖所有层和高达 27B 模型尺寸的更全面的发布，以及对聊天模型的关注。 该版本包括在不同站点（残差流、MLP 输出和注意力输出）上训练的 SAE 和 MLP 转码器。 尽管团队已不再优先研究 SAE 的基础研究，但他们希望这能成为社区的有用工具。

• •Gemma Scope 2 是 Gemma 3 模型家族的 SAE 和转码器的新版本。
• •它比以前的版本有所改进，包括支持更大的模型和关注聊天模型。
• •该版本包括各种层和模型大小的 SAE 和转码器。
• •团队希望它能成为社区的有用工具。