Gemma Scope 2 リリース発表
分析
Google DeepMindのmech interpチームが、Gemma 3モデルファミリーで訓練されたスパースオートエンコーダー（SAE）とトランスコーダーのスイートであるGemma Scope 2をリリースします。このリリースは、より複雑なモデルのサポート、すべてのレイヤーと最大27Bのモデルサイズをカバーするより包括的なリリース、およびチャットモデルへのフォーカスなど、以前のバージョンよりも進歩しています。リリースには、さまざまなサイト（残差ストリーム、MLP出力、およびアテンション出力）でトレーニングされたSAEとMLPトランスコーダーが含まれています。チームは、SAEに関する基礎研究を優先順位から外したにもかかわらず、これがコミュニティにとって有用なツールとなることを願っています。
重要ポイント
引用・出典
原文を見る"The release contains SAEs trained on 3 different sites (residual stream, MLP output and attention output) as well as MLP transcoders (both with and without affine skip connections), for every layer of each of the 10 models in the Gemma 3 family (i.e. sizes 270m, 1b, 4b, 12b and 27b, both the PT and IT versions of each)."