Gemma Scope 2 リリース発表

Google DeepMindのmech interpチームが、Gemma 3モデルファミリーで訓練されたスパースオートエンコーダー（SAE）とトランスコーダーのスイートであるGemma Scope 2をリリースします。このリリースは、より複雑なモデルのサポート、すべてのレイヤーと最大27Bのモデルサイズをカバーするより包括的なリリース、およびチャットモデルへのフォーカスなど、以前のバージョンよりも進歩しています。リリースには、さまざまなサイト（残差ストリーム、MLP出力、およびアテンション出力）でトレーニングされたSAEとMLPトランスコーダーが含まれています。チームは、SAEに関する基礎研究を優先順位から外したにもかかわらず、これがコミュニティにとって有用なツールとなることを願っています。

• •Gemma Scope 2は、Gemma 3モデルファミリー向けのSAEとトランスコーダーの新しいリリースです。
• •以前のバージョンよりも改善されており、より大きなモデルのサポートとチャットモデルへのフォーカスが含まれています。
• •このリリースには、さまざまなレイヤーとモデルサイズのSAEとトランスコーダーが含まれています。
• •チームは、これがコミュニティにとって有用なツールとなることを願っています。