5000万パラメータのPGNのみのTransformerが探索なしで整合性のあるチェスをプレイ：小型LLMの一般化は過小評価されているのか？

この記事は、探索なしでチェスをプレイする、PGNデータで訓練された5000万パラメータのTransformerモデルについて論じています。このモデルは、驚くほど合法で整合性のあるプレイを示し、珍しい手数のチェックメイトも達成しています。大規模な汎用モデルと比較して、小型でドメイン固有のLLMがインディストリビューションの一般化に持つ可能性を強調しています。この記事では、書き込み、ライブデモ、Hugging Faceモデル、および元のブログ/論文へのリンクを提供しています。

• •小型でドメイン固有のLLMは、インディストリビューションの一般化を鋭く示すことができる。
• •モデルはPGNデータのみを使用して整合性のあるチェスをプレイする。
• •モデルはStockfishのラインを計算するのではなく、ムーブ分布をサンプリングする。
• •モデルはStockfishの選択を模倣するように「Stockfish訓練」されている。
• •温度設定はモデルの動作に影響する。