5000万参数PGN only Transformer 无需搜索即可玩连贯的国际象棋：小型LLM的泛化是否被低估？
分析
这篇文章讨论了一个基于PGN数据训练的5000万参数的Transformer模型，该模型无需搜索即可玩国际象棋。该模型展示了令人惊讶的合法和连贯的棋局，甚至在罕见的回合中实现了将死。它强调了小型、特定领域的LLM在分布内泛化方面的潜力，与大型通用模型相比。文章提供了指向写作、实时演示、Hugging Face模型以及原始博客/论文的链接。
要点
引用 / 来源
查看原文"The article highlights the model's ability to sample a move distribution instead of crunching Stockfish lines, and its 'Stockfish-trained' nature, meaning it imitates Stockfish's choices without using the engine itself. It also mentions temperature sweet-spots for different model styles."