TokSuite：衡量分词器选择对语言模型行为的影响

本文介绍了TokSuite，这是一个用于理解分词对语言模型影响的宝贵资源。通过训练具有相同架构但不同分词器的多个模型，作者分离并测量了分词的影响。随附的基准通过评估模型在真实世界扰动下的性能，进一步加强了研究。这项研究解决了我们对LM理解中的一个关键差距，因为分词虽然具有基本作用，但经常被忽视。TokSuite的研究结果可能会为优化特定任务的分词器选择和提高语言模型的鲁棒性提供见解。模型和基准的发布促进了该领域的进一步研究。

• •分词对LM的性能和行为有重大影响。
• •TokSuite为研究分词的影响提供了宝贵的资源。
• •该基准允许评估模型在真实世界条件下的鲁棒性。