令牌化瓶颈：词汇扩展如何改善预训练语言模型中的化学表示学习

本文可能讨论了在预训练语言模型（LLM）有限词汇内表示化学结构的挑战。然后，它探讨了通过自定义令牌化或添加化学特定令牌来扩展词汇量如何提高LLM理解和生成化学表示的能力。重点是提高LLM在与化学相关的任务中的表现。

• •令牌化限制可能会阻碍LLM对化学结构的理解。
• •词汇扩展是改善化学表示学习的潜在解决方案。
• •这项研究可能调查了词汇扩展对LLM在化学相关任务中的表现的影响。