TabiBERT：用于土耳其语NLP的现代BERT

本文介绍了 TabiBERT，一个基于 ModernBERT 架构的土耳其语新型大型语言模型。它解决了缺乏从头开始训练的现代土耳其语编码器的问题。本文的重要性在于它通过提供高性能、高效且长上下文的模型，为土耳其语 NLP 做出贡献。 TabiBench 的引入，一个统一的基准测试框架，通过为未来的研究提供一个标准化的评估平台，进一步增强了本文的影响。

• •介绍了基于 ModernBERT 的新型土耳其语语言模型 TabiBERT。
• •在一个包含一万亿个 token 的大型、精心策划的语料库上进行预训练。
• •提供改进的推理速度和减少的 GPU 内存消耗。
• •介绍了 TabiBench，一个用于土耳其语 NLP 的统一基准测试框架。
• •在多个土耳其语 NLP 任务上取得了最先进的结果。