TabiBERT：トルコ語NLPのためのモダンBERT

この論文は、ModernBERTアーキテクチャに基づいた、トルコ語用の新しい大規模言語モデルであるTabiBERTを紹介しています。モダンで、ゼロからトレーニングされたトルコ語エンコーダーの不足に対処しています。この論文の重要性は、高性能で効率的、かつ長いコンテキストモデルを提供することにより、トルコ語NLPに貢献している点にあります。統一されたベンチマークフレームワークであるTabiBenchの導入は、将来の研究のための標準化された評価プラットフォームを提供することにより、この論文の影響をさらに高めています。

• •ModernBERTに基づいた新しいトルコ語モデル、TabiBERTを紹介。
• •1兆トークンの大規模でキュレーションされたコーパスで事前学習。
• •推論速度の向上とGPUメモリ消費量の削減を実現。
• •トルコ語NLPのための統一されたベンチマークフレームワーク、TabiBenchを紹介。
• •複数のトルコ語NLPタスクで最先端の結果を達成。