UrduBench：革新的な翻訳でウルドゥー語の推論評価を先導

この研究は、ウルドゥー語における大規模言語モデル（LLM）の推論能力を評価する上で重要な一歩であるUrduBenchを紹介しています。人間が介在する文脈アンサンブル翻訳フレームワークは、低リソース言語における標準化された推論ベンチマークを作成するための有望なソリューションを提供します。

• •UrduBenchは既存の推論ベンチマークをウルドゥー語に翻訳し、LLM評価のための貴重なリソースを作成します。
• •この研究は、ウルドゥー語におけるマルチステップおよびシンボリックな推論タスクにおける課題を特定しています。
• •この研究は、LLMにおける信頼性の高い推論のために、言語アライメントの重要性を強調しています。