迈向尼泊尔语LLM：使用尼泊尔语BPE分词器的有效GPT训练

这项研究解决了大型语言模型中对尼泊尔语支持的关键需求。使用定制的BPE分词器是提高尼泊尔语NLP任务效率和性能的一种很有前景的方法。

• •专注于开发尼泊尔语LLM。
• •采用字节对编码 (BPE) 分词器以提高效率。
• •旨在改进尼泊尔语NLP任务的性能。