PLaMo 3 支持已合并到 llama.cpp
分析
这则新闻强调了 PLaMo 3 模型支持已集成到 llama.cpp 框架中。 PLaMo 3 是一个由 Preferred Networks, Inc. 和 NICT 共同开发的 310 亿参数模型，它在英语和日语数据集上进行了预训练。 该模型采用了混合架构，结合了滑动窗口注意力 (SWA) 和传统注意力层。 这次合并表明 PLaMo 3 模型在本地执行的可能性和可访问性有所提高，这将有利于对多语言和高效大型语言模型感兴趣的研究人员和开发人员。 来源是 Reddit 帖子，表明了社区驱动的开发和信息传播。
要点
引用 / 来源
查看原文"PLaMo 3 NICT 31B Base is a 31B model pre-trained on English and Japanese datasets, developed by Preferred Networks, Inc. collaborative with National Institute of Information and Communications Technology, NICT."