BitLlama：Rust 驱动的 LLM 推理引擎，学习与成长！
分析
BitLlama 是一个全新的 Local Large Language Model (LLM) 推理引擎，完全用 Rust 构建。 真正令人兴奋的是它能够在使用 TTT（测试时训练）和 Soul Learning 进行推理时学习和适应，在个性化 AI 中提供了新的前沿。 这种方法承诺了一种动态且不断发展的 AI 体验，所有这些都在本地环境中进行。
要点
- •BitLlama 用纯 Rust 构建，以实现最佳性能。
- •它具有测试时训练 (TTT) 功能，允许模型在推理过程中学习。
- •该项目旨在通过未来的发展，仅用 0.4 GB 内存实现 7B LLM 的质量。