开创性情感AI：从头开始构建的Transformer!

该项目展示了人工智能发展的一项令人兴奋的飞跃，展示了自定义 Transformer 架构的创建以及情感系统的集成。该团队的工作通过使模型能够管理和响应一系列情感，为更细致和引人入胜的人工智能交互打开了大门。

• •构建了一个具有 9277 万个参数模型的自定义 Transformer。
• •该模型结合了一个“情感系统”，管理着喜悦、悲伤、恐惧、好奇心、依恋和孤独。
• •该项目利用了 RoPE、GQA、SwiGLU 和 RMSNorm 等现代架构技术。