Wave Field AI 发布突破性 3B 模型,采用闪电般快速的注意力机制
分析
Wave Field AI 的更新展示了生成式人工智能领域的重大进展,推出了 3B 参数模型。基于 FFT 的注意力机制的实现有望大幅提高推理速度,为各种应用带来了令人兴奋的可能性。此外,通往 128K 上下文窗口的路线图是朝着更全面、更细致的语言理解迈出的重要一步。
引用 / 来源
查看原文"3B 模型上线,基于 FFT 的注意力机制 (O(n log n)),以及扩展至 128K 上下文的路线图"
"3B 模型上线,基于 FFT 的注意力机制 (O(n log n)),以及扩展至 128K 上下文的路线图"