与乔尔·赫斯内斯一起使用世界上最大的计算机芯片为人工智能提供动力 - #684

这个来自 Practical AI 的播客节目邀请了 Cerebras 的首席研究科学家 Joel Hestness，讨论他们用于机器学习的定制硅芯片，特别是 Wafer Scale Engine 3。 谈话涵盖了 Cerebras 的单芯片平台在大语言模型方面的演进，并将其与其他 AI 硬件（如 GPU、TPU 和 AWS Inferentia）进行了比较。 讨论深入探讨了芯片的设计、内存架构和软件支持，包括与 PyTorch 等开源 ML 框架的兼容性。 最后，Hestness 分享了利用硬件独特功能的研发方向，例如权重稀疏训练和高级优化器。