OptiNIC：面向分布式ML的尾部优化RDMA

本文解决了分布式ML训练中关键的尾部延迟问题，随着工作负载的扩展，这是一个重要的瓶颈。 OptiNIC 提供了一种新颖的方法，通过放宽传统的 RDMA 可靠性保证，利用 ML 对数据丢失的容忍度。 这种特定于领域的优化，消除了重传和顺序交付，承诺在时间到准确性和吞吐量方面实现显着的性能提升。 在公共云上的评估验证了所提出方法的有效性，使其成为对该领域的宝贵贡献。

• •OptiNIC 是一种专为分布式 ML 工作负载设计的特定于领域的 RDMA 传输。
• •它消除了重传和顺序交付，优先考虑速度而不是严格的可靠性。
• •OptiNIC 使用自适应超时并将损失恢复转移到 ML 管道。
• •评估表明，与传统的 RDMA 相比，TTA、吞吐量和延迟都有显着改善。