[D] NOMA更新:可重复的自增长XOR基准测试(共享初始化,N=10)+优化器状态“保留 vs 重置”消融研究
分析
这篇文章详细介绍了NOMA的更新,NOMA是一种系统语言和编译器,专注于将反向模式自动微分实现为编译器通道。主要的增加是一个“自增长XOR”问题的可重复基准测试。该基准测试允许在不同实现之间进行受控比较,重点关注在参数增长期间保留或重置优化器状态的影响。共享初始权重和固定增长触发器的使用增强了可重复性。虽然XOR是一个简单的问题,但重点是验证增长事件的方法,并评估优化器状态保留的效果,而不是实现实际速度。
引用 / 来源
查看原文"The goal here is methodology validation: making the growth event comparable, checking correctness parity, and measuring whether preserving optimizer state across resizing has a visible effect."