GEM激活函数：在Transformer和CNN中超越GELU的平滑新函数

research#activations🔬 Research|分析: 2026年4月24日 04:07•
发布: 2026年4月24日 04:00
•
1分で読める
•ArXiv Neural Evo

分析

这项研究提出了Geometric Monomial (GEM) 激活函数家族，为神经网络架构带来了激动人心的进步。通过纯有理算术和平滑梯度实现类似ReLU的性能，GEM有效解决了深度架构中的优化障碍。令人印象深刻的是，在CIFAR-10和GPT-2等主要基准测试中，SE-GEM和E-GEM变体已经成功超越了行业标准的GELU函数，标志着模型优化的一个重要里程碑。
引用 / 来源
查看原文
"在CIFAR-10 + ResNet-56上，SE-GEM超越了GELU（92.51%对92.44%），成为首个超越GELU的GEM系列激活函数。"
A
ArXiv Neural Evo2026年4月24日 04:00
* 根据版权法第32条进行合法引用。
较旧

Unlocking Multi-Spectral Data: A Breakthrough for Zero-Shot Remote Sensing with Generalist AI

较新

Can Virtual Agents Care? A New Framework for Empathetic and Personalized AI Support

相关分析

research

书评：从零开始的深度学习——用Python学习理论与实践

2026年4月24日 05:05

research

开创历史数据AI模型：探索从头训练的最佳架构

2026年4月24日 04:32

research

赋能和平建设者：协作式人工智能应对网络仇恨言论与两极分化

2026年4月24日 04:08

来源: ArXiv Neural Evo