[P] Topcat的故事（目前为止）

这篇来自r/MachineLearning的帖子详细介绍了一段个人在人工智能研究中的旅程，特别关注softmax的替代激活函数。作者分享了LSTM修改以及黄金比例对tanh激活的影响的经验。虽然研究结果被认为有些不可靠且并非始终有益，但作者寻求关于发布或继续该项目的潜在价值的反馈。该帖子突出了人工智能研究的挑战，其中许多想法没有成功或缺乏一致的性能改进。它还涉及人工智能不断发展的格局，Transformer取代了LSTM。

• •探索神经网络中的替代激活函数。
• •在人工智能研究中实现一致的性能改进的挑战。
• •人工智能架构的快速发展（LSTM与Transformer）。