激活函数30年回顾总结，全paper第一份详尽研究来了！

新年好，离退休又近了一年

作者在假期期间虽然未更新内容，但依然记录了一些需保存的素材和热点事件，例如一篇关于神经网络中激活函数的综述文章，该文发表于2023年2月14日，并在arXiv上公布。

神经网络激活函数综述

该综述文章对超过400个激活函数进行了全面的调研和总结，这是前所未有的工作。它不仅系统地概括了这些激活函数，并提供了它们的名称、公式及参考文献，还旨在更新对这些函数的理解，以避免重复发现已存在的激活函数。

独特性和实用性

工作的独特之处在于它汇集了大量的激活函数供查询，这对于可能仅知道几种常用激活函数的学生或研究人员来说是一个财富。文章还揭示了在神经网络研究中可能无意中重新发明已有激活函数的现象。

进一步的期望

作者提出，如果综述能够进一步阐明在特定场合下使用哪种激活函数，以及激活函数的定义背后的原因、它们解决的问题和优缺点，那将更加有用。但同时，这将大幅增加工作量。

图表化展示

作者建议对于一些有较大影响力或常用的激活函数，如GELU、Mish、Swish、SELU等，应通过图表形式进行直观展示，因为它们本质上都是对ReLU的平滑，旨在优化梯度流和计算时间。

总结

整体上，作者认为这篇综述文章非常有价值，并建议感兴趣的读者查阅。为了方便获取，读者可以在公众号后台回复关键词来获取文章链接。

后记

作者签名“啥都生”并承诺下次再见，随后提供了一些额外的资源推荐，包括人工智能核心课程和2023年视觉领域的突破性研究。