2024年了，大模型时代下的DL研究者都需要些什么？

前言

在2024年，大模型已经成为生活、工业和学术领域的重要组成部分。对于算法工程师、科研人员和研究生等，大模型带来了实际工作的推动和影响。本文作者结合个人经历，讨论在大模型时代下深度学习研究者所需的能力。

大模型时代“大”在何处？

大模型的“大”不仅指模型参数量大，更重要的是技术范围广和下游应用多。大模型有更强的泛化性能，要求研究者能够驾驭大型模型，并掌握广泛的底层技术，在多样的应用场景中灵活运用。

模型参数量之大

大模型的参数量远超传统模型，提出了对硬件和训练范式的新要求。作者在开展LaCon工作时体会到大模型训练策略与小模型不同，例如PEFT方法相比全参微调更高效。

覆盖技术范围大

大模型时代下，研究者需要理解模型背后的底层技术原理。作者分享了自身在图像处理领域的研究经历，强调了在大模型时代下，研究者需要掌握跨领域的知识。

下游应用面积大

大模型应用于各种下游任务，对实验设置和任务熟悉度提出了更高要求。作者通过LaCon工作的例子说明了实践中对不同任务的理解的重要性。

我的心得：放下成见，学会野蛮生长

尽管大模型时代带来了挑战和变化，但也提供了机遇。作者提倡放下成见、野蛮生长，并通过实践来适应大模型时代的需求。同时，有效获取和系统化知识也至关重要。

书籍推荐

作者推荐了两本书《大模型应用解决方案》和《快速部署大模型》，涵盖了大模型在自然语言处理和多模态学习中的应用技术，配套优质代码资源，对学习和实践大模型有重要帮助。

写在最后

作者鼓励研究者看到挑战中的机遇，通过准备和努力在大模型时代中取得成功，并欢迎关注作者的GitHub账号获取更多资源。