大模型时代，我们可以用 Julia 做什么？| 盘点

大模型时代的 Julia 编程语言展望

田俊，作为一名Julia编程语言爱好者，在大模型时代背景下探讨了Julia在大模型领域的应用前景。文章为InfoQ 2023年度技术盘点与展望系列之一，分析了大模型研发过程中的挑战，Julia生态的潜在可能性以及与其他编程语言生态的比较。

大模型研发挑战与Julia的潜力

在训练基座模型方面，面临的主要挑战是超大规模参数量的训练。目前，Megatron-LM框架支持模型训练，主要功能包括Tensor Parallel、Data Parallel和Pipeline Parallel等。而Julia语言中，通过DistributedArrays.jl可以实现类似的需求，但目前不支持GPU操作。在分布式优化方面，Julia的Lux.jl提出了显式参数化的概念，有助于分布式训练。而在Fused Kernel和混合精度计算方面，Julia的CUDA.jl支持有限，导致在某些优化场景中实现复杂。指令微调方面，尽管Julia提供了单机版的强化学习算法实现，但多机版本的开发仍然充满挑战。

Julia与其他编程语言的大模型生态比较

量化与部署层面，Julia语言在CUDA kernel方面的支持有限，而且在大模型部署方面的工具支持也不足。应用层面，Julia可以通过PythonCall等工具库调用Python生态内的大模型应用，同时也存在一些Julia本地化的工具库。此外，Rust编程语言在大模型生态的发展中表现出强大的潜力，其生态建设对Julia社区有借鉴意义。

结论与展望

总体来看，虽然Julia在大模型领域有很长的路要走，但随着模型结构趋于统一，Julia社区可以集中力量支持特定架构。AutoTrain等工具将降低大模型微调门槛，Julia社区需要关注如何与科学计算生态打通。对于Julia爱好者而言，更实际的路线是先利用大模型进行推理和部署，再进行微调和训练。作者田俊正在从事训练Julia专用模型，并期待分享更多成果。

作者简介：田俊，Julia编程语言爱好者，目前在零一万物从事大模型基础架构相关工作。