一网打尽，25款能在本地流畅运行大模型的工具

本地运行大型语言模型的25个工具概览

本文介绍了25种在本地运行大型语言模型（LLM）的工具，涵盖从桌面应用到开源模型支持的多样化解决方案。这些工具强调易用性、隐私保护和本地处理能力，使AI技术更加符合用户日常需求。

1. LMStudio

一个桌面应用程序，支持多种模型并注重隐私保护。链接：https://lmstudio.ai/

2. Ollama

支持运行多种开源大型语言模型的工具，简化模型部署和管理。链接：https://ollama.com/

3. Hugging Face和Transformers

提供丰富的开源模型资源，并通过transformers库简化本地部署流程。链接：https://huggingface.co/microsoft/phi-2

4. LangChain

一个Python框架，用于构建AI应用程序，支持多种模型。链接：https://www.langchain.com/

5. Llama.cpp

基于C和C++开发的推理引擎，优化性能。链接：https://github.com/ggerganov/llama.cpp

6. Lamafile

由Mozilla开发，提供便捷方式运行LLMs。链接：https://github.com/Mozilla-Ocho/llamafile

7. Jan.ai

将电脑转化为AI智能设备的开源解决方案。链接：https://jan.ai/

8. llm

易用性强的工具，适合编程新手。链接：https://github.com/simonw/llm

9. GPT4ALL

易于使用的桌面应用程序，具有直观GUI。链接：https://gpt4all.io/index.html

10. h2oGPT

简化创建私人LLM的工具。链接：https://github.com/h2oai/h2ogpt

11. LocalLLM

开源工具，允许直接在本地运行LLM。链接：https://github.com/GoogleCloudPlatform/localllm

12. Koboldcpp

开源项目，提供高效的文本处理能力。链接：https://github.com/LostRuins/koboldcpp/releases

13. LocalAI

免费的、开源的OpenAI替代品。链接：https://github.com/mudler/LocalAI

14. EXUI

基于浏览器的UI，用于运行本地推理。链接：https://github.com/turboderp/exui

15. vLLM

快速且易于使用的LLM推理和服务库。链接：https://github.com/vllm-project/vllm

16. MLX

苹果公司机器学习研究团队的数组框架。链接：https://github.com/ml-explore/mlx

17. CTranslate2

C++和Python库，用于执行Transformer模型推理。链接：https://github.com/OpenNMT/CTranslate2

18. Pinokio

提供多样化AI应用和服务的平台。链接：https://pinokio.computer/

19. PowerInfer

CPU/GPU LLM推理引擎。链接：https://github.com/SJTU-IPADS/PowerInfer

20. LlamaSharp

llama.cpp的C#/.NET绑定，提供高级API。链接：https://github.com/SciSharp/LLamaSharp

21. LMQL

提供Web-based Playground IDE的编程语言。链接：https://lmql.ai/playground/

22. AvaPLS

执行多种语言任务的开源桌面应用程序。链接：https://avapls.com/

23. LiteLLM

轻量级库，统一调用多平台LLM API。链接：https://github.com/BerriAI/litellm

24. HammerAI

提供聊天体验的平台。链接：https://www.hammerai.com/

25. Bedrock/VertexAI

Google和Amazon的云平台解决方案。链接：https://aws.amazon.com/bedrock/，https://cloud.google.com/vertex-ai

推荐书单

《大语言模型 基础与前沿》：深入阐述大语言模型的基本概念、研究前沿和应用。链接：https://item.jd.com/10099353579410.html