扫码阅读
手机扫码阅读
大模型时代:企业如何与AI相生相成?
98 2024-03-29
65%的人开始使用这类LLM的应用程序,比两个月前的50%要高,而其余的人仍在试验。 94%的人正在使用基础模型API。在我们的样本中,OpenAI的GPT显然是最受欢迎的,占91%,然而Anthropic的兴趣在上个季度增长到15%。(一些公司正在使用多种模型)。 88%的人认为检索机制,如矢量数据库,仍然是应用生态的一个关键部分。检索相关的上下文供模型推理,有助于提高结果的质量,减少 "幻觉"(不准确),并解决数据新鲜度问题。有些人使用特制的矢量数据库(Pinecone、Weaviate、Chroma、Qdrant、Milvus等等),而其他人则使用pgvector或AWS的产品。 38%的人对LangChain这样的LLM协调和应用开发框架感兴趣。一些人将其用于原型设计,而其他人则在生产中使用。在过去的几个月里,采用率有所增加。 10%以下的人在寻找监测LLM产出、成本或性能以及A/B测试提示的工具。我们认为,随着更多的大公司和受监管的行业采用大语言模型,对这些领域的兴趣可能会增加。 少数公司正在研究互补的生成技术,如生成性文本和语音如何更好结合起来。我们也相信这是一个令人兴奋的增长领域。 15%的公司从零开始或开放源码建立了自定义语言模型,通常在使用LLM的API之外。自定义模型训练比几个月前有意义地增加。这需要自己的计算、模型中心、托管、训练框架、实验跟踪等方面的能力,这些能力的组件来自Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等公司。
从头开始训练一个自定义模型,困难程度最高。这是解决这个问题的经典和最难的方法。它通常需要高度熟练的ML科学家、大量的相关数据、训练基础设施和计算。这也是历史上许多自然语言处理(NLP)创新发生在巨型科技公司内的主要原因之一。BloombergGPT是一个很好的例子,它是在巨型科技公司之外的定制模型工作,它使用了Hugging Face和其他开源工具的资源。随着开源工具的改进和更多公司对LLMs的创新,我们希望看到更多的定制和预训练模型的使用。 微调一个基础模型。难度中等。这是通过进一步的专有或特定领域数据的额外训练来更新预训练模型的权重。开放源码的创新也使得这种方法越来越容易获得,但它仍然经常需要一个复杂的团队。一些从业者私下承认,微调比听起来要难得多,而且可能会产生意想不到的后果,比如模型漂移和在没有警告的情况下 "破坏 "模型的其他技能。虽然这种方法有更大的机会变得更普遍,但目前对大多数公司来说仍然遥不可及,但另一方面,这种情况正在迅速得到改善。 使用预先训练好的模型并检索相关背景。最低的难度。人们常常认为他们想要一个只为他们而微调的模型,而实际上他们只是想让模型在正确的时间对他们的信息进行推理。有很多方法可以在正确的时间为模型提供正确的信息:对SQL数据库进行结构化查询,在产品目录中搜索,调用一些外部API或使用嵌入(embedding)检索。嵌入检索的好处是,它使非结构化数据很容易使用自然语言进行搜索。从技术上讲,这是通过收集数据将其转化为嵌入,将其存储在一个矢量数据库中,当查询发生时,搜索这些嵌入数据以获得最相关的背景,并将其提供给模型。这种方法可以帮助我们破解模型有限的上下文窗口,成本较低,解决了数据的新鲜度问题(例如,ChatGPT不知道2021年9月以后的世界),而且它可以由一个没有经过正式机器学习培训的单独开发者完成。矢量数据库很有用,因为在高规模下,它们使存储、搜索和更新嵌入更容易。到目前为止,我们观察到较大的公司停留在其企业云协议内,并使用其云供应商提供的工具,而初创公司倾向于使用特制的矢量数据库。然而,这类应用也是高度动态的。上下文窗口增长很快(将 LLaMA、GPT-4 上下文都扩展到32k token,这相当于 50 页的文字,基于 OpenLLaMA 大型语言模型将上下文的长度扩展到 256k token),未来上下文的扩展能力不可限量。基础模型和云数据库可能直接将检索嵌入其服务中。我们正在密切关注这个市场的发展。
原文链接:
http://mp.weixin.qq.com/s?__biz=MjM5ODczMDc1Mw==&mid=2651857353&idx=1&sn=117fe76dc89b2104a10618d9c35f9bfb&chksm=bd22cca78a5545b13bebcb141f843eec1189e8b76d89dc070d2851d03cf9fbbee519ac6d9402#rd
本公众号致力于健康、安全、绿色的软件生态,分享软件质量管理、软件测试的思想、方法、技术与优秀实践,追踪软件质量领域的热点,及时报道软件质量管理的成功案例或质量事故,以及分享深度思考、有温度的技术文章等,努力成为您工作中的朋友。
22 篇文章
浏览 8937
软件质量报道的其他文章
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线