ChatGPT爆火出圈，它背后的核心技术是什么？

ChatGPT和GPT-3.5模型概述

ChatGPT是基于GPT-3.5微调而来，该系列模型自2021年第四季度开始混合使用文本和代码进行训练，至2022年初完成。GPT-3.5包括三个模型：code-davinci-002适合代码任务，text-davinci-002是InstructionGPT模型，而text-davinci-003是其改进版。ChatGPT与InstructGPT在结构和训练方式上一致，均采用指示学习和人类反馈强化学习，差异仅在数据采集方式。

GPT模型系列简介

GPT（Generative Pre-trained Transformer）是一种通用预训练语言模型，旨在通过深度学习生成自然语言。GPT-1于2018年发布，采用无监督预训练和有监督Fine-tuning两阶段训练，适用于多种NLP任务。GPT-2于2019年发布，强调大数据集和超大模型规模的泛化能力，将有监督任务视为无监督语言模型的子集。GPT-3于2020年发布，倡导少量提示下的多任务解决能力，强调模型在各领域的应用潜力和技术影响。

ChatGPT的训练和应用

GPT-3.5是基于GPT-3的微调，与GPT-3不同，它采用了InstructGPT的训练方式。ChatGPT进一步通过RLHF进行强化，根据人类反馈优化回答质量。这种训练方法使得ChatGPT的回答更接近人类，同时OpenAI在完善过程中不断改进。ChatGPT和GPT-3.5具有革命性的技术潜力，预计将广泛应用于不同领域，改变人们的生活。

黑客帝国终极大Boss的角色是啥？

了解更多

想要了解更多内容？

查看原文：ChatGPT爆火出圈，它背后的核心技术是什么？

文章来源：

亮哥圆桌派

扫码关注公众号