ChatGPT的技术特征与应用前景

文/郭全中 张金熠

2022年11月30日，人工智能研究实验室OpenAI上线了新一代对话式自然语言识别（Natural Language Processing，NLP）模 型ChatGPT，该模型一经面世，首先引发了科技界的巨大关注，后迅速在社会层面形成广泛热议，在短短5天突破百万用户。毫无疑问，ChatGPT表现出对话生成式NLP模型在多场景、多行业、多领域的落地潜能与应用前景，然而利用人工智能技术生成内容（AI Generated Content，缩写AIGC）乃至所有深度合成内容当前所隐含的经济、文化、社会风险也不容忽视。因此，有必要对ChatGPT技术特征及GPT（Generative Pre-Training）发展历程展开梳理，在展望其应用前景的同时，关注其现存风险并思考治理之道。

ChatGPT可以理解为由AI驱动的聊天机器人，尽管在专业知识与基础常识方面经常犯错，与人聊天过程中表现出的连续且自洽的逻辑水平与快速响应能力足以令人咋舌，而这些都来自于ChatGPT背后的强大技术支持，即GPT-3.5与整个GPT系列。

1.1 技术特征

就ChatGPT本身而言，其象征了OpenAI技术路线的方向性转变，既集合了前几代GPT的技术优势，又具有其独特之处，具体包括：

第一，单一模态。与OpenAI的另一条知名多模态领域研究线，即人工智能图像生成器DALL-E2不同，GPT系列始终贯彻了以语言模型为任务核心的宗旨，且GPT-2时期，所适用的任务开始锁定在语言模型。因此，ChatGPT所使用的模态类型也是仅有文字语言，并未涉及视觉、听觉等模态类型。

第二，巨量数据。AI模型的逻辑能力与输出能力建立在以海量数据为基础的计算机学习与虚拟生成之上。GPT系列的模型训练参数量也可以体现出来，从GPT-1的1.17亿到GPT-2的15亿，再到GPT-3的1750亿，参数量从亿级跃升至千亿级，而以GPT-3.5为基础模型微调生成的ChatGPT目前训练参数尚未公开。但可想而知，一向奉行“指数力量”的OpenAI，在GPT-3.5以及即将推出的GPT-4上至少可以达到千亿级的训练参数量。尽管ChatGPT的训练策略与GPT系列奉行的半监督学习或无监督学习有所不同，更加关注对参数的标注与强化学习，但在零样本学习（Zero-Shot Learning，ZSL）成熟之前[1]，人工智能通过巨量数据实现模型训练与迭代的发展路线依旧难以撼动。

第三，人工标注。GPT全称为Generative Pre-trained Transformer，即生成型预训练变换模型。预训练模型的显著特征是先运用大规模语料训练语言模型，将训练结果参数保存并作为之后的模型初始化参数，从而使新的模型以小规模训练与少量时间得出较好模型。OpenAI的GPT系列都是采用Transformer的预训练模式，以避免NLP模型训练过程中需要大规模高质量标注数据且泛化能力不足等局限。但ChatGPT在GPT系列技术路线上发生了颠覆式迭代，在GPT-3.5大规模语言模型的基础上，开始依托大量人工标注数据，通过专业标注人员（据OpenAI称，是40位专业博士）为ChatGPT提供人类指令的高质量答案，从而优化GPT-3.5无法理解人类指令含义、无法判断输入的情况。

第四，强化学习。在如何更好理解人类指令方面，ChatGPT还采用了来自人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）进行训练。强化学习，即通过奖惩分明的系统打分，来更新参数以产生越来越高质量的回答。据OpenAI官网Blog介绍，其创建了一个强化学习的奖励模型：通过人工智能培训师对两个或多个模型基于同一问题的对话响应进行排序。运用这些奖励模型，OpenAI可以采取近端策略优化对ChatGPT进行微调，并对这一过程进行了多次迭代。因此，在与ChatGPT的互动过程中，人们发现它会承认错误、修复自己的答案，这是源于它从RLHF训练中获取的强化学习并重新思考的能力。

1.2 GPT系列发展历程

ChatGPT不是凭空出现的，而是建立在OpenAI对于语言模型，尤其NLP模型领域的持续研究与创造性探索。ChatGPT已经再次引爆社会对人工智能的多方讨论，但对于生成式AI而言，ChatGPT不是开始，也不会成为终点。生成式AI的应用将如何展开，会带来怎样的影响，可以从GPT系列发展历程中窥得些许启示。

第一，GPT-1：选择半监督学习模式。2018年，OpenAI推出了第一代生成式预训练模型GPT-1，该模型采取的是生成式预训练Transformer模型，这是由谷歌公司在2017年提出的一种采用自注意力机制的深度学习模型。目前发布的整个GPT系列（包括GPT-1、GPT-2、GPT-3、GPT-3.5）都贯彻了这一预训练模式。在GPT-1之前，NLP任务需要通过大规模、高质量标注数据集来进行有监督的学习。而GPT-1采取了一种截然不同的深度学习模式，即半监督学习。半监督学习是先通过无监督学习的预训练，运用大量未标注数据增强模型的语言能力，再进行有监督的微调，与大规模数据集集成以提高模型在NLP任务中的表现。这种方式减少了模型训练对数据标注工作的依赖，使GPT-1仅需要极少微调，就能够强化其NLP任务能力，但也存在明显的数据局限与泛化能力不足。

第二，GPT-2：验证无监督学习模式的力量。相信数据力量的OpenAI在2019年推出的GPT-2中，并没有转变技术策略，而是重点关注上一代出现的泛化能力不足问题，在训练数据与参数量上进行调整，使用了更大的数据集WebText（取自Reddit上高赞的文章，约40GB文本数据、800万个文档），为模型添加了更多参数（达到15亿个，是GPT-1的近13倍），提升了数据质量与数据规模，从而使得GPT-2在任务迁移方面展现出更优性能以及更惊人的生成能力。GPT-2的出现与性能提升，进一步验证了无监督学习的力量，即通过海量数据与大规模参数训练而成的NLP模型能够无须额外训练具备迁移到其他类别任务的能力。

第三，GPT-3与GPT-3.5：在海量训练参数基础上加入人工标注与强化学习。2020年发布的GPT-3被认为是目前最强大的语言模型，能够撰写人类难以判别的文章，甚至编写SQL查询语句。而其强大性能依赖于海量训练参数的喂养。相比于GPT-2，GPT-3则是将大规模数据的力量发挥到极致，OpenAI为其提供了1750亿的参数量，是GPT-2的10倍、GPT-1的100倍以上，45 TB的训练数据以及1200万美元的训练费用更是不在话下。在技术路线上，GPT-3删去微调步骤，直接输入自然文本作为指令，提升了GPT在阅读文本后可接续问题的能力以及任务主题的广泛性。GPT-3.5的主要杰作就是近期大火的ChatGPT。ChatGPT使用了微软Azure AI超级计算基础设施上的文本和代码数据进行训练，在训练参数上增加到GPT-3的10倍以上，延续了OpenAI对大规模数据的追求。此外，颠覆性地使用大量人工标注数据与有人类反馈的强化学习，使得ChatGPT表现出出色的上下文对话能力甚至编程能力。

纵观GPT系列的发展，OpenAI始终贯彻了大规模数据与生成式预训练Transformer模型的技术路线，并通过不断微调进行模型迭代优化，创造了ChatGPT的一鸣惊人。正如前文所说，ChatGPT不会是终点，OpenAI即将发布的GPT-4会将生成式AI带向何方，还需拭目以待。

ChatGPT尽管在自然语言文本的处理上仍有不足，会写出看似合理但不正确且荒谬的答案，例如将刘强东写作阿里巴巴集团的联合创始人，但其所表现出的强大基础模型能力，能够通过针对特定专业或行业进行微调，以提供优质的专业性服务。因此，ChatGPT的应用前景包括但不限于智能机器人、行业智能助手、舆情分析等领域。

2.1 智能机器人

在2C场景中，智能机器人基于NLP的人机交互能力是产品发展的刚需。其中人形机器人在现实场景中与人对话，对流畅的语言交互能力更加依赖。只有机器人能够理解人类指令并做出准确合理的需求响应，才能推动人形机器人完成后续的各项任务，因此NLP技术水平直接影响着人形机器人的技术发展与产品落地。

然而NLP模型的构建与训练需要花费大量时间、精力以及算力，持续优化NLP模式所需的算法、算力、算据都较为庞大，对于专注于实体机器人领域的技术来说，在保证人形机器人的各项软硬件技术发展前提下投入大量成本进行NLP模型的迭代并不现实。而ChatGPT的出现，进一步提升了NLP技术前沿，若接入人形机器人应用后，有望为人形机器人的2C场景提供更加仿真的人机互动，加速人形机器人的产品落地。

此外，虚拟空间中的智能机器人也能够依靠更为前沿的NLP技术增进其与用户的聊天体验，如游戏NPC、虚拟智能主播等，从而以此为基点探索新的用户交互服务。

2.2 行业智能助手

从GPT-3两年的商业化尝试可以看出，GPT系列并不能彻底取代某些职业，而更适合作为辅助生产力工具展开商业化实践。在人工智能助手领域，智能客服、语音工作助手、智能翻译等产业正在不断成熟，但当前的人工智能助手面临着逻辑性不强、响应不准确等问题。这正是NLP技术能够补足的行业短板。

在实践过程中，大量用户表示ChatGPT的对话体验要明显优于QQ小冰、Siri等智能助手的交互体验，尽管在生活常识性问题的准确性上远不及后者，ChatGPT能够通过强化学习的方式进行自我纠错，在后续对话中纠正之前的错误。此外，作为前沿NLP技术的模型代表，ChatGPT在代码纠错、文学创作等方面表现出的生成性能与需求响应能力，体现出其发展为行业智能助手的潜力。各行各业能够通过对ChatGPT的微调实现特定行业的专业化迭代，从而基于NLP能力提供更准确的助手服务。

2.3 舆情分析

ChatGPT的最大优势在于全球领先的NLP处理能力。出色的上下文对话能力背后的词向量模型性能能够适应NPL任务，这也就意味着ChatGPT在最基础的文本分类、词性判断、命名实体识别等NLP任务上表现不俗。对于舆情分析而言，由于中文文本语义多元、语法特殊、寓意隐晦等特点，准确判断文本色彩是舆情分析的重要难点。

利用强化学习模型，ChatGPT基于用户互动与反馈能够对文本属性进行更新，从而优化其内容理解与生成能力。这不仅为智能舆情分析提供了更为前沿的NLP技术，也为智能舆情分析模型的搭建提供了参考思路。

猜你喜欢人工智能机器人文本在808DA上文本显示的改善制造技术与机床(2019年10期)2019-10-262019：人工智能商界(2019年12期)2019-01-03基于doc2vec和TF-IDF的相似文本识别电子制作(2018年18期)2018-11-14人工智能与就业IT经理世界(2018年20期)2018-10-24数读人工智能小康(2017年16期)2017-06-07下一幕，人工智能！南风窗(2016年19期)2016-09-21文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻小学教学参考(2015年20期)2016-01-15机器人来帮你少儿科学周刊·少年版(2015年4期)2015-07-07认识机器人少儿科学周刊·少年版(2015年4期)2015-07-07机器人来啦少儿科学周刊·少年版(2015年4期)2015-07-07