文章作者｜波士顿咨询：窦德景，陈果，於晨，王欣
个人微信 |hello_SSX
深度学习是人工智能这个领域从1956年开创以来一次重大的技术突破。从新千年开始，深度学习技术每五到七年就会有一个较大的技术进步，以2017/2018年Transformer和预训练大模型为代表，我们目前正处于由深度学习带来的第三次AI技术发展的高潮期，今天我们要谈的话题，正是本次技术进步中的一个代表性产品。
生成式AI的创新之处
最近以ChatGPT为代表的“生成式AI”（Generative AI）技术得到了广泛关注。和传统的对话机器人（Chatbot）不同，OpenAI的ChatGPT确实有独特的技术创新，在人工智能的发展史上会是一个里程碑，甚至有可能和2016年谷歌的AIphaGo相提并论。而且目前看来ChatGPT比AIphaGo应用落地的前景会更好更广泛，可以有力地持续推动这一波AI技术高潮的发展。
让我们首先来介绍一下对话机器人的工作机理
首先用户需要通过文字或语音向对话机器人输入一段信息，紧接着机器人会识别并理解这段信息，判断由该信息开启的对话任务，并给出相应的回复内容。最早期的对话机器人更像一个基于数据库或者知识库的查询系统，根据用户输入的信息查询到对应的答复。可以说这些答案基于不同的索引（index），已经事先存入对话机器人的数据库或者知识库。当对话机器人收到用户输入的信息以后，主要工作是处理信息中的关键词来生成最匹配的索引，再基于一定规则找到最匹配的答复。后来发展的对话机器人也可以利用训练数据，通过机器学习来产生答复，比如2014年的深度学习模型Seq2Seq被成功地用到了对话机器人上面。这些机器学习模型最喜欢的训练数据就是事先采集和标注好的在相同场景下（比如智能客服）的对话记录。
早期最有影响力的生成式AI技术是2014年发明的生成式对抗网络（Generative Adversarial Networks）
其本质是一种深度学习模型，原理上有两个神经网络相互对立，一个生成器和一个判别器。生成器或生成网络负责生成类似于源数据的新数据或内容，判别器或判别网络负责评价源数据和生成数据之间的区别并向生成器提供反馈。生成式对抗网络被成功用于计算机视觉技术，比如图像的生成和合成，但是在对话机器人技术上的成功应用并不多。
ChatGPT的核心是2017年出现的新生成式AI技术Transformer和随后产生的基于Transformer的大规模预训练技术，并引入了一些新的强化学习算法
其中的核心技术Transformer是2017年谷歌发明的，它来源于2017年谷歌的一篇科研论文《Attention Is All Your Need》。原本这篇论文聚焦的是自然语言处理领域，但由于其出色的解释性和计算性能，Transformer开始被广泛使用在AI各个领域和不同数据类型，成为最近几年最流行的AI算法模型。
在Transformer之前，主要的自然语言处理算法是RNN（循环神经网络），它的原理是每个单词（字）计算之后将结果继承给第二个单词（字）
算法的弊病是需要大量的串行计算，效率低。而且当遇到比较长的句子时，前面的信息很有可能会被稀释掉，造成模型不准确。而Transformer模型将每个句子中的所有单词进行计算，算出这个词与词之间的相关度，从而确定单词在句子里的更准确意义。Transformer模型的结果不仅仅包含了每个单词的含义、单词在句子中位置信息，更包含了词与词之间的关系和价值信息。这种方法可以在长句子中发挥优势，而且最关键的是突破了RNN时序序列的限制，所以Transformer可以用到文字图像等不同的数据。
Transformer的另一个巨大贡献是产生了预训练语言模型，比如GPT、BERT和ERNIE等
这些预训练语言模型用到的对语言的编码器和解码器都是由一个个的Transformer组件拼接在一起形成的。比如，预训练语言模型BERT 所做的就是从大规模上亿的无标注文本语料中，随机抠掉一部分单词，形成类似完形填空的题型，不断学习空格处到底该填写什么。BERT的训练是从大量无标注数据中学习复杂的上下文联系。BERT和GPT（Generative Pre-Training）最主要的区别在于，BERT仅仅使用编码器部分进行模型训练，GPT仅仅使用解码器部分，所以GPT更适用于生成文本。
总的来说，预训练的第一步是在大规模无标注数据（如网上文本）上进行模型预训练，学习通用的语言模式；第二步在给定自然语言处理任务的小规模有标注数据上进行模型微调，快速提升模型完成这些任务的能力，最终形成可部署应用的模型。预训练模型已经在大规模语料上训练好了参数，用户在用的时候只需要在这个基础上训练更新参数。用户可以在神经网络加的最后的一层上进行分类或者更多的语言推理任务（比如对话等）。预训练技术成功激活了深度神经网络对大规模无标注数据的自监督学习能力，而Transformer和基于它的GPT、BERT、ERNIE等模型奠定了自然语言处理领域大模型的基础，证明了通过大规模语料的预训练技术，能够大幅度提升各类文本阅读理解的效果，开启了自然语言处理的新时代。
从Transformer的提出到“大规模预训练模型”GPT和BERT的诞生，再到GPT-2的迭代，以及到GPT-3和ChatGPT的出现，标志着OpenAI成为营利性公司。ChatGPT可以说是OpenAI公司利用最新生成式AI技术（Transformer）和最新大规模预训练模型（GPT-3.5）在对话机器人上的成功应用。GPT-3的模型所采用的数据量多达上万亿，主要使用的是公共爬虫数据集和有着超过万亿单词的人类语言数据集，对应的模型参数量也达到1,750亿。另外，ChatGPT还采用了新的强化学习算法RLHF（Reinforcement Learning from Human Feedback，从人类反馈中强化学习）来对模型进行训练，具体是让一些外包人员不断从模型的输出结果中筛选，判断哪些句子是好的，哪些是低质量的，这样就可以训练得到一个强化学习中的奖励（reward）模型。
ChatGPT属于现象级应用，大家都可以有直观感受，未来这类应用的体验提升和更新速度只会更快，理解其背后的技术有助于我们把握这个趋势。从大量用户在网上分享的反馈来看，与同类对话机器人相比，ChatGPT具有几个明显的优点：
更有“对话”的感觉：ChatGPT在语言组织的逻辑性和系统性方面有了显著提高，感觉像是一个助理，甚至是老师在回答问题。
回答理性又全面：不像网上搜索问题那样，很可能碰到一些固执的回答者，只站在一个角度回答问题，ChatGPT能做到多角度全方位回答。
可以理解上下文：例如，在提出一个问题之后，可以用“就刚才的回答中，你指的xx到底是什么意思？”等形式，进行追问。
会根据用户的反馈，持续优化模型：ChatGPT答案的质量、完整性每天都有一定提高。这是新的强化学习算法和几十名外包人员每天筛选答案的贡献。
可以协助创作内容，甚至对计算机代码进行指导：注意，ChatGPT并不是简单地从某个模版中选择内容，而是根据实时计算的结果提供答案。你给的信息越精准，回复就越有针对性。
生成式AI有待改进之处
前面提到，ChatGPT的优势是基于新的生成式AI技术Transformer和大规模预训练技术，并引入了一个新的强化学习算法。ChatGPT可以实现符合基本逻辑的对话生成，并能够在较短时间里生成大量高质量的文本内容，并给予相对准确的答案和自我修正。所以ChatGPT可以根据对话而优化，具有记忆能力，可以完成连续性对话。可以说ChatGPT是现阶段全球所发布的功能最全面的生成式AI对话机器人。
ChatGPT强的是逻辑分析和语言组织能力，适合询问观点和态度。但目前ChatGPT对事实是完全不检查的，所以不适合用来查询信息，特别是在需要查询信息的对错和真实性的应用场景。ChatGPT提供的答案只能被认为是不保证100%可靠的建议。因为ChatGPT是基于大规模预训练这样的无监督学习，我们无法分辨预训练信息的来源和真实性。ChatGPT给出答案的精确度取决于预训练样本规模（目前预训练样本只限2021年之前的数据）和样本本身的准确度。OpenAI也在其官方资料中说明了ChatGPT的局限性：
答案可能是错误的。
可能会产生有害的指引或者有偏见的内容。
因为数据样本仅限于2021年之前，所以对于世界的认知并不全面。
为什么ChatGPT会有这些局限性呢？简单来说，ChatGPT和很多深度学习模型一样是一个概率生成模型，其回答是从一个概率分布中采样的结果。根据你的问题，有些回答的概率更高，有些较低。当然ChatGPT还会根据人类的喜好来修正权重，从而增加输出人类想要的答案的概率。即使这样，同一个人多次询问同一个问题，不一定会获得相同的答案。有些答案有可能包含错误的信息。
当然，ChatGPT的核心技术里面有强化学习的reward模型，实际上是由大量人工进行标注训练的，不是完全的无监督学习。可以说目前ChatGPT模型的某些能力上的不足，很大程度是由这个reward模型决定的。Reward模型拟合不好的地方，也成为人们观察到 ChatGPT模型不足的地方之一。另外，由于ChatGPT数据更新延迟、还需要更多学习，常无法支持时效性答案，用户及ChatGPT都需要时间逐渐去提供反馈和学习，才能逐渐获得更准确的回复和对话。
最明显待改进的地方是，由于ChatGPT处于测试阶段，其知识库还很不完善。在模型进行大规模预训练过程中，即使训练语料包含了真实的、正确的信息，但是在推理阶段，ChatGPT还是可能输出错误信息。而且这样的错误，随着大量的用户测试，会更多地暴露出来。所以很明显，ChatGPT并没有连接一个稳妥可靠的知识库，这也说明目前这个版本无法完全替代搜索引擎，而更适用于一些务虚的任务，比如写小说、写诗歌、搞辩论。我们认为给ChatGPT连接一个高质量的知识库会极大提高ChatGPT的准确性。一个可以考虑的方向是，让ChatGPT能够持续更新知识、查询知识，从而带领搜索引擎和互联网的发展。目前看来，至少ChatGPT可以做到将搜索引擎上的信息润色、组织成最适合人阅读的形式，直接反馈给用户。
生成式AI的商业应用
直接应用生成式AI（Generative AI ）的场景是人机互动的文本、图像、语音、视频，也可以生成软件代码、音乐、虚拟世界的三维模型等，在消费领域可以用来做艺术创作、游戏开发、人员陪护等，它为商业领域里也带来很多数字化创新的机会。
企业级解决方案的创新是用户界面的变化，采用自然语言进行交互。无论是交易型应用还是分析型应用，基于AI采用自然语言进行互动的方式早有所探索，例如企业级商业智能可以采用持续的自然语言问答进行数据查询，并自动生成自然语言回答或者直观的图表；利用生成式AI可以进一步提升用户界面生成效率和质量。
能够自动用文字或语音互动，并且在互动中采撷信息输入业务系统的智能机器人早已用在企业的销售、客服、采购、报销、员工服务等流程，例如BCG开发了“智能采购助手”，采购人员在跟供应商互动中，智能助手能够从大数据中实时解析采购物资的市场信息以及供应商产能、资信等状态，结合供应商反馈和公司的采购策略、协作流程，为采购人员生成行动建议，例如价格谈判或者发送征询函等。
聊天机器人在很多业务场景下并不能完全替代人工，这种方式不仅存在AI准确性的问题，而且在用户体验上缺乏沟通的温度，然而，AI具有超越人脑的信息处理能力，可以提供辅助人员互动的智慧，支持人与人之间有温度的沟通。近年来，辅助人员互动的“对话式AI”产生了广泛商业应用，例如BCG为汽车、保险、地产等高价值销售行业开发的“智能销售助理”，不仅具有前文所述的行动计划推荐能力，而且能够实时分析销售人员的行为和话术，提出有针对性的辅导、改进建议，提升销售成功率，生成式AI进一步提升了此类智能化辅助程度。
可以预见，企业数字化应用可能会有以下变化：
传统AI技术学习消化的信息资源有限，通过大模型提供更为丰富的业务情景的上下文信息，加深决策的智能深度。通俗地说，普通人下棋想三步，高手下棋想五步，例如：明天我要去见哪个客户会更有助于达成我这个月的销售指标？用什么手段能降低5%的费用而不影响员工满意度？
实现业务流程的全自动导航，例如，根据用户反馈，通过生成式AI自动改进产品设计，这将改变传统的产品开发相关企业软件（例如PLM、CAD）的应用流程。
2B软件架构简化，强调前端开发，进一步实现“数字技术民主化”，降低工作中对数据、信息和知识的访问门槛，用户能够更好地使用数字化技术和AI。传统企业软件架构是应用软件访问集中的数据库，需要用代码来连接用户请求和数据，而未来数据和算法都是服务，利用生成式AI产生代码的过程将极为简化，企业软件将完全聚焦于业务运营和用户体验的持续创新。
生成式AI还将改变企业软件行业的商业生态——AI算法和工程等技术平台的开源社区蓬勃发展，利用开源技术开发基础模型越来越普遍。然而，体现企业差异化能力的是喂给AI的原料，所以数据资源的价值将更为凸显，具有独特know-how和来源的数据将成为AI背后的能力。
进一步交流
进入专业社群展开深度讨论
慎思行通过微信等平台覆盖超过10万战略人、咨询人等各类专业人士。我们也构建了专业社群，推动战略与咨询领域的问题讨论、信息交流和机会分享，社群已有超过5年历史，并成为了顶尖专业人士感知市场前沿，获得实践经验的首要选择。入群请添加慎思君微信，并提供名片。
现在微信公众号更改规则，如果你不特地点进来，很可能看不到我们的推送了。希望喜欢【慎思行】的读者朋友们将本号【设为星标★】，方便找到我们；也欢迎点击右下角的【在看】。