GPT的突破与局限
生产工具是生产力发展水平的客观尺度。
——《马克思主义基本原理》
本文主要探索GPT的突破与局限性，而前两篇笔记，探讨了《GPT的基础》以及《GPT是什么》，欢迎点击题目跳转。
GPT的突破在哪？
GPT目前看似只能解决自然生成领域的任务，但实际上，他展现出了通用型人工智能的潜力。在前面，我们讲过，目前而言，BERT擅长自然语言理解类任务（类似完形填空），GPT擅长自然语言生成类任务（类似写作文）。
但在Google的FLAN-T5模型上已经实现了两类任务在输入输出形式上的统一，从而使得用GPT来做完形填空成为可能。也就是可以用一个大模型来解决所有NLP领域的问题。
国内、谷歌都完全落后于ChatGPT，在NLP领域，有一个基础组件叫做Transformer属于标配，这个组件是由前向神经网络+自注意力（Self-Attention）两个部分组成。
前文说过，Transformer会构成Bert模型（2018年），Bert的原理类似完形填空，利用上下文进行训练，由谷歌发明，百度跟进做出了Ernie，大概是落后1-2年，华为、浪潮等等都在跟着做Bert，这是一个主要流派，早期Bert流行程度是好于GPT的，一些业内人士也习惯使用Bert。
OpenAI属于另外一个流派，也是2018年出现的背后是微软，之前还有马斯克。GPT也是使用Transformer，但是它的逻辑是预测，比如"我喜欢人工____"预测后面两个字是智能，这样就和完形填空，空格前后都有的去预测差异非常大了，更像人在说话。但是它在用的时候，如果加一些模块，也可以做完形填空、文本分类、推理等等了。
GPT1、2都没有激起什么水花，但是GPT3出来后，其大模型计算量是Berat-base的上千倍。GPT3里面还有一个颠覆，是通过提示学习，实现自动举一反三。
除此之外，GPT3它就像自己的名字一样，更像是一个通用智能了，以至于有这么多“新闻”，比如某大学生用它写毕业论文，某员工用其面试，某工作人员用它写报告，而这与称霸围棋界的AlphaGo，主要能使用在规则确定的围棋领域，有较大的差异，这也是其突破性之一。
GPT的局限性
成本高昂
GPT运营的成本高昂是其一大局限性，不过在资本面前这些好像并不算什么。具体来看，有比如计算资源成本（460w美元迭代训练1次，1750亿参数（类似大脑神经元）对45TB数据逐一去计算，英伟达的A100一块就要1万美元以上，GPT使用的超算平台使用了1w块，而且GPU的寿命有限）、研发投入、使用成本（每个用户的每次平均成本是0.01-0.2美元）等等。
API调用是OpenAI商业模式之一，根据估算图片调用1次价格为0.016~0.02美元，语言模型调用为1K tokens（约750词）0.0004~0.02美元。随着使用规模变大，这些计算成本可能将飙升至数百万美元。
有分析称，ChatGPT每回复一次，OpenAI 的投入为1美分。而在去年12月，山姆·阿尔特曼曾在推特上回应马斯克关于成本的问题，“ChatGPT每次的对话大概花费在几美分。”据美国《财富》杂志报道，2022年，OpenAI公司净亏损总额为5.45亿美元。
小冰CEO李笛告诉《深网》：“小冰框架当前所支撑的对话交互量，一天就达到14个人类一辈子的对话交互量。若使用ChatGPT的方法，每天成本将高达3亿元，一年成本将超过1000亿元。对于产品化而言，即使再将成本下降10倍，这个商业模式也是无法成立的，因为这个成本与人类比没有优势。”
训练与回答的局限性
GPT本质上还是依据“大力飞砖”的方式基于概率的回答，而不是自我思考，因此其受到依赖历史数据有限、易受人类训练师偏好影响、回复答案不可控（部分答案政府不希望看到）等等影响；
中信证券也提到，ChatGPT的局限性，包括“一是受制于模型训练方式，数据难以实时更新；二是单次搜索成本过于高昂，测算生成一条信息的成本在1.3美分左右，是目前传统搜索引擎的3到4倍；三是统计学模型产生的内容真假混杂，用户难以辨别。”
财通证券指出，从结果来看，ChatGPT在文字表意、标题撰写等方面均具有较高水平，但采用该种直接生成+翻译模式形成的报告仍具有以下问题：在标点和术语方面存在明显错误；其次，无法得知引用数据来源及可靠性；此外，部分复杂语句翻译后表意不清晰。
底仓逻辑问题
杨乐昆（Yann LeCun，深度学习三巨头之一，获得了图灵奖）认为，GPT系列有4个重大的问题：
（1）数据驱动方面，GPT模型的能力取决于大量的训练数据，而不是技术本身；
（2）GPT系列模型的泛化能力不佳，在处理复杂任务时容易出错；
（3）GPT系列模型缺乏对语言和世界的真实理解，不能像人类一样进行推理和思考；
（4）不符合人工智能的正确方向，因为真正的人工智能应该基于知识和概念，而不是大量的数据。
ChatGPT提升的核心点
ChatGPT有非常多待提升的点，具体提升路径需要等待下一步研究，欢迎关注我们，一起探索人工智能时代的“新世界”。
参考文献：《万字长文：AI产品经理视角的ChatGPT全解析》
止于至善投资总经理、基金经理：何理
2023年2月24日
END
——止于至善投资理念
欢迎关注微信公众号：止于至善投资，获取公司最新动态与观点。
风险提示及版权声明
本文全部内容，仅出于传播信息的需要，市场有风险，投资需谨慎。所述内容和意见仅供参考，并不构成对交易做出保证。投资者不应将以上观点作为投资决策的唯一参考因素，亦不应以本意见取代自己的判断。在任何情况下，不对任何人因阅读以上内容所引致的任何损失负任何责任。
本文内容是作者对公开信息数据的整理与分析，不保证文中观点或陈述不会发生任何变更，本文对这些信息的准确性及完整性不作任何保证。如需转载，请注明来源与作者，保证文章内容完整性，并自负相关责任。
