ChatGPT 是怎样CHAT 的啊？

1万 · 2023-4-1 09:43

ChatGPT 是怎样CHAT 的啊？现在在IT圈和IC圈里，不提起ChatGPT这个话题，感觉自己就是圈外人。
从ChatGPT-4到ChatGPT -5 ;马斯克叫停GPT-5研究，意大利禁用ChatGPT；全国两会周鸿祎提案聚焦ChatGPT；今年博鳌亚洲论坛，平安银行行长特别助理蔡新提到在今天这个节点，中国必须拥有自己的ChatGPT。

1万 · 2023-4-3 09:24

前两天看到吴军谈的关于ChatGPT的一些看法：

ChatGPT，

会成为这类内容的杀手

问：最近ChatGPT火了，您作为著名的自然语言处理和搜索专家，也是谷歌中日韩算法的主要设计者，对于ChatGPT掀起的热潮持怎样的看法？

吴军：先说为什么它这么火，这跟AlphaGo下围棋赢了世界冠军其实是一回事，人工智能应用做了一件人们以为做不到的事，一下子就火起来了。

实际上五六年前，计算机就能写像《华尔街日报》的那种文章了，只不过是在专业人士的圈子里，没有向大众放开。包括ChatGPT最近这个版本也是两三年前的，找了一个应用模式对外开放。

ChatGPT写出来的文章和回答的脚本我看了，主要还是基于一个语言模型，而这个语言模型就是以前我做研究的时候关注的东西，所以它里面是怎么做的我大概都知道。

简单来说，就是大量统计文本，文本统计以后可以在特定的条件下重新产生文本，而这个语言模型基本上就是一个概率的统计模型。

10年前我在谷歌的时候领导了一个项目叫“谷歌问答”，当时我们没有回答所有的问题，但也能回答很多问题了。

比如说当你问为什么天是蓝色的，我们就可以根据提问者是孩子或者专业人士来改变答案的表达，便于提问者理解。这个功能2015年上线，到现在也有8个年头了。

当然就跟ChatGPT一样，这个功能起作用有一个前提条件——答案是互联网上能找到的。

我看周围一些人在讨论发给ChatGPT的测试问题，只要稍微复杂一点，它回答出来的话都是模棱两可的，基本没有营养。

举一个很简单的例子，提问“什么样的口罩防病毒效果最好”，在人类没有研究出这个结果之前，这类应用是一点用也没有的。

可如果全世界有100个科学家研究了哪种口罩防护力最好，发表了几百篇论文，那GPT-3（比ChatGPT更通用的语言模型，可用于广泛的语言相关任务，ChatGPT专门为会话任务设计）对这个问题的回答可能看上去跟专家是一样的。

所以总结而言，它不会原创，但会成为“没营养内容”的杀手。因为我们现在网络上存在很多东抄一个、西抄一个、错误百出的内容，未来这种没营养的东西，人可能还没有机器做得好。

问：记得您在《富足》中提到过两种人工智能，并且用“下围棋”和“买咖啡”来指代，ChatGPT更偏向哪一种？

吴军：我先讲一下“下围棋”跟“买咖啡”的人工智能有什么区别。

60多年前，人类第一次提出了人工智能的概念，想象着通过人为设定的规则让计算机变得聪明起来。

但是在按照那个方向努力了几十年后，人们发现世界的问题太复杂了，人类有限的理性是不够用的，即便是日常生活中很多简单的问题也不能单靠理性来解决。

比如，你如果问人工智能专家和大众这样一个问题：让机器人下棋战胜人类世界冠军，和让机器人下楼给你买一杯咖啡，哪件事更难实现？

退回到2016年AlphaGo（阿尔法围棋）战胜李世石之前，除了人工智能专家，几乎所有人都认为买咖啡更容易，因为这件事小学生都能做得到。

但事实是，世界上最先进的机器人也办不到这件事。人之所以觉得买咖啡简单，是因为人具有基本的经验和常识，但计算机不但没有常识，我们甚至不知道如何让它通过经验的积累获得常识。

我们仔细算一下，1972年人类发明了语言模型，到现在已经超过50年了。一开始数据规模比较小，参数只有几万，而ChatGPT用的语言模型，两年前公布的参数已经达到1000亿了，技术的渐进走到了今天的爆发。

但从本质上看，ChatGPT实际上还是“下围棋”这个路径的人工智能，用数据的积累做到以量取胜，跟人类的智能有本质区别。