设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 都市圈 › 数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍 ...
回复 发帖
1234下一页
返回列表 发新帖
开启左侧

[科技] 数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩

[复制链接]
61484 30
尹上海 发表于 2023-5-27 15:18:50 | 只看该作者 打印 上一主题 下一主题
 
克雷西 发自 凹非寺
对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。
但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：
若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。
这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。
而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第1张图片


而ChatGPT与单纯统计预测的区别，可以做这样的类比：
如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。
但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。
什么是“随机鹦鹉”

一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——
与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。
出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第2张图片


这对过去的语言模型，或许确实成立。
比如曾经流行的n-gram算法。
比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第3张图片


具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。
n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…
n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…
n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…
不难看出，随着n值的升高，文本越来越接近人类语言。
而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。
据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？
Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。
GPT-4不只是“随机鹦鹉”

要证明这一点，可以先看下棋机器人的例子。
如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。
那它就能通过“背谱法”模仿其他任何棋手或程序的下法
比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。
但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。
而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。
所以Stockfish肯定是通过更高级的方法来实现下棋的。
人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第4张图片


仅在是上一代的GPT-3的token字典中就有超过5万token。
如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。
届时，需要存储的情景数量将达到50000^8000。
正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。
因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。
“随机鹦鹉”达不到的高度

仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。
第一个实验关于一道经典的农夫过河问题。
一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？
研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。
狼、羊和菜则分别换成火星人、金星人和月球人。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第5张图片


替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。
如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。
GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第6张图片


但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。
回答中使用的句子，也无法在互联网中被检索到。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第7张图片


这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。
第二个实验则是数字排序。
如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第8张图片


其实只要从GPT的输出当中就可以看出来了。
假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第9张图片


如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。
因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。
研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。
结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。
虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。
这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩 第10张图片


这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。
更不必说GPT-4了。
参考链接：
https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does


上一篇：TikTok在印度遭封杀之后：本土应用先扬后抑 美科技巨头捡漏成赢家
下一篇：国产大飞机来了！C919今天开启首次商业载客飞行
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报
回复

使用道具 举报

 

精彩评论30

正序浏览
跳转到指定楼层
沙发
寻找只纳 发表于 2023-5-27 15:39:57 | 只看该作者
 
现在是婴儿期 需要投喂
回复 支持 反对

使用道具 举报

 
板凳
右左 发表于 2023-5-27 16:15:04 | 只看该作者
 
不可能去存储所有数据用于调用匹配的，本身调用就有瓶颈。就算完全按照人脑神经元的结构来建立，也不足以应付所有人的需求，服务器不可能用所有资源来响应每个人的问题，你得引导它去启动没有响应的那部分资源，来给出更好的答案，而且得在它不忙的时候，要不然程序肯定设计有敷衍流程来节省开支。这种敷衍可能是热度随机组合。如果说GPT用所有资源来回答问题，能不能达到人脑的智力程度，我觉得目前受限于硬件工作模式的局限性，是没办法完全拟人的，更多的是记忆性单元稳定的触发比人脑强。
回复 支持 反对

使用道具 举报

 
地板
子名 发表于 2023-5-27 16:41:19 | 只看该作者
 
这是基于英语的计算，只能说英语在承载信息的量上效率很低
回复 支持 反对

使用道具 举报

 
5#
冰棍真甜 发表于 2023-5-27 16:49:01 | 只看该作者
 
只选择有用的或者叫被标记的信息，又不是随机的，或者全部包含的，怎么可能要那么多。
回复 支持 反对

使用道具 举报

 
6#
风自南 发表于 2023-5-27 16:50:30 | 只看该作者
 
人类发展AI终极目标就是用机器人来替代普通的人可以做到的思考。那物质世界还需要人类吗？
回复 支持 反对

使用道具 举报

 
7#
上海缇威糯米胶小杨 发表于 2023-5-27 17:14:24 | 只看该作者
 
Yes, good
回复 支持 反对

使用道具 举报

 
8#
丶丶丶丶 发表于 2023-5-27 18:03:52 | 只看该作者
 
我也觉得不可能是这种算法，我很确定chatgpt常常能够完全理解我说的话甚至暗示，他理解能力可以说比大多数正常人要高
回复 支持 反对

使用道具 举报

 
9#
胡歌之淮安胡椒粉 发表于 2023-5-27 18:31:19 | 只看该作者
 
不评论了无意义的事。
回复 支持 反对

使用道具 举报

 
10#
萧龍 发表于 2023-5-27 18:53:21 | 只看该作者
 
都叫饱了，找个运动消化
回复 支持 反对

使用道具 举报

 
下一页 »
1234下一页
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

尹上海中级会员

0关注

2粉丝

53帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-4-27 00:37