设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 美洲华人圈 › 波士顿华人圈 › 麻省理工周记（230318）：Deep Change & Deep Bias ...
回复 发帖
返回列表 发新帖
开启左侧

[问答] 麻省理工周记（230318）：Deep Change & Deep Bias

[复制链接]
33431 2
DreamForever 发表于 2023-3-20 11:47:33 | 只看该作者 打印 上一主题 下一主题
 
先来张图，这是过去一周发生的一些事情的汇总。实际上，过去的这一周发生了很多关于AI的事情，有人跟我说你一个学城市规划的，天天在知乎上写这些计算机研究方向的内容瞎起什么哄。事实上，这可能里面有几个误解：一来这里只是我自己对自己的一个求学生涯的一个记录，因为感觉这么密集的一段时间的经历还是挺值得记录的，而且只有在知乎这种公开的平台上立“周记”这种flag，才可能会迫使自己每周都强行记录；二来，更重要的是，我发现如今真的是越来越绕不开AI这一波的袭击了。自从 transformer 这些近乎蛮不讲理的算法开始，整个算法的精准度、拟人化瞬间提升了一个大台阶。个人认为这一波的技术革新将会席卷各个行业，首先是从码农开刀，后面可能是律师行业等等这些拿着过高收入，但又可以被技术替代的行业。

麻省理工周记（230318）：Deep Change & Deep Bias 第1张图片
先聊聊这周学了啥，ML和CV的课都讲了attention，ML的课讲的比较浅，但是从内容理解上更容易深入浅出，感兴趣的朋友可以看看这篇介绍：https://jalammar.github.io/illustrated-transformer/，虽然把word embedding莫名其妙拆解成 query, key, value 这些无厘头的玩意儿听起来很扯淡，但它通过大量的trainable parameter 的参数真的实现了近乎完美的数据拟合。然后cv课里面关于这部分的讲解就更细致，而且借由RNN到后面引出其和attention layer的结合的过渡产物，再到最后的transformer，才会明白为什么那篇经典文章“attention is all you need”为什么会叫这个名字，原来是指只要attention了，rnn的这种层层递进的模式可以直接不要了的意思，连同后来基于RNN改造的LSTM这些思路都直接给抛弃了。这起名字的风格还真的和deep learning一个尿性。对了，这个课的课件其实是半公开的感兴趣的朋友可以自行去这里下载：http://6.8300.csail.mit.edu/sp23/lectures/L11/13_Temporal_and_attention.pdf
从RNN到LSTM，再到Transformer，我们可以看到几个规律：1）这种发展是跳跃式的，我们有理由相信今天学的算法会在很短的时间内被改进，然后又会在相对不长的时间内，有巨大的变化，甚至连框架都大改；2）问题和挑战依然还是有很多，其实依然还有很多的技术难题需要去攻克。其实以前有很长一段时间，我一直不明白视觉领域时序问题是怎么去预测的，总感觉挺玄幻的，直到看到课件里这图的时候，才有点恍然大悟。实际上时间轴，真的只是一根稍微有点特殊的轴而已。。。万物皆可图。。。

麻省理工周记（230318）：Deep Change & Deep Bias 第2张图片

其实就是个tensor

说完课程的内容，再聊聊GPT。感觉GPT这个话题一旦开启，最近这段时间就绕不开了。这周最大的新闻莫过于GPT-4发布了，大家是否还记得我上周问的两个问题，第一个是关于是否是质数的问题，当时老款ChatGPT对于一个特别大的偶数，回答是很二的，不能说这不是质数，但GPT-4不一样，他已经可以准确回答了。这进步速度，我已经暂时不能明确找到他一定能答不出的问题了。

麻省理工周记（230318）：Deep Change & Deep Bias 第3张图片
然而，有意思的是，我似乎发现了deep bias的一些蛛丝马迹。起因还是上周问的那个“请说出中国的杰出女性”。下面的一系列的截图是我在测试的一些内容结果。事先声明，生成式模型不是每次都会出错，但个人感觉下来，用ChatGPT (也就是3.5) 用中文提问“介绍中国的杰出女性”，其错误率相当高。而且同样的问题，如果提问GPT-4，虽然结果会好一些，但也好不了很多，甚至依然近乎每次回答都能有错，错的还不重样。。（注：回答是黑色logo图标的就是GPT-4）

麻省理工周记（230318）：Deep Change & Deep Bias 第4张图片

GPT 3.5

麻省理工周记（230318）：Deep Change & Deep Bias 第5张图片

GPT 3.5

麻省理工周记（230318）：Deep Change & Deep Bias 第6张图片

GPT 4，其实也错的很离谱

麻省理工周记（230318）：Deep Change & Deep Bias 第7张图片

GPT 4，其实也错的很离谱

那如果换成英文是否会好一些？是的，会好点，但也依然有错误。不过神奇的是，如果你问杰出男性，就都不会错了。其实仔细想想，其原因可能在于，世界上被记载的杰出男性的数据量远大于女性，所以对杰出女性的预测其准确率就大大下降，能出现各种啼笑皆非张冠李戴的场景。不过这问题如果往大了说，就是Deep Bias这一问题了，其实这是个很麻烦的问题。关于Deep Bias，Google之前也出过一个很著名的case，比如识别成了Gorillas。其实要Debias这种问题是一个很复杂过程，特别是像GPT这种深的这么夸张的model，要消除其Bias是很难的。

麻省理工周记（230318）：Deep Change & Deep Bias 第8张图片

麻省理工周记（230318）：Deep Change & Deep Bias 第9张图片

GPT 4

麻省理工周记（230318）：Deep Change & Deep Bias 第10张图片

GPT 4

PS：上上周把Boston的Google Street View 的segmentation 跑完了，可以想想下一步怎么弄了。


上一篇：麻省理工学院RD放榜！录取率有回暖趋势！
下一篇：麻省理工学院
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报
回复

使用道具 举报

 

精彩评论2

正序浏览
跳转到指定楼层
沙发
@Xizi_3cZjRvNK 发表于 2023-3-20 11:48:23 | 只看该作者
 
全 员 转 码[酷]
回复 支持 反对

使用道具 举报

 
板凳
云飞的 发表于 2023-3-20 11:48:58 | 只看该作者
 
时序图组成的那个三维体，我是接触遥感物候的时候看到的hhhh[开心]（TerrSet上有
回复 支持 反对

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

DreamForever白金会员

0关注

7粉丝

418帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-4-27 04:24