设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 都市圈 › 马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提 ...
回复 发帖
返回列表 发新帖
开启左侧

[科技] 马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升

[复制链接]
38908 0
脚后跟 发表于 2024-3-29 10:22:06 | 只看该作者 打印 上一主题 下一主题
 
丰色 西风 发自 凹非寺
量子位 | 公众号 QbitAI
就在刚刚，马斯克Grok大模型宣布重大升级。
难怪之前突然开源了Grok-1，因为他有更强的Grok-1.5了，主打推理能力。
来自xAI的官方推送啥也没说，直接甩链接。主打一个“字少事大”（旺柴）
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第1张图片


新版本Grok有啥突破？
一是上下文长度飙升，从8192增长到128k，和GPT-4齐平。
二是推理性能大幅提升，数学能力直接涨点50%之多、HumanEval数据集上得分超过GPT-4。
消息一出，评论区立刻就躁起来了。
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第2张图片


具体跑分结果如何，咱们立马来看。
Grok-1.5来了

首先，对于上下文窗口。
这次是一把直接提升到之前的16倍，来到128k量级。
这也就意味着Grok可以处理更长和更复杂的提示，同时保持其遵循指令的能力。
在“大海捞针”（NIAH）测试中，Grok-1.5在128K token的上下文中完美检索嵌入的文本。
整个图一水儿的蓝色（100%的检索深度）：
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第3张图片


其次，推理方面。
Grok-1.5处理编程和数学相关任务的能力大幅提升，全面超越Grok-1、Mistral Large、Claude 2。
数学方面，Grok-1.5在MATH基准测试上得分50.6%，超越中杯Claude 3 Sonnet；GSM8K上得分90%。
编程方面，Grok-1.5在HumanEval基准测试上得分74.1%，超越中杯Claude 3 Sonnet、Gemini Pro1.5、GPT-4，仅次于大杯Claude 3 Opus。
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第4张图片


看起来，Grok这次的实力也是不可小觑。
Grok系列与其他大模型相比还有一个特色，不使用通用的Python语言+Pytorch框架。
据官方介绍，Grok 1.5采用分布式训练架构，使用Rust、JAX、Kubernetes构建。
为了提高训练可靠性和维持正常运行时间，团队提出了自定义训练协调器，可自动检测到有问题的节点，然后剔除。
除此之外，他们还优化了checkpointing、数据加载和训练重启等流程，最大限度地减少故障停机时间。
这，才速速有了现在的Grok 1.5～
更多信息官方也暂时还没有披露。
可以确定的是，新版本未来几天会先推送给早期测试者。并按照“老规矩”，很快将在平台上线。
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第5张图片


有网友表示，Grok进步真的相当迅速。
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第6张图片


有人甚至称马斯克这是发了另一个“GPT-4等效模型”，喊着：
OpenAI搞快点啊。
马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升 第7张图片


你期待新版本的Grok吗？


上一篇：阿里巴巴正在收缩投资版图
下一篇：“国产越野车的老祖宗”终于换代了，全新一代BJ212实车曝光
标签：马斯克 kishu马斯克grimes马斯克doge推文马斯克pager
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

脚后跟中级会员

0关注

1粉丝

39帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-4-29 01:33