设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 都市圈 › 面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7 ...
回复 发帖
返回列表 发新帖
开启左侧

[科技] 面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7个token

[复制链接]
85684 0
本无我心 发表于 2024-2-1 18:33:55 | 只看该作者 打印 上一主题 下一主题
 
面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7个token 第1张图片


腾讯科技讯（苏扬）2月1日，面壁智能发布旗下2B参数端侧大模型MiniCPM，支持CPU侧推理，每秒可输出7个token，兼容国际主流手机品牌，官方称相关终端发布两年以上（运行）无压力。
根据官方介绍，MiniCPM作为一款端侧模型，支持互动式对话、代码生成，且具备多模态的能力。
现场演示的情况显示，MiniCPM在常规的对话式聊天过程中支持简单的计算处理，在翻译过程中，也支持多语言混合翻译成同一种目标语言，以及识别理解图片的内容，并且支持在无网络的环境下运行。
面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7个token 第2张图片


“多模型的能力提升到端上，让终端全天候地为人服务，极限情况下，（用户）在需要求助大模型的时候得到及时的响应。”面壁智能联合创始人、CEO李大海表示。
官方提供的数据显示，MiniCPM支持CPU推理，目前已经测试了包括OPPO Find N3、红米K40、iPhone 12等在内的不同手机终端，平均推理速度可达到每秒7个token。以一台OPPO骁龙855芯片的手机为例，按CPU成本600元计算，在使用5年报废的情况下，170万token的成本为1元左右。作为对比，GPT-4的推理成本4700个token为1元。
面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7个token 第3张图片


李大海强调，端侧模型的特点包括内存小，响应快，功耗低且成本较低，“从成本上来看，端侧大模型可以实现CPU推理，可以让成本断崖式下跌。1700000 tokens的成本1元，是MiniCPM-medium在云端推理成本的1%。”
据李大海介绍，MiniCPM的成本优势除了企业在端侧推理之外，由于模型足够小，只需要1台机器持续参数训练以及1张显卡进行高效参数微调。
面壁智能端侧大模型：20亿参数，支持CPU推理，每秒输出7个token 第4张图片



上一篇：私募大佬但斌被投资者起诉！“造成重大损失”，什么情况
下一篇：董宇辉风头盖过东方甄选 俞敏洪独立之路遇险
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

本无我心中级会员

0关注

2粉丝

55帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-5-15 19:49