套壳的大模型，为何还活着？

作者 | AI新智能
来历 | AI新智能
导语：所谓的“套壳”，并不意味着国产大模子黑暗的远景。
国产大模子套壳，是个被吐槽已久的现象。
比来，前阿里巴巴副总裁、著名AI框架大牛贾扬清昨日发朋友圈，爆锤国内某大厂套壳大模子LLaMA。
大意是：要改就改吧，但别掩耳盗铃了，省得小公司做一些过剩的适配工作……

针对这条消息，业内很多人士纷纷猜测，贾扬清所说的阿谁“套壳大厂”，现实上就是前未几刚公布了Yi-34B大模子的零一万物。
作为李开复AI团队的第一个大模子，Yi-34B有34B个参数，也是基于GPT的架构，且在Hugging Face和C-Eval的两个开源模子排行榜上，都获得了第一的成就。
但是，在模子公布后未几，Hugging Face社区就给零一万物留了条消息，要求其点窜模子张量。
来由是：除了两个张量被重新命名外，Yi完全利用了Llama的架构。

看到这儿，很多业内助士纷纷皱眉：这是赤裸裸的“套壳”吗？
假如是的话，为什么大模子浪潮都已经曩昔泰半年了，这类“歪门邪道”还是层见叠出呢？
怎样才算“套壳”？
现实上，在该事务传出后未几，零一万物就做出了回应，他们认可Yi-34B的结构设想是基于GPT的成熟结构，鉴戒了LLaMA的公然功效，可是这是为了与行业主留连结分歧，更有益于适配和迭代。
不外，这类诠释触及到了个很重要的题目，那就是：到底该怎样泾渭清楚地界定“套壳”和“鉴戒”？
在开源模子的根本上停止点窜、调剂，究竟算不算一种“套壳”行为？
从技术层面上来说，判定一个项目是“鉴戒”还是“套壳”，关键在于评价所做的改良或优化能否具有本色性和原创性。

在鉴戒的进程中，开辟者会在原有模子的根本上做出明显的增值，例如引入新的数据处置技术、优化算法性能，大概开辟特定于某个行业或利用的功用。
同时，在鉴戒时，开辟者凡是会明白指出，他们的修改是基于哪个开源模子，并说明他们所做的改良和创新。这类做法合适开源社区的原则和精神。
相反，假如修改仅限于概况层面，没有供给任何新的技术看法或本色性的性能改良，则便可以被视为套壳。
那此次零一万物的Yi-34B，算套壳吗？

从已经公布的信息来看，零一万物公司的做法似乎介于“套壳”和“鉴戒”之间。
他们确切在一定水平上依靠了LLaMA的架构，但也在数据处置、练习方式等方面停止了自己的工作和创新。
例如，其利用了自建的数据管线，从3PB原始数据中精选到3T token的高质量数据，以及在在收集宽度和深度上测试了分歧的Norm方式。
这些改良能够不那末轻易从模子的架构或代码间接观察到，它们凡是在模子的内部，而不是间接表现在模子的根本架构上。

这类情况下，将其完全归类为“套壳”能够有失公允。
但也不能完全视为自力的“鉴戒”，缘由在于其模子架构与LLaMA架构的高度类似性。
当一个新模子在焦点架构上，与现有的开源模子高度类似或几近分歧时，即使在其他方面有所创新和改良，也很难被完全视为自力的“鉴戒”。
时候压力
虽然零一万物此次的意外，也许算不上完全的“套壳”，但国产大模子“套壳”的情况，确切由来已久。
国产大模子，为何频频“套壳”？
除了算力、人材和资金方面的欠缺，让部分团队“另辟门路”外，另一个重要的缘由，就是当前大模子创业的时候窗口，已经收得越来越紧了。
究竟，大模子这股高潮，已经熄灭了泰半年之久，该入局的玩家早已入局，全部行业的格式已经根基构成。

头部大厂的职位撼动，国外同业又不竭推陈出新，留给模子层团队的时候，真的不多了。
在市场上同类大模子越来越多的情况下，客户为什么要恰恰苦守着一个研发缓慢，前途又不甚清朗的大模子？
市场对于快速处理计划的需求迫在眉睫。客户的需求不能等。他们需要现在就能用的处理计划，而不是几年后。
在这样的压力下，部分团队做出了挑选：利用开源模子作为根本，对其停止改良和定制，以顺应市场的需求。
究竟，即使具有顶尖人材，创新和自立研发的进程也是冗长且布满不肯定性的。由于野生智能范畴正在快速成长和变化，市场和技术的不肯定性意味着庞大的研发风险。

在今年10月之前，很多国内团队，都将GPT-4当做“对标”的方针。但是，却不知你在进，你的对手也在进。
9月底，OpenAI推出了DALL-E3，紧接着又推出了GPT-4V和语音交互功用，在多模态层面更上了一层楼。
而11月初开辟者大会的一系列“王炸”更新，则用更长的文本长度、全新的 Assistants API、以及文本转语音（TTS）技术，抹杀了想在“部分范畴”停止突围的国产模子。
在技术迭代敏捷的情况下，很多团队还在苦苦研发的大模子，也许还没公布，就已经过期。
对于创业团队来说，在连结技术创新的同时，也要斟酌到贸易模子的可行性和市场的接管度。
而有着成熟框架，且获得市场普遍认可的开源大模子，无疑成了一种牢靠的，可以顿时投入利用的计划。

而且，成熟的开源框架凡是有一个庞大的社区支持，这意味着团队在碰到题目时可以获得更多的帮助。
同时，社区中的其他开辟者能够已经处理了一些常见题目，团队可以间接鉴戒这些处理计划，避免反复劳动。
套壳大模子，能投吗？
在国产大模子“套壳”已经成普遍现象，而且未来极有能够成为常态的情况下，一切投资人都不能不面临一个题目，那就是：
假如硬是要在这些“套壳”的大模子公司里，物色可投资的企业，那应当怎样选？
在斟酌这个题目时，有一个很是重要的身分，即：
这些套壳的大模子公司，究竟是完全依靠于“套壳”，没有任何自立研发的尽力和计划，还是以“套壳”作为妥协和过渡手段，但有明白的持久成长计划，有创新的愿景，有才能终极转向自立研发？

这两种情况，需要区分看待。
在对这两类企业停止考查时，一个非常重要的权衡标准，就是技术和产物线路图。
由于一个清楚、具有前瞻性的技术和产物线路图，间接反应了企业的持久计谋意图和创新才能。它不但显现了企业能否有计划从“套壳”转向自立研发，还表白了企业未来技术成长的偏向和潜伏的市场合作力。
现实上，以类似“套壳”的方式进入市场，最初却依靠自研产物获得用户认可的案例，在贸易上并不罕有。
例如移动互联网时代的小米，就是一个明显的例子。

开初，小米的智妙手机在外界看来，似乎只是模仿了其他品牌（特别是苹果）的设想和功用。其早期产物被批评为缺少创新，更多地依靠于现有的设想和操纵系统（基于Android的MIUI系统）。
但是，小米后来展现了对本身技术和产物线路图的持久对峙，其不但在软件上（MIUI系统）停止了大量的自立创新，还在硬件设想、功用创新以及用户体验上停止了明显的研发。
例如其自立研发的手机芯片Surge S1，就标志着小米在手机焦点技术范畴的自立创新。
随着时候的推移，小米凭仗更多的创新技术，在市场上获得了极高的评价和普遍的用户根本。

一样地，在当前“套壳”的国产大模子企业中，也不解除存在着一些有着持久技术线路的企业。
倘使以这样的概念来看，所谓的“套壳”，也并不意味着国产大模子黑暗的远景。
从产业的角度来说，只要更多具有创新潜力的企业，从AI浪潮早期的“大过滤器”中幸存了下来，未来更多的自立创新，才能够相继出现。


上一篇：继续交火！以军曝光哈马斯地道
下一篇：OpenAI CEO被曝拟建立AI芯片公司，奥秘推动数十亿美圆融资谈判