天极大咖秀

登录 | 申请注册

GPT时代的“李涛模式”:蒸馏法训练大模型,推出精练中小模型

丁道师 2023-04-04 阅读: 10,991 次

“AI是否可以代替人的说法,有些观点可能会认为AI代替部分员工工作,而我们的思路是,让AI辅助员工,全员拥抱新技术,从而提升工作效率,从而高质量高标准的产出。

“很多人以为ChatGpt是个聊天工具,这是对ChatGpt最大的误解。实际上,ChatGpt这种大模型是未来社会的底层操作引擎,所谓的Windows、IOS、安卓等,可能只是ChatGpt之上的一个应用罢了。”

“人类文明往前进步的时候有两套方法,一套方法叫做归纳法,一套方法叫演绎法。而人工智能发展也需 “四步走”,即生产效率的提升和生产工具的改进、用人工智能改造现有所有的产品、场景重塑、把人工智能推到全产业链。”

自从ChatGPT被誉为“划时代应用”以来,李涛比以前更忙了。

一方面,作为坐拥24亿用户的APUS公司的掌门人,面对新机会,要马不停蹄及时布局,抢夺先机。因为APUS在数年前就开始建设的全球数字基因库,并且早在ChatGpt火爆前就完成了 "全球化" 升级战略升级。面对这种百年未有之大变局的新机会,APUS比其他企业拥有更多储备来发展AI大模型,进而拥抱更广阔的人工智能大时代。

另外一方面,李涛又作为一位行业人士,跳出APUS站在更高视角来操心行业发展,四方奔走为行业贡献“李涛模式”。这段时间,李涛倡导的“国内人工智能落地4步走”方案以及蒸馏法训练大模型的相关实践,频频见诸媒体报道,引发行业关注。

人工智能的奇点来临 立足场景补足短板

人工智能不是一个新的概念,人工智能火起来也不是最近的事情,过去几年所有一线的科技企业,不管是中国的也好,美国的也好,都在谈大力布局人工智能。

但是,过去多年基于人工智能的各类应用,给人的感觉总是差点意思,一些模型归纳法用的很多,演绎法用的太少了,无法产生新物种。按照李涛的定义,过去的IT业其实是另外一种形态的手工业,在写字楼工作的程序员,本质上和工业革命之前的纺织工没有本质区别。但是,现在人工智能的奇点正在来临,ChatGpt为代表的大模型出现就是标志事件,IT产业将从手工业时代转化成了工业化时代。

过去我们讲,数据、算力、算法是实现人工智能的三要素,缺一不可。现在奇点来临之后,我们要加入一个“场景”,因为人工智能最核心的是模型,而模型第一靠场景,其次要有数据、算法、算力,这四个要素组成构建模型的基础。

对于咱们中国来说,目前在这四个要素中最强的是“场景”,但是我们的短板也很明显,数据分散、算法不足、算力薄弱是客观存在的事实。

要想破解这些难题、补足短板,需要强化顶层设计,更需社会各个方面通力协作。去年2月,为了解决算力薄弱问题,我国在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。全国一体化大数据中心体系完成总体布局设计,算力短板加速补足。

与此同时,腾讯云、阿里云、快手等企业,也已经在“东数西算”算力枢纽节点地区布局或投产了数据中心。还有上文提到的APUS,数年前启动全球数字基因库项目,一期IDC数据机房落户中原联通数据基地,为中原地区数字“一带一路”项目提供强力支撑。

接下来我们要继续立足我们的场景优势,补足短板,进而追赶先进。在李涛看来,发展人工智能本质上就是把场景先抓住(这是我们擅长的要素),第二是抓住现在的数据,第三个开启国际化。这里重点说说国际化。国际化的重要之处在于两个方面,第一只有国际化才能解决算法的不断迭代和更新的问题,第二是只有国际化才能够本质上解决算力不足的问题。

现阶段,中国数字化的算力主要集中在政府手里,接下来建议政府整合、开放算力,以低成本的方式开放给所有要用的互联网企业,进而推进行业更高效率推进人工智能相关业务布局。

 布局大模型 更要推进中小模型的落地应用

这段时间,我和朋友们聚会,大家都在热议大模型,仿佛只要搞定了大模型,就是万金油,可以做任何事情。实际上,人工智能的发展落地,尤其进入千百个细分领域,往往是靠那些中小模型。

因为中小模型的针对性更强,所以未来基于大模型再开发的各类小模型,可以更迅速地应用到各行各业,给用户提供多种服务。像最近流行的AI写情书、AI占卜、AI写代码、小红书种草生成器等等,都是小模型应用的典型代表。

那么问题来了,中小模型应该如何搞?要不要从底层开始,自己搞全套架构,写全套代码?

APUS的做法是用蒸馏法来训练APUS的大模型,在大模型的基础上封装成无数的精炼模型来提供服务。

所谓“蒸馏”,就是把我们需要配置在应用端的缩小模型从复杂的大模型中提取出来。具体来说,就是在APUS的大模型上加了各种限制参数,就把它蒸馏、提纯形成了无数个精炼模型,或者叫中小模型。然后基于实践训练这些小模型,训练小模型的同时,大模型也得到了训练。大模型被训练的越来越好,反馈到小模型的效率越来越高。

该怎么理解这个动作? 再举个例子,就像金庸小说中的九阳神功一样,这个大模型太大了,一般的门派不用都学,只用一部分能力,开发属于自己的“少林九阳功(适合外力强劲的男子)”“峨嵋九阳功(适合女子)”就行了,也能克敌制胜。而且,如此操作,比上来就修行完整版的全套九阳神功,效率不知道高了多少。

现在的APUS,既有专门有做AIGC的中型模型,也有基于不同场景有不同的小模型,然后在每一个场景上面推出10款不同的产品和软件,用这种方法一方面保障了公司的商业化的运作,一方面又保证了产品有足够大的用户量,然后反过来训练这些模型。

这种大小模型的组合打法推出后,APUS的各类产品加速应用落地。比如智能问答大师,用AI问答的方式帮助用户解决各种问题,可以翻译、写简历、写报告、写诗、写论文、编程、解答生活问题等。

还有壁纸星球,这款APP看名字平平无奇,我体验后深感震撼,它可以把你上传的图片变成梵高、莫奈、毕加索等大师的作品风格,也可以根据用户输入的文字描述,生成一副全新的画面。这些生成的图片,已经超越了绝大部分的真人画师。我和一位媒体朋友开玩笑说:“未来,用这种工具,游戏和动画领域的建模师、画师、设计师的工作效率可以迅速提升,一个人就可以干出来一款3A游戏。”

总之,大模型只适合科技行业头部企业或者本就拥有历史积累的那些公司搞,至于大部分的企业,想办法开发利用中小模型,才是上上之道。

人工智能“取代人”思考:也许是提高了人类效率呢?

这段时间,Gpt火爆后,业界讨论或者说担忧最多的一类话题就是“AI会不会取代人”“AI首先淘汰哪些工种”等等。

我是一个文字工作者,现在AI可以写文章了,按理说我最应该担忧AI,对不?

其实大可不必,我们纵观人类科技史的发展,科技发展消灭了一部分岗位,但却带来了更多的岗位。汽车发明后,马车夫被取代了,但却新增了上亿的司机岗位,而且又带动了汽车制造、后服务、金融保险等相关产业,反而比马车时代创造了更多机会。

退一万步讲,将来哪怕AI真的代替了画师、记者、程序员某些重复的时候,也会诞生出来新的工作岗位,比如AI标注师、AI大数据训练师等等,让AI更好的服务人类。

现阶段, AI创作和人类创作并不是非A即B的关系,而是可以相互融合,比如AI画作、AI写作类服务就可以辅助人类画家和作者更好地开展工作。我们可以把这类AI服务看成一个“灵感和素材的放大器”,能够帮助他们进行创作时提供信息和灵感,拓宽思维视角。

前不久,我做客一档很有影响力的节目,讨论解压经济。节目方事先给了我提纲,我就是在GPT的帮助下,得体的回答了这些问题,“骗”过了主持人和全国观众。

在这类热议话题上,360创始人周鸿祎的看法倒很乐观,他认为将来不是AI淘汰人,真正被淘汰的是不会使用AI的人。

李涛的看法更为乐观,并且有更多的创业实践,更有说服力。还以APUS为例,当大家担忧GPT来了后,大部分程序员会不会被淘汰时,李涛对我说出来开头那句话:

“AI是否可以代替人的说法,有些观点可能会认为AI代替部分员工工作,而我们的思路是,让AI辅助员工,全员拥抱新技术,从而提升工作效率,保证高质量高标准的产出。”

是的,AI不是取代人,而是让人的效率更高。就此,APUS鼓励员工全员使用AI大模型,鼓励员工拥抱新技术,并且定下来一个制度:如果员工用人工智能够提升生产效率,比如说提升了30%,就给加薪10%,提升50%以上,就给加薪20~30%。

APUS已经制定了2023年规划和目标,业绩要实现200%的增长。如果放在以前,这是一个不可能完成的数字,但我们要知道,AI大模型是以天为单位进行升级迭代,反馈到工作层面的效率,可能会以几何数量提升。对于中国的APUS以及美国的OpenAI这种公司来说,在全面转型人工智能的当下,要么实现高速的增长(倍数增长),要么加速衰退,绝对不会有平庸中间值。

 写在最后:“我所见过的事物,你们人类绝对无法置信。” 30多年前,电影《银翼杀手》的AI复制人罗伊意味深长的说出这句经典台词,影响了一代人。

2023年,人类社会将进入新时代。

丁道师
资深互联网观察家、媒体专栏作家

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)