天极大咖秀

登录 | 申请注册

端侧AI的“春风化雨手”,翻开中国科技下一页

脑极体 2024-01-11 阅读: 5,877 次

大模型是一年多来全球科技圈的最大热点,手机厂商想要借助大模型的锋芒,打造高端形象,获得新的增长,这无可厚非。

不过,大家注意到没有,越是“AI强者”,对待大模型越举重若轻。

简单来说,就是不会为了大模型而大模型,过多强调大模型本身有多么厉害,而是将这一新技术,拆解到自身已有的AI体系中,融化到用户需求和体验变化中。

比如说苹果,在AI芯片、AI算法上都有颇多建树,但对大模型,却冷静观察了很久,库克曾说过:使用生成式AI“深思熟虑和考虑周到非常重要”,前不久苹果才开源了一个雪貂模型,iPhone落地大模型的时间还未可知。

而放眼国内厂商,华为、荣耀则是手机AI的先行者。

华为很早就确定了移动AI的防线,推出的首款搭载NPU支持AI专项任务的处理器,甚至早于苹果;荣耀对手机AI的探索则可以追溯到2016年,推出了首款AI手机Magic一代,搭载历时四年研发的平台级AI解决方案Magic Live智慧系统,率先把AI概念引入手机。

那么,华为和荣耀又是如何处理手机与大模型的关系呢?

2023年中,华为Mate60系列接入大模型,更多强调的是,大模型能力与Harmony OS手机系统的深度整合,给新系统带来的能力升级。

荣耀对待大模型也很慎重,是头部国产厂商中最后一个发布端侧大模型的。对此,其荣耀研发管理总裁CTO邓斌曾在一次交流中提到:荣耀聚焦AI本身,始终把理解用户作为整个系统的中枢神经,不是有了大模型才开始做AI,而是按照荣耀既定的平台级AI策略,让AI赋能整体操作系统,以用户为中心,实现服务直达的创新交互,大模型是为了加快这一进程。

不难看到,将用户体验作为首要目标,找到一种以人为本的交互方案,成为苹果、华为、荣耀等一众“端侧AI先行者”的共同选择。

大模型只是工具,人才是目的。这让我想到了武侠小说中,那些武功已达化境的高手,不拘泥于武器和招式,不一定要锋芒毕露,出手前先大喊一声“亢龙有悔!”而是春风化雨般见招拆招。

2024年1月10日,荣耀发布的魔法OS MagicOS 8.0,率先打造了基于AI意图识别的个人化操作系统。将端侧大模型融化在荣耀的平台级AI体系中,MagicOS 8.0成为一双手机大模型的“春风化雨手”,翻开了人机交互的下一页。

我们就从MagicOS 8.0的变化说起,聊一聊端侧AI之于中国科技意味着什么,为什么MagicOS、iOS、鸿蒙或将“三分天下”。

手机大模型,究竟为什么出发?

2023年,我参加过数场手机大模型的发布会,逐渐发现了一些“套路”:

首先,高瞻远瞩地分享一些大模型、生成式AI的前沿趋势;然后宣布我们也有类似的技术,打造了XXGPT,参数XX,可以写文案、画图;接着晒出一张大模型基准测试的排名,在“某某赛道”上超越了微软、谷歌、OpenAI……

这种AI版的“跑分大战”,厂商们还乐此不疲,观众们已经意兴阑珊。

科技圈有一句话,消费者并不清楚科技可以干什么,不知道自己想要什么,但一定知道他们不想要什么。当手机厂商在用力兜售大模型时,用户的内心却充满了纠结,具体表现为很多的“不想要”:

不想要额外的负担。通用大模型都有手机版APP,直接安装就可以在云端调用运行,把大模型放到手机里,会增加功耗和算力需求,需要更先进的处理平台来支持,有必要吗?

不想要同质化的功能。大模型和生成式AI狂奔一年,文本写作、以文生图、跟智能助手用自然语言交互,这些使用场景被各个厂商翻来覆去地教育市场,早已耳熟能详,有新鲜的吗?

不想要复杂的交互。想要大模型的生成质量好,用户得先学会写prompt,人机交互的门槛就增加了,不懂“提示语工程学”,就用不好大模型吗?

从传统机器学习、深度神经网络再到大模型,手机AI的技术永远在进步,也永远是工具,而非终极目的。

任何技术,都要与用户需求相适配,真正革新体验,让用户真心实意发出“想要”的感叹,才能落实为产品价值和市场价值。

化解用户心中的种种疑问,抚平不想用、不敢用、用不起的种种纠结。手机大模型,在等待一双“春风化雨手”。

IUI,是人和大模型的最短路径

大模型和用户之间,究竟如何建立起真正的亲密关系?全新的交互方案与操作系统,是人和大模型的最短路径。

大家可能听过一句话:简单的留给用户,复杂留给自己。操作系统的价值,就在于此,在手机中起到了承上启下的作用。向下协调软硬件资源,让传感器、摄像头、处理器等各种元器件能力为用户所用;向上支持丰富的应用软件,让用户便捷地获取服务。

更符合自然习惯的人因交互,一直是操作系统的进化趋势。

从以DOS为代表的命令行交互界面(CLI),到以Windows为代表的用键鼠输入的图形交互界面(GUI),再到以安卓和iOS为代表的以触控为核心的自然用户界面(NUI),每一次人机交互的变革,OS操作系统都会屏蔽掉大量烦琐复杂的底层技术,让设备变得越来越“傻瓜化”,普通人也能直接使用。

因此,理论上说,用户对于手机大模型和端侧AI的种种纠结,比如算力、功耗、应用、安全……都可以通过操作系统被消弭,只留下极简、人性化的交互体验。

通过基于意图识别的人机交互(Intent-based UI)和个人化操作系统,消除设备端复杂的AI软硬件技术和各种元器件所带来的操作门槛,化繁为简,让大模型走近人、理解人、服务人。

但实际中,要把大模型融化于端侧AI体系,打造意图识别人机交互IUI,并不是一件容易的事。

就拿荣耀魔法OS来说,其技术能力迭代时间,就长达10年,期间荣耀投入的资金量达百亿级。不遗余力,功夫始成,才有了MagicOS 8.0的“春风化雨”,消除大模型入端的重重门槛,真正翻开人机交互的下一页。

具体来说,将大模型融入端侧平台级AI,建立起大模型与用户的最短路径,MagicOS做到了三件事:

第一件,也是最重要的一件事,看见完整的人。

传统的OS内核,是负责管理和调度系统的硬件资源,如CPU、内存、硬盘、I/O设备。

想要构筑真正以人为中心的体验,打造基于意图识别的人机交互IUI,OS需要一个由“人相关因子”构成的“新内核”,对这些因子进行解析和计算,才能更好地理解人、服务人。

我们知道,人不是单向度的存在,是一种复杂多维度的生物,有些特征可以被标签化,有些隐藏属性则很难被洞察。为此,荣耀用多年实践,积累了与人相关的因子,包含:

1. 个人知识库。人的个体与行为类因子,例如年龄性别、健康状态、运动习惯、生活方式、工作休闲时间等。

2. 人的位置和状态感知,也就是人所处场景的相关因子,系统可以对人的位置、人的状态感知(走、跑、骑、乘等)。

3.人的习惯和画像学习。

通过这个“人因”新内核,魔法OS可以看见更完整的人,精准识别用户意图,高效调度系统服务,让“猜你所想,懂你所需”的智慧体验,成为可能。

第二件事,则是拆除大模型的端侧瓶颈。

大模型强大的理解分析和创造能力,为打造意图识别人机交互IUI注入了技术动能。但问题又来了,手机大模型,不只是大模型。以大模型加持IUI,需要考虑到底层硬件平台的调优、算法优化、模型压缩、功耗控制、模型数据安全等一系列因素,共同决定了大模型的端侧落地效果,直接影响到人机交互体验升级。

魔法大模型在Magic6上首发,荣耀已经攻克了端侧大模型性能和功耗的平衡难题。

一方面,荣耀自研的魔法大模型属于端侧大模型,不同于云侧大模型要将数据上传到云端进行识别分析,魔法大模型可以做到让个人数据不出端、不上云。结合荣耀两锁一芯的架构,保证模型在端侧安全运行并存储,和端外完全隔离。

此外,荣耀还联合高通开发深度调试,荣耀自研70亿参数的大模型经过量化、剪枝后,被部署在骁龙8 Gen3上,实现了端侧的流畅运行。

可信赖、反应快,消除了端侧大模型的落地障碍,端侧AI才能真正让用户交付信任,对用户意图进行更深度、更精准、更细腻的理解。

第三件事,则是平台级AI的精准对接。

我们都知道,大模型及生成式AI能干很多事,写文案、画画、创作音乐、做数学题、讲故事……而用户需求同样很多样,生活出行服务、视频娱乐、金融证券、在线教育、视频会议等,手机几乎承载着大家日常生活的所有需求,有些需求可能用户自己都没有意识到,比如给孩子做一个生日视频、为宠物制作N张手机壁纸。

传统OS需要用户自己意识到具体的需求,在大量应用和能力中寻找对应的服务,随着端侧设备和应用服务的快速增长,“供需对接”这件事已经变得越来越繁琐,甚至有的用户不堪重负,开始主动进行“数字戒断”,以减少劳动量。

这时候,荣耀的平台级AI,就为IUI提供了一个非常好的基座。所谓平台级AI,不是单一孤立的AI应用,而是把端侧AI能力拆解到一个个具体的场景里,带来基于意图识别的服务闭环。

用户不需要费神劳心地被动寻找服务,大模型加持的魔法OS平台级AI,可以为用户提供恰到好处、精准匹配场景的主动服务。

拆除了上述障碍,用意图识别人机交互“春风化雨”,魔法OS成为人和大模型之间的最短路径。

通过魔法OS 8.0,拥抱端侧AI的温柔

沿着魔法OS 8.0铺设的一条大模型之路,用户终于可以打消种种顾虑和纠结,拥抱端侧AI。

人因交互的温度,可以通过很多个微小的瞬间,被强烈地感受到,比如:

一个化繁为简的感动瞬间。

想为家人制作一个年度精彩瞬间,为爱人制作一个周年纪念日视频,但不会操作剪辑软件,很多用户只好“算了”。魔法OS 8.0用基于意图识别的人机交互,将专业门槛“化繁为简”,让这些用户因为麻烦而压抑的隐藏需求,得到释放和满足。

通过魔法端侧大模型,魔法OS 8.0理解了用户的对话指令,结合对用户的独特理解,可从个人图库中的照片、视频精选精彩瞬间,自动剪辑成片。只需要一句自然语言指令,就能让原本复杂的专业操作,变得格外简单。

一个童话般的神奇瞬间。

看过哆啦A梦的大小朋友,都幻想过拥有一扇任意门,只需轻轻一迈,就能徜徉在一个个神奇瑰丽的世界。然而现实中,大多数时候我们只能徜徉在日复一日的枯燥重复劳作中。

收到一封工作邀请函,需要复制事件,添加日程;复制时间,添加闹钟;复制地址,导航搜索;复制航班,等待出发……一个看似简单的任务,却包含着大量隐形劳动。光是把精力放在这些繁琐的人机交互上,就足以让打工人身心俱疲了。

MagicOS 8.0基于平台级AI技术的“王炸级”交互功能——任意门,就可以把大量重复操作折叠,根据拖拽内容,自动识别用户意图,在门内动态匹配智慧推荐服务,跨应用一步直达。

比如纸质挂号单、邀请函,微信里工作伙伴的邀约拜访,学校老师的群消息通知等,这些生活中高频出现的文件,包含了文本、图片、图像、表格等复杂信息,只需要手机拍下来,往任意门一拖,端侧大模型就会进行语义分析、跨模态理解,自动提取录入关键信息,一步生成日程,不再需要人费心费力去拆解处理。

在一次次“一步直达”的惊喜中,任意门和个人事务中心如同童话中的神奇魔法,将人从疲惫生活中解放出来,拥有更多闲暇去感受美好。

一个被AI赋能的有力瞬间。

以前的智能手机,是人的眼睛和四肢的延伸,让人能够看得更远、远程操控大量iot设备。有了AI之后,手机又多了一个具有强大理解能力的“大脑”,成为人思想和思维的延伸。这个“AI大脑”的载体,就是智能助理。

在端侧大模型加持下,荣耀智能助理YOYO能力得到大幅提升,可以实现深入用户意图的理解和复杂任务的主动服务,成为每一个用户手中时刻在线、专业贴心的私人助理。

用户通过YOYO智能助理,可以与大模型进行默契式对话,不需要机械式的命令指令和反复确认,端侧大模型让YOYO能听懂用户的话中话(指代词),理解用户的意中意(潜在意图),然后进行自动Prompt,将用户的简单提示语解析为详细提示语,来主动提供服务。

举个例子,说一句“YOYO,去老地方吃饭”,它就会在端侧进行分析,理解“老地方”是哪里,有了这个“外挂大脑”,无需用户费力思考,人机交互变得更省心。

需要说明的是,端侧AI不等于手机AI,如果大模型只能在手机上应用,却无法在其他设备上发挥效用,相当于“瘸腿”。端侧AI,必须带来一个个“境随心转”的瞬间。

大模型加持的意图识别人机交互,数据和服务要跟随着人的行动和场景变化,在手机、汽车、智慧屏、笔记本电脑、平板等多种设备之间,安全而自如地进行流转,避免体验上的割裂或参差不齐。

跨越设备壁垒,背后需要极高的技术创新(如鸿蒙OS)或完整生态(iOS),荣耀也带来了自己的解法。魔法OS 8.0的信任环技术再升级,通过全栈重构,把平台级的AI引入互联技术栈中,行业首创智慧决策层,带来服务智慧随人流转的体验,能够感知用户当前使用的设备,自动完成服务流转。

视频加载中...

用户出门时,音乐、有声内容、导航、视频通话、网约车接单等服务一键流转无缝上车,享受车载大屏和专业音响;高效办公时,PC、平板可以直接调用手机摄像头拍摄图片,插入文档;外出跑步,不想携带手机又担心错过重要消息,手机信息能远程自动同步手表,不耽误事儿……

随风潜入夜,润物细无声,大模型加持的平台级AI能力,融化于IUI操作系统之中,魔法OS 8.0的交互革新,让数字生活有了前所未有的变化。这双端侧AI的“春风化雨手”,让用户沉醉于科技的温柔。

端侧AI的“春风化雨手”:握着中国科技的未来

功夫已达化境的大师,往往心怀天下,而非一己私利。荣耀对大模型的思考,不止于IUI,也不局限于自己的“一亩三分地”。

此次发布会上,与大模型有关的另一个大事件,就是荣耀推出“百模生态计划”。

如果说,魔法OS是将荣耀自己的魔法端侧大模型,拆碎了融入端侧,那么百模生态计划,荣耀则希望凝聚全中国的AI力量,构建一个前所未有的智慧服务生态。

这是第一个,将云侧通用大模型和各种行业垂域大模型,统统纳入端侧操作系统的大模型。中控开放架构,为“百模大战”之后的大模型厂商和企业,提供了一个落地端侧的入口。

举个例子,未来用户在出行时,YOYO助理可以理解对话中的位置信息,自动拉起高德地图,一句话规划生成行程导航;如果想搭乘航班,魔法OS 8.0会将本地端侧数据进行脱敏,接入航旅纵横的千穰大模型,获取更加专精的垂类服务。

从这个角度看,荣耀生态也是一个大模型厂商们构建差异化体验、逃出同质化竞争的绝佳土壤。

而对于用户来说,魔法OS也提供了第一个,也是目前唯一一个,接入大模型生态的“最短路径”,不需要额外安装或在不同平台来回切换,就能让丰富、专业、优质的各种大模型应用,为己所用。

以中国通用大模型的第一梯队百度文心为例,魔法OS的用户未来不仅能通过YOYO助理使用到百度文心大模型,而且,百度智能云千帆大模型平台也成为荣耀大模型生态的战略合作伙伴,开发者可以通过更多AI原生应用,丰富MagicOS移动应用生态,为用户提供前所未有的智能体验,抓住移动互联网之后的下一个红利期。

借助魔法OS这双“春风化雨手”,大模型厂商、智慧终端上下游企业等众多中国AI参与者,也握住了未来。中国AI力量加速集结,为中国科技的“元创新”写下新篇。

MagicOS与鸿蒙一起,为中国OS添砖加瓦,成为鸿蒙、iOS之外的第三极,让中国AI成就世界荣耀,让这人间处处有智能。

当大模型融化于端侧AI,你我则将融化于科技的温柔。

脑极体
从技术协同到产业革命,从智能密钥到已知尽头

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)