天极大咖秀

登录 | 申请注册

一座玉带桥,盘古通天下

脑极体 2023-09-01 阅读: 5,293 次

北京最著名的桥是哪座?这个问题有很多答案,但颐和园昆明湖上的玉带桥绝对榜上有名。有趣的是,全国各地有无数座桥叫做“玉带桥”。这或许是因为,古人非常喜欢将贯通两岸,联接彼此的桥想象成一道由天而降的“玉带”。

就这样,在无数玉带桥联成的网络中,货能通南北,人可行天下。在今天,当AI大模型走向行业成为共识,以大模型推进产业智能化成为趋势。而此时迫切需要的,就是大模型和行业之间建起一座“玉带桥”。

同样是在北京,我们刚刚就见证了这样一座AI大模型之桥的奠基。

今年的华为开发者大会(Cloud)当中,华为云盘古大模型3.0正式发布,同时公布了其为行业而生的价值定位。而想让大模型走向行业,不能仅仅依靠技术体系,还需要一连贯的工作作为配合。

8月30日,主题为“开放同飞,共赢行业AI新时代”的华为云盘古大模型主题论坛在北京召开,就AI大模型发展趋势、技术创新实践、产业发展机会展开了交流。

(华为云EI服务产品部部长尤鹏)

会上,华为云EI服务产品部部长尤鹏表示,大模型正在重塑千行百业,华为云将充分发挥大模型领域积累的技术和工程能力优势,让客户、伙伴快速构建起盘古大模型的开发和应用能力,让盘古大模型成为每个企业实现战略转型和智能升级的核心动力。

打个比方,大模型的技术能力只是桥柱,大模型的价值真正走向行业,还需要筑起工程化的桥身,开通生态体系的桥路。而这次论坛的核心信息,就在于分享了华为云如何基于盘古大模型的技术架构,连续构筑其工程化平台与生态策略。

这些动作联接起来,一座大模型通往行业的玉带桥正在建成。

盘古大模型,以此通天下。

大模型到行业,究竟有多远?

目前阶段,全球范围内大模型风起云涌,国内也已经来到了“百模大战”的火爆阶段。而这些大模型发挥价值的最终路径无非两种,一种是孵化C端的大模型原生应用,另一则就是走向行业,带来产业智能化价值。

但作为大模型未来核心出路的B端需求,实际却距离大模型非常遥远。总结起来,从大模型到行业,需要跨越三道河:

第一道河,通用能力和专业需求不匹配。

大语言模型火爆全球,靠的是通用性很强的内容理解与生成能力。但具体到某个行业,通用大模型的知识专业度与需求满足度却并不强。这就造成了大模型走向行业时,技术层面的供需不匹配。

第二道河,缺乏应用落地能力。

大模型虽好,但行业用户最终需要的是以我为主,打造自己需要的模型、应用、解决方案。这就需要一系列工程化能力,让行业用户能够根据需求和自身能力来实现大模型落地。但业界目前普遍更关心大模型算法本身,而较少注意工程化的配合。

第三道河,产业生态依旧薄弱。

无论是行业数字化还是软件开发,归根结底都需要繁荣的生态来配合。就像大模型形成具体的用户解决方案,需要有专业的集成商、软硬件供应商、ISV来参与。但大模型走向行业属于新生事物,生态中各个角色都还需要补充。这导致很多大模型在行业落地时,出现了想法很好,但大量需求根本无法满足的尴尬。

总而言之,大模型走向行业看起来很近,其实很远。因为它绝不仅仅是个技术问题,而是一系列因素编织成的产业问题。

而盘古大模型已经在建起一座桥,跨越这些横亘在大模型与行业之间的江河。

筑桥基:为落地而生的大模型体系

大模型行业落地,首先需要解决的是大模型体系与行业需求之间,“共性与个性”不匹配的问题。

想要解决这个问题,就需要在大模型基础能力与个性方案之间找到一个平衡点,既不能困守于基础技术,也不能在无尽的个性需求中大量消耗研发成本。

盘古大模型采取了一个极具创新性与实用主义的解决方案,构建了一个从底层开始即面向行业的大模型体系。这个体系,就是盘古大模型筑造的桥基,以此承托起大模型和行业之间的通衢。

具体而言,盘古大模型采取了5+N+X的三层架构

L0层提供五大基础模型,包括语言大模型、视觉大模型、多模态大模型、预测大模型、科学计算大模型,以此来提供行业场景中具有通用价值的模型与技能需求,奠定整个大模型行业落地体系的基础。

接下来,在L1层则基于基础大模型+行业知识,提供适配行业特征的行业大模型,包括政务、金融、制造、药物分子、矿山、铁路、气象等,满足重点行业的订制化模型需求,打通大模型的行业接驳点。

而在L2层,则提供大量细分的场景模型,做到开发AI应用时开箱即用,以此来满足大量垂直行业的海量大模型应用。

这样的三层解耦架构,天然具备良好的生态开放性。基于分层解耦设计,盘古大模型可以提供调用集成和定制联创两种应用模式,进而快速适配和满足场景诉求。首先在调用集成模式下,华为云L0盘古基础大模型可以提供超过100个能力集,这些能力集可以通过API直接调用。企业可以根据自身需求使用盘古大模型工作流,快速开发行业场景应用。在定制联创模式下,企业可以在L0或L1盘古大模型的基础上,通过对自有数据二次训练,快速训练出专属的行业大模型。 举个例子,某行业用户在引入盘古大模型时,既可以通过独立数据集的模式微调基础模型,也可以直接复用行业模型、场景模型,完全根据自身需求来勾勒大模型落地方案。

同时,根据用户不同的数据安全与合规诉求,盘古大模型还提供了公有云、大模型云专区、混合云多样化的部署形态,从而让大模型成为行业的“零部件”,而非高不可攀的技术务虚。

这样的体系设计,还仅仅是基础。想要筑桥过河,盘古大模型还需要做出更多努力。

铺桥路:以工程化能力加速大模型落地

在实际的产业智能化发展中,企业需要秉持的是工程师思维,要考虑到一切智能化创新是否可信、可靠、可持续,是否能够在成本与价值间取得最优解。

以这样的判断方式为核心,行业就不能仅仅获得大模型的基础支持,然后一切开发、调参工作都自己来完成,那会带来过大的技术与资源成本,对于绝大部分企业来说都是不现实的。因此,想要将大模型引入行业,必须考虑工程化问题,尽量降低行业对大模型的使用门槛,加速行业应用大模型的效率。

在这方面,华为云不仅提供深耕行业的盘古大模型,更提供盘古大模型工程套件,包括数据工程、模型开发和应用开发三大套件。在论坛中我们可以看到,通过盘古大模型工程套件,用户可以实现5倍速开发行业大模型,从而达成在引入大模型过程中的降本增效。

其中,盘古大模型的数据工程套件相比传统标注平台,专门为SFT训练提供了基于模板的Prompt在线辅助撰写功能,为RLHF训练提供了多人Rank在线标注和任务分拨功能。与离线对比,这两种任务实测效率可提升3倍。同时针对数据清洗,数据工程套件内置了50+数据清洗算子,能够覆盖90%以上的清洗场景,大幅提升清洗效率。

模型开发套件,则可以为用户提供自监督预训练、有监督微调、强化学习训练3种工作流,覆盖了从超参配置到模型训练、评测、管理、部署的全流程。套件中凝结了华为大模型专家的实践经验,从而可以帮助行业用户一站式开发专属大模型。同时通过模型量化和多种推理加速手段将模型吞吐量提升10倍,大幅优化模型推理性能。模型开发套件,可以极大提升模型开发效率,让行业用户更高效完成模型开发的核心工作。

应用开发套件,则将传统软件工程与大模型相结合,提供灵活的基于SDK的开发方式,2行代码即可完成大模型接入,5分钟完成大模型应用开发,支撑企业分钟级构建大模型原生应用,且支持更加广泛的兼容能力。行业用户对大模型的最终诉求是应用化,而应用开发套件则为此提供了丰富的工具与技能。

整体而言,盘古大模型工程套件关注到了大模型落地中的各个环节,重视实践性解决每个关键环节中冗长、耗时、开发难度大等挑战。这条工程化之路,让大模型的玉带桥顺利建成,但想让这座桥深度发挥价值,还是离不开生态的车水马龙。

通车马:建设大模型全域协同生态

大模型的出现,可以改变AI的行业应用范式,极大提升产业智能化的水平。但这项全新的事业,不是仅仅依靠最终用户与模型提供方。其中从算力、算法、平台,到应用、服务、人才培养,全链条都需要不同角色、不同能力定位的企业参与。大模型行业落地,必须以生态繁荣作为前提。

为此,华为云宣布将全面建设盘古大模型全域协同的生态系统,与千行百业的客户、伙伴携手,共创共享盘古大模型带来的行业AI新机遇。

为了实现这个目标,华为云基于盘古大模型、昇腾AI云服务,构建算力、算法黑土地,对生态伙伴发展也提供配套的支持。以此为基础,面向软件伙伴、服务伙伴、数字化转型咨询与系统集成伙伴开放了模型联创、解决方案构建和插件集成等多样的生态合作模式。

比如说,针对软件伙伴,华为云开放了三种生态合作路径,包括模型联创、解决方案构建和插件集成。对于有数据沉淀和行业经验的企业来说,可以选择与华为云一起构建行业模型、场景模型;对于有行业实践经验大模型集成和开发技术的企业,可以与华为云一起构建面向行业的细分场景模型,提供可复制的软件解决方案;对于企业服务软件、工具软件领域的企业,则可以用丰富的插件完善盘古大模型技能集,拓宽大模型的能力边界。

针对服务伙伴,华为云开放项目机会,通过赋能、认证、技术支持、激励等各种权益,帮助专业服务伙伴快速提升大模型服务能力,构建新的业务模式,获得可持续性的快速发展,通过服务来推进和实现大模型的商业闭环。

针对数字化转型咨询与系统集成伙伴,华为云与具备系统资质的伙伴进行BP互锁和Offering共建,让盘古大模型成为用户系统集成的更优选择。

论坛中,高等教育出版社、今日人才、阳光云视等客户、伙伴先后分享了与华为云基于盘古大模型的合作历程与合作价值,充分展示了华为云在大模型时代的生态打造决心与客户、伙伴赋能意愿。

在盘古大模型通往行业的这座桥上,如今已经能够看到车水马龙的生态盛景。

如今,华为云秉承着AI for Industries方向,盘古大模型深耕行业,已经打造出了金融、政务、制造、矿山、气象、铁路等领域行业的大模型和能力集,将行业知识know-how与大模型能力结合,为每个企业、每个人提供专家助手。

回顾盘古大模型能够走通这条路,筑起这座桥的原因,会发现站在用户角度考虑问题,是决定此后所有动作的根源。

为天下行业思考,为天下客户努力。所以盘古大模型这座玉带桥,才能让智能通天下。

脑极体
从技术协同到产业革命,从智能密钥到已知尽头

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)