天极大咖秀

登录 | 申请注册

科教玩转AI:懂行的都在卷算力,更懂行的在升级全闪存储

阿明观察 2024-04-26 阅读: 875 次

引言:让更懂行的用户聚焦存力,从而可以更好助推产教融合发展。

【全球存储观察 | 热点关注】从ChatGPT到Sora,新一代人工智能的蓬勃发展带给了IT业界新启示,大模型离不开大算力的支撑与大数据的洞察。

当“大模型+大算力+大数据”业已新一代人工智能发展的基本范式时,懂行的早已关注大算力,更懂行的却将目光更多转移到了存力。

其一,存力核心基础设施价值凸显。数据质量高低在很大程度上决定了大模型智能化水平,作为支撑高质量数据集的载体,高性能的存储系统成为大模型进化不可或缺的核心基础设施。这一观点得到了大模型厂商的认证,4月18日Meta正式发布最强开源大模型Llama 3,扎克伯格就在访谈中提到,外置专业存储在AI训练中很重要。

其二,升级全闪成为降低能耗最佳途径之一。然而,大模型进化虽然迅猛,但能源将成为限制。谈及能耗管控方面,相比传统磁盘存储,全闪存储凭借高性能、低功耗、高可靠的优势受到许多企业的欢迎。

算力存力协同发展,

大模型进化才能跑得更快

在AI大模型时代,算力发展迅猛,成为大模型训练的主要成本,用户特别关注算力顺理成章。

在卷算力的同时,保障算力使用的存力也需重点关注,实际上在大模型训练过程中,算力存力协同发展才有现实意义。

一方面,从AIGC发展现状来分析,AIGC在很大程度上促进了内容生产更快更多,根据其内容模态不同可分为文本、视频、图像,音频与跨模态生成,这对于任何有志于大模型创新的科技公司而言,都需要大量的存储空间来保存模型数据采集、预处理、训练集数据及结果数据等。

二方面,随着Sora文生视频异军突起,生成式AI将迎来新的技术革命,与此同时,文生视频也将进一步引爆大模型数据爆炸式增长的新趋势。大模型数据存储容量将发生新的飞跃式攀升,从而加快迈向PB级的大模型存储时代,这对于大模型进化将是一项新挑战。

由此而言,大模型对于算力基础设施要求将会聚焦在智能算力、数据存力与网络运力三个方面。作为高质量数据集载体的存储系统,当仁不让地成为大模型核心基础设施之一。

用户已经从一味的堆叠算力,到让每一分算力都发挥最大价值的阶段,这时候就要看存储的技术创新了。

那么,问题来了,如何更好地实现算力存力协同发展呢?在此之前,必须明确了解多模态的大模型海量计算,已经对数据存储提出了前所未有的高要求。道理大家都容易懂,存储高要求实现越好,匹配智能算力发挥就越充分,从而大模型进化就越快。

然而,事实上,当前大模型存储却涌现出了三大制约其进化的挑战。

其一,数据加载速度低下,成为影响模型训练时间的重要因素。其二,数据访问协议多样性,导致数据访问效率不高。其三,大模型进入落地应用阶段,开始走进千行百业,与各种各样的场景进行深度融合。基于此,大模型面对多种安全威胁与挑战。

可见,不搞定大模型存储的三大挑战,恐怕难以让大模型进化跑得更快。

聚焦大模型进化的木桶短板,

自研XDS创新破局

哪里有挑战,哪里就有突破。

诚然,在AIGC数据风暴下,大模型存储针对存储性能、访问效率、数据安全等方面的挑战,成为大模型进化的木桶短板。一直在数据存储领域有着全面布局的曙光存储,在应对AIGC存力挑战上,自研XDS技术实现存储创新破局,满足大模型快速进化的高性能存储需求,也为曙光存储的未来发展创造了新的机会。

中科曙光存储产品事业部副总经理 、曙光存储公司副总裁 杨志雷

奔着算力存力协同发展的趋势,中科曙光存储产品事业部副总经理 、曙光存储公司副总裁杨志雷表示,曙光ParaStor首创实现XDS智能加速技术,缩短数据传输IO路径,减少CPU开销,打造高效的存算协同。

针对以前常用AI训练的缓存模式,GPU需先存储数据到缓存,然后由CPU操控指令,GPU才能读取数据。从CPU到缓存再到GPU,GPU数据调取效率太低。为了助力加速AI流程,XDS技术开创性地实现数据直接加载到GPU,保证了存和算之间的通讯几乎是无缝的,而且不需要通过更多的协议转换,加速AI训练的数据集加载与处理。与此同时,XDS技术值得一提的创新之处在于支持异构GPU直接存取,也支持多款算力端GPU直接存取。如此一来,面向AI场景,XDS加速训练、推理业务流程带来立竿见影的作用。

针对存力端的特定需求,XDS技术内嵌ParaBuffer加速引擎,在AI训练计算节点与存储系统之间构造大内存池,将系统整体I/O性能提升数倍。从真正意义上实现AI存算协同优化,大幅缩短训练时间,由数十天降低至几天。

针对大模型存储在数据访问协议多样性上的挑战,曙光ParaStor早已全面支持文件、块、对象等多种存储协议,实现统一的协议管理。ParaStor支持多副本及纠删码的冗余模式并存,支持多协议访问。在提升系统可用性、可靠性及性能的同时,大幅度降低存储成本。

针对AI存储的数据安全性的挑战,曙光ParaStor拥有全栈自研能力,从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。在数据存储全栈安全的考量,带给用户更多放心与安心。

由此可见,XDS加速技术不仅带来存储效率提升,同时支持多存储协议与智能分级,数据管理省心可靠,最终帮助大模型行业实现降本增效。

很显然,随着大模型行业发展深入,打造行业AI底座的道路上,XDS技术支持大模型应用的价值将得以进一步彰显,AI未来已来,曙光存储以长期以来的创新坚持,引领存储未来趋势。

“疯狂星期四”加速升级全闪,

锻造创新教育AI底座

在加速行业AI应用落地方面,科教行业呈现出了新变化。

之前,教育部大力推进人工智能、大数据等学科发展,又进一步扩大了高校教学对计算资源的需求,同时也带动了存储资源的建设。像清华大学、北京科技大学、复旦大学、湖州师范学院、福建师范大学、华南理工大学等科研院校机构,纷纷在AI领域丰富自己的能力,面向科研科教不断进取。

此外,大模型的发展也加速了AI为科学研究带来更多可能性,AI for Science(AI4S)人工智能驱动的科研一时间备受关注。AI与科研的深度融合,针对自然界、人类社会的各种现象和规律,AI4S利用AI技术学习、模拟、预测和进行优化,以此寻求解决各种问题,从而推动科学突破与创新。目前,在生命科学、材料科学、能源、半导体、地球与环境等众多领域及细分领域,AI4S已经都在不同程度地推进产研实践。

据中科曙光存储产品事业部副总经理 、曙光存储公司副总裁杨志雷介绍,部分重点高校不仅有自己的先进计算实验室,并且正朝着更大规模的数据中心发展,锻造创新教育AI底座成为大家的必然趋势。同时在AI4S助力科学研究上,高效处理海量数据的需求也非常突出。

从实验室走出的曙光更能深刻理解科教的数据存储需求,凭借着多年的技术积累,发力科教行业,基于科教行业的场景需求,强化AI底座,并推出“疯狂星期四”全闪升级促销活动,加速升级全闪存储,满足科研院所和高校的AI数据存储需求。

全闪升级活动细则包括:全闪存储免费送!仅限科研教育行业用户。活动有效期为:2024年5月1日至2024年12月31日。

活动规则:买满5PB机械硬盘容量,赠送3重大礼,提升5倍性能。

赠送1:150TB全闪存储容量(NVMe SSD)

赠送2:分级存储license授权

赠送3:IO模型分析套件

回馈科教用户,价格不变,性能提升5倍+,这样的促销值得关注一下。

全球存储观察分析指出,虽然懂行的用户都在卷算力,曙光存储“疯狂星期四”活动,让更懂行的用户聚焦存力,从而可以更好地助推产教融合发展。

值得关注的是,曙光存储全栈自研,打造从部件到存储节点到系统到整体存储方案的四级安全体系。减少频繁参数调优、服务器或网络故障等原因导致的中断影响,保障数据全生命周期内存储系统的高可靠性。不仅稳定安全,而且中科曙光ParaStor分布式全闪存储的整体拥有成本更具性价比。

面向未来发展,玩转AI,科教行业升级全闪存储势在必行。

- END-

欢迎文末评论补充!

【全球存储观察 |全球云观察|科技明说|阿明观察】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

阿明观察
科技观点、人物观察、新闻评论。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)