天极大咖秀

登录 | 申请注册

智算时代需要什么样的存储?

大数据在线 2021-04-25 阅读: 7,394 次

当华为、滴滴、小鹏等一众公司近期都纷纷晒出自动驾驶汽车在复杂路况的行驶情况时,一个触手可及的智慧时代真的是在加速到来。

在今年的浪潮数据中心合作伙伴大会(IPF)2021上,浪潮认为在一个智慧时代里,智慧应用无处不在,也带来了指数级的计算需求,计算产业正加速进行到智算时代,同时也面临着多元化、巨量化和生态化的挑战。

事实上,伴随着计算走向异构化、复杂化,AI模型走向巨量化,在存储层面同样会面临着海量数据的诞生、存储、管理和应用等一系列挑战与问题。正如西部数据公司副总裁兼中国区业务总经理刘钢在IPF 2021大会上所言:“高速发展的人工智能在对数字经济产生巨大赋能和推动的同时,也推动整个计算产业往'智慧计算'方向演进,巨量模型和海量数据,对算力和存储的需求呈指数级增长,也将推动着存储架构走向创新。”

智算时代需要什么样的存储?

西部数据公司副总裁兼中国区业务总经理刘钢

AI摩尔定律背后的一笔数据账

过去,应用和场景通常是围绕着业务流程展开;如今,几乎所有的智慧应用都是通过数据和算法来驱动。

数据正在成为智算时代最核心的生产要素。随着《十四五规划报告》的颁布,在政策层面上推动数字时代到来、激活数据要素潜能,加快建设数字经济、产业数字化等,为数字化的智慧应用场景扫除了最后的障碍。

在一个智慧应用井喷的时代里,解决算力需求首当其冲,但亦不能忽视背后海量数据带来的挑战。以往,计算机处理器性能通常是遵循摩尔定律,每两年左右时间增长一倍。如今随着人工智能应用在多个行业遍地开花,模型愈发复杂,AI在训练和推理对于算力的需求更加渴望。根据一些机构统计,AI训练所需要的算力每3.43个月就翻一倍,AI摩尔定律揭示着一个对于算力极度渴求的时代到来。

以OpenAI的GPT模型为例,GPT-1模型参数只有1.1亿个,预训练数据量为5GB,最大层数为12层,到了GPT-2,模型参数增加到15亿个,预训练数据量达到40GB,最大层数突破到48层;而去年五月发布的GPT-3,模型参数则高达1750亿个,,预训练数据量高达45TB,最大层数高达96层。无论是模型规模、数据量、训练层数都是指数级增加。

仅仅一个模型在短短几年内就发生了惊人的演进,随着大量AI模型在行业中得到应用,随之而来的海量数据可想而知。可以预见,在未来的智算时代中,海量数据的处理、存储、流动与管理将面临着极为严峻的挑战。

以自动驾驶为例,一辆L4级的自动驾驶车辆,每天就能够诞生高达60TB的数据,根据法规需求,这些数据还要保存至少30年以上,自动驾驶公司每天还需要不断训练新数据,以实现模型的优化。光自动驾驶这一个场景的数据存储、应用、流动和归档就充满了挑战。

“面对人工智能应用带来的挑战,一定不能只用一种技术来解决,而是需要在存储架构层进行创新。”刘钢直言道。

存储架构必然走向变革

归根结底,数字经济的快速发展,让智慧应用在数据类型、数据量、数据处理等方面的需求比以往有了指数级的提升。如何让这些海量数据能够存得下、用得快、流得动和管得好,是当下存储架构最具挑战的难题。

为此,西部数据开出了它的“组合药方”:去中心化分布式存储、分层存储和分区存储三大创新存储架构。

智算时代需要什么样的存储?

首先,去中心化分布式存储解决的是让更多数据存下来的难题。众所周知,随着区块链、人工智能等技术逐渐在业务场景中走向融合,基于这些技术的智慧应用正在数字版权、供应链管理、医疗健康等多个行业诞生,随之而来的就是海量数据,而去中心化分布式存储将大幅降低存储成本,存储更多数据。

其次,分层存储解决的是让存储资源可以物尽其用,充分满足数据生命周期不同阶段对于存储资源的需求。刘钢透露,西部数据根据数据对存储时延、容量的需求,将分层存储架构划分为五层:极热存储、热存储、温存储、冷存储和极冷存储,并且每一层都有对应产品来保障。

比如像一些内存计算、数据分析类的场景,对于数据处理性能极度渴望,就更加适合采用极热存储;而自动驾驶等AI场景,对于数据处理性能、容量都有着很高的要求,采用热存储就非常符合。“对于极热存储和热存储、温存储,西部数据都有着高性能SSD、主流SSD等不同方案来满足需求。”刘钢介绍道。

众所周知,在智慧应用遍地开花的今天,闪存的容量、性能和成本正变得至关重要。尤其是当前SSD容量点正在从4TB升级到8TB的关键时期,对于闪存厂商的产品、技术、产能是一场大考。刘钢直言:“如今,大规模产能对于SSD很关键,西部数据和铠侠战友全球三分之一的份额,可以在产能层面提供充足的保障。”

此外,西部数据在闪存上的技术也让其在智慧应用中游刃有余,“西部数据在2月已经发布了第六代162层3D NAND技术,横向单元阵列密度比上一代提升了10%,晶圆尺寸减少40%,IO性能提升66%,可以满足不断增长的数据处理性能需求。”刘钢补充道:“在充足产能和领先技术的基础上,西部数据还在控制器、高性能固件等纵向集成上进行优化,确保闪存在容量、性能、成本、功耗上实现最优。”

第三个创新存储架构则是分区存储,它致力于解决性能、规模、成本等问题,不再需要去过将近28%的荣誉空间,性能和QoS大幅提升,最大程度提升了存储规模和利用率,并且有效降低存储的TCO。

更加重要的是,西部数据的创新存储架构已经在云服务、生物医药、区块链等多个业务场景中得到了充分实践与考验。

西部数据与浪潮:智算时代合作典范

面对智算时代多元化、巨量化和生态离散化的挑战,不是一家公司所能应对的。为此,浪潮在本次IPF大会上提出了元脑生态2.0计划,打造智算时代开放包容生态体系,以吸纳更多合作伙伴到智算产业大生态之中。

事实上,西部数据与浪潮堪称成功合作的典范,针对智慧业务场景,双方紧密配合,携手打造解决方案。例如,西部数据与浪潮推出联合解决方案,可以提供极致的存储容量,同时降低集群的节点数量,与传统方案相比,大幅降低功耗和机柜空间成本。

又如,浪潮存储在元脑生态2.0基础上推出了“元脑新存储生态”,联合各类合作伙伴构建“以用户为中心、以应用为导向”的场景共同体,强调存储系统针对智慧应用将走向场景化、细分化、个性化,这恰恰与西部数据所强调针对业务数据特性采用不同技术的观点高度契合。未来,西部数据与浪潮存储在元脑新存储生态建设上同样有着巨大的合作空间。

刘钢在最后也表示:“西部数据与浪潮结合双方前沿科技与产品的独特优势,协力打造出高性能、低成本、且兼具稳定性与扩展性等特点的卓越解决方案,优化资源配置,赋能智慧计算。未来,双方将继续加强纵深合作,不断以创新的数据存储架构和解决方案,应对市场多样化的需求,并携手生态系统中的各方伙伴共同推动智能产业的转型与发展,为行业用户创造更多价值。”

大数据在线
洞悉技术趋势,聚焦产业发展

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)