文/黄海峰的通信生活
近期，苹果推出AI大模型Apple Intelligence，让原本火热的大模型再次成为焦点。
现在，大家使用手机等终端，可以通过大模型赋能的个人助理对话，快速地了解天气、日程安排；用文本生成图片甚至视频；实现语音到语音的实时翻译……大模型正在改变我们的生活。
我们常说，大模型需要大算力。其实，这些AI应用不仅对算力、算法要求高，对数据存储同样要求高。数据正成为新生产要素，是各行各业数字化、智能化转型基石。所以，数据存储也是大模型的基石。
伴随技术发展，以及新应用的涌现，数据存储从硬盘存储，发展到更先进的全闪存。目前，全闪存已在AI、能源、金融、医疗、制造等领域快速普及。
谁将成为全闪存引领者？笔者注意到，6月25日，曙光存储重磅发布全球首个亿级IOPS集中式全闪存储FlashNexus，是业界唯一具备百控级扩展能力的集中式存储产品；还依托全闪技术优化，升级了分布式存储ParaStor，要做最懂AI存储的厂商。
中科曙光存储科技有限公司总裁何振，分享曙光存储品牌理念
那么，AI大模型对数据存储带来哪些挑战？全闪存发展如何？曙光存储新品如何满足AI时代新需求？我们来解读下。
举目眺望：全闪存时代机遇与挑战并存
随着AI大模型技术快速发展，性能强、高IOPS等场景成为常态，全闪存技术脱颖而出。因为全闪存存得快、存得好。据贝哲斯咨询的预测，全球全闪存阵列市场规模在逐年增长，2023年全球全闪存阵列市场规模达到了108.39亿元，到2029年将增长至392.72亿元。
另据TrendForce集邦咨询研究，2024年一季度全球NAND Flash市场营收环比增长28.1%，达147.1亿美元。TrendForce指出，全闪存收入快速增长背后，主要受益于AI服务器厂商对大容量企业SSD的采购增加。
硬币的另一面是，当全闪存成为新趋势之时，存储行业仍面临诸多挑战。
首先，海量数据带来数据存储挑战。随着物联网和各类智能设备的迅速发展，数据正以前所未有的速度增长。特别是大模型的发展，加速了数据增长趋势。以GPT-3为例，其使用了超过1750亿个参数进行训练。GPT-4更是在120层中总共包含了1.8万亿参数，是GPT-3的10倍以上。
其次，数据种类的多样性挑战。新应用的出现，也导致数据种类走向多样性。结构化数据、半结构化数据和非结构化数据带来了存储以及数据分析的复杂性，要求存储系统能够灵活地应对多变的数据类型。
再次，数据管理更复杂。目前，数据存储管理涉及资源分配、数据备份、灾难恢复等多个方面，其复杂性显著提升。此外，集中式存储资源池与分布式存储资源池协同构建的存储设施，导致数据调用出现孤岛，需打通不同数据存储设施。
第四，数据安全依然难保障。随着各行业拥抱数字化，数据已经成为企业和组织的核心资产，其安全性直接关系到企业的运营、声誉和客户的信任。比如，企业数据中包含客户信息、员工资料等大量敏感信息，一旦这些数据泄露，可能会给企业和个人带来严重的财务损失和声誉损害。同时，如果数据受到攻击或损坏，也可能会导致业务中断和运营损失。
最后，数据存储无法满足大模型等AI发展需求。AI大模型的训练过程需要高效的数据加载和处理能力。但目前大型小文件的加载速度较慢，导致训练集加载效率低下，进而影响模型的训练速度和效果。
此外，数据存储还面临与计算能力存在不匹配问题，导致数据存储成为制约AI大模型发展的瓶颈之一。
四把利剑：破解数据存储难题
面对挑战，谁能应对？曙光存储以20年自研能力给出答案：重磅发布的集中式全闪存储FlashNexus，以及升级的分布式全闪存储ParaStor，打造数据存储领域四把利剑，直击行业挑战。我们仔细研究了下此次发布的新品，分享亮点如下。
利剑一：亿级IOPS全闪存阵列，轻松应对数据爆发
曙光存储发布的集中式全闪存储FlashNexus，是业界首个亿级IOPS全闪存阵列，可轻松应对关键业务对存储系统极致性能的需求，并具备业界唯一百控级扩展能力，综合性能领先同类产品50%以上。
如果将数据存储视为一个水池，数据的存储与读取就是这个水池的水流进出水管。集中式全闪存储FlashNexus可让这个“水池”不仅水管直径更粗，而且流速也更快，最终实现数据高效地传输。
中科曙光存储科技有限公司副总裁张新凤，发布FlashNexus集中式全闪新品
利剑二：芯片级安全，保障数据安全稳定
数据的安全稳定，是实现数字化、智能化的必要前提。曙光集中式全闪存储FlashNexus从芯片层面出发，保障数据安全、稳定。
一方面，曙光集中式全闪存储FlashNexus基于自主研发软件，以及六大关键芯片紧密联动，与国内芯片厂商开放适配，涵盖了处理器、存储控制器、网络控制器等关键部件，打造关键业务安全可控存力平台。
另一方面，曙光集中式全闪存储FlashNexus基于领先的NexusMatrix矩阵互联架构，通过高效、灵活的数据互联方式，极大地提升了系统的可靠性和扩展性，并通过RAID-QC校验技术实时检测数据在存储过程中的变化，及时发现并修复可能存在的数据错误，从而保障了数据的一致性和可靠性，带来99.99999%的业界最高规格的极致可靠性。
利剑三：升级分布式全闪存储ParaStor，做最懂AI的存储
升级的曙光存储产品，基于处理器平台、存储设备、网络平台三大硬件平台，以及存储介质管理、网络管理、软件高阶功能等全栈软件自研实力，让硬件平台达到极致性能。比如，单节点80GB/s带宽，200w IOPS，单流10GB/s等性能可轻松应对AI对数据的需求。
为了做最懂AI的存储厂商，曙光存储的本地内存加速、BurstBuffer加速层、XDS双栈兼容、网络加速、存储节点高速层五级数据加速技术，在搭配全路径AI亲和机制，让数据无需等待，更实现国内外双栈技术生态全兼容，助力数据在异构、异地、云上、云下无障碍流动。
曙光存储“智存”——ParaStor分布式全闪系列升级
利剑四：首创“通存”方案，轻松应对各种数据
面对不同类型数据及存储方式，曙光存储提出“通存”方案，基于同根同源的集中式存储资源池与分布式存储资源池，带来跨形态热温冷数据无感流动，跨域资源池全维度视图，真正实现数据无界流动，打破数据孤岛。针对数据管理难题，曙光存储“通存”方案还能实现跨平台一键式容灾恢复。
全闪存在性能上虽优于传统的硬盘存储，但成本相较于一般硬盘存储产品依然要高许多。曙光存储的“通存”方案可实现存储资源利用率提升30%，数据总拥有成本减少50%，大幅降低企业数据持有成本。
曙光存储首创“通存“方案
以“强者恒存”理念，做先进存力引领者
纵观整个存储行业，曙光这次发布的新品，十分领先。许多人可能要问，为何曙光存储能率先推出全球首个亿级IOPS全闪存阵列？想要回答该问题，我们需要从曙光存储这家企业的发展理念谈起。
曙光存储“强者恒存”品牌理念
曙光存储已在业内发展多年，可谓是行业元老级玩家。回顾曙光存储发展，其一直坚持从实践中来，到产业中去的发展理念，并秉持以“强者恒存”的产业精神，打造了一个个存储行业强存、智存、通存高水平应用。
比如，在分布式存储领域，曙光存储推出的ParaStor系列产品，可满足数据中心、云计算和AI大模型等业务场景对数据存储需求。其中，曙光ParaStor液冷存储系统，填补了国内存储领域液冷产品空白。
又比如，在集中式存储领域，曙光存储本次推出的集中式全闪存FlashNexus系列，打造了全球首个亿级IOPS集中式全闪存储、芯片级稳定安全、首创“通存”方案等利器。
除了创新，在多年具体实践中，曙光存储打造了多个行业标杆案例，以领先存力，为各行业数字化发展，提供强大支撑。
在中国移动建设的存力智能调度体系中，曙光存储提供的一体化存力解决方案，实现数据跨域迁移能力，让不同资源池间数据自由迁移，业务访问无感知。
在中国石油云计算资源池项目中，曙光存储构建的统一云存储资源池，提升数据资源利用效率，保障中石油集团高速发展。
在金融领域，曙光助华夏银行打造新一代对象存储资源池，支撑海量影像文件存储，优化客户数据挖掘与分析效率，助力金融业转型。
曙光协还助气象局建立“气候变化应对决策支撑系统”，采用ParaStor分布式统一存储，满足气象业务峰值运算速度达每秒8189.5万亿次，内存690.43TB，在线存储23PB等数据存储挑战。
在助力高校及科研院所应对数据存储方面，曙光存储采用液冷方案与存算一栈式解决方案，扩展25PB空间，降低能耗30%，PUE降至1.2以下，助力广州国际校区数据中心应对节能减排挑战。
笔者观察：以研发能力为柱，以深厚经验为梁，筑牢数据存储基石
数据存储设施作为数字基础设施中的关键要素，直接支撑着数字经济的运行和发展，可谓是数字中国建设的基石。
曙光存储此次能适时推出先进存储技术和产品，是因为其不断提升自身研发实力，筑牢数据存储这根支撑数字中国的支柱。目前，曙光在全国拥有5大研发中心，3大国际领先的智能制造生产基地，建设运营了国内多个5A级智算中心，在50多个城市部署了城市云计算中心。作为曙光第二大产品线，曙光存储拥有20余载经验积累，在分布式存储架构、高端全闪存储、融合统一协议支持等关键技术领域获得300余项核心技术发明专利。
我们相信曙光此次新品可以助力数字中国加速发展，持续打造数字中国脊梁，在通信、大模型、气象环保、科教、金融等领域打造了一个个行业标杆。
展望AI大模型的未来，曙光存储此次发布的集中式全闪存FlashNexus系列以及升级的分布式全闪ParaStor系列，将真正筑牢数字中国数据存储基石，加速千行百业数字化进程。
