存储,一个涉及到大量底层核心技术的信息领域,长期以来颇为低调却又无比重要,因为涉及到数据的保存与安全,且技术攻坚难度大、市场壁垒高,让不少人“望而却步”。随着数字经济的兴起,数据要素成为第五生产要素,以及深度学习、大模型等人工智能技术的迅猛发展,肩负起数据保存、管理和应用的存储愈发重要,也让以存储系统为基础的数据综合处理能力--先进存力获得社会各界的密切关注。
正如《第四支柱:先进存力崛起》一书所言,进入到人工智能时代,存力已成为除算法、算力、数据以外的第四股力量和第四根支柱。加速先进存力的打造与建设,已然成为社会各界的共识。这其中,全闪存又是先进存力不可或缺的组成部分,其相关创新不仅关系着数据存储范式的转换,更影响着存储产业格局未来的重塑。
值得欣慰的是,曙光、华为等一群中国存储产业的筑梦人,并未被固有的产业壁垒和技术壁垒所吓住,起步虽稍晚,甚至有些步履蹒跚,却脚踏实地在风雨中坚定前行,近年来更抓住难得的产业变革机遇,凭借极大勇气在全闪存领域奋起直追、大胆创新,上演一场精彩的产业突围记。
从硬盘、混闪到全闪存:数据存储范式转换
在传统机械硬盘时代,存储产业的创新一直由国际厂商所主导。
1956年,IBM研制出第一块机械硬盘,“磁盘存储时代”开启;1988年,IBM首次将RAID技术应用于存储系统上,大幅提升系统可靠性;1990年,EMC推出Symmetrix 4200,将RAID和Cache两项技术在高端存储中发扬光大;1993年,NetApp首次提出NAS存储概念;2000年,HDS推出交换式架构的高端存储HDS 9900;2003年,EMC推出直连矩阵架构Symmetrix DMX;2009年,EMC推出世界上第一个为虚拟环境而设计的高端存储VMAX……

毋庸置疑,经过多年积累与创新,国际厂商们已在企业级存储市场中建立起足够高的技术壁垒、品牌壁垒;而中国企业则从2000年前后才开始起步,处于绝对的追赶者位置,一时只能望其项背。
另一方面,2000年之后互联网、移动互联网浪潮陆续到来,不仅带来业务线上化、数字化的趋势,也直接推动数据持续的爆炸性增长,进入对于数据处理速度、容量、安全、可靠等存储需求产生诸多新需求,而存储系统依赖机械硬盘和Cache堆叠的方式逐渐落伍,整个存储产业亟待新的创新与突破。
而闪存的兴起,让存储产业游戏规则彻底改变。闪存属于半导体技术,无需机械部件,不依赖磁盘和磁头读写数据,读写速度远超机械硬盘,并且耐用性、功耗、噪音等方面均优于机械硬盘。显然,从机械硬盘到闪存是数据存储一次重要的范式转换。正如托马斯·库恩在《科学革命的结构》中所提出,范式转换即某一领域在基本理论、方法和观念上发生的根本性变革。
自此,闪存逐渐在存储系统中获得应用,存储系统也开启全新的进化方向,从过去硬件架构、软件堆栈完全基于机械硬盘,进化到基于硬盘和闪存混合的混闪系统,再到完全基于闪存且软硬件技术栈全新的全闪存系统,彻底为数据中心基础设施带来一次重塑,产业意义深远。
存力新基建:全闪高速公路
为何全闪存系统在现代数据中心基础设施中会如此重要?
相比于传统存储系统,全闪存系统具备高密度、高可靠、高性能、低延迟、低能耗、智能化等特征,不仅是先进存力建设中不可或缺的组成部分,更乃当下数据中心基础设施的主力军。

如果将存力比作一个数据传输、处理的交通体系,那么全闪存系统无疑是整个体系中最先进的部分--高速公路网络,肩负着海量数据传输与处理的重任。与高速公路网络是一个有机的整体系统类似,全闪存系统的打造绝非简单的闪存盘堆叠,而需要采取软硬一体化的整体设计,并且软硬件技术栈需要彻底重构。
在全闪存系统这条“数据处理高速公路”网络中:
- 闪存介质就像高速公路网络的基石。相比机械硬盘、磁带等“省道”、“县道”,闪存介质的数据存取、处理速度远胜其他存储介质,确保海量数据的高速处理,进而让数字化应用可以快速响应业务需求。随着闪存介质容量的不断提升,以及价格的持续降低,全闪存的“高速公路网络”也在数据中心中加速普及。
- NVMe等存储新协议则让数据处理的“车道”更宽与更多、“通过性”更强,从而方便更多数据进行存储与处理。像机械硬盘时代遗留下来的SAS等协议复杂、解析过多、队列并发能力差,显然不适合数据处理“高速公路”的需求,而NVMe协议就像是为全闪存系统量身定制,端到端的NVMe 全闪存更能够彻底突破限制,充分发挥闪存的性能潜力。
- 系统架构就是“高速公路网络”整体设计能力,决定着海量数据存取和处理的整体效率。例如,分布式全闪系统采用分布式架构,具备优秀的扩展性,当遇到数据的“交通峰会”之际,可以快速、无缝通过增加“车道”、“路线”来匹配应用的数据处理需求。
- 全闪存系统重删压缩、数据保护、复制、容灾等丰富的软件功能则像是高速公路网络的应急车道、收费站、服务区、智能化调度系统等各种服务功能,确保整个“高速公路网络”中数据安全、可靠和有序的处理,并且一旦发生“故障”,能够快速、高效的恢复“通行”。
当前,随着闪存介质的容量持续攀升,价格不断逼近机械硬盘,以及软硬件技术栈走向成熟,全闪存系统得以获得越来越多用户的青睐,并广泛进入到各类业务场景之中,不仅支撑起数据库、ERP、虚拟化等传统业务应用,还在自动驾驶、大模型、大数据分析、分布式数据库等新兴应用大显身手,已然成为各类组织与企业数智转型升级的基石。

2023年则是全闪存发展的标志性一年。Gartner数据显示,该年第一季度中的全球外部存储市场中,全闪存系统的市场规模首次超过非全闪系统,占整个市场收入的50.4%。这意味着经历十多年发展,产业界投入大量资金、人力和精力进行技术与产品的创新,全闪存已然发展成为整个存储产业界的主流赛道。
全闪新赛道:中国起步晚、配速高
2001年,TMS(Texas Memory System)发布面向企业的第一代全闪存产品RamSan-520,正式开启全球全闪存产品的创新之旅;2005年,ViolinMemory成立,并在2009年发布自己的第一代全闪存产品,成为接下来几年炽手可热的全闪存初创公司;2008年,Nimble Storage成立;2009年,XtremIO、PureStorage分别成立;2010年,Kaminario 和Teglie System分别成立……
回顾全闪存的发展历程,全球初创企业之多、创新活力之高、产品种类之丰富、市场汇聚资金之丰富,实属罕见。但仔细分析,这些初创企业和产品品牌在后面的市场中几乎“消失殆尽”,仅PureStorage一家公司硕果仅存。为何市场洗牌会如此之快?初创公司竞争力如此不堪?
归根结底,在传统机械硬盘时代构筑起巨大市场壁垒的EMC、IBM、NetApp、HPE等巨头们,并不会轻易放弃自身的市场地位,于是这些大企业纷纷祭出“并购”这项法宝,将一众具备技术优势的初创企业收入囊中,以达到快速补充产品线和拓展市场销售的目的。
例如,XtremIO在第一代产品尚未上市即被EMC收购,其X-Brick全闪存产品凭借EMC强大的品牌和市场资源,仅用6个季度即实现10亿美元的订单收入;连一向以技术自研著称的NetApp,在研发全闪存产品多年进展不利之后,也通过收购SolidFire来填补产品线空白;HPE则接连将3PAR、Nimble Storage收入囊中;IBM则并购了TMS……

此时,并购成为国际存储大厂的一项“常规操作”。并购这种方式,虽然“疗效”快,短期内快速弥补产品线的不足,却往往“治标难治本”,且容易上瘾,长此以往会遇到内部的技术、产品路线整合难题,尤其是大企业内部产品线众多、竞争激烈。另外,技术创新与研发的延续性受到影响,很多初创公司人才往往在并购结束之后就陆续离开,导致产品后续创新乏力,像XtremIO在EMC产品线的地位逐步下滑,后期“泯然众人”。
与之相反的是,像曙光存储、浪潮存储、宏杉科技等中国企业在闪存领域起步稍晚,更没有足够的并购资金和渠道,却以高配速和十足的后劲,最终在市场中迎头赶上。
例如,多家中国企业多次入围Gartner主存储魔力象限,竞争力、品牌力、技术前瞻性等均获得国际全球机构的广泛认可;又如,曙光存储、华为数据存储、浪潮存储、宏杉科技等全闪存产品近年来进步巨大,在SPC、IO500、MLPerf等全球产品权威测试中一改过去陪跑的角色,多次夺魁,展现出极强的产品力。
更加重要的是,中国企业逐渐开始引领全闪存产品的架构、技术创新。像曙光存储2024年推出的FlashNexue全闪存,融合集中式存储和分布式存储的多项优势,实现256个控制器扩展能力和7个9的可靠性,并且在全球首次实现亿级IOPS的性能能力;随后不久,华为数据存储也发布其亿级IOPS全闪存产品,中国企业将全闪存产品提升到一个全新的高度。
突围的第一性原则:坚守底层自研创新
“在发现创新策源地的过程中,掌握底层核心技术是存储产业突围的第一性原则。”李国杰院士在《第四支柱,先进存力崛起》中阐述道。
的确,存储是一门专门与数据打交道的信息技术领域,容不得半点“投机”,在数据成为核心生产要素的今天,存储直接关系着数据的安全与企业的命运。存储的技术研发与产品打造,不仅涉及到各种底层协议、存储介质、芯片,还需要与操作系统、数据库紧密配合,甚至需要与上层应用场景联动,难度可见一斑。
对于全闪存这条新赛道,由于底层存储介质的彻底改变,过去的软硬件技术堆栈走向重构成为必然,更加需要大量的人才、精力、时间在技术创新和产品打磨上。相比于全球存储初创企业优渥的资本条件,中国企业几乎是“一穷二白”起家,从0到1的突破更加艰难,筚路蓝缕、爬坡过坎多年才取得如今的成绩。事实上,中国企业在全闪存领域的崛起,恰恰证明了存储领域没有“捷径”可走,不走捷径就是最好的捷径。
首先,像曙光、华为等中国企业进军存储领域相对较晚,却几乎都不约而同选择底层技术自研的路线,避开了“开源魔改”的捷径,从战略层面上选择了一条起步艰难却前途光明之路,为后续在全闪存领域的爆发夯实了基础。
例如,曙光存储在打造分布式文件系统时,就坚持从底层代码一行行地开发构建,视掌握底层技术为核心竞争力。曙光存储没有选择“开源路线”,而是保持着持续的研发投入,短期内固然是对时间、成本的考验,从长远来看对自身人才培养、研发体系完善、产品持续创新都大有裨益。后续事实也证明,机会是留给有准备的人,曙光存储对于底层核心技术自研的坚持,使得其后续的创新厚积薄发、多点开花,并且在全闪存等领域势如破竹。
其次,存储在整个数据中心基础设施领域都属于偏底层,远不如上层应用那么光鲜靓丽,加上底层核心技术的自研很难一蹴而就,必须要有足够的耐心和坚持,这就需要足够的战略定力和持续的战略投入。以曙光存储为例,其存储业务在2012年尚处起步发展阶段,但当年研发投入即占中科曙光公司整体研发费用的三分之一,多达50%的研发人员投入到存储产品的研发创新之中。

事实上,像曙光、华为等存储产业头部企业,无一例外均在存储领域坚持投入达到20年,以小步积为大步、以小胜积为大胜,通过底层技术的持续积累,实现后续产品的持续突破。
以全闪存领域至关重要的纠删码技术为例,相比传统RAID技术,纠删码能够降低存储开销、减少冗余数据和提升数据存储的可靠性,对于优化全闪存系统的性能、增强数据可靠性和降低维护成本具有重要价值,非常适合云计算、大数据等应用场景,堪称全闪存系统研发必须攻克的难题。对于纠删码,像曙光存储等中国企业也是从0开始,经过多年的研发与打磨,在攻坚克难中不断积累经验,才逐渐掌握了该项核心技术,进而在后续的ParaStor、FlashNexus等全闪存系统中发挥关键作用。
全闪存是一个兼具复杂软件和复杂硬件的系统,却拥有极为广泛的应用场景,而全球真正掌握核心技术栈的企业并不多。如今,在多年自研的坚持下,中国企业已将核心技术掌握在自己手中,为数字经济时代的竞争构筑起坚实的数字底座。
中国市场助力突围:应用场景牵引
如果产品研发与技术创新是从0到1的突破,那么应用场景需求则乃产品技术从1到100持续迭代与创新的关键。
众所周知,应用场景需求是创新之母。在中国,各大行业各种应用场景往往具备比其他国家更为庞大的规模化、复杂性和特殊性;另一方面,随着数智转型的深入,以及像云计算、大数据、人工智能等技术的应用,中国行业场景自身续期也在不断的更新,这些恰恰是产品技术迭代优化最为优良的土壤,它能够让中国存储企业洞悉出业务的真实需求、自身的产品技术差距甚至竞争对手的优缺点。
因此,以应用场景为牵引、推动全闪存系统的创新,正是中国存储企业的另一大成长法宝。
以HPC场景为例,像生物制药、地球气象、芯片设计与制造、科学研究等诸多场景过去属于传统HPC场景,依赖大量算力进行模拟计算;如今,均在加速向数据密集型转变,除了需要大算力之外,还需要采集大量、多维度的海量数据,在海量数据中探索科研成果。

事实上,中国存储产业的起步很大程度上发端于HPC。一直以来,HPC应用都属于整个IT领域最前沿、最高端的应用,不仅需要最先进的计算资源,对于存储的性能、可靠性、稳定性等也要求极高。作为HPC领域当之无愧的领导者,曙光存储的母公司中国曙光从上个世纪90年代开始即在各种HPC项目中跟IBM、EMC等存储进行配合,深刻感受到“数据珍贵、不容有失”和存储的重要性,并开启了自己的自研存储之路。
扎根HPC多年,曙光存储深刻感受到HPC应用的变化趋势。曙光存储ParaStor分布式全闪的产品性能、延迟、扩展性、稳定性也在各种HPC场景中得到不断锤炼成长,最终得以成为整个分布式全闪领域的佼佼者。
运营商同样是一个变化巨大的行业。与国外运营商不同,中国运营商转型更加明显和快速,既有各种传统的运营商业务,同时也在积极向云计算等数字化服务转型;此外,运营商自身也拥有着丰富的数据资源,既是重要的数据生产者、传输者,也是数据价值的呈现者。因此,围绕“数据”做文章将是运营商未来十年的第二增长曲线,对于存储这个数字底座有着更为苛刻和全面的要求,既需要对传统BOSS计费等业务有着良好支撑,又需要能够支撑起云计算、大数据等新兴业务应用。
例如,中国移动2020-2021年的分布式存储集采是历来采购规模最大的一次,中国移动历时2个月对各种存储系统的功能、可靠性、性能、可扩展性等进行12大类36项的全面测试。最终,曙光存储脱颖而出,其ParaStor分布式全闪成为中国移动数字底座中的关键组成部分,这些年经受住业务的严苛考验。
中国的金融行业也面临着巨变,从过去柜面业务为主的时代全面转型数字银行,基于数据的新业务、新场景大量涌现,业务数据也呈现出海量化、实时化、多样化、数据价值化等特征,PB级数据规模正在成为新常态。此外,自主可靠和信创也成为越来越多金融机构必须拥抱的趋势。
例如,众多金融机构的传统核心交易系统的迁移成为大势所趋,中国企业的全闪存系统在此过程中承担起越来越重要的作用。
林林总总,随着数字中国建设的持续开展,在中国各大行业数智转型升级的过程中,中国存储企业紧紧围绕行业场景需求,以此为抓手,推动了全闪存产品的持续创新,并且在各个应用场景中练就了过硬的产品力,真正从‘Me too,But cheaper’成长为‘Me too,But Better’。
AI时代,中国全闪再上新台阶
不可否认,在很长时间里,中国存储企业都处于跟随者的角色,采取“Me too”跟随战略,竞争对手做什么,就跟着做什么。
进入到AI时代,深度学习、大模型等人工智能技术快速崛起,不仅加速改变千行百业,而且对于数据存储的容量、性能、多协议支持、可靠性、数据管理等带来前所未有的变化。例如,大模型具备高并发、复杂IO的存储特征,存储侧的创新对于提升数据访问和检索速度有着巨大提升空间;另外,大模型涉及到海量异构数据的采集、训练、推理、归档不同场景,不仅需要确保多源异构海量数据的融合,还需要实现语义一致和性能无损的访问;更加重要的是,随着AI集群数量越来越多、规模越来越大,以及AI应用呈现出井喷的趋势,存算协同的重要性也会进一步突出。

毫无疑问,在AI时代里,全闪存系统的重要性会进一步突出,以全闪存为代表的先进存力对于推动AI产业发展有着重要的作用。事实上,人工智能巨头Meta花费巨资购买数千PB PureStorage的全闪存已经证明了全闪存在AI时代的巨大价值。此时此刻,中国存储企业需要去探索全新的架构、技术和功能,走出一条差异化的优势之路,尤其是全闪存的创新值得持续探索。
如今,在百模大战的推动下,中国已经成为全球人工智能创新与发展的热土。面对AI对于数据存储带来的巨大变革,曙光、华为、浪潮信息等中国存储企业纷纷出招,在存储层带来一系列的创新成果。
以曙光存储ParaStor分布式全闪为例,其业内独创的“五级加速方案”实现本地内存、Burst Buffer加速层、网络层(RDMA-Based)、存储节点高速层( NVMe SSD-Based )、应用层(存储直达GPU)的五层加速,搭配全路径AI亲和机制,成为当下最懂AI的存储平台,支持AI场景性能加速20倍以上。
值得关注的是,曙光存储ParaStor分布式全闪和FlashNexus全闪存同根同源,曙光存储在分布式、集中式和全闪存等领域的技术积累,正在AI时代成为产品创新的策源地,引领着AI时代存储产品的发展趋势。
显然,随着人工智能技术与千行百业的深度融合,存储作为数据处理的基石,不仅将持续为人工智能提供坚实的支持,还必然会对于赋能千行百业在智能时代发展发挥关键作用。
面向未来,中国全闪如何开启更大舞台
信通院《全球数字经济白皮书(2024)》显示,中国是当前全球少数引领数字经济快速发展的国家,5G、人工智能、大数据与千行百业正在加速融合,数字化探索正在发生系统性、深层次变革,“数据+数字化技术”成为支撑产业创新演变和形成新增长动力的新模式。
这一切都为中国先进存力、全闪存开启了更大舞台和市场空间。不过,中国存储产业仍然需要百尺竿头更进一步,随着中国存储产业初具规模、中国企业基本掌握先进存力的核心底层技术,在未来的先进存力建设与发展中,已然需要以全闪存为核心抓手,推动三个核心难题的攻克。
其一、逐步形成完善的全闪产业链。由于存储介质方面受到外部因素的影响,中国闪存介质厂商近年来放缓了发展步伐,如何提升闪存介质工艺,这需要产业界各方齐心协力、共同努力,花时间、花精力去解决。
其二、需要推动全闪存的普及、提升先进存力占比。先进存力已然成为继算力、算法、数据之后的数字经济发展第四支柱。与欧美发达国家很高的全闪存普及率相比,我国还有很大的提升空间,如何让更多行业、更多用户和更多场景认识到全闪存的价值,并积极采用全闪存,这也是摆在产业界的一个挑战。

其三、中国存储企业需要勇敢走出去,参与更多全球市场竞争。中国存储企业不仅仅需要走出去,在海外市场与其他竞争对手PK,更需要全方位参与到全球各种权威机构的评测、评估之中,让中国技术、中国创新惠及全球。
时光荏苒、白驹过隙,中国存储产业已然走过二十余载,逐步实现从无到有、从弱到强的产业突围。作为产业筑梦者,中国存储人这些年负重前行,既是对梦想的追求,也是产业责任的担当,更是技术梦想的沉淀。虽然起步有些步履蹒跚,却也脚踏实地,在风雨中坚定前行,并抓住全闪存带来的产业变革机遇,奋起直追开启产业新篇章。