白驹过隙、时光荏苒,高端存储距今已走过四十余载。
作为全球数据存储产业皇冠上的明珠,高端存储以极高的技术含量而著称,代表着一家存储厂商的最高水准,也是所有存储厂商都向往的顶级舞台。
如果说前三十年的高端存储市场相对波澜不惊、四平八稳,EMC、HDS、IBM三分天下,市场鲜有后来者跟上;那么,最近十年的高端存储市场则是群雄逐鹿、跌宕起伏,尤其在中国高端存储市场,华为、宏杉科技等中国存储厂商历经爬坡过坎,逐渐在高端存储领域站稳脚跟,让市场舞台绽放出成色十足的竞争魅力。
高端存储,这个一度被Gartner等分析机构判为“死缓”的领域,缘何在基础设施风起云涌的十年里做到既秉承初心,又继往开来?中国高端存储市场过去十年经历了哪些重大时刻?高端存储未来又会朝着哪些方向演进?
这一切,还要从2012年说起……
2012年,是高端存储市场发展历史中绕不开的年份。
这一年,华为正式推出高端存储产品OceanStor 18000 V1,首次在高端存储领域填补了中国厂商的空白,也拉开中国存储厂商进入到高端存储市场的序幕。之后,宏杉科技作为中国独立存储厂商,紧跟着也在2014年正式推出其高端存储产品MS7000;其他高端存储产品也随之接踵而至……
彼时的高端存储市场,EMC、HDS和IBM三足鼎立的态势形成多年,早已形成强大的市场壁垒。中国存储厂商们能在高端存储市场掀起多大水花?这是大家共同的问号。
众所周知,高端存储的技术门槛极高,是对一家存储厂商整体架构设计能力、复杂软硬件研发与整合能力以及全面测试能力的综合考验,严苛的条件多年来令很多厂商望而却步。
应该说当时中国本土厂商进入到高端存储领域是顺势而为。究其原因,一方面,得益于IBM、EMC、HDS等国际厂商都已进入中国市场多年,培育了市场与相关人才;另一方面,华为、联想等中国厂商早期也通过OEM的方式在企业级存储市场摸爬滚打,逐渐意识到数据存储市场巨大市场空间和高端存储技术的重要价值。
因此,当具备一定的人才与技术积累,多数中国存储厂商自然而然率先从中低端存储切入自研,逐步在市场站稳脚跟之后,很难不激发起进军高端存储的雄心。
不过也有特例,宏杉科技在2010年成立之初即瞄准了高端存储这个目标。在经历两年多时间研发之后,宏杉科技当时决定小试牛刀,将高端存储研发的技术成果下移,在第一款中端存储MS5000中配置了大缓存技术,此举彻底打破国际厂商以缓存大小划分存储档次的定价策略。
早期,闪存技术还尚未普及,大部分存储系统主要配置的是机械硬盘,加上带宽有限,存储性能瓶颈很大。然而,借助高端存储的大缓存技术,存储整体性能可以做到最大程度的提升。但由于大缓存技术在算法方面有着极高的技术要求,因此,在高端存储研发初期,国外存储厂商开始以缓存大小作为存储的定价标准,大缓存存储价格相当高昂。
之后几年,宏杉科技等中国存储厂商的良好市场表现,也证明进军高端存储绝非玩票。中国存储厂商所体现出的创新性与竞争力,不仅引发了国际厂商的长期关注与重视,更真正提升了中国高端存储市场的竞争活跃度。
这其中,在高端存储含金量最高的架构层,中国存储厂商实现的创新与突破尤为值得称道。
1990年,EMC 第一款全面分布式缓存的存储系统Symmetrix 4200问世,标志着高端存储时代的正式开启。
高端存储在经历了总线架构、直连矩阵架构之后,时间来到2009年,高端存储又迎来了一个重大历史时刻,EMC推出的高端存储产品VMAX采用全新虚拟矩阵架构,在架构层面做出巨大改变,从过去的八控紧耦合架构变成十六控松耦合架构,引擎之间采用是低延迟网络技术进行互联,大幅降低了高端存储的复杂性和成本,并带来了更加出色的扩展性。
多控松耦合架构大幅降低了高端存储架构的复杂性,也极大促进中国各存储厂商在之后十多年内对高端存储架构的进一步探索。
众所周知,架构是高端存储的灵魂,而可靠性作为高端存储架构一直引以为傲的特性,被金融交易系统、铁路订票系统、电信BOSS系统等众多核心业务系统所倚重。不过,多控松耦合架构每个引擎采用了两个类似中端存储控制器的方式,理论上让高端存储可靠性有所下降,一旦每个引擎同时坏两个控制器,就可能造成后端存储空间无法访问等系统故障。
所以,从2012年开始,华为、宏杉科技、EMC们都在积极探索高端存储架构的创新与突破。华为在2012年推出的首款高端存储产品OceanStor 18000 V1就采用了多控松耦合架构;紧接着,宏杉科技在2014年推出了第一代高端存储产品MS7000中,在业界首创了双矩阵高端存储架构,即控制器引擎互联交换矩阵和硬盘网络交换矩阵,最高可扩展到32控制器。
国内第一款高端存储产品实现了从0到1的突破,中国存储厂商经历千辛万苦终于把事情做成了。但不可否认的是,目前国内存储与国际厂商尚有一定差距。
事实上,随着华为、宏杉科技等中国存储厂商的第一代高端存储产品陆续在电信、金融等行业获得应用,中国存储厂商们愈发意识到高端存储架构必须进一步突破。尤其是随着移动互联网应用的兴起,用户数据中心的规模、设备数量、软件复杂性均不可同日而语,加上用户潜在误操作的增多,甚至出现了高端存储规模越大,面临风险越频繁的情况。
因此,同时融合横向扩展架构与纵向扩展架构的优势,成为大家在高端存储架构层面共同的攻克方向。于是,华为在2015年推出的OceanStor 18000 V3中,将多控松耦合架构的引擎由双控制器换成4控紧耦合引擎,通过任意一个控制器写缓存同时镜像到另外2个控制器上,解决了同时坏任意两个控制器的问题;到了2019年,华为再进一步,在OceanStor 18000 V5中,每个引擎控制器之间采用RDMA互联的方式,以缓存三副本和持续镜像技术,将可靠性提升到新高度。
宏杉科技在高端存储架构创新方面也不逞多让。在第二代高端存储产品中,宏杉科技创新性地实现了控制器引擎双交换平面的设计,在多个双控引擎之间构建40GE RDMA和PCIe两种高速互联协议,将高端存储的可靠性进一步提升。
2016年,宏杉科技再进一步,在之前产品的基础上打造出MS7000V4,在单个引擎中实现了4控紧耦合架构,在业界率先实现四控全局缓存实时镜像,同时,系统在任意3个控制器同时故障下还能正常运行,实现存储的超高可用;但宏杉科技并未满足这一成果,而是更进一步,对硬件进行重新设计并解决潜在故障风险,打造出MS9000G2,实现引擎四控制器通过背板方式互联,四控内无外部互连线缆,减少了异常点,进一步提高了存储可靠性。
考虑应用规模在过去十年指数级的增长趋势,市场对高端存储的单个引擎或整体系统可靠性都提出了更高的要求。
可以说,中国高端存储市场过去十年里,架构创新活力十足,中国存储厂商在高端存储架构逐步实现了从模仿学习到超越引领的过程。与此同时,闪存在最近十年走向普及,在高端存储领域,这也使得中国存储厂商与国际厂商们可以一起站在同一起跑线上,共同谱写出数据存储创新的新曲。
多年前,Gartner预测传统高端存储将很快被替代。
替代者是谁?分布式存储,亦或是普通的全闪存阵列?答案却是全闪化的高端存储。高端存储的高可靠、高可用以及高一致性依然是其区别于其他存储系统的重要特征,长期以来被重点行业用户所看重,而全闪化则为高端存储注入了前所未有的发展活力。
毫无疑问,在机械硬盘时代,国际厂商的技术、产品具有经验优势,一定程度也让高端存储市场相对固化、创新活力不足。但闪存介质的不断发展以及成本的持续下降,意味着软硬件技术栈的彻底重塑,从架构、访问链路到元数据处理、存储操作系统等均发生了明显改变,这犹如让高端存储换了一条新赛道,市场机遇一下打开。
进入到闪存时代,我们与国际厂商开始比拼算法、项目经验、开发等能力,中国存储厂商此时已经有了不错的技术积累与经验,完全可以与国际存储厂商一较高低,存储市场活力也因此被带动。
以性能为例,全闪化的趋势让高端存储的性能狂飙,成为名副其实的性能怪兽,也让市场的性能竞赛呈现出你追我赶的趋势。例如,EMC、华为、Hitachi Vantara(前身为HDS日立数据)、宏杉科技等厂商的高端存储产品均在数年内实现了千万IOPS、微秒级延迟响应水平,有些高端存储产品甚至突破了3000万以上IOPS。
以宏杉科技为例,2020年,宏杉科技全闪存阵列MS7000G2-Mach在国际权威的SPC-1存储性能测试中打破四项世界纪录:16控IOPS 1100万,全球排名第一;单控IOPS 68.75万,全球排名第一;总体时延0.264ms,全球排名第一;最高压力时延0.337ms,全球排名第一。
宏杉科技的这次测试极具参考价值,每个控制器引擎配置了384GB缓存+36块NVMe SSD,通过4张16Gb FC接口卡进行连接,这是当时高端存储商用市场常用配置,与用户应用环境类似,并没有不计成本的通过堆积硬件获得性能堆叠,极具参考价值。
性能纪录的背后,除了架构设计、软件堆栈之外,还是闪存优化技术的综合比拼。在这十年里,各家厂商为了让闪存性能达到最优,可谓是“绞尽脑汁”。
例如,华为的FlashLink、Hitachi Vantara的FMD、宏杉科技的FlashHormone等等,尤值一提的是宏杉的FlashHormone,它解决了传统算法对闪存性能的制约,确保全闪存高端存储的SSD磨损均衡,从而让高端存储的闪存寿命更长和性能更加平稳。
毫无疑问,过去十年中,用户侧的业务应用和场景可谓日新月异,使得数据中心基础设施层出现了巨大变化,新技术、新思想深刻影响着很多行业用户的数据中心建设思路与选择。
例如,云计算技术的兴起与普及,让分布式架构迅速成为主流;丰富的数据类型产生,让文件、对象存储需求急剧提升;业务线上化和规模化增长,使得用户们对于性能的追求“微秒”必争;云化应用大量出现,使得容器等云原生技术大行其道……这十年里所有的变化,都会对用户眼中的高端存储产生潜移默化的影响。
大数据在线认为,高端存储与分布式存储都会有各自适用的场景。未来十年内,它们之间不会是取代与被取代的关系,它们之间如何协同使用是未来十年里用户关注度最高的话题。
之所以得到这种判断,一方面是市场数据上的反馈,IDC多个近期季度的数据显示,集中式存储与分布式存储的市场份额比例趋于稳定;另一方面,则是来自用户侧业务的变化,金融、能源、电信、制造等行业虽然业务需求出现了较大变化,但是始终有着高端存储的需求。
以金融行业为例,大家普遍认为政策导向正在推动金融机构进行分布式架构改造,诞生了金融机构“新一代核心系统”、“主机下移”等诸多项目,必然会减少对于高端存储的需求。事实上,随着业务线上化与数字化进程加深,金融行业用户依然十分看中高端存储的诸多优秀特性,并没有减少对于高端存储的需求。
像《银行业信息系统灾难恢复规划》规定,AB类业务灾难恢复要求在5级以上,业务中断需要低于15分钟,很多金融机构出于业务连续性和用户体验的考虑,对于存储系统的可靠性往往提出了更高要求;另外,像电商大促等峰值业务、移动支付带来跑批与清算业务规模指数级增加,都让金融机构用户切身体会到高端存储高性能、高可靠性的价值所在。
中国大型的金融机构用户普遍拥有多年国际高端存储产品的使用经验,而实际上,这些用户群体无论是对存储底层技术原理实现,还是产品使用、未来技术发展趋势都有着深刻理解。据了解,宏杉科技的高端存储已批量应用于中国工商银行、中国银行、众多股份制银行和城商行的数据中心,早在2019年起,宏杉科技就参与了工商银行数据中心建设升级,并针对用户建议,对产品及相关软件功能进行了100多条定制化开发,更好地满足工行个性化的需求以及使用习惯。
高端存储与分布式存储是否真有高低?今天,快速向云服务商转型的运营商,哪怕已涌现出了大量的分布式存储采购需求,但依然保持着一部分高端存储的需求;而政务领域的用户出于可靠性和安全性等考虑,甚至出现了从政务云到本地化部署回流的现象,加大了对于高端存储的采购与部署;在医疗、能源领域,很多用户非常看重具备防勒索病毒能力的高端存储方案,以此为数据提供更加可靠的保护。
所以,过去十年是需求反复调整的过程,数据、技术、架构、业务一直都在不断变化,但对于高端存储的需求始终存在。
一直以来,很多人都认为高端存储是“上古时代遗留下来的古老物种”。事实上,最近十年里,高端存储的进化速度不可谓不快,从硬件的脱胎换骨,到与公有云的对接,再到全面拥抱现代化应用……
未来已来,在大数据在线看来,高端存储的未来并不会停下创新的步伐,而是会继续在硬件架构、软件功能等层面持续演进。
首先就是在架构层面,高端存储在融合横向扩展架构与纵向扩展架构的基础上,未来在扩展性、可靠性、容量以及性能上是否继续突破值得关注。未来这种融合架构将会继续被强化,例如:在单引擎可靠性无法继续增强的情况下,依托低时延网络技术实现跨引擎的八控制器紧耦合架构;高端存储的横向扩展能力持续提升;控制器之间的协议全面走向RDMA……
其次,高端存储会很快转向端到端全面的闪存化,老旧的存储协议、网络会加速被抛弃,彻底摆脱旧存储时代的负担。像DELL EMC PowerMax、宏杉MS9000G2-AF、华为OceanStor Dorado等均在强调具备端到端NVMe解决方案的全闪高端存储,高端存储已实现了从前端、后端到存储协议、软件栈的彻底重生,并将在此技术基础上持续提高、优化。
第三,全面拥抱现代化应用与技术,例如对于容器化、公有云对接、混合云支持、DevOps自动化平台集成、AIOps等等。比如,如今宏杉科技等高端存储产品均在逐步增加对于各种公有云服务的对接与支持;在智能运维方面,各大厂商均在强调利用云端和AI等技术,实现高端存储健康度、配置管理和异常检测,从而实现快速响应。
大数据在线认为,得益于数字经济的快速发展、产业数字化的全面提速以及企业用户数字化转型的深入,中国高端存储市场度过了精彩异常的十年:市场参与者数量、产品创新活跃度、市场竞争激烈程度均远超其他地区,也让广大用户群体受益匪浅。面向未来,随着数据成为最重要的生产要素,高端存储的高性能、高可靠和高可用等诸多优秀特性依然有着极大的施展空间,也必然会成为用户们最为倚重的数字底座。