天极大咖秀

登录 | 申请注册

这家十年磨剑的企业级存储厂商,为什么将分布式块存储也开源了?

阿明观察 2023-01-13 阅读: 4,608 次

只要提到企业级存储,任何成功的厂商无不以十年为单位的积累,才能实现真正的创新。

当然,作为存储领域相对更为复杂的分布式块存储,存储创新公司一般都不太愿意碰它。原因很简单,在技术自研的道路上,更需要坐得住冷板凳,坚持不懈,然后才能真正掌握块存储技术,创新不已。

掌握块存储技术本就不容易了,更何况还要将它开源。细数一下,华为存储、曙光存储、浪潮存储、新华三、中国电子云、宏杉科技、Dell EMC、NetApp、HitachiVantara、IBM等国内外的企业级存储厂商,块存储作为其业务组合的重要支撑部分,开源“块存储软件”的想法对他们而言,可谓十分“敏感”。

因而,之前一直未能听说哪个企业级存储厂商会将自己的块存储软件开源。

开源不是目的,开源只是开始

不过,现在有了第一个吃螃蟹的人,历经10年自研的长期打磨,南京鹏云网络科技有限公司(以下简称:鹏云网络)正式宣布在2023年1月1日将ZettaStor DBS分布式块存储软件开源,开源代码可以在github开源平台搜zettastor的DBS,进行下载使用。

从闭源到开源,鹏云网络为什么选择现在这个时间点将块存储软件开源呢?

从行业发展的大趋势来看,《“十四五”数字经济发展规划》强调了加强数字基础设施建设,完善数字经济治理体系,协同推进数字产业化和产业数字化,赋能传统产业转型升级。同时,党的二十大对科技发展思路提出了新规划、新要求,强调自主可控、安全创新在经济发展中的重要性。随着数据要素生态的不断丰富,采集、存储、计算、传输、分析等各个环节呈现出前所未有的市场规模。来自华为《全球产业展望(GIV)》预测显示,到2030年,全球数据将从ZB时代迈入YB时代。存储作为支撑数字经济发展的基石,数据存储领域的技术创新将直接影响到行业数字化升级与转型,以及经济社会的高质量发展。

虽然我们正处于快速发展数字经济的关键时期,但由于受到大环境的影响,在应对科技领域出现“卡脖子”的挑战时,更需要强化行业自主安全的发展趋势,更需要有真正技术研发能力的科技公司做出贡献,构建“存储开源”的创新体系,从而实现数据存储关键技术的“弯道超车”。

作为鹏云网络的创始人,陈靓博士在国外学习和工作多年之后,于2013年回国并带领鹏云团队历经10年自研路,研发出一系列自研分布式存储产品,希望让更多的厂商和开发者用到属于中国的存储软件产品,加快存储软件领域的信创进程。

ZettaStor DBS分布式块存储软件由鹏云网络自己设计的技术架构,经过多年迭代升级,就软件本身而言已经比较完善,现在贡献给开源社区,提供一个成熟的分布式块存储产品。好与不好,也可以让更多的用户、开发者、合作伙伴来亲自验证测试。

全球存储观察分析认为,ZettaStor DBS分布式块存储开源之后,将为存储行业向前发展注入新动力。降低块存储开发难的技术门槛,激励更多关注存储技术的用户、合作伙伴以及产业人士来参与存储创新。最终将拓宽分布式存储的新赛道,驱动分布式存储商业化与开源化“双向”协同发展。

此外,在开源软件领域,Linux毫无疑问应是成功的典范。从生态体系构建,到全球业界的重视度,以及带给云计算的发展基础,Linux的开源成果备受瞩目。同时像OpenStack、Hadoop 、Spark等偏底层技术的开源项目,对大数据、云计算、物联网等新兴产业的发展带来了很好的推动作用。

然而,这些开源软件、开源项目发展到今天,都离不开背后商业化带来的互补作用。可见,开源并不是软件发展的目的,开源只是软件发展的另一个创新开始。

拥抱开源并非放手不管,

全面构建块存储开源治理体系

“开源并非将软件开放出去就放手不管,做甩手掌柜了。实际上,我们还要为此付出更多的成本,包括组建支持开源社区发展的技术团队,发展开源生态的服务团队等。”南京鹏云网络创始人、董事长兼CEO陈靓博士如是说道,对于开源的态度,也是“不鸣则已,一鸣惊人”。拥抱开源,借助社区力量,可以发挥出群策群力的价值。块存储开源后不是放手不管,而是需要全面构建其开源治理体系。

为此,鹏云网络面向块存储开源做好了几个方面的重要事情。

一是,开源之前将块存储知识产权做了清晰梳理。既然选择了开源,那么鹏云网络也做好了开放的准备。

一方面欢迎业界朋友来实测、使用或借鉴,ZettaStor DBS分布式块存储软件开源对于中小企业或是有自研想法刚刚起步的企业带来非常直接的参考作用,DBS开源版本可以满足中小规模用户的基本使用需求,同时对有自研想法的企业可以提供借鉴意义。

另一方面也对ZettaStor DBS核心技术进行了专利申请。这样的准备可以让鹏云网络在进行社区开源贡献的同时,也能更好地保护自己的权益不受侵害。“由于DBS的基础架构和算法都由我们自主研发,所以我们很清楚哪些是最核心的技术关键点。在为DBS申请专利时,会聚焦这些关键技术点,从而保证DBS知识产权的完整性。”陈靓博士介绍说,目前围绕DBS已经申请了10余项核心专利。

全球存储观察分析指出,对于ZettaStor DBS核心技术申请多项专利的做法,值得国内其他有自研能力又想做开源的科技企业借鉴。兼顾社区开源贡献与知识产权的保护,这也是开源治理体系中很重要的一部分。

二是,将商业版软件验证测试体系引入到开源领域,提升开源代码质量,并保持一致的开发逻辑。众所周知,开源软件领域的安全漏洞问题,一直是影响其发展的重要原因。建立整体完善机制,避免DBS软件开源之后可能出现漏洞安全威胁。在应对安全的挑战上,鹏云网络是认真的,不仅基于商业版软件测试流程对开源版本做代码的长期监测,而且从0代码开始就完全采用自研,将安全作为了块存储软件开发的生命线。

况且贡献给开源社区的DBS是成熟产品,早已在金融,运营商领域的头部企业运行多年,经过了长期应用实践的检验,有着高安全高可靠性的特点,DBS的成熟度保证发布到开源社区可以“拿来即用”,从而推动分布式块存储软件通过开源实现“技术普惠”。

当然,为了体现鹏云网络对于代码安全的信心,针对本次开源,鹏云网络还特别推出“块存开源,万元捉虫”的有奖找BUG活动,并设立活动总奖金池100万元。目前该活动仅限于鹏云网络在GitHub上发布的分布式块存储系统ZettaStor DBS(开源版)在数据安全领域所存在的BUG,具体内容可以关注鹏云网络,了解详细活动规则。

目前针对分布式块存储系统ZettaStor DBS开源是在GitHub社区发布,未来还将继续开源鹏云网络的云原生存储平台ZettaStor HASP,当鹏云网络开源软件产品越来越多的时候,也不排除建立自己的开源社区或联合其他厂商一起建立开源社区。

三是,吸引企业用户参与,加大支持开源拓展的投入。从开源社区出发,让更多企业用户成为分布式块存储开源技术的使用者,同时也是分布式块存储需求的提出者,最终也成为块存储开源的贡献者,从而打破了分布式块存储软件的传统开发边界。

针对ZettaStor DBS,鹏云网络在技术人力方面做了充分准备,组建专门支持开源社区发展的技术服务团队,配合社区发布以及开发者的后续使用,定期举办开发者见面会或是通过线上的方式,帮助大家去理解DBS的架构。毕竟每一个想要参与分布式块存储自主研发的企业、每一位想要学习或尝试分布式块存储技术应用的开发者都有着不同的技术背景与应用能力。就此,鹏云网络积极推进开源,积极支持DBS开源的后续发展,对于分布式块存储要求不高的企业或是想借鉴DBS架构研发块存储的企业可以使用开源版本,而对于块存储能力有较高要求的企业可以使用商用版本。

可见,鹏云网络正在以认真严谨的态度打造ZettaStor DBS开源版本,就像是其商用版本的一个体验装,任何企业用户都可以“先尝再买”,在选择分布式块存储产品上,可以多一个好的选择。“不好吃不付钱”,就像街头巷尾特色小吃的体验式营销一样。

四是,积极参与GitHub等开源社区建设,充分发挥开源的生态力量,打造分布式块存储的开源文化。这是全面构建块存储开源治理体系的关键。

对于鹏云网络的未来生态发展而言,必然是希望有越来越多拥有自主研发能力的厂商都能参与到分布式块存储的开源事业中来,这样也可以提高中国自主开源代码的繁荣度,促进中国数字化进程以及软件自主化的发展。宣布开源之后,鹏云网络会以更加开放的心态去与同样拥有自研能力的企业合作,进一步完善基础软件“信创”开源生态,升级迭代产品功能,实现存储服务内容的更大丰富。

全球存储观察分析认为,分布式块存储软件开源,作为数字化基础设施领域的关键技术,开源带来了更强的生命力,开源开放可以使得ZettaStor DBS块存储软件获得更广泛的使用。在商业拓展上,ZettaStor DBS块存储开源项目被大范围使用后,必然可以加速整个技术升级迭代,加速软件进化。对于任何类型的软件,只有让更多的用户“用起来”,才是产品迭代的关键。与此同时,开源的力量可以反哺并支持商业化的发展,毕竟在现实中,依然有相当多的企业希望获得商业版的支持与应用价值。

由此而言,鹏云网络拥抱开源不是放手不管,也永远做不成“甩手掌柜”,反而将更为努力,通过更多的投入,全面构建块存储开源治理体系,才能彰显出开源开放的真正企业价值。

“出道即巅峰”,

打造从自研到开源的新路径

如前文所述,在块存储软件领域的开源,到目前为止,鹏云网络属于行业首举。然而,走了10年的块存储软件自研路,将ZettaStor DBS分布式块存储软件版本正式开源,打造从自研到开源的新路径,如何做到“出道即巅峰”呢?

其一,要对自主研发和开源的相辅相成关系有着深刻的认知。自研与开源,两者本就不矛盾。开源的开放性有助于自主研发的能力提升。拿来主义不可取,但可以在借鉴中去学习去完善自我,提升自主研发的能力,跟上全球技术创新的先进步伐,并在这个过程中寻求新的技术路线,从而找到弯道超车、换道超车的机会。就如国产汽车的研发之路,从当初模仿起步,到自主品牌的成熟,再到现在新能源电动汽车的引领,这样的发展模式对软件行业发展也有相当的借鉴意义。

其二,鹏云网络ZettaStor DBS是属于分布式块存储软件,对于目前的电信、金融、能源等客户而言,都涉及这类垂直行业重要客户的数据库、云计算、虚拟化、海量数据存储的关键应用场景,这关系着他们数字化进程的成败。为此,DBS开源后继续保持两个版本,两个版本所针对的用户有所不同。开源版具备了分布式块存储的最基本功能,对于中小企业来说,可以满足基本上云需求。而对于运营商、金融、能源等大型企业来说,他们对于上云的数据安全有着更高的要求,针对这批有高要求的用户,就可以采用商业版本,商业版本拥有比开源版本更加高级的企业级功能,可以更好地满足高要求企业用户的需求。

其三,值得注意的是,开源并不是DBS的终点,鹏云网络还将会对DBS进行长期优化和继续迭代,从而保证DBS可以满足不同时期用户对于分布式块存储软件的需求。

其四,鹏云网络坚持十年的自主研发是顺势而为,ZettaStor DBS分布式块存储软件与业界现有的存储开源软件Ceph有所不同,没有对比就没有鉴别,从架构、高可用、高性能访问三个企业用户备受关注的重要方面对比来看,DBS技术的先进性十分突出,有望实现“出道即巅峰”。

aa

在架构先进性方面,Ceph属于非全对称架构,使用Monitor服务作为中央控制节点,这种架构在一定程度上直接限制了系统扩展规模,并带来可用性隐患。ZettaStor DBS开源版本采用全对称分布式架构,没有中央控制节点及元数据节点,因而能实现更高的扩展性、访问性能、以及可用性。

在高可用性方面,Ceph核心的Crush算法采用了分布式哈希环技术,故障处理过程中响应时间长,IO中断超过15秒,不做优化会影响前端业务处理,甚至报错中断。ZettaStor DBS开源版本基于专利技术的自研故障处理算法,IO中断时间小于1秒,前端业务不受影响。

在高性能访问方面,Ceph底层以RADOS对象存储为基础,再模拟成块设备接口,从根源上就不适合高并发低延迟的块级IO访问。所以IO性能表现不佳,不得不依赖高比例的缓存配置来提供可用的性能。ZettaStor DBS开源版本底层基于原生块存储架构,专为以磁盘为主存的块级IO访问设计,同时配合磁盘IO性能加速、最短网络传输路径等技术,实现高并发、超低延迟的IO处理性能。

有了在分布式块存储领域的技术先进性打底,同时再加上广泛的行业应用落地,目前已服务金融、通信、医疗等20多个重点行业并完成装机部署200PB+容量,鹏云网络开源创举的“底气”与信心从此更足了。

为了满足更多用户的实际需求,DBS开源后将保持开源版与商用版双向发展,为高端用户存储需求提供更专业的新选择。在针对“从自研到开源”的新路径新价值的探索上,双管齐下。一方面坚持自研,继续磨剑,继续彰显自主创新的价值与意义。另一方面推进开源,促进存储产业蓬勃发展,突出生态兼容并包的共荣价值。通过完善开源生态治理体系,继续打造开源存储赛道,在分布式环境下,做好存储基石,满足企业用户应用需求变化的高稳定性、数据安全性与可靠性。

“如果有大企业愿意做二次开发,意味着鹏云网络DBS的开源走进成功了。”

谈到未来的发展,陈靓博士分析指出,目前ZettaStor的系列存储产品如统一文件服务平台FileCloud、分布式块存储系统DBS、分布式对象存储系统DOS等都属于IaaS,通过IaaS领域的存储布局,逐渐向上发展靠近应用但不直接做应用,然后面向PaaS进发。未来打造PaaS层的存储平台,将成为鹏云网络的战略方向。

虽然ZettaStor DBS分布式块存储开源的举措,或许很快将成为过去,但这份创举必将成为鹏云网络面向未来发展的试金石,也将为中国存储行业的创新发展带来新的活力。

(by Aming)

- END-

欢迎文末评论补充!

【全存储观察 | 阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

阿明观察
科技观点、人物观察、新闻评论。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)