天极大咖秀

登录 | 申请注册

来自火星的一组大数据密码——统一/8/10/解耦

郭涛 2021-03-29 阅读: 6,546 次

数字经济时代,数据是第一公民!

3月24日,搭乘“星环号”光速飞船,在舰长——星环科技创始人、CEO孙元浩的带领下,我们体验了一场别开生面的”2021星环科技线上春季新品发布会“。星环科技“云计算+大数据+数据库+人工智能 ”的全面组合让人刮目相看。或许,我们应该给星环科技一个新的产品定位——“大数据基础设施提供商”,或者“数据智能基础设施提供商”。你认为哪一个更适合?无论是哪一个,不可否认的是,“数据+智能”被星环科技彻底引爆。

演示文稿1_看图王(2)

01
“主流”是这样磨炼出来的

无巧不成书,就在3月23日,华为宣布其创新数据基础设施体验中心及行业创新体验中心正式落户成都。以“数据”为核心打造和创新基础设施,华为是“硬”实力代表,而星环科技则是“软”技术达人。两家公司的”殊途同归“真实地映射出当前在中国“数据新基建”的发展方兴未艾。

数据是国家基础战略性资源和重要生产要素。这一新论断为未来大数据的应用与发展指明了方向。2020年12月,国家发展改革委、中央网信办、工业和信息化部、国家能源局四部委发布的《关于加快构建全国一体化大数据中心协同创新体系的指导意见》指出,以深化数据要素市场化配置改革为核心,优化数据中心建设布局,推动算力、算法、数据、应用资源集约化和服务化创新,对于深化政企协同、行业协同、区域协同,全面支撑各行业数字化升级和产业数字化转型具有重要意义。

由此可见,推动大数据应用创新、深化企业数字化转型,其前提是必须建设并夯实大数据基础设施,星环科技这回是跟上了节奏,踩准了鼓点。

回顾公司7年多的发展历程,孙元浩十分感慨。公司曾经许多次前瞻性的研发、开拓性的创新,不被业界同行所认可,有时甚至在企业内部也不能被完全理解,被说成是”走错了路“,更被有些竞争对手嘲笑是”旁门左道“。但是,从打造强大的计算引擎到实现全面容器化,从创造性的数据云的发布到追求极致的ArgoDB数据库的推出,星环科技用自己的不屈不挠和埋头苦干证明了,它曾经的判断是正确的,是真正的业界主流。

很明显,以2017年全面容器化的TDH(Transwarp Data Hub)5.0版本发布为转折点,从那之后,星环科技产品迭代的速度不断加快,产品创新的宽度和深度不断增加,目前已在大数据基础平台、分布式关系型数据库、数据开发与智能分析工具和大数据云平台等基础软件领域建立起技术壁垒,可以帮助行业用户快速构建数据湖、数据仓库、数据集市、实时计算系统、数据中台、机器学习、知识图谱、边缘计算、高并发数据应用、交易与分析混合型数据应用、数据云等多种核心场景解决方案。

围绕着数据全生命周期开发与管理,星环科技锻造出六大核心技术优势,包括领先的分布式系统软件技术、优秀的分布式编译技术、领先的分布式数据库技术、基于容器的数据云技术、数据全生命周期的开发和管理技术,以及支持计算智能、感知智能、认知智能、行为智能的机器学习技术。这也可以看作是星环科技未来在大数据基础设施层面能有更多作为的六大支柱。

打造一个超高速引擎,让大数据平台一站式实现多种模型数据的超高速处理——这是孙元浩当初创立星环科技的初衷。让人欣慰的是,在此次春季新品发布会上,我们看到了”星环号“没有偏航,而是始终在”更高性能、统一化的平台、多样化的处理“的轨道上勇往直前。

图片1

02
破解新一代多模型数据管理平台的密码

此次春季新品发布会被形象地比喻为“星环号”的回归地球之旅,星环科技庞大的产品矩阵几乎都有全新的升级,包括支持10种主流存储模型的TDH8.0,追求极致性能的ArgoDB 3.0与kunDB 2.0,集数据PaaS、分析PaaS、应用PaaS于一体的数据云TDC,为数据全生命周期管理提供一站式数据开发与治理平台的TDS,以及实现AI建模全生命周期管理的Sophon 2.7 LTS,给人一种目不暇给的感觉。

在这个巨大而严谨的产品方阵中,TDH8.0无疑是排头兵,也最让孙元浩津津乐道。“TDH1.0版本刚诞生时,我们自己也不是很满意,所以直接废弃了。”孙元浩回忆说。这也是2013年我们第一次在市场上看到的TDH产品已经是2.0版本的原因。从那开始,几乎每一年TDH都会推出一个全新的版本,直到2021年最新的TDH8.0问世。

TDH的持续演进让我们看到了“让大数据平台一站式实现多种模型数据的超高速处理”这一星环科技最初的理想正一点一点地照进现实。按照孙元浩的话说,TDH每年的大版本升级都会带来创新的架构思路和性能升级,而TDH 8.0版本的里程碑意义则在于,它真正将多模型数据平台的性能发挥到了极致。

揭开TDH 8.0的面纱之前,可能我们要先破解以下这几组“密码”。

第一组“密码”:“统一”

2020年5月TDH7.0发布时,星环科技首次公开展示了其独创的技术架构路线,即统一计算框架、统一数据管理,按需增减异构数据存储引擎的多模型数据平台架构。TDH 8.0继承并发扬这一优势,基于星环科技领先的多模型技术架构和统一数据管理,构建服务于整个企业的统一数据资源库,使得跨部门的数据灵活调用成为可能。

最底层,是贴合服务器硬件和操作系统的统一的资源调度层——星环云操作系统(Transwarp Cloud Operation System,TCOS),它基于先进的云原生技术构建,适配多种主流的CPU架构和多种操作系统,并且针对多模型数据库的技术特点优化了资源调度策略,提升了产品性能。

TCOS之上是存储层,存储又被分为存储管理与存储引擎两层。在存储管理层,星环科技开发了统一的分布式数据管理系统TDDMS(Transwarp Distributed Data Management System),为不同存储引擎提供公共的存储管理服务。存储管理层之上是存储引擎层。TDH 8.0通过8种独立的存储引擎,支持业界主流的10种存储模型。这8种存储引擎是:关系型数据存储引擎、宽表存储引擎、搜索引擎、地理空间存储引擎、图存储引擎、键值存储引擎、事件存储引擎和时序存储引擎。

存储层之上是计算层。TDH 8.0使用了星环科技自研的统一的分布式计算引擎Transwarp Nucleon核子。TDH 8.0中不同的存储引擎,都使用统一的计算引擎Nucleon。计算引擎能根据不同的存储引擎自动匹配高性能算法,无需用户手工干预,从而便捷实现跨库关联,避免数据导入导出。

最上层是统一的SQL编译器Transwarp Proton。TDH中的各个数据库产品均遵从一致的SQL规范,使得开发的代码可移植性强,技术对接容易。

第二组“密码”:“8”和“10”

TDH 8.0通过8种异构存储引擎支持业界领先的10种存储模型,可自动化地应对多部门业务需求,支撑用户各种高阶的数据分析场景,实现数据自动化管理。

星环科技TDH产品经理宋宇介绍说,当今“单一模型数据库多个并用”模式面临诸多难题,例如开发接口不统一、操作难度高、维护成本高、数据跨库关联困难、资源扩缩容不灵活等。TDH 8.0进一步完善了10种主流存储模型的兼容性,不仅能消除“单一模型数据库多个并用”存在的技术瓶颈,而且在性能上也实现了超越。

第三组“密码”:“解耦”

TDH的计算引擎、存储引擎、资源管理全部解耦合,可以独立伸缩,存储引擎可以像插件一样轻松增加,这是星环科技TDH的独到之处。由于存储和计算完全解耦,用户可以根据业务变动的情况,按需创建新模型或按需申请计算和存储资源。“存储不够扩存储,计算不够扩计算。”宋宇表示,“这种新型的存储和计算架构带来的是灵活、弹性的扩展能力。”

在企业的实际生产中,不同部门、不同项目、不同业务的需求经常变动,尤其是一些临时性、探索型、创新型的工作,所需的计算和存储资源往往变动比较频繁。TDH的存算解耦架构,可以构建服务于整个企业的统一数据资源库,彻底打破不同部门数据间的隔阂。

从传统的关系型交易数据库到以Hadoop为代表的开源大数据技术的兴起,针对各种不同业务场景的数据产品如同雨后春笋般不断涌现,并快速迭代。但随之而来的多产品混合部署模式,也使得数据平台方案越来越复杂,开发和运维的成本呈指数级增长。此时,用户又开始呼唤架构简化、产品融合、开发与运维简便的统一平台。星环科技新一代多模型数据管理平台应运而生,用简洁清晰的技术架构,支持纷繁复杂、千变万化的用户场景,在追求极致性能的同时,提供易开发、易运维的一站式服务。这正应了那句话:“天下大势,合久必分,分久必合。”大数据应用正是在这种技术螺旋式上升式的演进过程中得到普及。

03
继续夯实大数据基础设施

因为不约而同都高举“数据云”的旗帜,所以也有人将星环科技称为“中国的Snowflake”。但在笔者看来,星环科技只是它自己,不刻意追求特立独行,但也绝不会随波逐流。尤其是在大数据基础平台和技术方面,星环科技始终不忘初心。而星环科技的数据云无论是产品实现、功能特色、部署方式、客户群体等,都与Snowflake有明显差别。

早在2018年,星环科技便基于TCOS发布了其数据云Transwarp Data Cloud(TDC)1.0版本,其后又经历了五个大版本的迭代,主要面向企业私有化场景,以数据为中心,打通数据PaaS、分析PaaS、应用PaaS三类PaaS能力,底层统一基于容器云平台构建,可解决协作数据分析、数据管理混乱、规范应用开发流程、存量应用治理、资源冲突与效率管理等难题。除此之外,TDC还基于云原生技术实现了分布式计算与存储的解耦合,计算单元和存储单元可独立弹性伸缩。

在本次发布会上,TDC升级到2.4版本,凸显了五大核心特性:统一支持多种业务类型的工作负载,云原生调度实现数据与计算局部性,分布式计算执行单元场景化扩缩容,支持GPU多租户共享调度,以及支持异构CPU和操作系统混合部署。

在数据成为新型生产要素的今天,围绕数据的采集、处理、存储、应用、分析和管理的“军备竞赛”将成为一种新常态。星环科技在大数据软件基础设施层面的布局和创新已占得先机。

郭涛
以“云”为基,以“数”为魂,以“智”为道,新IT,新经济。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)