天极大咖秀

登录 | 申请注册

数据治理中场战事:按需采购和自如升级成必然

大数据在线 2024-10-08 阅读: 1,274 次

在过去的十余年间,中国的大数据产业犹如一场技术革命,以惊人的速度蓬勃发展。十年前,金融、电信等行业构建数据仓库时,几乎无一例外地依赖于国际厂商的产品与服务,许多项目的成本动辄耗费千万乃至上亿元。

于是,大家对于数据建设、数据治理的印象都停留在又贵又重的阶段,高昂的建设成本成为不少企业的拦路虎;但这些企业对数据建设和治理一直都有着旺盛需求。

同时,狂飙猛进的技术演进对企业数据架构的可扩展性提出了新挑战。Gartner报告就指出,到2028年,50%构建于2023年之前的中国数据分析和AI平台,也将因为与生态系统脱钩而过时。

数据建设治理领域正呼唤一场革新。

日前,阿里巴巴集团副总裁、瓴羊CEO朋新宇在云栖大会瓴羊Data×AI专场论坛中指出,企业要拥抱AI时代,需要完成场景解构、业务重构。其中,数据治理领域也正在迎来一波重构浪潮。

瓴羊智能数据建设与治理产品Dataphin的诞生,直指企业在数字化转型过程中面临的首要挑战:数据「脏乱差」,通过标准化数据处理流程,统一数据口径,提供全面的数据资产管理,帮助企业建立起可靠、一致的数据基础,为数字化转型铺平道路。

Dataphin最初源于阿里这个「超级工厂」的实践经验,逐步进化为适用于各行各业规模企业的数据治理平台。

现在,针对行业里数据治理高成本和难扩展等建设难题,瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供便利。

数据治理正当时,普惠低成本带来更多选择

瓴羊副总裁王赛在对接各类型的企业过程中,看到中小型企业有强烈的数据治理及数据资产建设的需求:企业的数据量相比龙头企业们可能不是很大,但有复杂度和多样性,这些企业需要把这些数据做一些轻度的治理。

但中小企业的数据治理之路面临不少问题:大数据相关的人才储备可能不足,也没有太多的预算投入,甚至对数据资产建设和数据治理的认知也有所欠缺。

基于这些痛点,瓴羊把基于阿里巴巴内部数据治理的经验,加之服务外部企业客户打造推出的智能数据建设与治理平台Dataphin,进行轻量化改造,推出Dataphin敏捷版。

Dataphin敏捷版的产品架构更轻量,企业最低只需要投入三台硬件设备,投资仅二三十万元就能低成本启动数据治理工作。这也意味着,相比于之前功能强大、架构复杂的Dataphin版本,广大中小企业现在多了一个选择。

数据治理,如何兼顾当前和长远

当企业在开启数据治理工作后,都会考虑一个问题,随着业务发展,数据量变得庞大,当前系统能否满足需求?难道又要重新评估数据架构?

比如,国内一家零售企业数据负责人,这些年遇到“成长的烦恼”,由于业务布局广泛,企业数据需求的复杂程度和处理难度变得越来越高,他察觉到数据治理的建设思路需要发生变化:“之前更重视产生了什么数据,哪些业务流程可以数字化,以及数据合规问题。”如果往后看5年,随着企业数据量越来越大,传统的数仓建设思路已经不能再支撑企业的存数、管数、用数的需求。

这也是不少企业在数据治理中的共性问题——数据架构如何为未来的发展预留出空间,从而满足未来更多更复杂的数据治理需求。基于这一行业普遍痛点,瓴羊的Datapin产品创新性升级数据系统架构:高扩展性,可持续演进升级。

如果起步期用敏捷版,发展期可以原地升级,扩展底层的算力引擎,自如地向上平滑演进,即可变身为一站式数据建设治理与运营平台。再进一步,如果部分企业监管合规要求高,不能上云或者只能部分上云,或者有些企业本地已经搞了一摊,有些利旧的小九九。不用慌,瓴羊Dataphin支持多云多引擎,允许多云部署或者本地化私有部署,并支持50+数据源,自由混搭,满足各种复杂场景。

“小型、中型和大型,我们都在一套部署结构之下,可以帮助企业无缝升级。”王赛说。考虑到企业数据治理的长期发展特性,企业可自如地基于自身数据规模和治理要求,选择合适的产品。瓴羊Dataphin带给客户的体验就是:不必一步到位,却可步步到位。

半托管,兼具个性化和性价比

另外,在数据领域,企业还面临另一大问题:个性化和和性价比之间的矛盾。大企业基于自身的业务需求,往往追求私有化部署,但这也意味着更高成本。而标准化的云产品更便宜,却失去部分个性化配置的能力。

针对这类问题,瓴羊Dataphin的解题思路是提供灵活的部署模式:全托管、半托管、独立部署,满足各种部署诉求。

企业可以像租公寓一样,直接订阅公共云多租户SaaS版本,按需付费;也可以采用半托管模式,快速拥有自己的独立云别墅;更可以完全独立部署,自己“盖楼”,完全自主。

这其中,云上半托管模式,是当下主流客户最爱的一种部署方式。这种模式,既能独享可控的环境,又能享受公共云的弹性调度。相当于用户在云上租“别墅”,1小时立等可取,获得别墅级独立部署产品服务。

比如,一些集团型企业,不同的业务模块或者子业务的数据处理要求不一样:财务类、会员类的数据要求本地运行计算;另外一些安全敏感性不高的数据可以上云,与云上业务联动及数据处理。这类企业需求就适合半托管模式,既有个性化定制需求,又能考量经济性需求。

总体而言,在数据建设、治理、消费领域,Dataphin正基于阿里巴巴集团多年数据治理的系统化建设经验,为大中小不同规模的企业,提供横跨多类引擎,适应多种环境要求的,可扩展可升级的数据治理产品。

数据治理领域,企业正迎来按需采购、自如升级的新阶段。

AI时代,如何让数据资产快速用起来

王赛发现很多数据治理平台的项目都具有一个规律:如果对方是一个纯IT团队,没有数据资产运营的理念,这类项目的成功率往往不会很高。

数据如果只存储在数据库里,只会成为成本和负担。王赛提到:“我们刻在骨子里的理念就是数据构建好之后,一定要把数据用起来。” 所以瓴羊非常强调数据资产的治理和运营,光把数据聚合在一起还不够,还要让数据更好地用起来。

要让企业用好数据,客观存在着一个巨大的鸿沟。对业务人员而言,理解业务和理解数据是两码事。很多时候业务人员缺乏数据思维,数据获取依然要求助于数据专家,这面临着大量的沟通和时间成本。而在具体的获取数据环节,数据团队压力也很大。他们经常会面临大量的关于数据在哪里、该数据含义、如何使用、在哪里使用的咨询。并且,要在海量的数据资产中快速找到、找对、找准想要的数据并不容易。

这反映出,企业用数需求,不止是从Chatbot中获得一个具体的数据结果,还涉及到基于业务需求如何去找到和使用好内部的数据。

举个例子,王赛经常碰到企业用户提这样的问题:企业的商机转化率低,有什么样的数据能解决问题?解决问题的核心在业务流程里,先回到业务中,问题涉及哪些人员和组织,涉及哪些流程,这样才有可能给用户有价值的指导,而不是就数据返回一个数据结果。

从这一痛点出发,瓴羊推出业内首个数据资产智能体——Dataphin·DataAgent,在大模型的加持下,企业能自定义自己专属的Agent,业务人员能更便捷实现从问题到思路、数据、用法的全链路自助化操作。

“未来每个人都有一个专属的数据助手。”王赛说,它不只是工具层面帮用户取数,还能帮助连接业务,输入问题后直接给到数据视角的内容。

如某一家头部乳业品牌的数据中台已经建设多年,形成超过20个数据域,上千指标,几百用户标签和近百个应用。目前一部分业务的需求仍需要通过数据工程师人工满足,业务人员觉得响应慢,而工程师又被需求压得喘不过气。现在通过Dataphin的智能DataAgent,每次都能快速找到资产进行快速研发,让研发效率翻倍。

这个过程里,Dataphin·DataAgent三大能力也展露无遗。首先是基于全域的数据资产,可以快速便捷帮助企业构建向量数据库,完成知识库的搭建;其次是,基于对知识库的理解,提供诸多辅助工具和元素化的交互能力,加速智能体的设计和编排;再次,数据智能体一键发布,能帮助企业更方便去消费数据。

从降低中小企业启动数据治理的门槛,到降低企业数据系统架构升级的门槛,到降低企业兼具个性化和性价比的部署门槛,到基于DataAgent智能体降低数据消费和使用的门槛,瓴羊Dataphin正在重构企业数据治理,重构企业数据服务的价值。

大数据在线
洞悉技术趋势,聚焦产业发展

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)