天极大咖秀

登录 | 申请注册

跨大洲数据库实战沉思录:算法驱动商业时代的三大破局法则

阿明观察 2025-05-08 阅读: 1,678 次

【全球云观察 | 科技热点关注】

一个好的数据库不是写出来的,而是用出来的。然而应用的过程,却少不了成与败的经验与教训。

失败乃成功之母。这个大多数人认同的普遍规律,不仅适用于个人,也适用于数据库的创新发展。

“在当前这个算法驱动商业的时代,选择数据库伙伴的本质,就是选择未来5年业务扩展的基因编码方式。”一位数据库领域从业20多年,长期身在一线的架构总监,在谈到跨国公司架构陷阱与云原生突围时,深有感触地说,没有经历过应用遭遇风险的惊心动魄,始终体会不到先进数据技术带来的感动。

那么,他讲述的跨大洲数据库实战真实故事,不妨让我们看一看能否给“出海破局”带来些许价值参考?

01

「法则一」弹性不是技术指标,是生存技能

或许,还有人记得差不多15年前震惊全球的一件美股大事件。

2010年5月6日半夜,作为IBM DB2/mainframe的一名值班技术经理,Demai(德迈)接到某券商公司跑批“Batch job”报警。

对于Batch Job的重要性,他当然熟知。Batch Job就是金融机构夜间批量处理业务的代名词,通常会涉及数据清算、对账、交易汇总、报表生成、风控计算等,因为夜间操作相对干扰少,可以集中处理大量类似业务请求。正因为Batch Job涉及数据量极大、时间窗口极短,一旦出现错误、失败、超时等故障可能直接影响第二天交易。

引发“Batch job”报警的罪魁祸首,就是大名鼎鼎的5月6日闪电崩盘事件。事件起因源自一家交易机构的计算机自动执行卖出指令,触发了41亿美元的卖单,进一步引发侵略性高频交易者的跟踪卖出。道琼斯工业指数在短短几分钟内暴跌近1000点,市值瞬间蒸发近1万亿美元,随后又迅速反弹。

这就是2010年5月6日美国证券市场首次出现因计算机高频交易引发的股市大事件,史称为flash crash,即闪电崩盘事件。据Demai回忆,高频交易引发大量数据待处理,给该券商的数据基础架构造成了巨大峰值压力。采用IBM DB2传统数据库与主机架构的该券商,无法很快实现系统扩容,几乎直接影响到了第二天的交易。

吃一堑,必然长一智。在遭遇史上第一次股市flash crash后,众多券商为了生存,为了进一步增强自己的行业竞争力,适应新型的交易应用,提高产品交易的速度,不断提升计算机技术与数据技术,从而加速了高频交易模式的爆发。据资料显示,在2010年闪电崩盘(flash crash)事件爆发后的10年间,美国高频交易的发展速度十分惊人,交易量占到了该时期美国证券市场交易总量的60-70%。

从中也很容易看出,传统数据架构,早已无法适应高频交易的新应用。正因为高频交易的兴起,进而驱使券商在分布式、数据库、云原生等创新技术方面不断发展,弹性架构悄然成为券商赖以生存的基本技能。

无独有偶,flash crash大事件发生8年后,在东南亚发生了一件怪事,某跨境电子支付公司遭遇黑五流量灾难,而Demai又是该事件的重要当事人。

据Demai介绍,帅小明(化名)是一个普通工程师,年轻帅气,20多岁的他入职了某电子支付安全公司东南亚分支。成为该公司DBA后,很能吃苦,也很能干。

当年该电子支付安全公司处于东南亚市场的开拓早期时,规模还比较小,于是采用了某公有云的RDS MySQL数据库。这是一个云上MySQL单机产品,虽然非常好用,简洁稳定,但是它存在一个关键问题,即存储容量是有上限的。一旦存储达到上限后,MySQL必须做数据库迁移才能支撑业务应用,并且不是简单的文件迁移。而针对云上RDS MySQL数据库迁移,当时基本上1TB存储需要花费时间2到5小时。

2018年的一天,星期五,帅小明意外收到一条消息,说是企业数据架构突然出现了大状况。这一天,东南亚购物者在网上花费创纪录,猛烈在线消费增长对在线电子支付造成了高并发的巨大压力与挑战。

毕竟太年轻,帅小明没有足够阅历与经验,企业数据架构出了大状况,给他打了个措手不及,也情有可原。也来不及想太多的问题,通过关系他找到了Demai所在的数据技术团队。

“当存储已经到了90%以上才开始认真对待,眼看这个系统就要死机了,怎么办?”Demai回忆道,该电子支付安全公司总共5个集群,每个集群有3-6TB,在非原生架构下全部迁移需要花费时间很长,差不多得要一周左右的迁移时间,可以想象一下,这么长时间的数据库迁移将对电子支付业务带来怎样打击。

遭遇黑五流量,该电子支付安全公司在东南亚的业务增长非常快。为了暂时解决燃眉之急,最后在Demai所在的团队协助下,完成了临时的数据迁移。

危机得以解决,并非万事大吉。事后,该电子支付安全公司CXO充分意识到,以现有的业务发展速度,6个月后同样的问题还会发生,并且影响面会更大,那将怎么办?在解决眼前问题后,立刻通过公司决策,采用更先进的云原生可扩展的数据库,从此构建起了弹性数据架构。

这件事,让DBA帅小明对数据架构的弹性有了彻底改变,后来每当提及此事,他便强调说:弹性不是技术指标,真是生存技能。

如今呢,数据技术与云计算、AI相结合,弹性能力得以长足发展。不仅如此,如PingCAP立足中国面向全球推出的TiDB Cloud 和serverless开源数据库部署方案,拥有“精准预测×快速响应×成本封顶”的优势,为业界带来了数据架构弹性设计的深刻认知。不仅可以为出海企业实现秒级扩容,而且其成本只有之前采用公有云厂商RDS的十分之一左右。

02

「法则二」合规不是成本中心,是竞争壁垒

“为什么同样是出海,有些企业能快速打入全球市场,而有些则在出海路上踩雷踩坑,甚至迷失?答案可能让你大吃一惊。”

现在,Demai已任职PingCAP TiDB亚太技术总监,他饶有兴趣地介绍道,企业在没有出海之前,在国内本地区业务发展起来后,自然熟悉本地合规,日常业务运营合规性也就习以为常。毕竟各国各地区都有各自不同的习俗与法规,这样的国内习惯,如何能适合海外的行业特点?一旦企业计划出海,合规与审计就自然成为竞争壁垒。

某医疗科技公司历经多年发展后,业务逐渐遍布全球,当初在拓展北美市场却遭遇了一场数据审计72小时惊险的风波。

熟悉医疗科技行业的朋友,应当都知晓FDA数据审计的重要性。然而,当时初次计划进入北美市场的该医疗科技公司,却未能对FDA理解深刻。

作为美国食品药品监督管理局(FDA)的重要检查,FDA数据审计举足轻重。要求医疗科技公司的整个生产质量管理体系符合cGMP(现行药品生产质量管理规范)才能拓展美国市场业务,如果不合格将被拒绝进入美国市场。

其实,FDA审计就是药品质量监管,对生产系统、质量系统、设施与设备、物料系统、包装与标签系统、质量控制等环节进行全面检查,要求医疗科技公司的每一个数据都必须有确切的记录与来源。同时,对相关数据的合规性也有着严格要求。

某医疗科技公司采用的数据架构有着缺陷,无法按时及时提供相关数据送与FDA审计,一旦超过了审计时间,首次申请被FDA拒批,必然会影响后续的业务落地。

然后该医疗科技公司通过合作伙伴的努力,改进数据管理系统,弥补检测数据的完整性,进一步提升数据真实性,最终为FDA审计提交了一份安全有效的数据。

在此之后,该医疗科技公司的管理层深刻意识到,面向全球化战场,数据库架构缺陷不是技术债务,而是随时可能引爆的战略级地雷。在选择数据技术伙伴上,必须重视国内与国际的全球合规要求。因为合规不是出海企业的成本中心,而是直接影响发展的竞争壁垒。

企业出海,合规先行。“出海企业对于合规和审计,是出海拓展业务碰到的第一大门槛。”Demai表示,作为立足中国拓展全球数据技术的PingCAP,旗下的TiDB数据库已经拿到了海外多个合规认证,包括SOC2、ISO27001/27701、GDPR、PCI-DSS、HIPAA。而HIPAA作为一项美国的健康保险流通与责任法案,得到广泛认可的医疗保健行业法规,为保护医疗保健数据提供数据隐私和安全条款。对于医疗保健和相关领域的组织,根据HIPAA要求,在与PingCAP正确执行业务合作协议(BAA)后,PingCAP支持用户涉及HIPAA的相关数据。

不仅如此,作为数据库提供商,PingCAP一直非常重视安全与数据隐私合规,建立了完善的安全暨数据隐私合规管理体系,并为数据库设计一系列的安全功能,从而为用户提供安全可靠的数据库产品。TiDB有内部设计和安全产品服务,可以协助用户审查流程。如TiDB的合规机器人,可以帮助用户自动生成数据和基础设施管理相关的文档,包括数据物理存储、数据流动、数据血缘类信息。TiDB合规机器人可以自动生成200+页审计材料,协助用户跟随各地法律法规的要求。 与此同时,TiDB还提供SQL审计插件,满足合规审计的要求,便于安全、运维人员查看SQL操作日志,及时发现问题。

03

「法则三」AI基建不是实验室,是战场指挥部

AI正在变革一切。信则有,不信则无。这句话似乎也适合国际五大专业服务集团与本土八大会计师事务所正在发生的AI+Data大变革。

国际五大专业服务集团即:普华永道(PwC)、德勤(Deloitte)、安永(EY)、毕马威(KPMG)和埃森哲(Accenture);本土八大会计师事务所即:瑞华、立信、天健、信永中和、大华、大信、致同、天职国际。

以埃森哲为例,在2023年6月就对外宣布未来三年投资30亿美元,专注于数据和人工智能(AI)业务领域,推动企业全面重塑。不仅如此,埃森哲首席技术官Paul Daugherty之前也表示,未来十年,人工智能作为一个大趋势,将不断改变行业、企业、生活和工作,各行各业有四成的工作时间将得到生成式人工智能的助力。

Paul的表达还是非常委婉,将他话改变一个角度来理解,这将意味着全球各行各业将有四成的工作可能被AI所取代。之于这个取代的速度到底有多快,目前谁都说不清。即便埃森哲等国际IT咨询公司对外一直强调以人为本,坚持提升员工与AI结合的能力,但是据Demai针对五大国际IT咨询公司和本土八大会计师事务所的长期交流与观察发现,被AI替代首当其冲的当属技术密集型的审计工作。为什么?

据不完全统计,综合目前业内消息从员工起薪来看,五大国际IT咨询公司在一般在10000-15000元,而本土八大会计师事务所薪资水平都差不多平均在4000-6000元。员工成本足以说明其中的重要问题,五大国际IT咨询公司用工成本明显更高,这可能才是加速数智化咨询的秘密所在。数智化带来更高效的服务,更低成本的付出,更高价值的用户回报,何乐而不为呢?

为什么同样是针对技术密集型工作,五大国际IT咨询公司在积极采用AI+数据做替代,而本土八大会计师事务所却“雷声大雨点小”,依然靠本土的人海战术,需要员工到客户现场苦哈哈工作,其中的秘密又在哪里呢?

本土八大会计师事务所的初级审计员工刷底单的技术工作,通过人工整理方式将客户审计材料,转换成审计软件可以输入输出的方式,然后由资深的高级审计员通过人工再进一步审计。这主要在于国内的财务软件类公司,当初从电子化逐渐发展走过来,老审计员习惯了老的财务软件,因而国际接轨比较慢,比较难以适应先进的国际审计工具。之前习惯性的商业模式,在云计算、AI与数据技术的冲击下,不改变就意味着什么,大家可想而知。

Demai再次分析指出,固化的流程工作最容易被AI替代,诸如咨询公司中刷底单等类似这样技术密集型工作将很快被AI替代,并逐渐消失。通过数据管理与AI的创新结合逐步替代人工,也将驱动新的SaaS出现,这就是五大国际IT咨询公司为何如此重视数智化转型的根源所在。不变革则岌岌可危,变则应势而上,进而有为。

不仅如此,借助自己之前的工作机会,通过长期的沟通与调研,Demai发现在咨询行业的审计业务场景中暗藏AI+Data的四大创新机会。

机会一,决策前的尽调报告,即AI+Data的洞察分析能力提升风险评估效率。一般可以通过互联网的公开数据,对企业进行前期的行业分析,并为企业输出具有一定规范要求模版的报告。这明显比较符合现在大语言模型LLM的技术应用场景。AI+Data的创新应用,对企业内外多模数据实现搜索整合,并根据已有模版要求,可以高效率先完成企业决策报告的60~80%,然后在此基础上由资深专业人员完成最终报告。

机会二,审计刷底稿,即AI+Data的开发应用通过软件工具替代初级审计员的“苦力活”。刷底稿属于审计工作流程中非常重要的基础工作,其完成的质量高低直接影响后续审计结果的好坏,需要相关人员具有专业知识和责任心,因为刷底稿工作量大也需要配备大量的技术人力。但是目前本土八大会计师事务所的初级审计员因经验、专业知识、责任心等影响,产出质量参差不齐。AI+Data结合起来,基于AI原生(AI-Ready)应用,针对企业具体审计刷底稿的工作进行应用开发与定制,形成自动化与工具化,提升刷底稿工作质量与效率。这其中暗藏了新SaaS软件的发展契机。

机会三,底稿“测试”,即AI+Data相结合开发软件工具辅助资深审计员的“经验活”。经验到底靠得住还是靠不住,答案不需要讨论,经验虽好但不能排除人工潜在的责任心影响。资深审计员做底稿“测试”,对此的专业要求很高,也是审计团队把关的责任人。AI+Data融合应用,基于大语言LLM模型创新,可以开发辅助类工具copilot,提升底稿“测试”工作的高质量与高效率。

机会四,审计结果输出报告,即AI+Data带来审计结果的高效洞察。审计结果最终需要输出文档文字报告,然而从原始数据汇集成报告类数据, 常常需要数天的全手工汇集。作为审计工作最后的重要环节,由于操作细节和规范均较多,即耗时又容易出错。AI+Data带来自动化、工具化、智能化的帮助,将为审计最好的报告输出工作带来革命性的变化。

此外,从另外一角度来分析,本土八大会计师事务所想要走出中国市场,走向海外市场,依靠人工咨询,做贴身服务,通过这样传统模式出海比较难以成功。五大国际咨询公司开展全球业务,以欧美合规、流程等标准,覆盖全球企业客户,立足云+AI+数据技术不断提升数智咨询能力,借助智能工具辅助工作,减少人工现场依赖,不仅提升了工作效率,而且也可以减少人工的高成本,增强自身的行业竞争力。从而,两个咨询阵营的发展形成了鲜明对比,这或许就是本土八大会计师事务所难以走出国门与五大国际IT咨询公司巨头直接PK的原因所在。

为此,通过机器学习、自然语言处理、计算机视觉等AI技术,助推咨询服务数智化转型,实现数智咨询必然成为国内国际所有IT咨询公司的努力方向。数智技术的应用能够使咨询和审计工作更加智能化、自动化,减少人为错误和重复劳动,能够更快地完成咨询与审计工作,提高工作效率和准确性。为此,在咨询行业中技术密集型工作因AI+Data的创新应用,正在悄然发生改变。

诚然,数智化咨询是大势所趋,通过数智化转型,IT咨询公司都可以开发新的服务模式和产品,满足用户不断变化的需求。为此,如埃森哲等国际IT咨询公司早已推出了基于云计算的SaaS产品,为企业提供实时的咨询服务和解决方案。

面对AI与大模型发展狂潮来袭,Demai分析指出,如果说2023年是抢GPU卡构建智算基础设施一年,那么2024就是智算云创新卖GPU卡的一年,由此而来2025必将是创新性开发者在数据平台AI+Data领域不断突破、百花齐放的一年。既然在审计业务场景中就蕴藏着四大创新机会,那么在其他业务场景中同样也值得探索与研究。

对此,Demai也断言,2025年大家定能见证AI+Data实际应用获得新突破,将AI作为战场指挥部,在AI就绪的数据库领域,蕴藏着巨大的创新力,为百行百业数智化转型提供了有力支撑,未来将朝着融合与智能的方向持续发展,为数据管理与应用带来更多的可能性和价值。

一方面, 新AI SaaS蓬勃发展,驱动新型数据库厂商加速创新。随着取代技术密集型工作的全新AI应用不断落地,将不断驱动新的SaaS软件开发迭代,也将带来SaaS背后的数据库技术新发展。之前如SAP那样与Oracle强绑定模式,背负老朽沉重的传统数据库的包袱,难以支持关系型、非关系型、图表等多种数据类型和更复杂的数据结构,更难以实现事务处理与复杂数据分析的融合。AI SaaS与传统SaaS只需处理结构化交易数据不同,新一代AI应用面临多模态数据、混合负载、弹性算力三重挑战。

打破传统关系型数据库的模式束缚势在必行,这个艰巨的任务必然带给新型数据库厂商更多发展机会,特别是拥有云原生保持云中立的分布式数据库,如TiDB生逢其时。

TiDB通过创新的Hybrid Transactional/Analytical Processing (HTAP) 架构与多模数据处理能力,不仅实现万亿级数据的ACID事务保障与实时分析穿透,其Serverless形态更能让AI SaaS开发商在3秒内完成从开发测试到生产流量的千倍扩容。在很大程度上,满足了LLM应用应对瞬间流量洪峰的刚需。

由此可见,新SaaS后台少不了举足轻重的数据管理平台,在AI加持SaaS软件过程中,SaaS智能化也在促进新型数据库加速发展,并且AI SaaS的爆发式增长正在重新定义数据库的技术标尺。

另一方面,大语言模型2D(Developer开发者) 和2P(Professional专业服务) 的爆发。大语言模型LLM应用开发平台Dify支持多种大型语言模型,如Claude3、OpenAI等,并与多个模型供应商合作,让AI应用落地更简单。开源大模型DeepSeek等兴起,加上支持AI就绪(AI-Ready)的TiDB数据技术不断创新,加速了开发者将大模型转化为实际业务。

TiDB Next Gen是为AI时代打造的数据平台,构建了数据新鲜度×查询灵活性×资源协同性”的数据支撑能力,通过流批一体管道、混合负载隔离和Serverless弹性的三大技术创新破局。比如借助Change Data Capture(CDC)将OLTP事务数据实时注入训练集群,对话日志到微调模型的延迟从小时级压缩至10秒内。

采用HTAP架构使模型训练所需的复杂查询(AP)与用户付费等关键事务(TP)共享同一数据集却互不干扰,资源利用率提升8倍。

当Dify平台上的AI应用因社交传播突然获得10万日活,TiDB Cloud可自动在20秒内将计算节点从1个扩展到100个,开发者无需中断服务即可消化流量脉冲。

从而让开发者在构建RAG应用时,无需在PostgreSQL(事务)、Elasticsearch(检索)、Snowflake(分析)之间反复ETL,而是通过统一接口同时完成用户行为记录、向量相似度计算、实时业务洞察三个动作,使LLM应用迭代周期从month级压缩至day级。实现交易数据10秒内进入训练管道,保障混合负载,确保模型训练不影响在线交易,从而打破了AI应用对开发者不友好的那堵墙。

现在,一个普通开发人员,花费72小时时间就可以开发一个完整的AI应用,如流行的聊天对话机器人。借助TiDB的全栈AI就绪能力,开发者可以实现从创意到生产的72小时快速创新。值得注意的是,当AI应用突然爆红时,TiDB的Serverless架构自动在90秒内将QPS容量从100扩展到10万级,HTAP资源隔离确保突发数据分析不会影响在线交易SLA。TiDB生长式架构彻底改变了AI应用的演进路径,出海企业的初创团队用3张SQL表就能启动MVP(存储对话日志、用户画像、知识库向量),而后无需重构即可平滑过渡到支持日均百亿token的企业级系统。

融合了事务性能力(TP)与分析型能力(AP)的TiDB数据库,不仅可以帮助AI应用进行计费/收费,而且可以实时汇总所有用户搜素的重点词。与此同时,TiDB向量(Vector)能力可以直接存储和搜索嵌入式(Embedded)数据。TiDB Cloud 和serverless提供小数据小流量的完全免费,保证AI应用从3~5客户到百万客户的秒/分钟扩容。在流程管理方面,采用新数据库技术管理多模数据,针对各类数据做分析,洞察数据价值,可以大大提升管理效率。

PingCAP TiDB亚太技术总监 Demai

Demai分析指出,全球性IT咨询公司推出SaaS咨询软件,其背后的力量离不开AI、数据技术与云的加持。并且,借助AI、数据技术与云的力量进行业务创新,成为当前全球IT咨询行业的发展大趋势。

普华永道(PwC)、德勤(Deloitte)、安永(EY)、毕马威(KPMG)和埃森哲(Accenture)已经在这个赛道上快步流星向前冲了,然而本土八大会计师事务所的动作却比较缓慢,这明显与五大国际IT咨询公司有着很大的发展差异性,在业务创新对AI、数据技术与云的利用上并没有想象中那么热衷,甚至明显落后于五大国际IT咨询公司。

全球云观察分析认为,任何公司都逃离不了优胜劣汰的行业发展规律,落后就容易被竞争对手降维打击。唯有创新才能保持基业长青,在咨询行业中,五大国际IT咨询公司都深谙此道。话又说回来了,一个出海企业想要取得成功而不被时代所淘汰,就离不开创新。创新是一个出海企业的灵魂,只有不断创造出更好的产品与服务,才能赢得发展与进步。如何结合AI、数据技术与云,将是一个长期的持续创新过程。而把AI基建当成战场指挥部,不是实验室,咨询行业正在发生AI+data的大变革值得再次深思。

04

「小结」法则在手,未来我有

当前,数据不再是简单的信息,早已成为了企业的资产。全球AI技术也获得了令人瞩目的飞跃式发展,AI+data与业务场景的不断深度融合,正在推动着商业模式重塑。每一个企业在大踏步迈入算法驱动商业时代之时,更需要明确其中的底层逻辑。

算法驱动商业的核心逻辑,在于打造“数据-算法-业务”的闭环,通过数据获取、算法优化和业务创新,形成一个可持续的循环系统,比如利用算法来优化商业决策、运营流程和客户体验等,从而提升商业效益。因为业务环境和用户行为等不是一尘不变的,而是动态变化的,只有不断更新数据和算法,才能保证算法驱动商业的效果持续有效。从中可以看出,数据技术的创新能力支持,对这个闭环系统起到举足轻重的作用。

弹性不是技术指标,是生存技能;合规不是成本中心,是竞争壁垒;AI基建不是实验室,是战场指挥部。弹性、合规与AI新基建,三个不可或缺的破局法则,为出海企业寻求数字基建的战略抉择之道,在算法驱动商业时代找到了发展的确定性。

而符合现代架构的数据库,可以让企业用一份预算获得:“合规盾牌+弹性引擎+AI加速器”三位一体的数字基建航母。这可以说是一次全球化企业对抗不确定性的战略重组。

法则在手,未来我有。企业出海立足数据库实战三大法则,何愁不能行稳致远,进而有为呢?

- END-

你怎么看?

欢迎文末评论补充!

【全球云观察|全球存储观察 |科技明说|阿明观察】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

阿明观察
科技观点、人物观察、新闻评论。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)