天极大咖秀

登录 | 申请注册

中国的“Databricks”们:打造AI基础架构,我们是认真的

郭涛 2021-09-28 阅读: 5,159 次

图片1

AI落地最大的驱动因素是基础架构的升级

近年来,大数据分析、AI等领域一直备受关注,常有引人关注的融资事件发生。美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资,其最新估值高达380亿美元,相比7个月前G轮融资时280亿美元的估值,又轻松增加了100亿美元。

Databricks“红了”,连带着“深巷里的美酒”——数据科学也得到了更多关注。虽然数据科学是一门复杂的学科,但如今已进入金融、工业乃至千行百业,这一过程其实也是AI从“可用”到“好用”的一个缩影。

“AI落地的关键,是其价值的彰显,以及寻找到适合的商业落地途径。”九章云极DataCanvas董事长方磊指出,“以前,人们认为算法可能是壁垒。但随着技术的快速迭代、开源开放,事实证明算法并非高不可攀,AI落地最大的驱动因素是基础架构的升级。”

01
AI基础架构升级刻不容缓
当前,中国正处于企业数智化转型的时代拐点。回顾信息化发展的历程可以发现,1980年-2000年,这是基础信息化时代,服务器、存储、操作系统、数据库等基础设施软硬件快速发展;2000年-2020年,进入到流程数字化时代,云计算开始大行其道,云成为基础设施,各类SaaS应用百花齐放;2020年以后,市场迈入新的阶段,其标志是“决策智能化”,相关领域包括数据科学平台、云原生数据仓库、开源技术等迎来爆发的机会。

决策智能化的实现,需要一个“智能化的底座”,也就是常说的AI基础架构。通过AI基础架构的不断完善和升级,AI应用落地的效率会更高,也更容易。“AI基础架构的价值就在于,它能够让企业在其上自主地开发AI应用。”方磊概括道。

AI落地的探索源于算法的创新,之后涌现出的一批AI企业,致力于为客户提供定制化的端到端的AI应用开发。这在无形中造成了AI落地的高门槛。随着各行各业对智能化的需求愈发迫切,AI已经成了众多行业头部客户的刚需。但是这些头部客户不仅业务规模庞大,而且十分复杂,其需求也各不相同。如果仍然沿用过去那种“千人千面”的定制化端到端应用开发模式,很难快速满足这些头部客户的业务需求,而且AI应用的门槛依然高高在上,客户始终掌握不了主动权。

“从各行业头部客户的需求来看,他们更希望围绕自身的业务开发自己的AI应用,这就需要一个自主可控的基础设施。”方磊表示,“依托AI基础架构,由企业自主开发AI应用,锻炼并形成自主的AI能力,这才是市场主流,也是AI应用落地的内驱力。”

Databricks之所以受到市场追捧,正是因为它以最擅长的流数据处理为出发点,向上发展机器学习、建模,向下打造数据湖仓一体,不断扩展和完善AI基础架构,为最上层的AI应用提供一个优化的承载平台,即AI Foundation。

图片2
来源:Databricks

实际上,目前业内对于AI基础架构还没有一个统一而明确的定义。但从应用实践,以及像Databricks这样的标杆企业的做法来看,AI基础架构至少包含两大基石,即“数据”与“算法”。

以前,大多数的应用都是离线的,比如获得一份营销名单。但是现在,客户对在线应用的需求越来越迫切,很多时候一个模型已经建好,却发现数据“供不应求”。由此可见,AI应用离不开一个实时的数据底座,AI基础架构的重要性在此时得以凸显。4年前,九章云极DataCanvas就开始打造支持高并发的实时数仓,如今经过品牌升级,一个功能和性能都更加完善的HSAP(Hybrid Serving/Analytical Processing)实时数仓产品DingoDB呈现出来。这就是九章云极DataCanvas眼中,AI应用不可或缺的数据底座。

谈到AI基础架构的门槛,方磊表示:“算法是技术上的门槛,但我们已经实现了突破。我们的自动机器学习产品,在性能等指标上已经不逊于国外同类产品,甚至更强。其实,更高的门槛还是在客户,或者说应用层面。当前,自建AI基础架构的需求主要集中在各行业的头部客户身上。作为AI厂商,必须有意愿和能力服务好这些头部客户。我们公司从2014年就开始专注并深耕这一领域。”

02
九章云极、Databricks像?不像?
从市场大势来看,正是决策智能化时代的到来,才使得像Snowflake、Databricks这样以数据为驱动,以创新的AI基础架构支撑AI、大数据应用落地的企业成了资本市场的宠儿。

就在Databricks成立的2013年,同样崇尚数据科学的九章云极DataCanvas也在中国顺势而起。尽管地处不同,但两者却有不少相似之处,尤其在能力建设和商业模式愿景上,九章云极DataCanvas和Databricks更颇有几分默契,这是巧合?还是殊途同归?

首先,两家公司的定位相似,都是数据科学的研发者、应用者和推动者,并且都在主攻AI基础架构升级的方向。但是由于出发点不同、所擅长的细分技术领域不同,Databricks最早以流数据处理成名,而九章云极DataCanvas则以开源自动机器学习见长,因此在具体构建AI基础架构时,两者选择的路径有所差异。

其次,从产品线来看,虽然在细节上略有差异,但从整体能力建设上看,两家公司的产品可以说是如出一辙,都涵盖了分析和数据两大部分。在分析部分,九章云极DataCanvas享有业内颇受好评的开源架构机器学习平台DataCanvas APS,该平台囊括了算子仓库、模型训练、数据处理、自动机器学习等,再配合数据层面的DingoDB实时数仓,构建出数据实时计算分析闭环。而Databricks除了众所周知的Spark以外,还有同样知名的数据湖仓一体Delta Lake,以及机器学习、数据测试与管理、数据解释和建模产品等。两家公司通过持续不断的创新,致力于让AI基础架构变得更加“厚实而饱满”,可谓异曲同工。

图片3

来源:九章云极DataCanvas

“在数据科学这一领域,我们与Databricks拥有相似的愿景、目标和战略,想做同样的事,即打造AI基础架构,将算力和网络充分利用起来。”方磊表示,“对于有人将我们称作‘中国的Databricks’,我们感到非常荣幸。这是对我们的一种认可。但我们也清醒地认识到,AI基础架构市场空间巨大,还有很多‘细致的活儿’要做。这也是我们继续快速前进的动力。”

03
把AI嵌入到云里去
任何一个想有一番作为的企业,肯定都不会满足于“成为别人”,九章云极DataCanvas也是如此,成为“中国的Databricks”不是终点,“做自己”成为一个独特的存在才是最终目标。

实际上,因为中美两国大到市场和竞争环境,小到企业的AI应用需求,都存在差异。在两块不同的土地上长出的苗,可能属于同一种类,但在个体上会有显著的差别。试举一例,在美国市场,一直是AWS、Azure、Google Cloud“三朵云”打天下。无论是Snowflake还是Databricks,都生长在这“三朵云”之上。但在中国,云计算市场大相径庭,云的碎片化现象显而易见,不同的区域、不同的行业可能造就了上千朵云。虽然从AI应用落地的角度,中美客户的需求没有差别,但是在具体的路径选择和落地方式上,还是有各自的倾向和习惯。

方磊坦言,九章云极DataCanvas现阶段将主要围绕各行业的头部客户群体,为其打造AI基础架构。因为这部分客户的需求最迫切,并且有资金也有技术能力实现AI的自主开发。基于对中国未来AI行业生态发展的预判,九章云极DataCanvas建设性地提出了“云中云”战略(An AI Cloud in the Clouds),即将AI基础架构及相关AI能力,嵌入到形形色色的行业云、区域云、企业云、联盟云等千朵云中。为了满足不同云生态的需求,九章云极DataCanvas必须让自己的解决方案实现更加灵活、高效的交付。而“云中云”显然是事半功倍的做法,可以很好地借力打力,将九章云极DataCanvas的AI能力随云输出。

图片4
来源:九章云极DataCanvas

对于AI基础架构,很多行业用户一开始的认知是模糊的,仍需要持续的教育。但是某些先行先试的行业头部企业,已经从AI基础架构的升级中尝到了甜头。比如在银行业,原来需要几天才能完成审批的贷款,现在可以实时审批;在制造业,工业质量检测能力的提升、设备预测性维护的实现等都得益于AI的应用……诸如此类的案例应用不胜枚举。

“在构建AI基础架构的基础之上,有数据、有场景、有预算、有团队,用户就可以开发自己的AI应用了。”方磊表示,“原来,用户习惯‘伸手’向厂商要‘交钥匙’的AI解决方案。但这种单独定制的解决方案并非长久之计。”例如某大型钢铁企业在全球拥有300多条产线,每条产线用到的设备、供应商各不相同。如果没有一个统一的平台支撑其建模、分析、应用开发和管理,那么系统将不堪重负。说到底,用户还是要依靠自身AI能力的提高,运用通用的技术,自主掌握AI应用开发。在这种情况下,AI基础架构就是必须的。这也是九章云极DataCanvas的商业机会。

04
珠玉在前 事半功倍
打造千朵云生态的AI基础架构,是九章云极DataCanvas的商业定位;而打造中国开源数据科学第一平台,则是九章云极DataCanvas的初心。两者并不矛盾。正相反,数据科学与AI基础架构从学科和商业应用两个不同的维度,在九章云极DataCanvas身上实现了平衡与统一。

在很长时间里,数据科学曲高和寡。在中国,像九章云极DataCanvas这样长期坚持深耕数据科学领域的厂商凤毛麟角。Databricks可以说是全球范围内数据科学领域最先跑出的企业。它居高不下的热度至少证明了,数据科学这个市场大有可为。

新基建、云原生、数智化升级、开源,在这些利好因素下,再加上有Databricks这样的珠玉在前,以及九章云极DataCanvas等公司多年来的精耕细作,数据科学的未来值得期待。

郭涛
以“云”为基,以“数”为魂,以“智”为道,新IT,新经济。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)