登录
|
申请注册
云原生新常态,数据服务进入Serverless新时代
于洪涛
2023-03-29
阅读: 9,373 次
作为底层架构级别的变革,Serverless起源于计算服务,意味着用户不必在服务器配置、维护、更新、扩展和容量规划等方面耗时费力,可以将更多的精力放到业务逻辑上。
如今,用户关注重心的调整促使Serverless不断进化,从减轻运维压力向全方位满足业务需求转变。在影响用户业务发展的诸多因素中,数据也许是最大的变量。IDC咨询发布的报告显示,2021年全球数据总量约有80ZB,到2025年预计将飙升至180ZB。
事实上,依托云平台进行数字化转型的行业用户,对数据服务易用性的要求越来越高,希望最大限度减少对底层基础设施的依赖。Serverless作为一种先进的云原生架构,其价值不再局限于计算层面,而是已成为云原生数据库、数据分析乃至人工智能的标配。
由此,践行端到端的数据旅程是Serverless实质性跃迁的必由之路。在这片充满挑战的创新高地上,亚马逊云科技扮演着全程领跑者的角色,且率先完成了Serverless的全面布局。
从单一场景走向全栈融合
需要指出的是,无服务器数据服务并非突然从天而降,而是自Serverless诞生之日起就生根发芽,逐渐从单一场景发展到全栈融合。
作为云计算的开创者与引领者,亚马逊云科技在Serverless数据服务领域的探索起步很早,且创建出多个具有里程碑意义的标杆:2006年,公司诞生伊始打造的Amazon S3就是带有Serverless特征的对象存储服务;2012年,推出在功能上已具备Serverless特性的云原生数据库Amazon DynamoDB;2013年,消息流处理Serverless服务Amazon Kinesis问世;2014年,Amazon Lambda服务普及了抽象的Serverless计算模型;2016年,发布Serverless架构的商务智能软件Amazon Quicksight;2018年,Amazon Aurora Serverless亮相。
如果说这些产品为Serverless数据服务的蜕变奠定了坚实基础,那么最近两年出现的加速突破则让Serverless数据服务站上了风口浪尖:2021年,亚马逊云科技发布三款Serverless架构的数据分析服务,分别是流式数据管道Amazon MSK Serverless、大数据分析平台Amazon EMR Serverless、数据仓库Amazon Redshift Serverless;2022年,Amazon OpenSearch Serverless日志分析引擎正式登场,标志着数据分析领域的“全Serverless架构”浮出水面。
当越来越多的珍珠打磨成型,更需要一条金线贯穿其间。Serverless Data是亚马逊云科技具备Serverless特性数据服务的统称,可谓云原生数据服务的下一代技术架构与“新常态”——无服务器数据库、无服务器数据分析、无服务器人工智能服务即是这条“金线”上的“珍珠”,其协同发力会给用户带来多维度的价值。
首先是免运维,
用户无需关心底层架构细节,托管数据库服务和数据分析服务会显著降低运维成本和运营风险;
其次是即开即用,
用户在需要时启动服务,无需预先为未来的峰值流量或访问量准备资源,或为不使用的空闲资源付费;
再次是简单易用
,高度可配置和自动化的特性,大幅降低数据集成和数据处理的复杂性,使开发者可专注于业务逻辑。
此外,Serverless Data还具备自动按业务负载扩缩容的能力,保证应用程序始终拥有所需的计算和存储资源;其内置的多个高可用和容错性机制,如数据备份和恢复、多可用区部署等,提升了数据的可靠性和持久性。
千行百业场景化落地全面提速
在Serverless从计算向数据服务持续挺进的过程中,千行百业的数字化转型也逐步进入深水区,以单点突围的方式部分尝试Serverless已不能满足需求,全面拥抱Serverless架构的新时代正在到来。
无服务器数据分析是Serverless数据服务的重要组成部分,也是促进行业用户完成场景化落地的核心利器。在传统的数据分析模式下,用户需要预先购买一定数量的计算资源,并通过配置、部署和维护等多个环节构建数据分析系统;而无服务器数据分析则将这些步骤都交给云服务商完成,用户只需上传数据和代码,即可使用由云服务商自动分配的计算资源,解决数据处理和分析问题。
在无服务器数据分析这个创新高地上,Amazon Redshift Serverless和Amazon EMR Serverless是两朵盛开的“雪莲”。前者是无服务器的云数据仓库服务,可根据需求自动调整资源以适应变化的工作负载,并提供高效的分布式查询引擎和内置的机器学习功能;后者是无服务器的大数据分析服务,能在按需计算的集群上运行Apache Spark和Apache Hive等数据处理工具,从而提升高可扩展的数据分析和处理能力。
值得关注的是,Amazon Redshift Serverless已在诸多场景遍地开花:在APP埋点采集与点击流分析方面,互联网与游戏行业客户从前端的数据采集、入仓入湖到数据分析、结果展示都得到Serverless解决方案的支撑;在实时数仓、实时大屏分析方面,不仅帮助电商、直播平台等行业用户解决促销高峰期的实时销售管理和风控难题,而且辅助新能源行业龙头企业对设备的部署、运转、设计合理性和故障率等参数指标进行实时分析,打开了通往制造业数智化的大门。
作为Amazon Redshift Serverless的黄金拍档,Amazon EMR Serverless在行业场景的落地进程也取得丰硕成果。
在金融行业,某券商业务遍布全球,面临资源分散、运维成本高昂、扩缩容不灵活、业务间争抢资源等痛点。在Amazon EMR Serverless的驱动下,各项应用可在自己的资源池中运行,并以细颗粒度的方式使用资源,在更好隔离业务的同时提升了资源利用效率。
在传媒与广告行业,某大型广告服务商遇到业务线分散、项目数据隔离要求高、运维管理过于复杂等难题。在充分理解客户需求的基础上,Amazon EMR Serverless方案实现在生产环境快速部署,针对低频率的ETL工作有效降低使用成本,并达成了数据隔离、改善效率的目标。
Serverless数据服务未来可期
距离终端场景更近,满足用户渐趋多元化的需求,是Serverless数据服务长期进化的根基。
以简化运维为例:Serverless架构的既有优势就是免运维或非常简单的配置即可使用,这固然大幅缩短了业务人员从各个场景构建数据流管道的时间,但也在一定程度上制约了用户个性化、定制化操作的空间。未来的Serverless数据服务将从面向运维转为更靠近终端用户,打破上升通道中既有的“天花板”。
这条路前程似锦,也荆棘密布,需要亚马逊云科技这样的领路人与业界伙伴勇毅同行,共同迎接开往春天的Serverless列车。
3月30日,亚马逊云科技创新大会即将隆重启幕。大会将发表“释放Serverless力量,实现持续进化”主题演讲,并推出云原生应用 Serverless战略、Serverless全栈服务、Serverless事件驱动架构、Serverless开发实践等分会场,和您一同踏入Serverless进化之旅。
分享:
于洪涛
科技智库领域优质创作者
关注作者
东软:解决好“人”的问题,城市要先服“软”
区域协同下的数智化转型,淮海经济区制造业升级进行曲
当变革之风吹来,SUSE选择与客户一起拥抱变革
从边缘计算到边缘智算,浪潮信息先行一步
“咨询+数智化”双剑合璧,毕马威与用友的“最强拍档”
华为高品质万兆园区解决方案的“璀璨星云”
八面来风
1
开发APP要写代码?你OUT了!有了云计算一哥,动动嘴就行了!
2
iPhone 16改变真大:难怪亿万果粉为之疯狂!
3
半导体产业全面回暖:科技浪潮下的新机遇
4
晋升业内新宠儿,MoE模型给了AI行业两条关键出路
5
共享出行与萝卜快跑,谁能超越滴滴?
6
人形机器人的理想与现实
特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)