天极大咖秀

登录 | 申请注册

亚马逊云科技三大Serverless新产品助力客户创新一路狂飙

丁常彦 2023-12-04 阅读: 3,810 次

2023 re:Invent大会上,亚马逊云科技高级副总裁 Peter DeSantis 在主题演讲中宣布推出三项Serverless新产品,涵盖其数据库和分析产品组合,史诗级升级使客户能够更快、更轻松地扩展其数据基础设施,以支持苛刻的业务用例。此举再次印证了亚马逊云科技“为客户创新”的持续承诺,也巩固了其在Serverless领域的领导地位。

亚马逊云科技云计算巨头的地位并非一蹴而就,这离不开其长久以来的疯狂“自卷”,以及独特的逆向工作法原则。有别于技术PK和性能刷榜的比拼模式,亚马逊云科技总是以客户的需求为中心,为客户持续创新,这也是企业愿意持续为其云服务买单的关键原因。这一次,亚马逊云科技的三大Serverless新品为客户带来哪些创新功能?本文为您一探究竟!

【重磅发布】全新 Amazon Aurora Limitless Database

谈到数据库管理,企业普遍面临着物理服务器资源限制的挑战。管理分片数据库涉及大量的复杂操作,想获得巨大的扩展性,就需要管理数十个甚至数百个分片,当要跨分片进行事件更改时,工作量愈发艰巨。

大会首个重磅Serverless新品——Amazon Aurora Limitless Database实现了Amazon Aurora关系数据库的自动扩展,彻底解决了企业管理分片的工作负担,帮助企业轻松将其数据库扩展到单个服务器的写入吞吐量之外。对于企业端的数据库管理者来说,他们不再需要手动去规划数据库的拆分,也无需再担心拆分操作对数据库性能的影响,一切都是自动进行的。

可以根据客户的数据模型,将高吞吐量工作流程自动扩展到每秒数百万个写入事务,并在单个数据库中管理 PB 级的数据;

Caspian能够为分片提供资源,保障其能够根据需要扩展和缩减规模;

Grover可以轻松克隆数据库并重新分区,企业可以高效地将查询路由到适当的分片,实现所有分片间的快速分布式数据交换。

很显然,惊人的无限扩展能力以及高性能的数据库表现,离不开两大底层技术的支撑——Caspian和Grover对于用户而言并不陌生,它们早就存在于以往的用例场景,而这一次它们迎来了创新的变革。

Grover

作为Amazon Aurora的内部应用,Grover实现了将数据库和存储本身分离,让日志本身成为了数据库,能够显著降低I/O,拥有远程处理、自动复制、无缝扩缩等创新能力。

Grover并非在本地进行日志记录,而是将每条日志进行复制到多个可用区来确保日志的可用性和持久性;

Grover不仅存储日志,还可以处理日志,其在远程系统上创建数据库内部内存结构的相同副本,并将这些数据结构在需要的时候随时发送回Amazon Aurora数据库,由此显著减少主数据库上的I/O;

Grover提供多个可用区的持久性,且无需复制数据库。如果Amazon Aurora数据库出现故障,或者整个可用区出现故障,客户可以在其他可用区中重启Amazon Aurora数据库;

企业还可以实现数据库存储的无服务器扩展。由于每个Amazon Aurora数据库都可以访问Grover的多租户分布式存储服务,因此企业可以从单个表无缝高效扩展到海量数据库;当数据库变小时,企业可以放弃部分节点,停止付费,减少成本。

相较于传统数据库,Amazon Aurora不再需要写入持久内存,用户只需要登录到Grover,即可涉及少量I/O、高效地写入日志。值得一提的是,Grover将Amazon Aurora数据库存储系统的I/O需求降低了80%,客户使用Amazon Aurora,相比开源托管数据库可以获得3-5倍性价比。

Caspian

作为一款虚拟监控程序,Caspian涵盖了全新的虚拟机管理程序、热管理规划系统,以及对数据库引擎本身的改进,允许Amazon Aurora Serverless 数据库在几毫秒内调整大小,以响应负载的变化,有效分配资源,从而彻底改变数据库管理。

• Caspian实例始终设置为支持其运行的、主机上可用的最大内存,这些资源不会被分配给物理主机上的虚拟机管理程序,相反,物理内存是根据Caspian运行的数据库的实际需求单独分配的,这一过程由Caspian热管理系统控制;

• Caspian可以运行多个数据库并允许它们有效共享底层主机资源,并拥有虚拟机管理程序的安全性和隔离性;

• 当数据库需要更多内存时,Caspian热管理系统负责管理底层物理主机的资源,灵活扩展,并在数据库迁移时不会对性能产生影响。

正如Peter在大会现场展示的,Caspian会不断预测哪些数据库将需要内存,随着负载的变化而扩缩,以优化数据库组。这一持续动态能够保证整个机队的热量保持平衡,从而保障底层基础设施的高效、稳定运行。

【重磅发布】全新Amazon ElastiCache Serverless

显然,亚马逊云科技已经在数据库的Serverless能力上为企业提供了巨大帮助,但企业面临的挑战远不止这些,数据缓存就是第二个亟需解决的难题。缓存的性能十分依赖托管服务器的内存,这很不Serverless;此外,大量资源被用在缓存数据将造成高昂的成本,而资源不足可能会导致宝贵数据的丢失。

这就是Amazon ElastiCache Serverless希望解决的问题。作为大会宣布的第二款新品,其提供了高可用、可扩展的Serverless缓存服务。作为Amazon ElastiCache 的无服务器选项,企业能够基于此启动 Redis 或 Memcached 缓存解决方案,而无需预置、管理、扩展或监控节点群。仅需一分钟,客户即可创建缓存并根据应用程序流量模式,立即扩展容量。

• Amazon ElastiCache Serverless 的底层是一个分片缓存解决方案,与支持 Amazon Aurora Limitless Database 的技术非常相似;

• 底层计算层Caspian 可以调整分片的大小并上下扩展,这有助于调整缓存大小以充分利用性能和成本;

• 请求路由层的改进,使得多个缓存分片能够从一个缓存端点接收数据,并实现极低的延迟;

• 与 Redis 7 和 Memcached 1.6 兼容,平均查找延迟为半毫秒,并且支持高达 5 TB 的内存容量。

分布式数据库为企业高效管理数据提供了巨大便利,然而时间同步问题接踵而来。在分布式环境中,不同节点的时钟可能不完全同步,时钟偏差可能导致日志条目顺序不一致,将严重影响事务处理和数据一致性。

Amazon Time Sync Service

早在五年前,亚马逊云科技就推出了能够将Amazon EC2实例精确到毫秒内的时钟同步服务。这一次,亚马逊云科技实现了更进一步的革新——高精度时间同步服务Amazon Time Sync Service闪亮登场。这是一款可以同步服务器时钟,能够为数据库创建有序的事件日志。

由亚马逊云科技区域中的冗余卫星连接和原子参考时钟提供支持,将以微秒延迟提供 UTC 全球标准的当前时间读数;

• 定制时间同步专用网络,设备集成Nitro芯片和FPGA,与Amazon EC2主机中的Nitro芯片结合,能够将定时脉冲直接分配到每个Amazon EC2服务器。这些分发步骤全部在硬件中完成,避免了驱动程序、操作系统或网络缓冲区导致的变量;

• 企业可以通过支持的 Amazon EC2 实例利用 Amazon Time Sync Service,从而更轻松地排序应用程序事件、测量单项网络延迟、并显著提高分布式应用程序事件速度;

• 基于Amazon Aurora Limitless Database,系统每秒可以支持数十万个订单事件。

【重磅发布】全新Amazon Redshift Serverless

最后,我们看到为海量数据设计的数据仓库。数据仓库每天都在处理数百万查询并为大量用户提供查询服务,如果所有查询都很相似,那么根据查询量轻松配置和扩展数据仓库容量的机制就十分有效;但在没有统一查询的情况下,有时大型复杂查询可能会减慢系统速度并影响其他较小的查询。因此,企业希望更快、更好、更省钱地来管理数据仓库。

过去一年,人工智能迎来颠覆性革新,亚马逊云科技在为客户创新的道路上从不错过科技发展的潮流。大会发布的压轴新品Amazon Redshift Serverless,具备AI驱动的扩展性与能力优化,通过分析每个查询并考虑查询结构、数据大小和其他指标来预测负载,以找到运行查询的最佳方式,同时考虑效率、对集群的影响和价格。

• 基于机器学习的预测模型,能够预测未来工作负载模式并提前调整资源容量;

• 实时查询分析器,利用机器学习估算每个查询的资源需求并进行合理分配。该系统能分析每个查询的超过50个独特特征;

• 针对客户需求,优化每个查询以降低成本或提高性能。查询具有线性、次线性和超线性等不同扩展模式;

• 优化处理不同类型的大小型复杂生产工作负载,从而将性价比提升高达10倍。

值得关注的是,在Dr. Werner的最新演讲中,再次提到了Serverless计算的轻量级虚拟化Firecracker,其采用了KVM 的新型虚拟化技术,让客户可以在不到一秒的时间内在非虚拟化环境中启动轻量级微型虚拟机 (MicroVM),充分利用传统虚拟机提供的安全性和工作负载隔离,以及容器带来的资源效率。上述这些功能与服务都有力证明了亚马逊云科技在Serverless领域的巨大创新。

在“永远为客户创新”的持续承诺上,亚马逊云科技从未停止探索的脚步。未来还有哪些创新惊喜?我们拭目以待。

丁常彦
科技领域资深新媒体,关注TMT。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)