不久前的2024 re:Invent上,亚马逊云科技向外界展示了其在这三大领域的最新进展。
在基础设施层,亚马逊云科技更强调数据与AI的无缝融合,解决大模型落地过程中资源利用和数据分析等难题。
在模型层,Amazon Nova 系列模型是一大亮点,其强调多模态、低成本和实时性,这与当前企业对基础模型的需求高度契合。
在应用层,以Amazon Q为代表的生成式AI应用,不断加快智能体与编程助手、数据分析、企业办公等应用场景的深度结合。
在近日举行的re:Invent 2024中国行活动中,亚马逊云科技进一步向国内媒体解读了其生成式AI战略与技术创新背后的思考。
“我们不仅在云的核心服务层面持续创新,更在从芯片到模型,再到应用的每一个技术堆栈取得突破,让不同层级的创新相互赋能、协同进化。”亚马逊云科技大中华区产品部总经理陈晓建表示。
基础设施层:持续发力自研芯片,数据+AI融合
在基础设施层,自研机器学习芯片与Amazon SageMaker平台的迭代最为引人关注。
Trainium是亚马逊云科技2022年推出的自研机器学习训练芯片,其专为大型、前沿的生成式AI工作负载设计,目前已经迭代到第二代。基于Amazon Trainium2的EC2 Trn2实例已正式可用,较当前GPU实例性价比提升30-40%。
随着模型规模的不断扩大,更多企业希望以更快的速度和更低的成本训练大模型。这正是兼具性能与成本优势的Trainium芯片的机会。
数据和AI公司Databricks计划使用Trainium2为客户提供更优的性能,并将总体拥有成本降低多达30%。AI开源平台Hugging Face为了让开发者更快地开发和部署模型,已将亚马逊云科技推理和训练芯片Amazon Inferentia和Amazon Trainium集成到Optimum Neuron开源库中。
Claude背后的初创公司Anthropic将成为Trainium最大的客户。亚马逊云科技与Anthropic正携手打造名为Project Rainier的EC2 UltraCluster计算集群,其包含数十万颗Trainium2 芯片,算力超越以往集群5倍以上。据悉,该集群有望成为迄今为止公开的最大 AI 计算集群。目前Anthropic已开始优化Claude模型,以便在Trainium2上运行。
亚马逊云科技还预告了3纳米工艺的Amazon Trainium3将在2025年晚些时候推出,其计算性能将会提升到Amazon Trainium2的两倍,能效最高可以提高40%。
本届大会,Amazon SageMaker升级为数据+AI的统一平台,致力于一站式解决生成式AI的数据分析、模型训练、资源成本等关键难题。新一代Sagemaker涵盖快速SQL分析、PB级大数据处理、数据探索和集成、模型开发和训练以及生成式AI等功能。
“之前大家熟悉的Amazon SageMaker,现在升级为Amazon SageMaker AI。新一代Amazon SageMaker的逻辑是,客户在构建生成式AI业务时,需要的不只是模型,更多的是数据加AI的统一。我们希望通过统一平台为客户提供从数据到AI的一体化体验。”亚马逊云科技大中华区数据分析与生成式AI的产品总监崔玮表示。
Amazon SageMaker AI新推出新训练配方功能、灵活训练计划和任务治理等功能。
比如,新训练配方功能Amazon SageMaker HyperPod现在提供30多个精选的模型训练配方,可适用于时下热门的一些公开可用模型,包括Llama 3.2 90B、Llama 3.1 405B和Mistral 8x22B。HyperPod任务治理功能通过自动化管理AI任务的优先级,可最大限度提高计算资源利用率,降低40%的成本。
模型层:自研模型与模型平台大升级
在模型层,亚马逊云科技推出Amazon Nova六款基础模型,Amazon Bedrock新接入100多款模型,并推出AI防护、多智能体协作和模型蒸馏等重磅更新。
包括Nova Micro、Nova Lite、Nova Pro和Nova Premier基础模型,以及图像生成模型Nova Canvas和视频生成模型Nova Reel。低成本、低延迟是Amazon Nova强调的优势。在各自智能类别中,Amazon Nova Micro、Lite和Pro应用成本比Amazon Bedrock中表现最佳的模型至少降低75%,同时也是Amazon Bedrock中对应类别速度最快的模型。
“除模型本身外,亚马逊云科技在各层级进行了创新。例如使用Trainium2 自研芯片,以及基于该芯片的Amazon EC2 Trn2实例和Amazon EC2 Trn2 UltraServers 服务器,还有Amazon Bedrock优化的低延迟推理选项等。这些共同帮助客户在部署生成式AI应用时降低成本、提高效率。”崔玮表示。
模型平台Amazon Bedrock致力于“提供最多大模型选择、满足客户所有场景需求”,其升级体现在几个方面:
第一,更丰富的模型选择。
目前Amazon Bedrock承载的第三方主流模型包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。新推出的Amazon Bedrock Marketplace功能为提供100多个热门、新兴及专业模型。
第二,头部模型首发或最新发布。
Anthropic与亚马逊云科技的合作不断加深,其计划使用亚马逊云科技自研AI芯片训练和部署基础模型。据悉,合作双方将携手为亚马逊云科技的客户提供早期访问权限,可让亚马逊云科技的客户在一段时间独享Claude新模型。
Stable Diffusion 3.5是Stability AI目前最强大的图像生成模型,该模型基于Amazon SageMaker HyperPod训练,即将在Amazon Bedrock上线。
此外,Amazon Bedrock还是首家提供视频生产模型Luma AI和软件开发模型poolside的平台。
第三,提升模型推理效率。
Amazon Bedrock新推出了低延迟优化推理、模型蒸馏、提示词缓存等功能,大幅提升推理效率。比如,凭借低延迟优化推理能力,Claude 3.5 Haiku模型在亚马逊云科技上的运行速度具有领先优势。
应用层:Amazon Q加速深入商业场景
在应用层,AI助手Amazon Q致力于让每个人都快速使用生成式AI工具。今年,Amazon Q系列服务更加深入软件开发和商业应用场景。
软件开发AI助手Amazon Q Developer增加三款新的智能体,能自动执行单元测试、文档编制和代码审查流程,并通过与GitLab深度集成,扩展应用场景。全球范围的客户,如澳大利亚联邦银行、英国电信集团、美联航都使用Amazon Q Developer加速开发。
Amazon Q Business支持超过50种新操作,比如在Asana中创建任务或者在Teams中发送私人消息,这些操作覆盖了当今广受欢迎的第三方应用程序。此外,它还具备了使用智能体执行复杂工作流的新能力。
Amazon Q Business帮助用户轻松连接到企业的数据和信息,通过回答问题、提供总结、生成内容来提高员工工作效率。美国国家橄榄球联盟NFL基于Amazon Q Business构建的系统,将新员工培训时间缩短了67%,员工可以在10秒内获得问题答案。
结语
透过本届re:Invent大会,我们可以看出,生成式AI时代亚马逊云科技始终把自身定位在技术普惠和降低门槛的平台型生态角色。
通过升级基础设施、模型和应用三层技术栈,亚马逊云科技加速数据与 AI 的无缝融合,加快自研模型步伐,推出具有竞争力的 Nova 系列基础模型,并在应用层积极探索,正逐步构建起自身在生成式 AI 领域的差异化优势。
END
本文为「智能进化论」原创作品。