毋庸置疑,生成式AI在千行百业的业务场景中拥有巨大的应用潜力和商业价值。
但摆在用户们面前的现实状况是:生成式AI如何才能从POC验证阶段真正走向生产场景,并且与业务紧密融合。
这无疑是当下产业界均在思考的一道难题。在今年的亚马逊云科技re:Invent大会上,我们看到亚马逊云科技在基础设施、AI大模型服务和应用上进行了大量创新,努力推动生成式AI全面走向生产场景。
正如亚马逊云科技高级副总裁Swami Swami Sivasubramanian博士所言,生成式AI的突破与爆发是建立在之前众多技术突破的基础之上。如今,生成式AI的发展即将达到临界点,用户需要从模型、成本、数据和信任四个维度去构建生成式AI应用,从而加速拥抱生成式AI浪潮,在瞬息万变的市场中保持竞争力。
每一次技术变革都是建立在上一次或者多次技术突破的基础上。
在生成式AI浪潮出现之前,云计算、大数据、机器学习这些技术浪潮同样带来了巨大变革,并且对各行各业产生了深远影响。在Swami Sivasubramanian博士看来,如今生成式AI的浪潮并非凭空出现,云计算、数据分析、机器学习是生成式AI浪潮出现的基础,“我们即将达到生成式AI的临界点。”
但生成式AI不仅仅是大模型带来的一场技术变革,其应用更是一个复杂且长期的工程化问题,不仅涉及到包括大模型在内的诸多技术栈,还需要考虑数据、技术、基础设施、业务、监管等多个方面,需要在技术与场景需求适配、实现路径、协作等方面投入大量工作。
毫无疑问,简化生成式AI技术堆栈上的复杂性,降低生成式AI的门槛,对于推动生成式AI的爆发有着巨大产业价值和意义。显然,亚马逊云科技洞悉到这个关键点。Swami Sivasubramanian博士直言,将数据、分析和AI结合在全新的平台是重要的趋势,也是一个巨大的机会。
为此,亚马逊云科技在今年大会上宣布了针对Amazon SageMaker、Amazon Bedrock等一系列更新。其中,下一代的Amazon SageMaker尤为值得关注,这标志着亚马逊云科技对涉及到生成式AI的数据、分析、AI等方面进行整合,用户通过一站式的平台即可实现生成式AI应用的开发与应用。
在新一代的Amazon SageMaker中,将整合SQL Analytics、Data Processing、Machine learning、生成式AI开发、BI等诸多功能,并通过Unified Studio统一界面向用户们提供各项功能。其中,Amazon SageMaker原有的功能将改名为Amazon SageMaker AI,并被集成如新一代Amazon SageMkaer之中,主要面向大规模构建、训练和部署AI和机器学习的专业用户。
在新一代Amazon SageMaker中,有多个新功能值得业界高度关注。例如,Amazon SageMaker Lakehouse采用Apache Iceberg协议,用户可以在Amazon SageMaker中即能访问和处理所有数据;又如,Amazon Bedrock Marketplace是一款汇聚超过100个模型的“超市”,用户可以方便从中选择自己想要的模型;再如,Amazon Bedrock Model Distilation则提供蒸馏功能,用户可以选择理想的“Teacher”大型模型进行蒸馏,从而得到更加匹配业务场景的小模型。
本质上,林林总总,亚马逊云科技正在努力构建完善的生成式 AI 应用创新所需的所有服务和功能,从应用层的Amazon Q(包含针对各种业务的助手),到聚焦构建和扩展生成式 AI 应用程序的Amazon Bedrock,再到用于构建、训练和部署模型的Amazon SageMaker AI,在数据、分析、AI等层面做好准备,帮助用户们能够以更合理的成本、更加灵活的选择和更加可靠的服务来对生成式AI应用的构建。
除了完善的工具与服务之外,亚马逊云科技还认为生成式AI依然处于发展的早期,因此存在着很多创新与变化。因此,生成式AI从POC到生产阶段还需要综合考量。
在亚马逊云科技人工智能、机器学习服务与基础设施副总裁 Baskar Sridharan看来,用户在生成式AI应用创新上需要重点考量四个核心因素:
首先是模型,各种模型实际上正在不断地跃进和迭代。有时候,A模型非常适合用户,过几个月可能就变成B模型;此时,用户的选择权就至关重要,用户通过选择可以随时用到自己最匹配的服务。
Baskar Sridharan认为,模型服务除了能够为用户提供选择之外,还需要确保整个AI技术堆栈的稳定,让用户在选择不同模型时能够更加平滑和无缝。
其次是成本,当前很多用户的真实情况是,在制定完预算之后,真正进入到生成式AI的训练和推理中会发现成本远超预估。因此,有效降低和管控训练、推理的成本,提升管理效率对于用户至关重要。
Baskar Sridharan介绍,新一代SageMaker能够根据用户需求在整个训练、推理过程中很好地管控成本,像模型蒸馏等工作能够有效帮助用户节省成本。
第三则是数据,数据是所有公司在数字化时代的生命之源。在生成式AI,数据的差异化恰恰是各类企业的竞争力差异所在,如何利用好差异化的数据是企业在生成式AI领域成功的关键。
最后则是信任,生成式AI能够改变企业的一切,未来依然有着巨大的应用潜力,企业对于生成式AI的应用是一个长期过程。因此,企业需要信任生成式AI,能够持续投入到生成式AI的创新之中,只有这样才会充分发挥生成式AI的潜力。
在亚马逊云科技看来,生成式AI的安全同样是企业在进行创新时不容忽视的挑战。
众所周知,生成式AI依然处于发展的早期,无论是大模型,还是生成式AI应用,均处于创新的活跃期,这必然决定了会存在诸多新隐患。亚马逊云科技安全部门主管Mark Ryland 认为,生成式AI相关的安全挑战未来会是一个需要用户们持续关注的领域。
Mark Ryland 介绍,用户们首先更好地了解生成式AI的应用类型、业务流程,并且制定相应的数据分类分级策略,从而更好地适应生成式AI在生产环境,并且确保生产目标的健康与良性。
其次,企业需要关注数据中毒、内部威胁等风险,例如一些公开代码可能会被别有所图的人插入一些数据来影响模型行为;另外,内部权限的分级与管理如果不完善,容易被内部人员利用授权漏洞构成威胁。
最后,大模型对于数据的需求链非常之长,数据需要从割裂走向融合,因此需要有更好读取权限和日志控制,从而广泛覆盖数据生命周期链条,并且让生成式AI构建的难度大幅降低。
“Amazon SagaMaker的产品融合防线,符合生成式AI对于安全需求的新趋势。”Mark Ryland最后表示道。