天极大咖秀

登录 | 申请注册

AI大模型,冰山之下的部分应得到更多关注

于洪涛 2023-11-17 阅读: 3,946 次

在短短不到1年的时间里,生成式AI就已经成为各行业各组织商业领袖的首要关注点。大家都在思考如何借助生成式AI技术来创新业务,快速赢得竞争优势。

在近日亚马逊云科技召开的生成式AI构建者大会上,亚马逊云科技大中华区产品部总经理陈晓建则表示,“生成式AI不仅仅是大模型”。

55

他认为,整个生成式AI应用就像是浮在海面的冰山,在海面上被大多数人看到的冰山一角就是大模型,而在冰山底部的海面之下,更庞大的部分则是支撑大模型的加速芯片、数据库、数据治理、应用集成等

因此,亚马逊云科技提供了完整的端到端的生成式AI技术堆栈,包括底层的加速芯片和存储优化,中间层的模型构建工具和服务,最上层的才是生成式AI相关应用。

在加速芯片层面,亚马逊云科技提供广泛的加速器选择,包括基于英传达最新GPU芯片H100 Tensor Core的Amazon EC2 P5实例,还有基于自研的机器学习推理芯片Amazon Inferentia2的Amazon EC2 Inf2实例,基于自研机器学习训练芯片Amazon Trainium的Amazon EC2 Trn1实例等。

数据是“冰山之下”的重要组成部分,因为数据是AI大模型训练和推理应用的关键。亚马逊云科技构建了一个由全套服务组成的强大数据基座,以此存储用于构建和微调模型的各种类型的数据;同时还通过服务间的集成,来打破数据孤岛,确保能够随时访问所有数据;进而在整个生命周期中,确保数据安全并对数据进行管理。

为此,亚马逊云科技为不同应用场景都提供了专门的数据库,并在Amazon OpenSearch Service等数据服务中加入了向量数据库功能。在数据集成方面,提出“Zero-ETL”愿景, Aurora Zero ETL for Redshift Integration允许存储在Amazon Aurora中实时产生的业务数据,无需ETL工具。Amazon DataZone则是一个全新的数据治理服务,能够跨组织边界发现、访问、共享和治理大规模数据,并减少企业内部成员访问数据和使用分析工具时繁重的工作量。

陈晓建表示,“普惠”是亚马逊云科技在生成式AI领域的使命之一。亚马逊CEO Andy Jassy曾经表示,其目标是让任何人都能够获得和大型企业一样先进的基础设施和成本来实现自己的创新,使得所有初创企业都有机会成为未来的巨头。

为此,亚马逊云科技今年推出了一项新的全托管生成式AI服务Amazon Bedrock,这是企业使用基础模型构建和扩展生成式AI应用程序的最简单方法。它提供了广泛的基础模型选择、数据隐私,并且能够自定义模型,无需管理任何基础设施。该服务提供的基础模型包括来自Meta Llama2、 Anthropic Claude2、Stability AI、AI21 Labs、Cohere等第三方以及Amazon Titan模型等。

相比而言,此前的机器学习开发平台Amazon SageMaker,则需要客户管理应用程序架构中的模型部署、配置和托管,但拥有更大的灵活度和自由度对基础模型进行定制,适合有一定技术能力的企业和开发者。

陈晓建强调说,开发生成式AI应用是一个充满挑战的系统工程,并不是单纯的产品和服务拼接。亚马逊云科技还提供解决方案架构师、产品技术专家、人工智能实验、数据实验室、快速原型团队、专业服务团队、培训与认证部门等多种资源,并通过强大的合作伙伴生态,来共同解决生成式AI应用构建中的各种技术问题,最终实现应用的商业化落地。

于洪涛
科技智库领域优质创作者

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)