容器镜像是云时代软件和应用分发、部署的事实标准，在容器引擎、集群管理系统的加持下，容器镜像可以让应用快速达成大规模分发、便捷部署的目的，并且提供整个集群下应用的一致性保障，方便系统管理员进行应用运维。
以AI系统镜像部署为例，用户想要部署自己的AI应用，就需要进行以下操作：先获取操作系统基础镜像，然后在基础镜像上部署runtime、AI框架(TensorFlow、pytorch等)，最后再部署模型。这些基础环境的部署需要花费大量的精力，而针对镜像本身的安全性、维护也存在一些问题，并且需要通过统一的AI容器运行环境来保障系统的兼容性和稳定性。
针对这类需求，一些企业推出了面向AI场景的系列容器镜像产品。今天推荐的是龙蜥社区理事长单位阿里云的AI容器镜像——Alibaba Cloud AI Containers（简称AC2）。
Alibaba Cloud AI Containers（AC2）通过提供开箱即用的AI应用环境，包括内置CUDA AI库、AI框架PyTorch等，内置Intel、AMD、NVIDIA等硬件厂家在AI生态上原生适配，并结合阿里云基础设施进行性能优化、兼容性和稳定性保障，让用户可以在阿里云上全容器场景下有更好的使用体验。
AC2于2024年4月正式上线。截止目前，已帮助数十家企业解决了AI场景下的不同问题，覆盖金融、券商、电商、自动驾驶等领域。其中，具有代表性的是助力ZOLOZ（世界领先的身份认证和安全解决方案的公司）解决在视觉 AI认证领域的算力与成本问题。本文就将详细介绍ZOLOZ是如何借助 Alibaba Cloud AI Containers（AC2），实现低成本、高性能的完美提优。
（图/Alibaba Cloud AI Containers 产品架构）
案例精选：
ZOLOZ：视觉AI推理的算力和成本问题求解
ZOLOZ是蚂蚁数科的身份安全品牌，致力于提供世界领先的身份认证和安全解决方案，核心产品囊括可信身份认证、反洗钱、终端安全等，为中国、印尼等14个国家和地区的70余家合作伙伴提供技术服务。其中ZOLOZ RealId产品采用大量深度学习模型提供实人认证、人脸识别、证件核验等组合能力，帮助客户解决数字化渠道下实人认证相关的体验和安全问题，应用于金融业务核身、人证核验、人脸注册/登录等多种场景。
（图/视觉 AI 技术在ZOLOZ RealID产品中的典型应用）
项目挑战：算力和成本等
为了提升视觉AI推理效率，为用户提供更加安全、实时性的实人认证服务，提升竞争优势，ZOLOZ希望重点解决视觉AI推理在算力和成本等层面的挑战：
在保证视觉AI推理精度的同时，提升吞吐率。ZOLOZ核心模型不仅需要在单位时间内处理海量的请求，还必须确保处理时间在严格的时延阈值范围内，以实现出色的用户体验。
采用CPU进行小模型推理服务，以获取更高的成本效益。通过软件优化充分释放硬件潜力，有效利用服务器资源，从而降低认证服务的总体拥有成本（TCO）。
提升视觉AI服务的敏捷性，高效部署模型。简化应用部署流程，提升AI服务开发效率。
项目方案：AC2+Intel OpenVINOTM
面对如上挑战，ZOLOZ与阿里云、Intel展开合作。通过 Alibaba Cloud AI Containers（AC2）产品并利用 Intel的开源AI工具套件OpenVINO™，基于第五代英特尔® 至强® 可扩展处理器构建端到端的深度学习应用流程，提升推理性能优化效果，在CPU上实现高效的深度学习模型推理。
针对视觉AI推理服务成本较高的挑战，ZOLOZ选择了小模型推理服务CPU化的策略，即采用英特尔® 至强® 可扩展处理器处理负载压力与时延要求相对较低的模型推理服务。这种方式有助于ZOLOZ高效利用现有的CPU资源，降低在GPU部署与运维方面的高昂成本。
为了进一步加速视觉AI推理服务的性能表现，ZOLOZ采用了第五代英特尔® 至强® 可扩展处理器，并利用处理器集成的英特尔® AMX加速引擎，以及英特尔® OpenVINO™ 等软件套件进行优化。在多个视觉AI模型中，ZOLOZ通过采用英特尔® AMX加速技术，动态将模型数据类型从FP32转换为BF16，从而在可接受的精度损失下，增加吞吐量并加速推理。
为了验证优化后的性能提升，ZOLOZ将使用英特尔® AMX加速技术转换后的 BF16模型，与基准FP32模型的推理性能进行了比较。在将模型转化为BF16 之后，模型推理性能可实现3.12～4.03倍的提升，同时精度损失大部分可以控制在 0.01%～0.03%。
针对视觉AI推理服务部署难的挑战，ZOLOZ选择了Alibaba Cloud AI Containers（AC2）产品。AC2预先安装了各种流行深度学习框架和库，最大程度释放来自CPU、GPU的硬件能力，降低用户在AI场景下的使用难度。AC2设计为即插即用，非常方便快速地将AI服务部署到阿里云托管服务上，如PAI、ECI、ACK或自定义的ECS实例。AC2将ZOLOZ常用的软件技术栈都内置在镜像中，并为阿里云的计算优化实例以及ECS实例进行优化，确保在AI推理时能获得最高性能。同时阿里云基础软件团队会定期更新Alibaba Cloud AI Containers（AC2），修复安全漏洞，极大减少了ZOLOZ维护容器相关负担，让ZOLOZ能够更专注于AI能力的构建。而非环境的搭建和配置，也简化了ZOLOZ应用部署流程，在提升开发效率方面起到了重要的作用。
在 ZOLOZ 的 AI 推理优化过程中，通过 Alibaba Cloud AI Containers（AC2）产品，利用 Intel 的开源 AI 工具套件 OpenVINO™充分加速释放第五代英特尔® 至强® 可扩展处理器在处理 AI 推理工作负载方面的巨大潜力，从而帮助ZOLOZ 显著提升端到端推理性能，并解决实际的业务问题。对于用户而言，该解决方案有助于降低部署专用加速器（例如独立显卡）时的开销，以及更有效地控制地址标准化的总体拥有成本 (TCO)。
项目成果：便捷、高效、低成本
ZOLOZ采用Alibaba Cloud AI Containers（AC2）镜像后，更加便捷安全部署AI服务，加速DL模型的应用，最大限度地发挥技术的价值。
ZOLOZ能够在保证视觉模型符合推理时延 <= 100 毫秒的同时，将推理的吞吐量提升3.4倍。同时在将模型量化到BF16之后，AI推理精度依然能够满足需求。基于
CPU的推理方案具备媲美高端GPGPU的性能表现，同时在成本、灵活性等方面具备更强的优势。通过软件优化充分释放了硬件潜力，有效利用服务器资源，从而降低了实人认证服务的TCO。
此次ZOLOZ与Alibaba Cloud AI Containers（AC2）、Intel的深度合作，不仅是技术融合的典范，更是推动全球智能化进程的重要里程碑。三方将各自的专长与资源紧密结合，共同探索AI技术的无限可能。未来，我们期待这一联盟合作能够持续推动行业创新，也希望更多的企业牵手Alibaba Cloud AI Containers（AC2），探讨更多合作可能性，共同为全球用户带来更安全、更高效、更具成本效益的智能解决方案，一起开启智能时代的新篇章。
延伸阅读：
Alibaba Cloud AI Containers (AC2)：
作为阿里云官方精心打造的一系列AI容器镜像集合，正引领行业迈向AI应用的新高度。AC2集成了多种硬件加速库、优化的AI运行时环境以及广泛适用的AI框架，全方位满足用户多样化的场景需求。通过与阿里云ECS（Elastic Compute Service）、ACK（Container Service for Kubernetes）和ECI（Elastic Container Instance）等基础设施的深度整合与优化，AC2不仅显著提升了云上AI应用的性能表现，更确保了用户能够享受到流畅无阻的AI体验，加速业务创新步伐。
Intel大模型优化团队：
Intel是全球计算创新的领导者，其大模型优化团队专注于为高性能计算和人工智能应用提供前所未有的性能提升。在本次合作中，Intel针对AC2容器镜像进行了深度优化，特别是在人脸认证与证书认证等关键业务场景下，为ZOLOZ量身定制了优化方案。这一系列优化工作不仅助力 ZOLOZ在香港和印尼两地顺利部署AI模型业务，实现了业务性能的翻倍提升，更有效降低了用户的使用成本，为全球用户提供更加高效、安全的认证体验。