天极网大咖秀

同等GPU、同一模型,KV Cache性能差距有多大?焱融YRCache ContextBox对比Mooncake Store实测

大数据在线 2026-11-17 阅读: 114 次

随着大模型向长上下文、多轮交互和智能体应用加速演进,AI 推理的性能瓶颈正在从单纯的 GPU 计算能力,延伸至上下文数据的存取与复用效率。

在大模型推理过程中,系统需要为已处理的上下文生成并保存 Key-Value Cache(KV Cache),以避免后续请求重复计算。尤其在长上下文、多轮对话以及 Agent 任务场景中,大量请求往往需要反复访问相同或相似的上下文。如果每次都依赖 GPU 重新执行 Prefill,不仅会增加首 Token 等待时间,还会消耗宝贵的计算资源,影响整个推理集群的 Token 生产效率。

将 KV Cache 从 GPU 显存卸载到主机内存、本地 SSD,已经成为缓解显存压力、提升缓存复用能力的重要技术路径。然而,随着推理集群规模扩大,以计算节点为中心的缓存架构也逐渐面临新的挑战:本地缓存容量有限、节点间缓存难以充分共享、请求迁移后可能产生重复计算,缓存访问与数据搬运还会占用一定的主机资源。

对于正在走向规模化部署的 Token 工厂而言,如何让已经计算过的 KV Cache 在更多节点和请求之间高效复用,让 GPU 将更多时间用于有效推理,正在成为提升算力投入产出效率的关键。

从单节点缓存到全局共享,焱融 YRCache ContextBox 让 KV Cache 成为集群级资源

焱融科技成立于 2016 年,是中国独立全栈 AI 存储厂商,专注于为大模型训练和推理提供高性能存储产品与解决方案。

为满足大模型规模化推理对 KV Cache 容量、高效访问和跨节点复用的需求,焱融科技推出了 YRCache ContextBox AI 推理存储一体机,据了解,该产品专门面向大规模推理场景构建独立、可扩展的共享 KV Cache 存储层。

不同于仅依赖计算节点本地内存和 SSD 的缓存方案,YRCache ContextBox 在计算节点之外引入专属共享缓存层,使不同推理节点能够访问和复用已有的 KV Cache,将原本分散在各节点的缓存资源进一步整合为集群级共享能力。

同时,KV Cache 容量也不再同时,受限于计算节点内部的存储资源,可根据业务规模扩展共享缓存容量,为长上下文、多轮交互及大规模推理集群提供更加灵活的缓存基础设施。此外,结合焱融自研 KV Cache 加速管理软件 YRCache,实现 GPU 显存、主机内存、本地 SSD 以及外置共享存储之间的智能调度。

从架构上看,YRCache ContextBox 的目标并不只是让 KV Cache 存得更多,而是通过高效的存储访问与跨节点复用,减少不必要的 GPU 计算,让相同算力完成更多有效推理任务。

那么,相比现有开源 KV Cache 池化方案,YRCache ContextBox 独立共享缓存架构究竟能够带来多大的性能提升?

近日,焱融科技公布了 YRCache ContextBox 的专项性能测试结果,并选择 Mooncake Store 池化方案作为对比对象,在相同 GPU 集群、相同模型与推理框架条件下开展性能验证。测试结果显示,YRCache ContextBox 在 11 组全场景测试中全面领先,展现出在长上下文、高并发推理场景下的显著性能优势。

  • TTFT 最高降低 90.9%,长上下文响应迈入亚秒级时代: 在 64K 上下文、4 并发条件下,首 Token 时延从 8.07 秒缩短至 0.74 秒;32K 场景低至 314 毫秒,大幅缩短用户等待时间。
  • 极致解码稳定,高并发下不卡顿: TPOT(每输出 Token 时延)全程稳定在 15.4 ms 以内,保障用户流畅的使用体验。
  • Token 吞吐量最高提升 5.13 倍,同等 GPU 释放更高 Token 产能: 全部测试场景中 Token Throughput 均保持领先;高负载饱和区系统总吞吐平均提升约 43%,峰值达到 38.2 万 tokens/s,而开源方案仅为 26.3 万。

一、测试环境说明

为客观评估 YRCache ContextBox 的性能表现,本次测试选择 Mooncake Store 池化方案作为对比对象,在相同 GPU 集群、相同模型与推理框架条件下进行。测试环境如下:

两种方案的部署架构有所不同:

• Mooncake Store 池化方案:采用计算节点内存与本地 SSD 分层池化架构,由 Mooncake Master 与 Store Client 管理缓存资源。

• YRCache ContextBox 方案:采用计算节点内存与外置 YRCache ContextBox 共享缓存分层架构,构建独立的 KV Cache 存储层,支持跨节点缓存共享与复用。

测试中,两组方案保持相同的模型、GPU 集群与推理部署方式,仅调整 KV Connector 及对应缓存后端配置,并统一关闭 vLLM 自带的 GPU 前缀缓存,确保所有 KV Cache 复用均由被测缓存系统提供——测试结果只反映两种方案本身的差异。

测试围绕 TTFT、TPOT、Token Throughput 等关键性能指标,覆盖 32K / 64K / 128K 三种上下文长度与多档并发,综合评估两种方案在长上下文、高并发场景下的推理加速能力。

TTFT 最高降低 90.9%,长上下文响应迈入亚秒级时代

首 Token 时延(TTFT)直接影响用户发起请求后等待模型开始回答的时间,是用户最能直接感知的差异。

上图展示了 32K、64K、128K 三种上下文长度下,随推理请求并发数增加,两种方案的 TTFT 对比。可以看出,在全部测试中,YRCache ContextBox 的 TTFT 均领先 Mooncake Store。

低并发时加速效果尤其显著。4 并发下排队影响最小,TTFT 更接近 KV Cache 加载与首步计算的真实耗时,最能反映缓存方案本身的性能差异:在 64K、4 并发场景下,使用 YRCache ContextBox 能够将TTFT 从 8.07 秒降至 0.74 秒,降幅 90.9%。

并发升高后,TTFT 中排队时间的占比增大,差距有所收窄,但 YRCache ContextBox 在全部高并发用例中仍保持 22.7%–51.2% 的降幅,持续保持低延迟领先优势。

对用户而言,这意味着更短的等待时间和更流畅的大模型交互体验。在企业知识库问答、长文档分析、代码辅助和智能体多轮任务等场景中,当请求命中已有 KV Cache 时,系统可直接复用已计算的上下文状态,减少重复 Prefill 计算,让模型更快进入回答阶段。对于需要频繁调用长上下文的 AI 应用,更快的首 Token 响应不仅提升用户体验,也缩短了任务执行链路中的等待时间。

多用户并行不掉速:高并发下 Token 低延迟稳定输出

TTFT 决定“等多久出第一个字”,TPOT 则决定“每个字蹦多快”——即回答能否持续、流畅地生成。

实测中,YRCache ContextBox 的 TPOT 全程稳定在 15.4 ms 以内,几乎不随并发变化;Mooncake Store 在 32 并发以上明显升高至 23–47.5 ms。以压力最大的 128K、32 并发场景为例,两者相差约 4 倍——换算成用户体感,单请求生成速度分别约为每秒 85 字与 21 字。

这意味着,面对长上下文与高并发叠加的负载,YRCache ContextBox 不仅能够更快完成 KV Cache 加载,也让缓存访问对模型持续生成的干扰更小。对于高并发 AI 助手、企业级智能体平台及在线推理服务,稳定的 Token 生成效率意味着响应速度不会随负载升高而剧烈波动,有助于改善高峰时段的服务体验,为企业制定和实现响应时延 SLO 提供性能支撑。

Token 吞吐最高提升 5.13 倍,同等 GPU 产出更多 Token

TTFT 和 TPOT 代表用户体验,Token 吞吐能力则直接关系到企业推理服务的生产效率。

本次 11 组测试中,YRCache ContextBox 的输出吞吐全部领先 Mooncake Store 池化方案。其中,在 64K 上下文、4 并发条件下提升 5.13 倍;进入饱和区(各场景最高两档并发)后,输出吞吐仍稳定保持约 1.41–1.46 倍优势。

总吞吐方面,饱和区内 YRCache ContextBox 稳定在 35.8–38.2 万 tokens/s,Mooncake Store 为 25.2–26.3 万 tokens/s,平均提升约 43%。

这意味着,在相同 GPU 集群投入下,ContextBox 能够提升单位时间内的 Token 产出能力,为承载更多推理请求、提升算力利用效率创造条件。对以 Token 产能衡量基础设施效率的模型服务商与 Token 工厂而言,更高的系统吞吐直接提升了既有 GPU 资源的服务能力;当业务规模持续增长时,也能减少为达到同等目标吞吐而追加计算资源的需求,改善整体推理服务的投入产出效率。

从性能领先到经济收益,看得见的业务收益测算

性能数据最终要落到损益表上。我们对企业算力基础设施投入成本做了一个简单测算,在同等业务量下,硬件投资能够直降 30%。

系统饱和总吞吐平均提升 43%,意味着在业务总量不变的情况下,只需约 70%(1/1.43)的 GPU 算力资源即可承载同样的负载。反映到账面上:硬件采购(CapEx)直降近 30%,机柜空间、电力消耗与日常运维(OpEx)也同步下降。对规模化推理集群而言,这是百万至数千万元级的采购节省,且逐年节省的电费与运维开支会让 3 年累计差距进一步拉大。

不止性能:面向规模化生产环境,YRCache ContextBox 带来架构级落地价值

性能之外,焱融 YRCache ContextBox 推理存储一体机解决开源纯软件方案在大规模生产集群中的快速落地挑战:

1. 全局跨节点 KV Cache 共享,消灭缓存孤岛,减少无效 GPU 算力消耗

部分方案受单机边界限制,多节点部署会发生命中率稀释,每一个节点需要独立做 Prefill 计算,GPU 算力大量浪费在重复工作。YRCache ContextBox 构建全局共享 KV Cache 资源池,实现 “一次写入,全集群复用”,公共上下文缓存跨节点自由流转,显著降低重复预填充带来的算力开销。

2. DPU 全路径硬件卸载,无需改造 GPU 计算节点,适配复杂智算环境

通过 DPU 完成全部 KV Cache 数据搬运路径的卸载,对计算节点零侵入。在算力租赁、标准化智算中心等 GPU 服务器不允许开盖、无法扩容内部硬件的场景中,YRCache ContextBox 作为外置存储设备无需改动 GPU 服务器内部配置,即可完成 KV Cache 池化能力接入,大幅降低改造门槛。

3. 更长缓存生命周期,支撑会话迁移、故障容灾、企业上下文资产化

区别于单机缓存生命周期短,节点故障缓存即丢失;YRCache ContextBox 共享存储池支持更长缓存留存周期,支持跨天会话恢复、长任务执行,会话可以在不同 GPU 节点之间自由迁移。发生节点故障时 KV Cache 状态不会清零,避免故障切换后全部重新计算 Prefill,极大提升大模型集群调度灵活性与业务可用性。

4. 开放兼容开源生态,平滑对接现有推理栈

除焱融自研的 YRCache 软件外,产品还兼容 Mooncake、LMCache 等主流开源 KV Cache 管理组件。用户现有基于开源软件构建的推理业务,仅需要替换后端存储层即可获得软硬协同的池化加速能力,业务代码改动小,降低迁移成本。

从本次测试结果来看,焱融 YRCache ContextBox 在首 Token 时延、持续生成效率和系统吞吐能力上展现出明显优势,也进一步体现了通过优化 KV Cache 存储架构提升推理效率的技术价值。

从单节点缓存到集群级共享,从单纯扩充算力到存算协同优化,AI 推理基础设施正在探索更加高效的技术路径。以 YRCache ContextBox 为代表的共享 KV Cache 存储方案,为突破数据访问与缓存复用瓶颈、提升单位算力产出提供了值得关注的实践方向。

大数据在线
洞悉技术趋势,聚焦产业发展

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)

×
用户注册

 

登录 忘记密码?
×
用户登录

 

忘记密码?