【ＡＩ】華為將發布ＡＩ推理創新技術ＵＣＭ提升推理體驗

by · 12 8 月, 2025

《經濟通通訊社１２日專訊》２０２５金融ＡＩ推理應用落地與發展論壇上，華為將發布
ＡＩ推理創新技術ＵＣＭ（推理記憶數據管理器）。該推理加速套件以ＫＶＣａｃｈｅ為中心
、融合了多類型緩存加速算法工具，能夠分級管理推理過程中產生的ＫＶＣａｃｈｅ記憶數據
，擴大推理上下文窗口，以實現高吞吐、低時延的推理體驗，降低每Ｔｏｋｅｎ的推理成本。

據介紹，推理體驗直接關係到用戶與ＡＩ交互時的感受，包括回