極客網(wǎng)·人工智能8月12日 在當(dāng)今數(shù)字化時代，AI的發(fā)展可謂日新月異。大模型訓(xùn)練的熱潮尚未消退，AI推理體驗卻已悄然成為AI應(yīng)用的關(guān)鍵。
中信建投在2025WAIC期間發(fā)布的白皮書指出，AI正從訓(xùn)練向推理的結(jié)構(gòu)性轉(zhuǎn)變而快速增長（如國內(nèi)某頭部互聯(lián)網(wǎng)公司每三個月Token消耗接近翻一倍，5月底為16.4萬億Token）。在這樣的大背景下，AI推理體驗的重要性愈發(fā)凸顯。
推理體驗直接關(guān)系到用戶與AI交互時的感受，包括回答問題的時延、答案的準(zhǔn)確度以及復(fù)雜上下文的推理能力等方面。資料顯示，國外主流模型的單用戶輸出速度已進入 200 Tokens/s區(qū)間（時延 5ms），而我國普遍小于60Tokens/s（時延50 - 100ms），如何解決推理效率與用戶體驗的難題迫在眉睫。
據(jù)悉，華為將在2025金融AI推理應(yīng)用落地與發(fā)展論壇上發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器）。作為一款以KV Cache為中心的推理加速套件，UCM融合多類型緩存加速算法工具，分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，擴大推理上下文窗口，以實現(xiàn)高吞吐、低時延的推理體驗，降低每Token推理成本，有望解決上述難題。
分析指出，隨著AI 產(chǎn)業(yè)已從“追求模型能力的極限” 轉(zhuǎn)向“追求推理體驗的最優(yōu)化”，推理體驗直接關(guān)聯(lián)用戶滿意度、商業(yè)可行性等，成為了衡量模型價值的黃金標(biāo)尺。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
