4月28日消息（九九）今天上午，以“算力網(wǎng)絡點亮AI新時代”為主題的中國移動算力網(wǎng)絡大會在蘇州開幕。在大會主論壇上，中國工程院院士鄭緯民指出，人工智能對算力產(chǎn)生爆發(fā)式需求，模型研發(fā)、模型訓練、模型精調、模型推理都需要算力，算力存在于大模型生命周期的每一環(huán)。

鄭緯民進一步指出，構建基于國產(chǎn)AI卡的萬卡大模型訓練平臺需要考慮到幾個問題：

一是半精度運算性能與雙精度運算性能的平衡

設計中不僅要考慮半精度運算性能，還要考慮雙精度運算能力，雙精度與半精度運算性能之比為1：50-100為宜。根據(jù)科學計算（AI For Science）和大模型訓練的發(fā)展趨勢，提出了變精度平衡設計的思想，為適應科學計算和更廣泛的AI算法和應用提供了保障。

二是網(wǎng)絡平衡設計

網(wǎng)絡設計不能針對CNN算法，還需考慮極大規(guī)模預訓練模型對系統(tǒng)的需求。大規(guī)模預訓練模型需要高帶寬低延遲網(wǎng)絡。并支持數(shù)據(jù)并行，模型并行和專家平行模式。

三是體系結構感知的內存平衡設計

一方面訪問內存的請求使網(wǎng)絡擁塞，降低吞吐量，反映到應用程序上表現(xiàn)為訪存性能顯著下降；另一方面，多個訪問內存的請求可能訪問同一存控對應的內存空間，負載不均，存控需要順序處理訪存請求。

四是IO子系統(tǒng)平衡設計

需要支持檢查點，增加SSD。另外，系統(tǒng)的本地nvme ssd僅通過本地文件系統(tǒng)訪問，限制了其應用范圍，需要將每臺服務器上的快速本地nvme整合成應用可見的全局分布式文件系統(tǒng)。

“大模型基礎設施平衡設計的幾點考慮做得好，別人要用1萬塊卡，我們用9000塊卡就可以了。”鄭緯民說。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。