Ai快訊 8月7日,浪潮信息正式發(fā)布面向萬(wàn)億參數(shù)大模型的超節(jié)點(diǎn)AI服務(wù)器——“元腦SD200”,目前該產(chǎn)品已實(shí)現(xiàn)商用。
“元腦SD200”基于浪潮信息創(chuàng)新研發(fā)的多主機(jī)低延遲內(nèi)存語(yǔ)義通信架構(gòu),采用開放系統(tǒng)設(shè)計(jì)向上擴(kuò)展(Scale up),可支持64路本土GPU芯片。其能夠?qū)崿F(xiàn)單機(jī)內(nèi)運(yùn)行超萬(wàn)億參數(shù)大模型,還支持多個(gè)領(lǐng)先大模型機(jī)內(nèi)同時(shí)運(yùn)行以及多智能體實(shí)時(shí)協(xié)作與按需調(diào)用。
超節(jié)點(diǎn)是借助GPU互聯(lián)技術(shù)實(shí)現(xiàn)的超大計(jì)算系統(tǒng),它將多臺(tái)服務(wù)器、多張算力芯片卡整合為規(guī)模更大、算力更強(qiáng)的整體算力單元,突破了傳統(tǒng)算力部署的邊界。這種聚合并非簡(jiǎn)單的硬件堆疊,而是通過(guò)優(yōu)化節(jié)點(diǎn)內(nèi)互聯(lián)技術(shù)、液冷散熱等手段,提升集群整體能效、通信帶寬與空間利用效率。
浪潮信息副總經(jīng)理趙帥指出,當(dāng)前混合專家模型的高效架構(gòu)促使大模型參數(shù)規(guī)模持續(xù)擴(kuò)展,國(guó)內(nèi)外前沿大模型的參數(shù)量快速突破萬(wàn)億規(guī)模,這給算力系統(tǒng)架構(gòu)帶來(lái)新挑戰(zhàn)。一方面,模型參數(shù)量和序列長(zhǎng)度增加使鍵值緩存激增,單芯片或節(jié)點(diǎn)性能提升已無(wú)法滿足超大顯存空間承載需求;另一方面,智能體AI開啟多模型協(xié)作新范式,推理過(guò)程生成的數(shù)據(jù)詞元比傳統(tǒng)模型多近百倍,導(dǎo)致計(jì)算量大幅增加。傳統(tǒng)算力架構(gòu)難以滿足高效、低耗、大規(guī)模協(xié)同的AI計(jì)算需求,行業(yè)急需技術(shù)革新。在此背景下,產(chǎn)業(yè)界轉(zhuǎn)向構(gòu)建超節(jié)點(diǎn)以及產(chǎn)業(yè)鏈多環(huán)節(jié)協(xié)同創(chuàng)新來(lái)解決當(dāng)下算力需求。
“元腦SD200”超節(jié)點(diǎn)基于開放總線交換技術(shù)構(gòu)建,成功解決了萬(wàn)億大模型對(duì)超大顯存空間和超低通信延時(shí)的核心需求。在開放架構(gòu)基礎(chǔ)上,通過(guò)智能總線管理和開放的預(yù)填充—解碼(PD)分離推理框架實(shí)現(xiàn)軟硬件深度協(xié)同,智能化管理復(fù)雜AI計(jì)算任務(wù)。
趙帥表示,優(yōu)秀的軟硬件協(xié)同能力是浪潮信息的優(yōu)勢(shì)。“元腦SD200”超節(jié)點(diǎn)AI服務(wù)器通過(guò)軟硬協(xié)同系統(tǒng)創(chuàng)新,成功向上擴(kuò)展突破芯片性能邊界,在大模型場(chǎng)景中表現(xiàn)優(yōu)異。結(jié)合優(yōu)化的PD分離框架,SD200超節(jié)點(diǎn)滿機(jī)運(yùn)行DeepSeek R1全參模型推理性能超線性提升比為3.7倍,滿機(jī)運(yùn)行Kimi K2全參模型推理性能超線性提升比為1.7倍。
當(dāng)前,開源模型的飛速發(fā)展加速了智能時(shí)代的到來(lái),推動(dòng)研發(fā)范式從封閉走向開放協(xié)作,大模型參數(shù)量的不斷提升對(duì)算力基礎(chǔ)設(shè)施建設(shè)提出了更高要求。浪潮信息通過(guò)開放系統(tǒng)架構(gòu)創(chuàng)新,為開源大模型的規(guī)?;涞睾蛻?yīng)用創(chuàng)新提供關(guān)鍵支撐。超節(jié)點(diǎn)的搭建需要大量高速連接器、高速線纜、板材等產(chǎn)品,浪潮信息此舉將帶動(dòng)上下游相關(guān)技術(shù)的創(chuàng)新突破和應(yīng)用,推動(dòng)形成更優(yōu)的產(chǎn)業(yè)生態(tài),提高生態(tài)競(jìng)爭(zhēng)力。
(AI撰文,僅供參考)
相關(guān)標(biāo)簽:
Ai滾動(dòng)快訊重要提示: 以上內(nèi)容由AI根據(jù)公開數(shù)據(jù)自動(dòng)生成,僅供參考、交流、學(xué)習(xí),不構(gòu)成投資建議。如不希望您的內(nèi)容在本站出現(xiàn),可發(fā)郵件至ljcj@leju.com或點(diǎn)擊【聯(lián)系客服】要求撤下。未經(jīng)允許,任何單位或個(gè)人不得在任何平臺(tái)公開傳播使用本文內(nèi)容。
樂(lè)居財(cái)經(jīng)APP
?2017-2025 北京怡生樂(lè)居財(cái)經(jīng)文化傳媒有限公司 北京市朝陽(yáng)區(qū)西大望路甲22號(hào)院1號(hào)樓1層101內(nèi)3層S3-01房間756號(hào) 100016
京ICP備2021030296號(hào)-2京公網(wǎng)安備 11010502047973號(hào)