4月23日,在2025年云網(wǎng)智聯(lián)大會(huì)主論壇,中國(guó)移動(dòng)研究院攜手中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)、中國(guó)信息通信研究院、華為、中興、博通、新華三、上海貝爾、銳捷、思博倫、盛科等10余家合作伙伴,聯(lián)合發(fā)布了《分布式推理網(wǎng)絡(luò)(Distributed Inference Network,DIN)技術(shù)白皮書》,中國(guó)移動(dòng)研究院副院長(zhǎng)段曉東、中國(guó)信息通信研究院科技委主任蔣林濤、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)TC3主席趙慧玲及合作伙伴代表共同出席了發(fā)布儀式,中國(guó)移動(dòng)研究院基礎(chǔ)網(wǎng)絡(luò)技術(shù)研究所副所長(zhǎng)程偉強(qiáng)對(duì)白皮書進(jìn)行了解讀。
2025年,隨著DeepSeekAI大模型的火爆,DAU增長(zhǎng)速度不斷刷新行業(yè)記錄。然而,隨著海量并發(fā)用戶請(qǐng)求訪問(wèn),服務(wù)器資源被大量消耗,多次出現(xiàn)網(wǎng)頁(yè)和API無(wú)法訪問(wèn)的情況。同時(shí),AI大模型的火爆也吸引了攻擊者使用多種技術(shù)和手段持續(xù)攻擊。隨著普惠AI推理時(shí)代的到來(lái),用戶訪問(wèn)需求及網(wǎng)絡(luò)流量模型將出現(xiàn)新的變化,需要考慮構(gòu)建以AI業(yè)務(wù)為核心的訓(xùn)推融合的網(wǎng)絡(luò)。針對(duì)AI推理服務(wù)爆發(fā)式增長(zhǎng),當(dāng)前面臨AI推理基礎(chǔ)設(shè)施能力不足,AI推理網(wǎng)絡(luò)技術(shù)待完善,AI服務(wù)網(wǎng)絡(luò)安全防護(hù)能力待提升等挑戰(zhàn)。
分布式推理網(wǎng)絡(luò)(DIN)是中國(guó)移動(dòng)研究院面向普惠AI服務(wù)提出的新型網(wǎng)絡(luò)架構(gòu),采用“端-邊-云-網(wǎng)”分布式協(xié)同架構(gòu),融合運(yùn)營(yíng)商協(xié)議可編程和網(wǎng)絡(luò)流量感知調(diào)度能力的優(yōu)勢(shì),面向用戶實(shí)現(xiàn)“推理無(wú)處不在、智能觸手可及、服務(wù)體驗(yàn)最優(yōu)”,面向推理服務(wù)提供商實(shí)現(xiàn)“模型隨需部署、隨需更新、彈性調(diào)度、高效應(yīng)對(duì)海量并發(fā)”的目標(biāo)。DIN通過(guò)微流級(jí)流控、層次化細(xì)粒度切片以及以太網(wǎng)相干PHYSec等技術(shù),達(dá)成廣域納級(jí)丟包、微秒級(jí)抖動(dòng)、多層次安全等目標(biāo),支撐算網(wǎng)一體安全推理、邊云協(xié)同后訓(xùn)練、模型分層協(xié)同、大小模型協(xié)同、訓(xùn)推協(xié)同進(jìn)化、PD分離協(xié)同等多種端邊云協(xié)同模式,有效應(yīng)對(duì)十億級(jí)用戶、IOT的海量并發(fā)推理挑戰(zhàn),助力AI推理普惠化發(fā)展。
目前,中國(guó)移動(dòng)在福建已成功完成業(yè)界首個(gè)分布式推理網(wǎng)絡(luò)DIN技術(shù)試點(diǎn),現(xiàn)網(wǎng)驗(yàn)證了算網(wǎng)安一體機(jī)推理、大小模型協(xié)同推理、PD分離推理服務(wù)場(chǎng)景及關(guān)鍵技術(shù),F(xiàn)網(wǎng)驗(yàn)證表明,算網(wǎng)安一體推理可滿足企業(yè)分支安全訪問(wèn)總部推理服務(wù),可有效保障模型數(shù)據(jù)安全和推理訪問(wèn)安全;通過(guò)大小模型協(xié)同,用戶可按需訪問(wèn)邊緣或遠(yuǎn)端DeepSeek 7B/70B/671B不同參數(shù)模型;通過(guò)PD分離技術(shù),可在滿足相同業(yè)務(wù)SLA條件下有效節(jié)省計(jì)算資源成本,同時(shí)驗(yàn)證了用戶體驗(yàn)無(wú)劣化情況下,PD分離可拉遠(yuǎn)距離200-300km。本次試點(diǎn)為進(jìn)一步完善分布式推理網(wǎng)絡(luò)DIN技術(shù)體系、拓展業(yè)務(wù)場(chǎng)景、推動(dòng)形成產(chǎn)業(yè)共識(shí)、助力全民AI普惠業(yè)務(wù)的發(fā)展打下堅(jiān)實(shí)基礎(chǔ)。
下一步,中國(guó)移動(dòng)在分布式推理網(wǎng)絡(luò)方面,將聯(lián)合產(chǎn)業(yè)共同構(gòu)建融合端、邊、網(wǎng)、算的DIN技術(shù)體系和標(biāo)準(zhǔn)體系,解決大模型在個(gè)人(ToC)、家庭(ToH)及企業(yè)(ToB)應(yīng)用中的成本、效率與場(chǎng)景適配難題,并在實(shí)踐中與合作伙伴形成AI推理時(shí)代的新商業(yè)模式,助力加速全社會(huì)普惠AI時(shí)代到來(lái)。