北京智源大會(huì)/供圖

　　6月14日,，由智源研究院主辦的第六屆“北京智源大會(huì)”在中關(guān)村展示中心召開(kāi),。在本次會(huì)議期間，智源研究院院長(zhǎng)王仲遠(yuǎn)做2024智源研究院進(jìn)展報(bào)告,，并重點(diǎn)介紹了智源大模型全家桶,。

　　在2024智源研究院進(jìn)展報(bào)告中,，智源研究院分享了自身在語(yǔ)言、多模態(tài)、具身,、生物計(jì)算大模型的前沿探索和研究進(jìn)展及大模型全棧開(kāi)源技術(shù)基座的迭代升級(jí)與版圖布局。在智源研究院看來(lái),，現(xiàn)階段語(yǔ)言大模型的發(fā)展已經(jīng)具備了通用人工智能非常核心的理解和推理能力,，并且形成了一條以語(yǔ)言大模型為核心對(duì)齊和映射其他模態(tài)的技術(shù)路線(xiàn)，從而讓模型具備了初步的多模態(tài)理解和生成能力,。但這并不是讓人工智能感知、理解物理世界的終極技術(shù)路線(xiàn),，而是應(yīng)該采取統(tǒng)一模型的范式,，實(shí)現(xiàn)多模態(tài)的輸入和輸出，讓模型具備原生的多模態(tài)擴(kuò)展能力,，向世界模型演進(jìn),。

　　“未來(lái)，大模型將以數(shù)字智能體的形態(tài)與智能硬件融合,，以具身智能的形態(tài)從數(shù)字世界進(jìn)入物理世界,，同時(shí)，大模型這一技術(shù)手段可為科學(xué)研究提供新的知識(shí)表達(dá)范式,，加速人類(lèi)對(duì)微觀物理世界規(guī)律的探索與研究突破,，不斷趨近通用人工智能的終極目標(biāo)?！蓖踔龠h(yuǎn)表示,。

　　智源大模型全家桶是本次2024智源研究院進(jìn)展報(bào)告中的一大亮點(diǎn)。記者在會(huì)議現(xiàn)場(chǎng)了解到,，智源大模型全家桶由大語(yǔ)言模型系列,、多模態(tài)大模型系列、具身智能大模型和生物計(jì)算大模型4個(gè)大模型研究方向,，共計(jì)12項(xiàng)研究組成,。以智源語(yǔ)言大模型系列為例，該方向包含了全球首個(gè)低碳單體稠密萬(wàn)億語(yǔ)言模型Tele-FLM-1T和通用語(yǔ)言向量模型BGE（BAAIGeneralEmbedding）系列2項(xiàng)大模型研究,。

　　“針對(duì)大模型訓(xùn)練算力消耗高的問(wèn)題,，智源研究院和中國(guó)電信人工智能研究院（TeleAI）基于模型生長(zhǎng)和損失預(yù)測(cè)等關(guān)鍵技術(shù)，聯(lián)合研發(fā)并推出全球首個(gè)低碳單體稠密萬(wàn)億語(yǔ)言模型Tele-FLM-1T,。該模型與百億級(jí)的52B版本,，千億級(jí)的102B版本共同構(gòu)成Tele-FLM系列模型?！盩ele-FLM系列模型相關(guān)業(yè)務(wù)負(fù)責(zé)人告訴記者,。據(jù)悉，Tele-FLM系列模型實(shí)現(xiàn)了低碳生長(zhǎng),，僅以業(yè)界普通訓(xùn)練方案9%的算力資源,，基于112臺(tái)A800服務(wù)器,，用4個(gè)月完成3個(gè)模型總計(jì)2.3Ttokens的訓(xùn)練，成功訓(xùn)練出萬(wàn)億稠密模型Tele-FLM-1T,?！澳Ｐ陀?xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好,。目前,，TeleFLM系列模型已經(jīng)全面開(kāi)源了52B版本，核心技術(shù)（生長(zhǎng)技術(shù),、最優(yōu)超參預(yù)測(cè)）,、訓(xùn)練細(xì)節(jié)（loss曲線(xiàn)、最優(yōu)超參,、數(shù)據(jù)配比和GradNorm等）均開(kāi)源,，期望技術(shù)開(kāi)源可以對(duì)大模型社區(qū)產(chǎn)生有益促進(jìn)。Tele-FLM-1T版本即將開(kāi)源,，希望可以為社區(qū)訓(xùn)練萬(wàn)億稠密模型提供一個(gè)優(yōu)秀的初始參數(shù),，避免萬(wàn)億模型訓(xùn)練收斂難等問(wèn)題?！痹撠?fù)責(zé)人表示,。

　　智源研究院自主研發(fā)的通用語(yǔ)義向量模型BGE系列，基于檢索增強(qiáng)RAG技術(shù),，可以實(shí)現(xiàn)數(shù)據(jù)之間精準(zhǔn)的語(yǔ)義匹配,，支持大模型調(diào)用外部知識(shí)的調(diào)用?！白?023年8月起,，BGE模型系列先后進(jìn)行了3次迭代，分別在中英文檢索,、多語(yǔ)言檢索,、精細(xì)化檢索3個(gè)任務(wù)中取得了業(yè)內(nèi)最佳的表現(xiàn)，綜合能力顯著優(yōu)于OpenAI,、Google,、Microsoft、Cohere等機(jī)構(gòu)的同類(lèi)模型,。目前,，BGE模型系列下載總量位列國(guó)產(chǎn)AI模型首位，并被HuggingFace,、Langchain,、LlamaIndex等國(guó)際主流AI開(kāi)發(fā)框架及騰訊、華為、阿里,、字節(jié),、微軟、亞馬遜等主要云服務(wù)提供商集成,，對(duì)外提供商業(yè)化服務(wù),。”通用語(yǔ)義向量模型BGE系列相關(guān)業(yè)務(wù)負(fù)責(zé)人告訴記者,。 （記者 郭思岐）