一輛越野車行駛在森林中，陽光透過樹葉的縫隙,，形成一道道斑駁的光束,，灑在越野車的車身上,，閃爍著金屬般的光澤……

　　4月27日

　　在2024中關(guān)村論壇年會

　　人工智能主題日期間

　　舉辦了未來人工智能先鋒論壇

　　在論壇現(xiàn)場

　　生數(shù)科技聯(lián)合清華大學(xué)

　　正式發(fā)布

　　中國首個

　　長時長、高一致性,、高動態(tài)性

　　視頻大模型

　　Vidu

　　該模型采用團隊原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-VT,，支持一鍵生成長達16秒、分辦率高達1080P的高清視頻內(nèi)容,。Vidu不僅能夠模擬真實物理世界,，還擁有豐富想象力,，具備多鏡頭生成、時空一致性高等特點,。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型,，性能全面對標(biāo)國際頂尖水平，并在加速迭代提升中,。

　　根據(jù)現(xiàn)場演示的效果

　　Vidu能夠模擬真實的物理世界

　　能夠生成細節(jié)復(fù)雜

　　并且符合真實物理規(guī)律的場景

　　例如合理的光影效果,、細膩的人物表情等

　　它還具有豐富的想象力

　　能夠生成真實世界不存在的虛構(gòu)畫面

　　創(chuàng)造出具有深度和復(fù)雜性的

　　超現(xiàn)實主義內(nèi)容

　　例如

　　“畫室里的一艘船正在海浪中駛向鏡頭”

　　清華大學(xué)人工智能研究院副院長、生數(shù)科技首席科學(xué)家朱軍表示,，“作為中國自研視頻大模型,，Vidu還能理解中國元素，能夠在視頻中生成例如熊貓,、龍等特有的中國元素,。”

　　此外

　　Vidu能夠生成復(fù)雜的動態(tài)鏡頭

　　不再局限于簡單的推,、拉,、移等鏡頭

　　而是能夠圍繞統(tǒng)一主體

　　在一段畫面里實現(xiàn)遠景、近景,、中景,、特寫等

　　不同鏡頭的切換

　　包括能直接生成

　　長鏡頭、追焦,、轉(zhuǎn)場等效果

　　給視頻注入鏡頭語言

　　值得一提的是,，短片中的片段都是從頭到尾連續(xù)生成，沒有明顯的插幀現(xiàn)象,，從這種“一鏡到底”的表現(xiàn)能夠推測出,，Vidu采用的是“一步到位”的生成方式，從文本到視頻的轉(zhuǎn)換是直接且連續(xù)的,，在底層算法實現(xiàn)上是基于單一模型完全端到端生成,，不涉及中間的插幀和其他多步驟的處理。

　　“在今年2月,，文生視頻大模型Sora發(fā)布后,，我們發(fā)現(xiàn)其剛好和我們的技術(shù)路線是高度一致的，這也讓我們堅定地進一步推進了自己的研究,?！敝燔娬f。

　　據(jù)悉,，Sora發(fā)布推出后,，Vidu團隊基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗，在短短兩個月進一步突破長視頻表示與處理關(guān)鍵技術(shù),，研發(fā)推出Vidu視頻大模型,，顯著提升視頻的連貫性與動態(tài)性,。

　　從圖文任務(wù)的統(tǒng)一到融合視頻能力

　　作為通用視覺模型

　　Vidu能夠支持生成

　　更加多樣化、更長時長的視頻內(nèi)容

　　面向未來

　　靈活架構(gòu)也將能夠兼容

　　更廣泛的模態(tài)

　　進一步拓展多模態(tài)通用能力的邊界

　　Vidu的問世

　　不僅是U-VIT融合架構(gòu)

　　在大規(guī)模視覺任務(wù)中的又一次成功驗證

　　也代表了生數(shù)科技

　　在多模態(tài)原生大模型領(lǐng)域的

　　持續(xù)創(chuàng)新能力和領(lǐng)先性

　　朱軍表示,，大模型的突破是一個多維度,、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合,。因此在發(fā)布之際,，生數(shù)科技正式推出“Vidu大模型合作伙伴計劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè),、研究機構(gòu)加入,，共同構(gòu)建合作生態(tài),。

　　記者：魏穎 郭思岐

　　編輯：關(guān)鎵萍