一輛越野車(chē)行駛在森林中,，陽(yáng)光透過(guò)樹(shù)葉的縫隙,，形成一道道斑駁的光束，灑在越野車(chē)的車(chē)身上,，閃爍著金屬般的光澤……4月27日,，在2024中關(guān)村論壇年會(huì)“人工智能主題日”主論壇——未來(lái)人工智能先鋒論壇上,，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性,、高動(dòng)態(tài)性視頻大模型——Vidu,。

　　該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長(zhǎng)達(dá)16秒,、分辦率高達(dá)1080P的高清視頻內(nèi)容,。Vidu不僅能夠模擬真實(shí)物理世界，還擁有豐富想象力,，具備多鏡頭生成,、時(shí)空一致性高等特點(diǎn),。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對(duì)標(biāo)國(guó)際頂尖水平,，并在加速迭代提升中,。

　　根據(jù)現(xiàn)場(chǎng)演示的效果，Vidu能夠模擬真實(shí)的物理世界,，能夠生成細(xì)節(jié)復(fù)雜,、并且符合真實(shí)物理規(guī)律的場(chǎng)景，例如合理的光影效果,、細(xì)膩的人物表情等。它還具有豐富的想象力,，能夠生成真實(shí)世界不存在的虛構(gòu)畫(huà)面,，創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容，例如“畫(huà)室里的一艘船正在海浪中駛向鏡頭”這樣的場(chǎng)景,。清華大學(xué)人工智能研究院副院長(zhǎng),、生數(shù)科技首席科學(xué)家朱軍表示：“作為中國(guó)自研視頻大模型，Vidu還能理解中國(guó)元素,，能夠在視頻中生成例如熊貓,、龍等特有的中國(guó)元素?！?/p>

　　此外,，Vidu能夠生成復(fù)雜的動(dòng)態(tài)鏡頭，不再局限于簡(jiǎn)單的推,、拉,、移等固定鏡頭，而是能夠圍繞統(tǒng)一主體在一段畫(huà)面里實(shí)現(xiàn)遠(yuǎn)景,、近景,、中景、特寫(xiě)等不同鏡頭的切換,，包括能直接生成長(zhǎng)鏡頭,、追焦、轉(zhuǎn)場(chǎng)等效果,，給視頻注入鏡頭語(yǔ)言,。

　　值得一提的是，會(huì)場(chǎng)上播放的短片中的片段都是從頭到尾連續(xù)生成,，沒(méi)有明顯的插幀現(xiàn)象,，從這種“一鏡到底”的表現(xiàn)能夠推測(cè)出，Vidu采用的是“一步到位”的生成方式,，從文本到視頻的轉(zhuǎn)換是直接且連續(xù)的,，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成,，不涉及中間的插幀和其它多步驟的處理。

　　“在今年2月,，文生視頻大模型Sora發(fā)布后,，我們發(fā)現(xiàn)其剛好和我們的技術(shù)路線高度一致，這也讓我們堅(jiān)定地進(jìn)一步推進(jìn)了自己的研究,?！敝燔娬f(shuō)。據(jù)悉,，Sora發(fā)布推出后,，Vidu團(tuán)隊(duì)基于對(duì)U-ViT架構(gòu)的深入理解及長(zhǎng)期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，在短短兩個(gè)月進(jìn)一步突破長(zhǎng)視頻表示與處理關(guān)鍵技術(shù),，研發(fā)推出Vidu視頻大模型,，顯著提升視頻的連貫性與動(dòng)態(tài)性。

　　從圖文任務(wù)的統(tǒng)一到融合視頻能力,，作為通用視覺(jué)模型,，Vidu能夠支持生成更加多樣化、更長(zhǎng)時(shí)長(zhǎng)的視頻內(nèi)容,，同時(shí)面向未來(lái),，靈活架構(gòu)也將能夠兼容更廣泛的模態(tài)，進(jìn)一步拓展多模態(tài)通用能力的邊界,。

　　Vidu的問(wèn)世,，不僅是U-ViT融合架構(gòu)在大規(guī)模視覺(jué)任務(wù)中的又一次成功驗(yàn)證，也代表了生數(shù)科技在多模態(tài)原生大模型領(lǐng)域的持續(xù)創(chuàng)新能力和領(lǐng)先性,。朱軍表示,，大模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過(guò)程,，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合,。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”,，誠(chéng)邀產(chǎn)業(yè)鏈上下游企業(yè),、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài),。 （記者 魏穎 郭思岐）