英偉達近期和康奈爾大學的研究團隊合作，推出了名為 VideoLDM模型，可以 根據(jù)文本描述，自動 生成最高分辨率 2048*1280、24 幀、最長 4.7 秒的視頻。

英偉達表示該模型配有 41 億個參數(shù)，其中 27 億個經(jīng)過視頻訓練，這符合現(xiàn)代生成式 AI 的標準。IT之家從博文中獲悉，英偉達表示通過高效的潛在擴散模型（LDM），能夠創(chuàng)建多樣化、高質(zhì)量、高清晰度的視頻。

(資料圖)

以下為英偉達官方對 VideoLDM 模型的解析：

潛在擴散模型 (LDM) 通過在壓縮的低維潛在空間中訓練擴散模型，在避免過多計算需求的同時實現(xiàn)了高質(zhì)量的圖像合成。

我們將 LDM 范例應用于高分辨率視頻生成，這是一個特別資源密集型的任務。

首先對圖像進行 LDM 預訓練，然后通過在潛在空間擴散模型中引入時間維數(shù)并對編碼圖像序列 (即視頻) 進行微調(diào)，將圖像生成器轉(zhuǎn)換為視頻生成器。

之后我們在時間上對齊擴散模型上采樣器，將它們轉(zhuǎn)換成時間上一致的視頻超分辨率模型。

此外，我們的技術(shù)可以很容易地利用現(xiàn)成的預先訓練的圖像 LDM，因為在這種情況下，只需要訓練一個時間對齊模型。

通過這種訓練方式，我們將公開可用的、最先進的文本到圖像 LDM 穩(wěn)定擴散轉(zhuǎn)換為高效的、具有表現(xiàn)力的文本到視頻模型，分辨率最高可達 1280 x 2048。

我們的研究發(fā)現(xiàn)，時間層可以用這種方式訓練泛化到不同的微調(diào)文本到圖像 LDM。利用這一特性，我們顯示了個性化的文本到視頻生成的第一個結(jié)果，為未來的內(nèi)容創(chuàng)作指出了激動人心的方向。

根據(jù)英偉達官方解釋，VideoLDM 模型的技術(shù)原理就是 先用文本生成多個圖像，再 將圖像重新組織成為視頻。

除此之外，該模型還能創(chuàng)建駕駛場景的視頻，視頻分辨率為 1024 × 512 像素，最長 5 分鐘。英偉達表示目前該項目處于研究階段，暫時不會向公眾開放。

更多閱讀

今日還有騙子 AI 合成性感少女照賺錢、 竊賊有新技術(shù)抹掉 iPhone Apple ID 密碼 、 全國首例“戒酒芯片”植入人體等新聞，感興趣的可以點擊下方卡片查看。

標簽：