提供1000+款A(yù)I效率工具丨AIEVA.CN丨歡迎訪問(wèn)
AI奇點(diǎn)網(wǎng)-AI工具特刊丨6月19日
谷歌發(fā)布新一代AI視頻自動(dòng)配音工具，AI視頻開(kāi)啟「有聲時(shí)代」！
6月17日，谷歌人工智能團(tuán)隊(duì)DeepMind發(fā)布了一個(gè)名為V2A（Video-to-Audio）的AI架構(gòu)系統(tǒng)，顧名思義即“視頻轉(zhuǎn)音頻”，能根據(jù)畫(huà)面內(nèi)容或者手動(dòng)輸入的提示詞直接為視頻配音。
該模型最大的功能在于，可為任何視頻自動(dòng)創(chuàng)建合適的音軌BGM，在實(shí)踐中取得了十分有效的進(jìn)展，可以大大降低視頻配音的制作成本。
當(dāng)前Sora、Pika、可靈以及Runway等視頻模型已經(jīng)能輸出逼真的短片，但它們均輸出的是默片。
谷歌V2A系統(tǒng)的特點(diǎn)，便是V2A能依靠自身的多模態(tài)視覺(jué)能力理解視頻當(dāng)中的信息。V2A能看懂畫(huà)面，知道畫(huà)面里正在發(fā)生什么，應(yīng)該出現(xiàn)什么聲音。
舉個(gè)例子，比如輸入一則主題為「在黑暗中行走」的無(wú)聲視頻，添加“電影、恐怖片、音樂(lè)、緊張、混凝土上的腳步聲”等文本提示后，AI模型就能根據(jù)提示詞生成恐怖片風(fēng)格的背景音效，十分逼真。
00:00 / 00:12
腳步聲基本吻合人物走動(dòng)的節(jié)奏，隨著畫(huà)面的切換，腳步聲也隨之消失，毛骨悚然的緊張感拉滿(mǎn)。
為了能夠貼近Sora熱點(diǎn)，谷歌V2A的開(kāi)發(fā)團(tuán)隊(duì)使用了不少Sora生成的視頻片段作為輸入范例。
00:00 / 00:08
比如上邊這段Sora生成的水母漂蕩影像，營(yíng)造出了負(fù)壓十足的深海水壓感。
下方這則短片也是Sora的樣片，經(jīng)由V2A生成的音樂(lè)配樂(lè)后的視頻頗有西部大片的感覺(jué)。