從文生圖到文生視頻，AI行業(yè)卷瘋了

前不久，身穿太空服的馬斯克瞬間進(jìn)入二次元的視頻在網(wǎng)上引起炸裂，讓人不可思議的是，動畫版的馬斯克不僅神形兼?zhèn)洌尘昂蛣幼饕卜浅＿B貫合理，而這一切都來自于一位斯坦福華人博士生設(shè)計(jì)的一款名叫“Pika”的視頻生成工具。只需要在該軟件的視頻輸入框內(nèi)輸入“馬斯克穿著太空服，3D動畫”的關(guān)鍵詞，一個身穿太空服的卡通馬斯克便能躍然于屏上。

近幾年，隨著AIGC賦能多業(yè)態(tài)應(yīng)用的加速落地，整個行業(yè)的熱潮，已經(jīng)逐漸從文生文、文生圖，轉(zhuǎn)向了文生視頻領(lǐng)域。事實(shí)上，AIGC從文字到視頻是大的發(fā)展趨勢，不少產(chǎn)業(yè)人士已經(jīng)感知到了市場的風(fēng)向，國內(nèi)字節(jié)跳動、阿里、百度等科技大廠均已跑步入場。

AIGC邁入視頻時代

據(jù)了解，字節(jié)跳動于11月18日推出了文生視頻模型PixelDance；阿里緊隨其后也上線了Animate Anyone模型；百度文心大模型的類似功能則在內(nèi)測中，不久后會以插件形式開放。顯然，AI技術(shù)與文生視頻的融合已經(jīng)在業(yè)界掀起了一股新的熱潮。而國內(nèi)玩家之所以如此積極地下場布局，其中的原因不言而喻。

首先，文生視頻應(yīng)用非常廣泛，具備巨大的市場潛力。短視頻市場雖然方興未艾，但短視頻的制作能力卻跟不上各個平臺爆發(fā)的短視頻需求。而文生視頻技術(shù)的日趨成熟和廣泛應(yīng)用，或?qū)楫?dāng)下熱門的短視頻市場帶來一些變數(shù)。比如，影視和游戲等行業(yè)就是文生視頻落地的重要場景，文生視頻用文字就可以編輯和生成想要的故事情節(jié)，實(shí)現(xiàn)創(chuàng)意輔助和降本增效。而憑借為內(nèi)容生成賦能這一獨(dú)特優(yōu)勢，文生視頻的前景也是毋庸置疑。

其次，文生視頻操作十分便利，能有效降低各項(xiàng)成本。眾所周知，個性化的視頻制作麻煩、成本高昂，所以一款簡單的視頻生成工具，就成了不少行業(yè)和企業(yè)的渴望，而AI文生視頻技術(shù)能力的突破則為這一問題帶來全新解決方案。文生視頻顧名思義就是無需視頻制作技巧，僅用簡單文字就可以生成想要的視頻素材，不僅如此，還能隨著輸入場景和關(guān)鍵詞不斷更新，簡直大大降低了視頻制作的門檻和成本，可以說是創(chuàng)作者在數(shù)字化時代下的“福音”。

最后，文生視頻產(chǎn)品功能驚艷，能進(jìn)一步增強(qiáng)企業(yè)競爭力。在當(dāng)下的AI賽道上，文生圖的應(yīng)用早已層出不窮，相比較而言，能夠完全“攻下”文生視頻這一陣地的玩家卻是寥寥無幾。歸根結(jié)底，是文生視頻的產(chǎn)品功能更加強(qiáng)大，其難度自然也就可想而知了。只不過，高難度往往伴隨著高價值，若是有哪一個企業(yè)能憑借強(qiáng)大的算力、跨領(lǐng)域合作能力和技術(shù)自主性等優(yōu)勢引領(lǐng)這一賽道，那么其在行業(yè)內(nèi)形成差異化優(yōu)勢也將指日可待。

萬丈高樓平地起

文生視頻作為一種新興的傳媒形式，正以前所未有的方式影響著我們的日常生活。目前，在企業(yè)宣傳、數(shù)字化人、科普創(chuàng)作、線上社交等領(lǐng)域都對文生視頻技術(shù)有所運(yùn)用。而為了提高視頻生成的流暢度、真實(shí)感，國內(nèi)入局的玩家如字節(jié)跳動、阿里和百度等都在多個方面下足了功夫。

一方面，各玩家收集了大量數(shù)據(jù)，以提高視頻生成效果的多樣性。文本生成視頻模型往往需要大量數(shù)據(jù)來學(xué)習(xí)字幕的相關(guān)性、幀照片的寫實(shí)感和時間的動態(tài)信息，而缺乏高質(zhì)量配對的數(shù)據(jù)集，就難以合理組合人物、難以合理架構(gòu)場景，因此，生成視頻的合理性及連貫性就會大打折扣。阿里為了提高生成效果的多樣性，就讓其研究人員收集了大約3500萬單的文本視頻對和60億文本圖像對來優(yōu)化模型，讓生成的視頻達(dá)到了預(yù)期效果。

另一方面，各玩家設(shè)計(jì)了分層編輯器，以提高文生視頻語義的一致性。從簡單文字生成高質(zhì)量視頻，就需要文生視頻產(chǎn)品能夠準(zhǔn)確預(yù)測文字的意圖，然后在保持輸入文字內(nèi)容和結(jié)構(gòu)的同時生成精確的運(yùn)動。為了達(dá)到這一目標(biāo)，阿里的研究者設(shè)計(jì)了兩個分層編碼器，即固定CLIP編碼器和可學(xué)習(xí)內(nèi)容編碼器，分別提取高級語義和低級細(xì)節(jié)，然后將其合并到視頻擴(kuò)散模型中，更好地確保了低分辨率下生成視頻的語義連貫。

除此之外，各玩家還提高了視頻分辨率，以保證視頻生成效果的高質(zhì)量。文生視頻最理想的效果就是用戶給出提示詞，系統(tǒng)自動生成任何風(fēng)格相對應(yīng)的視頻，但這就對視頻分辨率提出了不小的考驗(yàn)。阿里的文生視頻將視頻分辨率提高到了1280×720，還優(yōu)化了初始的600個去噪step，以改進(jìn)生成視頻中存在的細(xì)節(jié)、偽影和噪音問題。字節(jié)跳動文生視頻也提出了基于文本指導(dǎo)+首尾幀圖片指導(dǎo)的視頻生成方法，使得視頻生成的動態(tài)性變得更強(qiáng)。

打鐵還需自身硬

隨著人工智能和視頻技術(shù)的快速發(fā)展，AIGC行業(yè)正在向AI視頻傾斜，AI文生視頻的爆發(fā)期或許即將到來，而參與到AI視頻創(chuàng)作中的玩家也將會越來越多。即便是在這樣的大環(huán)境下，不管是已經(jīng)推出模型的字節(jié)跳動和阿里，還是正準(zhǔn)備推出插件的百度，能入局文生視頻賽道，其自身都有著不可忽視的倚仗。

一來，參與玩家算力儲備充足，能很好地克服文生視頻在技術(shù)上的不足。作為文生文、文生圖的升級，文生視頻對算力以及模型的工程化能力要求更高。據(jù)了解，文生視頻的人工智能模型參數(shù)為10億級別至100億級別。而國內(nèi)在文生視頻領(lǐng)域有所布局的頭部玩家中，無論是字節(jié)跳動還是阿里、百度，其在參數(shù)上的積累都已經(jīng)十分深厚?？梢?，這些具有算力儲備的云服務(wù)廠商在發(fā)展視頻生成類應(yīng)用上具有天然優(yōu)勢。

二來，參與玩家行業(yè)經(jīng)驗(yàn)豐富，能大大加速文生視頻面世和迭代的速度。文生圖和文生視頻的人工智能模型在底層技術(shù)框架上有著較高的相似性，一定程度上來說，文生視頻可以看作是文生圖的進(jìn)階版技術(shù)，這也就意味著，文生圖的技術(shù)和經(jīng)驗(yàn)可供文生視頻加以運(yùn)用和參考。而眾所周知，字節(jié)跳動、阿里、百度等玩家早已在文生圖領(lǐng)域有所深耕，甚至有的產(chǎn)品也已投入商用，憑借在文生圖技術(shù)上的積淀，其在文生視頻領(lǐng)域也有望實(shí)現(xiàn)大幅進(jìn)步。

三來，參與玩家資源整合能力強(qiáng)大，能夠?yàn)槠湮纳曨l的發(fā)展提供助力。相較于文字和圖片，視頻能承載的信息量更大，這也就是說，想要生產(chǎn)出更加生動、高清，真實(shí)感更強(qiáng)的視頻，各玩家在文生視頻上的投入成本也將更高。不過，值得一提的是，作為互聯(lián)網(wǎng)大廠，阿里、百度、字節(jié)跳動經(jīng)過多年發(fā)展，其在人才、資金、算力等眾多資源和實(shí)力上的優(yōu)勢和權(quán)利不容小覷，得益于此，其文生視頻產(chǎn)品也將擁有更強(qiáng)的競爭力和影響力。

山雨欲來風(fēng)滿樓

文生視頻不僅顛覆了傳統(tǒng)媒體行業(yè)，也為內(nèi)容升級和產(chǎn)業(yè)進(jìn)化帶來了許多新的商機(jī)和可能性。只不過，目前國內(nèi)文生視頻技術(shù)還在發(fā)展的初級階段，雖然看上去文生視頻與文生圖的邏輯極其相似，但事實(shí)上，文生視頻的難度要大得多，需要突破的瓶頸也有很多。

一是，文生視頻數(shù)據(jù)要求高、計(jì)算難度大，參與玩家離產(chǎn)出令人滿意的視頻還有很大距離。相較于文字和圖片，視頻在多維信息表達(dá)、畫面豐富性及動態(tài)性方面有更大優(yōu)勢，但這同時也意味著，文生視頻對算力的需求將進(jìn)一步加大；文生視頻所涉及的自然語言處理、視覺處理、畫面合成等領(lǐng)域，需要攻克的技術(shù)難點(diǎn)也在增加。而國內(nèi)的玩家，目前仍然缺乏高質(zhì)量配對數(shù)據(jù)集，因此其在語義準(zhǔn)確性、清晰度和連續(xù)性等方面將會面臨嚴(yán)峻挑戰(zhàn)。

二是，文生視頻成本耗費(fèi)大，商業(yè)模式較單一，參與玩家想要將商業(yè)化跑通還有一定難度。與文生圖相比，文生視頻的計(jì)算復(fù)雜性提升，其成本耗費(fèi)也會相應(yīng)有所增加。另外，圖片生成類的商業(yè)模式較為單一，收費(fèi)模式和收費(fèi)依據(jù)較為趨同，而視頻生成模型的收費(fèi)依據(jù)則與其類似。雖然圖片生成類在多模態(tài)大模型中的商業(yè)化程度較高，可為視頻生成的商業(yè)化前景提供一定參考，但作為新興產(chǎn)業(yè)，文生視頻的商業(yè)化想要跑通仍需一定時間。

三是，國內(nèi)外企業(yè)紛紛加大了對文生視頻的投入和研究，該賽道的競爭將會進(jìn)一步升級。AI視頻生成賽道已然十分熱鬧，不僅有美國AI初創(chuàng)公司Pika labs發(fā)布的“Pika 1.0”，還有谷歌推出的AI視頻生成模型“W.A.L.T”等。而除了國外企業(yè)對文生視頻技術(shù)的高度重視外，國內(nèi)百度、阿里、字節(jié)、騰訊、360、萬興科技、昆侖萬維、國脈文化、美圖等公司也紛紛涉足該領(lǐng)域，并推出了相關(guān)的人工智能模型，顯然，視頻生成領(lǐng)域的競爭正日趨白熱化。

從文生圖到文生視頻，AIGC賽道的競爭已經(jīng)非常激烈。雖然國內(nèi)文生視頻的進(jìn)展相對緩慢，尚且沒有明星產(chǎn)品的出現(xiàn)，但更多有人才、有技術(shù)的文生視頻公司正在不斷涌現(xiàn)。只不過，除了上述挑戰(zhàn)之外，文生視頻目前還有一些數(shù)據(jù)隱私和安全性問題需要解決，真正的商業(yè)化運(yùn)作和盈利能力也還有待驗(yàn)證。而誰能在這次“跑馬圈地”中成為最終的贏家，我們也只能拭目以待。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。