總有那么多美好的瞬間，想要用慢鏡頭拍攝，比如嬰兒第一次走路，一個(gè)很難的滑板技巧，一只狗抓球……
現(xiàn)在很多智能手機(jī)已經(jīng)可以拍攝超高幀慢動(dòng)作的視頻，但仍然很具有局限性。
由于高幀率需要龐大的緩存和數(shù)據(jù)寫入系統(tǒng)，普通設(shè)備很難支撐住，用它們來長時(shí)間紀(jì)錄并不實(shí)際。如果對已經(jīng)錄制的視頻進(jìn)行慢速回放，創(chuàng)建流暢的慢動(dòng)作視頻則需要短時(shí)間捕捉多幀畫面，如果所錄的幀數(shù)不夠，那么最終的慢動(dòng)作視頻看起來會(huì)很不流暢。大多數(shù)人并沒有昂貴的高速相機(jī)，一般軟件會(huì)試圖填充幀數(shù)，造成畫面的移動(dòng)不那么自然。
6月18日，英偉達(dá)發(fā)布了一個(gè)視頻，他們利用人工智能開發(fā)出了一種將普通視頻“慢動(dòng)作化”的新方法。
這是英偉達(dá)攜手馬薩諸塞州大學(xué)和加利福尼亞大學(xué)的研究人員，打造的一種可以將任何視頻轉(zhuǎn)換為慢動(dòng)作、但又不犧牲播放平滑度的解決方案。
在轉(zhuǎn)換一段汽車漂移的視頻時(shí)，我們可以看到，使用 30fps 拍攝的視頻，再使用 12.5% 的速度進(jìn)行慢放時(shí)，有明顯的卡頓。而經(jīng)過英偉達(dá)新技術(shù)轉(zhuǎn)換后的視頻，使用 240fps 的效果進(jìn)行播放，汽車的漂移過程卻很流暢，沒有看出卡頓。
在這項(xiàng)技術(shù)轉(zhuǎn)換后的慢動(dòng)作視頻中，舞蹈演員在旋轉(zhuǎn)時(shí)頭發(fā)和衣服上的細(xì)節(jié)，也顯得更加清晰。
在這項(xiàng)技術(shù)中，英偉達(dá)通過使用NVIDIA Tesla V100顯卡以及cuDNN深度神經(jīng)網(wǎng)絡(luò)每天對超過11000個(gè)240fps視頻進(jìn)行訓(xùn)練，訓(xùn)練完成的模型可以將普通30fps視頻插幀成240fps的視頻，同時(shí)還會(huì)有獨(dú)立的數(shù)據(jù)庫來驗(yàn)證他們插幀內(nèi)容的準(zhǔn)確性，驗(yàn)證是否符合原視頻的效果。
這項(xiàng)技術(shù)依賴于兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN），讓它們協(xié)同工作，以確定物體在框架和幀間的移動(dòng)位置。之前絕大部分的插幀技術(shù)都是利用前后幀的關(guān)系生成更多的中間幀，NVIDIA與大學(xué)研究員則是只利用其中的一幀就可以辦到，因此插幀數(shù)目顯著提高，還能保持圖像不失真，不影響觀看效果。
據(jù)悉，英偉達(dá)還攜手 YouTube 知名頻道主“Slow Mo Guys”來測試這項(xiàng)技術(shù)。
我們可以看出，英偉達(dá)的人工智能對視頻中物體的定位，以及補(bǔ)幀的技能都很強(qiáng)。英偉達(dá)還表示，該項(xiàng)技術(shù)可以對各種規(guī)格的慢動(dòng)作視頻進(jìn)行優(yōu)化。實(shí)踐表明，這項(xiàng)技術(shù)也確實(shí)適用于對各種規(guī)格的視頻進(jìn)行慢速回放時(shí)的優(yōu)化。當(dāng)然，想要進(jìn)一步進(jìn)行 AI 慢放的話，將需要更長的時(shí)間去補(bǔ)幀。
目前這項(xiàng)技術(shù)還處在實(shí)驗(yàn)室階段，暫時(shí)還不會(huì)出現(xiàn)在消費(fèi)市場。該公司仍需大量的優(yōu)化，消除一些限制，才能讓系統(tǒng)做到實(shí)時(shí)運(yùn)行。比如首先，研究人員必須訓(xùn)練他們的深度學(xué)習(xí)系統(tǒng)來處理特定類型的素材。為了獲得汽車在水中滑行的慢速視頻，他們必須首先用相似的鏡頭進(jìn)行訓(xùn)練。另外，這種技術(shù)不能產(chǎn)生無限數(shù)量的中間幀。沒有數(shù)據(jù)，計(jì)算機(jī)就不可能預(yù)測真實(shí)世界物體的運(yùn)動(dòng)和行為。不過，英偉達(dá)的系統(tǒng)可以產(chǎn)生多達(dá)7個(gè)中間幀，足以創(chuàng)造不錯(cuò)的慢動(dòng)作。
從展示的效果來看，這項(xiàng)技術(shù)如果落地應(yīng)用，對于未來影音娛樂將會(huì)產(chǎn)生比較大的影響。比如，對于影視行業(yè)的朋友而言，視頻的后期做起來會(huì)更加省事~
也許在不久的將來，手機(jī)相機(jī)中會(huì)出現(xiàn)類似的功能。那樣的話，它將可以用來拍攝日常生活中珍貴時(shí)刻的視頻，并將它們放慢速度，看起來像是電影中的慢動(dòng)作場景，還能增添懸念，給觀者帶來更多期待~
聯(lián)系客服
