蓋世汽車訊 據(jù)外媒報道，英偉達（Nvidia）AI研究人員開發(fā)了一種方法，通過使用超快速神經(jīng)網(wǎng)絡訓練和快速渲染，可將數(shù)十張2D圖像快速轉換為3D場景。這一過程稱作逆渲染，利用AI模仿真實世界中光線的行為，將從不同角度拍攝的2D圖像轉換成3D場景。

（圖片來源：英偉達）

英偉達研究人員將該新方法應用于名為神經(jīng)輻射場（NeRF）技術，從而開發(fā)出新的Instant NeRF（即時NeRF）技術，這是迄今為止最快的NeRF技術，在某些情況下，相比其他技術，其速度要快1000多倍。盡管Instant NeRF也需要拍攝照片的攝像頭角度數(shù)據(jù)，但其所使用的神經(jīng)模型只需幾秒鐘就可以訓練幾十張靜態(tài)照片。

英偉達圖形研究副總裁在博客中進一步闡述了NeRF和Instant NeRF之間的區(qū)別。David Luebke表示，“如果多邊形網(wǎng)格這類傳統(tǒng)3D表示方式類似于矢量圖像，那么NeRF就像位圖圖像，密集地捕捉光線從物體或場景中輻射的方式。從這個意義而言，Instant NeRF對于3D的重要性可能不亞于數(shù)碼攝像頭和JPEG壓縮對于2D攝影的重要性，極大地提高了3D捕捉和共享的速度、易用性和可實現(xiàn)性?！?/p>

通過使用神經(jīng)網(wǎng)絡，NeRF能夠基于2D圖像的輸入集合呈現(xiàn)逼真的3D場景。然而，最有趣的部分是用于創(chuàng)建這些圖像的神經(jīng)網(wǎng)絡如何能夠填補2D圖像之間的空白，即使圖像中的物體或人被障礙物阻擋。

通常情況下，由于可視化的復雜性和分辨率不同，使用傳統(tǒng)方法創(chuàng)建3D場景可能需要數(shù)小時甚至更長時間。而引入AI，即使是早期的NeRF模型也能夠在經(jīng)過幾個小時的訓練后，在幾分鐘內呈現(xiàn)出沒有偽影的清晰場景。英偉達的Instant NeRF采用該公司開發(fā)的多分辨率哈希網(wǎng)格編碼技術，能夠將所需渲染時間縮短幾個數(shù)量級。這一技術經(jīng)過優(yōu)化，可在英偉達GPU上高效運行。

未來，Instant NeRF技術可用于快速創(chuàng)建虛擬世界的場景，以3D方式捕捉視頻會議參與者及其所處環(huán)境，或為3D數(shù)字地圖重建場景，或用于訓練機器人和自動駕駛汽車，以使其根據(jù)所捕獲的現(xiàn)實世界物體的2D圖像或視頻片段，更好地理解物體的大小和形狀。此外，建筑和娛樂行業(yè)可以使用 Instant NeRF快速生成真實環(huán)境的數(shù)字呈現(xiàn)，創(chuàng)作者可在此基礎上進行修改和構建。英偉達的研究人員還在探索如何利用新的輸入編碼技術加速解決各種AI挑戰(zhàn)，如強化學習、語言翻譯和通用深度學習算法。

返回第一電動網(wǎng)首頁 >