基於NeRF的APP上架蘋果商店!照片轉3D隻需一部手機,網友玩瘋了。

蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI

隻用一部手機,現實中的2D照片就能渲染出3D模型?

沒錯,無需再手動上傳電腦或安裝激光雷達,蘋果手機自帶APP就能生成3D模型。

這個名叫Luma AI的『NeRF APP』,正式上架App Store後爆火:

小如3D裝飾模型,兼具燈光和形狀細節:

大到整個墓園的3D場景渲染版,都能被很好捕捉:

這樣無論是風景、3D物體還是人物,都可以被很好地保存進手機,並快速生成對應的3D模型。

所以這個APP究竟包含什麼功能,它又具體要如何使用?

NeRF手機APP是什麼?

Luma AI是一個基於NeRF打造的APP,目前能在蘋果商店中搜到:

NeRF是少量2D照片生成3D場景的經典AI模型,最初版本由UC伯克利和谷歌開發,隻需要輸入少量靜態圖片,就能做到多視角的逼真3D效果。

最初NeRF需要專業相機拍幾百張照片,並在拍照時嚴格遵守參數坐標,但由於它的代碼數據開源,目前已經有不少簡化版模型被開發出來。

不僅照片數量有所下降,從幾百張到幾十張甚至幾張,對拍照位置和照相機的要求也有所降低。

但能直接通過APP導引、隨時隨地可用的NeRF,幾乎還沒出現過。

現在,Luma AI團隊基於雲服務器,實現了這個可以實時渲染3D物體、產品風景和場景的APP。

它包含自動調整焦距、視角畫面比例調整等不同功能,捕捉到的3D場景則包含復雜形狀、反射和照明等細節。

同時,制作得到的3D模型既可以直接分享到網上,比2D照片更全方位地展示細節:

也可以放進Blender等遊戲引擎中,讓它『動起來』:

現在,你也可以試一試了。

支持iPhone 11或以上機型

目前Luma AI支持iPhone 11或以上的機型,操作方法也很簡單。

在蘋果商店下載APP後,隻需要跟著導引,圍繞3D物體一步步完成拍攝,NeRF就能在後臺將這些照片合成出一個3D模型,並實時導出:

支持的玩法也很多樣,從調整焦距、效果預覽都包括:

實際拍出來的效果,可以直接放進電影中,有運鏡內味了:

所以,沒有蘋果手機怎麼辦?

網頁端上傳照片也可以,視頻和照片集二選一:

在Luma AI公開的3D模型分享庫中,已經有不少網友上傳了自己隨手拍的3D模型:

目前支持導出的3D模型格式,主要包括obj和gltf兩種。

你想好用它來拍出大片效果、做遊戲模型,還是把家裡的3D手辦『電子化』了嗎?

參考鏈接:
[1]https://twitter.com/LumaLabsAI/status/1611466398546690048
[2]https://captures.lumalabs.ai/imagine
[3]https://apps.apple.com/us/app/luma-ai/id1615849914