在討論一款手機的實力時,影像是其中最重要的評判維度之一。
隨著手機攝影的發展,許多之前困擾手機的拍照難題,都迎來了行之有效的解決方案。
其中,自研影像芯片成為移動影像迭代的一個核心方向,讓手機能夠在暗光和運動場景等一些高挑戰性場景中拍出好照片。
如今,一聊到自研芯片,很多熟悉數碼圈的朋友第一時間想到的可能就是藍廠了。
2021年,vivo X70系列攜vivo自研芯片V1發佈,實現更好的夜景成像效果,加之vivo對影像技術的大力投入,使得X系列獲得了極高的市場與消費者口碑。
從X70系列之後,手機行業也正式掀起了自研影像芯片的潮流。
在剛剛結束的影像戰略發佈會上,vivo展示了其完善的影像技術矩陣。
作為影像算法升級的最有力保障,vivo宣佈將在下一代自研芯片設計中升級全新的架構——從傳統ISP架構升級為AI ISP架構,進一步提升影像效果體驗。
那麼問題來了,AI-ISP是什麼?
傳統ISP架構雖然能以極低延時處理大量的數據流水,但隻能解決已知的、特定的問題,面對復雜、隨機問題時則會面臨巨大的困難。
而AI擅長處理復雜的、未知的問題。
因此,將傳統 ISP 低延時、高能效的特點進一步帶入到 AI 實時處理運算架構中,AI-ISP應運而生。
AI-ISP架構結合兩者的優勢,相當於給傳統ISP芯片加一個新的AI大腦。
據vivo介紹,在AI-ISP上集成vivo自研的AI計算單元,讓數據吞吐速率、能效比都有了大幅提升,更適合海量的信息處理,因此能實現發散式的信息處理及存儲,使得處理與存儲的效率大大提高。
在此基礎上AI-NR降噪、HDR影調融合、MEMC插幀等算法效果可以得到極大的優化。
那麼,NPU與AI-ISP又有什麼不同?
相較於傳統的NPU芯片,AI-ISP架構可加速 10bit高精度 MAC 深度學習加速器,帶來了空前強大的AI計算能效,最大降低了軟件對 NPU 調度造成的延遲。
相比NPU的軟件推理做法,推理延遲較傳統NPU最多降低96%,能效比最高提升200%。
此外,基於AI-ISP架構,全新自研芯片的片上內存單元實現升級,算力高達1.3萬億bit/s的數據吞吐速率。
其次升級AI計算單元,DLA加速器峰值能效比達到每瓦16.3 萬億次運算,這個數據也讓vivo的AI ISP架構達到了行業的天花板水平。
AI-ISP能夠給手機的拍照體驗帶來哪些顯著的提升?
將夜景、人像和高清視頻作為影像三個主要發展領域的vivo來說,新的AI-ISP具備的強大影像識別能力無疑能在這三個應用場景發揮重要的作用。
拿視頻舉例,借助超高的數據吞吐量和處理能力,視頻錄制時的MEMC插幀算法進一步降低了延遲,特別對運算能力要求更高的夜景視頻。
vivo在影像戰略溝通會上展示了采用AI-ISP架構的下一代自研芯片機型的視頻拍攝成果。
拍攝1080p 60幀《fps》的夜景視頻時,對比上一代機型,無論是畫面的純凈度、細節、亮度、寬容度都比之前有了更大的提升。
可以預見到,搭載全新自研芯片的產品,甚至可以在露營的燈光下,拍到天空中的星點。
從國內幾大手機的佈局看來,發力自研芯片是所有人都要走的必經之路。
而AI ISP的出現,vivo讓手機自研芯片進入了一個全新階段。
我們幾乎已經可以想象出即將發佈的X90系列會在極限環境下會有更好的影像表現,特別是視頻錄制方面,讓我們離全天候輕松拍出表現一致的影像又近一步。