最近，科技君被手機(jī)圈的一個(gè)高頻詞吸引了：計(jì)算攝影。大多數(shù)人對(duì)這個(gè)詞匯也許是陌生的 ，但其實(shí)計(jì)算攝影已經(jīng)不是什么新鮮概念了。
計(jì)算攝影究竟是何物？
追本溯源的話(huà)，早在1994年時(shí)就已有相關(guān)學(xué)術(shù)論文。彼時(shí)，照片的主要載體還是膠片。經(jīng)過(guò)近20年的發(fā)展，照片的載體發(fā)生了變化，攝影也變得逐漸數(shù)字化，攝影的設(shè)備也不再局限于傳統(tǒng)單反相機(jī)，手機(jī)逐漸成為了主流攝影工具之一。
而“計(jì)算攝影”這一概念也隨著手機(jī)的普及，再次為人們所關(guān)注。
我們?cè)谟懻撚?jì)算攝影之前，必需先弄清楚到底什么是計(jì)算攝影？在查閱了大量資料后，科技君得出一個(gè)相對(duì)嚴(yán)謹(jǐn)?shù)慕Y(jié)論：
計(jì)算攝影是利用計(jì)算機(jī)軟件智能算法結(jié)合現(xiàn)代傳感器及現(xiàn)代光學(xué)等技術(shù)創(chuàng)造出新型攝影設(shè)備以及相關(guān)應(yīng)用的綜合技術(shù)，并讓設(shè)備實(shí)現(xiàn)超出物理極限的成像質(zhì)量。
雖然計(jì)算攝影起步較早，但其普及過(guò)程卻并不順利，直到前幾年手機(jī)攝影技術(shù)有了長(zhǎng)足的進(jìn)步，計(jì)算攝影才逐漸被眾人熟知。其中Google推出的Pixel XL算是計(jì)算攝影在手機(jī)上的首次成功應(yīng)用。
Google開(kāi)創(chuàng)手機(jī)計(jì)算攝影先河
Pixel XL所搭載的IMX378傳感器并不算十分出色，但Google卻憑借著強(qiáng)大的HDR+功能使得Pixel XL的最終成像效果十分出色，完全超越了使用同款傳感器的其它機(jī)型。
與其它HDR只是依靠傳感器本身壓暗高光和提亮低光不同，Google的HDR+有著十分復(fù)雜的軟件算法。其中核心是通過(guò)多幀合成來(lái)提高畫(huà)面寬容度，降低噪點(diǎn)。到Pixel3這一代，HDR+支持最高15張照片的合成。
而且HDR+的合成張數(shù)是可以根據(jù)不同場(chǎng)景和不同的光線環(huán)境智能調(diào)節(jié)的，說(shuō)的直白一點(diǎn)，它是靈活的、可變的。這和以往普通HDR“死”的算法大不一樣。
HDR+最終讓Pixel系列擁有了超越傳感器物理極限的成像效果，用并不頂級(jí)的傳感器卻帶來(lái)了頂級(jí)的成像水準(zhǔn)。計(jì)算攝影的威力得以體現(xiàn)。
HDR+只是Google對(duì)計(jì)算攝影技術(shù)應(yīng)用的成果之一。大家還記得Pixel3手機(jī)的單攝人像虛化嗎？其虛化效果非常好，甚至超越了當(dāng)時(shí)許多搭載多攝像頭的手機(jī)。Google也是通過(guò)計(jì)算攝影技術(shù)實(shí)現(xiàn)這一功能的。
這里面涉及到大量的運(yùn)算、人工智能和機(jī)器學(xué)習(xí)。Google的相機(jī)團(tuán)隊(duì)運(yùn)用5臺(tái)不同距離的Pixel3手機(jī)，拍攝了大量不同距離的樣張，從而獲得不同的景深和距離信息，并且讓機(jī)器不斷地學(xué)習(xí)這些信息。最后利用這些采集來(lái)的大量信息實(shí)現(xiàn)對(duì)不同距離景物的虛化。
由于前期通過(guò)機(jī)器學(xué)習(xí)和大量樣張，手機(jī)已經(jīng)采集到了足夠多的信息，所以即便在面對(duì)復(fù)雜場(chǎng)景時(shí)，單攝的Pixel3也能有較好的虛化效果。
iPhone對(duì)計(jì)算攝影技術(shù)的挖掘
2018年，蘋(píng)果在發(fā)布iPhoneXS系列時(shí)也引入了Smart HDR功能，這項(xiàng)功能和Google的HDR+有著許多相似之處，其核心也是多幀合成，但得益于蘋(píng)果A12芯片更強(qiáng)的性能和神經(jīng)網(wǎng)絡(luò)引擎的加入，Smart HDR更加智能，對(duì)不同場(chǎng)景和光線的分析更加細(xì)致。這也使iPhoneXS的HDR效果更加出色。
到了iPhone11這一代，蘋(píng)果繼續(xù)挖掘計(jì)算攝影的潛力，推出了Deep Fusion技術(shù)，它被認(rèn)為是Smart HDR技術(shù)的升級(jí)迭代，Deep Fusion無(wú)需像HDR模式那樣單獨(dú)開(kāi)啟，它的運(yùn)行是完全靜默的，只要你打開(kāi)相機(jī)的拍照模式它就已經(jīng)在運(yùn)行了。它的這個(gè)運(yùn)行過(guò)程全部由AI完成，無(wú)需人工干預(yù)。
Deep Fusion 運(yùn)作方式是，當(dāng)按下快門(mén)前 iPhone 就會(huì)先連續(xù)暫存拍攝8張圖片（4張短曝光照片、4張次要曝光照片），最后按下快門(mén)拍攝1張長(zhǎng)曝光照片，并搭配Apple A13 Bionic的神經(jīng)引擎和機(jī)器學(xué)習(xí)功能生成最終的照片。
從實(shí)際效果上看，Deep Fusion 確實(shí)比Smart HDR更優(yōu)秀，對(duì)被攝體細(xì)節(jié)的刻畫(huà)更出色。
如果你認(rèn)為上述的這些太深?yuàn)W，沒(méi)太看懂，那么科技君再舉一個(gè)最簡(jiǎn)單的例子：
現(xiàn)在絕大多數(shù)手機(jī)上都有的拍照?qǐng)鼍白R(shí)別優(yōu)化。當(dāng)檢測(cè)到有天空的畫(huà)面時(shí)，畫(huà)面中的天空會(huì)變得更加湛藍(lán)，當(dāng)有草原的畫(huà)面時(shí)，草原會(huì)被優(yōu)化的更加翠綠。用手機(jī)拍美食，食物往往顯得更加鮮嫩可口，甚至還能對(duì)不同類(lèi)型的食物做出針對(duì)性的優(yōu)化。
這，其實(shí)也是計(jì)算攝影的一種體現(xiàn)。
計(jì)算攝影為何在手機(jī)領(lǐng)域興起？
說(shuō)到這里，你大概已經(jīng)對(duì)計(jì)算攝影有了初步的了解。但科技君還想聊一聊計(jì)算攝影對(duì)手機(jī)的意義以及計(jì)算攝影為何在手機(jī)領(lǐng)域興起。
科技君認(rèn)為其根本原因在于手機(jī)的特性和物理極限，手機(jī)由于體積較小，內(nèi)部電子元器件較多，導(dǎo)致其無(wú)法使用大尺寸的圖像傳感器和高質(zhì)量鏡片繁多的鏡頭模組，而這些都是優(yōu)秀成像的關(guān)鍵因素。
縱然現(xiàn)在手機(jī)上所謂的“大底”傳感器也不到1英寸，相比全畫(huà)幅的相機(jī)傳感器，差距十分明顯，鏡頭由于手機(jī)厚度的限制更是不必多言，和單反相機(jī)鏡頭動(dòng)輒十幾片鏡片更是無(wú)法比擬。
這種先天硬件上的差距在光學(xué)技術(shù)獲得革命性突破之前是難以彌補(bǔ)的。既然硬件上有差距，就只能通過(guò)軟件上盡量補(bǔ)足。
計(jì)算攝影需要復(fù)雜的軟件算法，也需要強(qiáng)大的芯片支撐，包括ISP、DSP、NPU、GPU和CPU等多種芯片，因?yàn)槠溥^(guò)程需要進(jìn)行大量的運(yùn)算。
以iPhone11系列為例，蘋(píng)果為了保證其多攝像頭的系統(tǒng)工作和平滑的切換，把NPU的算力提高到了每秒1萬(wàn)億次。如此強(qiáng)大的數(shù)據(jù)處理能力才得以應(yīng)付三攝工作時(shí)產(chǎn)生的龐大數(shù)據(jù)量。
而強(qiáng)大的數(shù)據(jù)處理能力正是手機(jī)所擅長(zhǎng)的。尤其是這兩年，旗艦手機(jī)處理器、ISP和NPU芯片的算力大幅增長(zhǎng)，這就為計(jì)算攝影在手機(jī)上實(shí)現(xiàn)提供了良好的硬件基礎(chǔ)。
就目前的情況看來(lái)，計(jì)算攝影在手機(jī)領(lǐng)域的發(fā)展還是很不錯(cuò)的，至少它的趨勢(shì)是良性的。更重要的是計(jì)算攝影的確讓手機(jī)的拍照質(zhì)量有了明顯的提高，很大程度上彌補(bǔ)了手機(jī)影像系統(tǒng)硬件上的缺陷，甚至在一定程度上超越了手機(jī)攝影物理極限。
如果從這個(gè)角度考慮的話(huà)，手機(jī)計(jì)算攝影的確很成功。
但計(jì)算攝影本質(zhì)上是人工智能技術(shù)的一種，而現(xiàn)在我們對(duì)AI技術(shù)的發(fā)展還處在非常初級(jí)的階段。所以科技君認(rèn)為計(jì)算攝影仍有非常大的潛力值得我們?nèi)ネ诰颉?/span>
聯(lián)系客服
