時間拉回到 2021 年 12 月，少數派團隊在大理團建的那一週，幾乎每天晚上都會有人跑上露臺，嘗試用各種各樣的裝置記錄洱海上方那片澄澈的星空。
在這當中，幾臺 google Pixel 裝置的表現最為亮眼。以往我們總在感嘆計算攝影的魅力，但只有用白天刷微博、刷抖音的那臺手機捕捉到璀璨星河的那一刻，才真正明白演算法的精妙與魅力。
驚歎之餘，團隊裡一直主力使用 Google Pixel 的幾位編輯也跟我聊到過一些有意思的細節：在計算攝影這件事情上，即便是一直以來被業界奉為圭臬的 Google Pixel，其實也有一些至今難以克服的短板。這當中最具代表性問題就包括偏色，這是一個從 Google Pixel 4 開始就有
提及
、但一直到最近的 Google Pixel 6 都沒能得到有效解決的問題。
夜視演算法加持下（右）畫面色彩相比肉眼觀感（左）存在明顯偏色 | 圖：Clyde 使用 Google Pixel 4 拍攝
即便是開頭提到的那些星空樣張也一樣——對 Google 這樣的計算攝影老牌勁旅來說，色彩還原也是個難以完全靠演算法來解決的難題。為了讓算出來的星空更加符合觀感審美，在 Google 相簿中的圖片修飾功能中，Google 甚至還為夜視模式的照片準備了一套「天文濾鏡」用於後期色彩修飾。
那色彩還原這件事為什麼這麼難？
▍
問題的根源在於「猜」
如果往希臘語詞根的方向去理解，照片的英文是 Photograph 按字面意思可以被理解為「用光所作的畫」。在攝影這件事情上，最初我們用來「作畫」的載體是膠片，記錄在底片上的光線資訊需要經過化學沖洗才能顯影；以
光電二極體
為核心的 CCD 與 CMOS 出現後，效率更高的光電訊號轉換則成為了主流。
但無論是 CCD 還是智慧手機中更常見的 CMOS，受光電二極體的工作原理所限，它們都只能根據光照強度記錄不同的亮度資訊。換句話說，透過感測器所接收到的光電訊號，僅僅只能還原出一張黑白照片。
為了讓感測器捕捉到有色彩的光照資訊，色彩濾波陣列（CFA）出現了
。
常見的色彩濾波陣列：拜爾陣列 | 圖：維基百科
你可以將 CFA 理解為光線在到達感測器之前的一層「濾鏡」，以應用最為廣泛的拜爾陣列濾色鏡為例，拜爾陣列以 2 個綠色畫素、1 個紅色畫素和 1 個藍色畫素為單元，透過濾鏡的光線除了能夠在感測器上留下強度資訊外，還能同時保留對應的色彩資訊。值得注意的是，因為每個畫素只過濾並記錄紅、綠、藍三種顏色中的一種，這些從單個畫素獲取的資訊其實也不能完整反映畫面中不同顏色的組成方式。
光線透過陣列後留下不同色彩資訊 | 圖：維基百科
換句話說，畫面細節的丟失從我們按下手機快門鍵的那一刻就已經開始了
。為了得到一張色彩完整的影象，透過拜爾陣列獲取到的色彩資訊後續還會依靠
去馬賽克
演算法進行插值、重建。如果像下圖這樣採用鄰近畫素平均值的演算法，根據已採集畫素對周邊缺失的畫素色彩資訊進行推測，完成整個去馬賽克過程後，重建得到的畫面甚至會佔據整個畫面的 2/3。
將拜爾陣列得到的色彩資訊還原的過程，也是細節丟失的過程 | 圖：Google
因為「猜」的成分不可避免，最終得到的影象一般而言是無法準確還原原始拍攝場景的。即便在鄰近畫素平均值演算法的基礎之上，後續也衍生出了許多更為複雜的去馬賽克演算法，但「透過 CFA 獲取到的色彩資訊有限」這個大前提始終擺在這裡。
另一方面，儘管近年很多廠商都在嘗試其它的 CFA 排列方式，比如華為的 RYYB、OPPO 在 2014 年基於 QuadBayer 陣列的 RGBW，這些排列方式相比傳統的拜爾陣列更多地也是在提高感測器進光量，符合前幾年手機廠商在夜景拍攝這件事情上「血腥廝殺」的目標，但從實際的情況來看，純粹靠演算法猜，對解決色彩還原問題這件事並沒有多大幫助。
▍
以 Google Pixel 為鑑
明確「因為照片都是猜的所以色彩還原很難」這個基本事實後，我們再回到文章開頭提到的手機計算攝影巨擘 Google Pixel。如果要說 Google Pixel 誕生後這 6 年時間裡，為手機行業計算攝影發展留下的、最為寶貴的經驗是什麼，個人認為有兩點：
利用好一切可用演算法資源的變通性，以及垂直整合硬體的能力
。
關於第一點，最好的例子是 Google Pixel 3 時引入的 Super Res Zoom（超分） —— 就是 Google 還在用單攝「吊打」其他廠商雙攝長焦的那一代。
在解決數字變焦對畫面進行裁剪、重建進而造成細節丟失這個問題時，Google 相機團隊首先想到的切入點也是上文提到的 CFA 濾鏡。不過相比於其他同行，Google 的工程師選擇了 DRIZZLE —— 一種在天文攝影學中已經流行了數十年的常用拍攝技巧。DRIZZLE 透過捕捉併合成多張拍攝角度略有變化的照片，來實現 2x 甚至 3x 的數字變焦效果，基本理念是將多張低解析度的連拍照片直接合並對齊到更高解析度的畫素網格中。具體的合併對齊流程如下：
透過平移的方法進行畫素補全 | 圖：Google
至於垂直整合硬體的能力，大家更是有目共睹了
。
從第二代 Google Pixel 開始，幾乎每一代 Google Pixel 裝置（a 系列以及 Pixel 5 除外）都會搭載專門用於影象演算法處理的獨立晶片，在 Google Pixel 2 上這枚晶片叫做 Pixel Visual Core，在 Pixel 4 上演變成為 Pixel Neural Core，最後來到今年的「大招」——Google Tensor。
原本對感測器型號不怎麼「敏感」的 Google Pixel，隨著計算攝影需求與功能的不斷增加，對獨立影象處理晶片的依賴也越來越大，走上自研晶片這條路成為了必然（對下文要提到的 OPPO 來說也是如此）——畢竟在已經將 RAM 從 4GB 提升至 6GB 的前提下，Google Pixel 4 使用者依然會時不時遭遇「算力不夠殺後臺來湊」的情況。
話說回來，既然演算法實力和軟硬體整合強如 Google Pixel 這樣的異類，都依然沒能解決文章開頭提到的色彩還原問題。近年來緊隨其後的國內 Android 廠商還有哪些破題思路呢？
▍
軟體不夠硬體來補
這裡便來到了另一個被更多人看作是「行業標杆」的廠商 —— Apple 了。既然透過感測器採集到的色彩資訊難以完整還原，我們不妨再給影象處理器準備一組現實世界中的實際資料作為色彩校準參考。
而關於色彩的校準，其實早有專門的感測器負責採集現實中的色彩資料，早在 2017 年之時 Apple 就在 iPhone X 上的「劉海」矩陣裡塞入一顆來自 AMS 的多光譜感測器。這款定製版本的 6 通道多光譜感測器頗有為 iPhone 十週年獻禮的意味，其採集的空間色彩資料被用於驅動 True Tone 原彩顯示功能，可讓手機根據環境光色溫來動態調節螢幕顯示。
這個功能到今天依然有些新鮮，並且並非這類感測器的唯一用途——就像上面提到的那樣，去年釋出的 Apple TV 4K 就內建一個神奇的螢幕校色功能：將與 Apple TV 配對的 iPhone 正面緊貼電視螢幕，即可自動校準這塊螢幕的內容顯示顏色，從這個功能要求 iPhone 配有 Face ID 來看，iPhone 在這個過程中應該就是藉著多光譜感測器化身成了一臺簡單的螢幕校色儀。
而後，在華為 P40、P50 Pro 這樣的旗艦機型上，看到了利用多通道多光譜色溫感測器輔助拍攝的用法，一方面可以作為環境色彩還原標準，提供白平衡參考，另一方面也順帶解決 RYYB 陣列帶來的偏色問題。
OPPO 則在 Find X3 上推出了 10bit 的全鏈路色彩引擎，從螢幕硬體發力，最佳化色彩體驗，來保證手機拍攝和輸出的一體化觀感。
▍
Find X5 如何處理色彩難題
以計算攝影領域先驅 Google Pixel，以及華為、Apple 在軟硬體協同投入上的經驗為參考，OPPO 基於多年深耕影像領域的優勢，在 Find X5 上也做了一次軟硬體垂直整合。
首先是自然色彩感測器的加入。這次 OPPO 採用的自然色彩感測器，背後主要依靠一個 13 通道的光譜感測器，相當於增加了類似人眼結構的電子視網膜，從硬體層面捕捉精準的顏色，還原真實的環境光源資訊，從影像處理的源頭為色彩還原提供高精度資料作為參考。
當然，多光譜感測器對於消費者也不是新鮮技術。去年年底釋出的華為 P50 Pocket 就能實現紫外線檢測功能，也是透過 10 通道光譜感測器完成的。這次 Find X5 系列的 13 通道多光譜感測器應該能把純色色彩校準得更加準確，這是以往連 iPhone 都做不到的。
自研多年的影像 NPU 晶片「馬里亞納 MariSilicon X」，也將在 Find X5 系列正式搭載，為計算攝影能力帶來底層質變。和以往大部分廠商直接從晶片廠商購入 3A 演算法、然後進行小修小補的做法不同，OPPO 可以基於馬里亞納 MariSilicon X 做更多、更深入也更靈活的底層開發，藉助它高達 18Tops 的算力以及自研 3A 演算法，無論是整合來自 13 通道光譜感測器的資料輸入，還是在純色、大面混淆色這類棘手場景下的色彩還原，效果都會有大幅提升。
當然了，最後還有一個色彩輸出風格的標定，這就需要一種對自然和審美的長期經驗積累了。OPPO Find X5 系列此前已經官宣了和擁有百年曆史的哈蘇合作，並且也通過了哈蘇的自然色彩認證，色彩除錯方案對標的是哈蘇中畫幅相機，實際拍攝的色彩效果非常令人期待。
我們曾經一直以為手機攝影已經很強大了，但基於演算法的盲猜效果已經不能滿足使用者的需求，結合軟硬體綜合實力的自然色彩時代，才剛剛開始。