Karl Guttag（卡爾·古塔格）是國外的一個近眼顯示專家，在計算機圖形、顯示器和人機視覺介面方面擁有40多年的經驗。
近期，他專門針對META Quest Pro（後簡稱MQP）的全綵透視效果進行了深度體驗，他表示：“對於一些VR愛好者和YouTuber而言，他們會對MQP所展現的大螢幕以及多視窗感到驚訝。不過它的畫素顆粒感、聚散調節衝突以及閃爍問題，使得它在商業應用中表現不佳。”
圖源：Meta
在Meta的官方描述中，它表示MQP朝外的攝像頭能捕捉的畫素量為Quest 2的四倍，從而實現“物理世界和數字世界”無縫的體驗。不過Karl Guttag卻表示MQP全綵透視效果一般，體驗很難稱之為“無縫”。
為了直觀展示MQP在實際表現中存在的問題，Karl Guttag進行了一系列測試。下面的影象/影片來源主要有兩種，一是使用Meta Quest Developer HUB （ MQDH ） 軟體對顯示畫面進行截圖/錄屏，二是使用相機對螢幕進行拍攝。拍攝裝置為佳能R5，8192 x 5464畫素，鏡頭約16毫米，水平FOV約106°，垂直FOV 約81°，相機解析力接近於人眼所看到的效果。
圖源：Karl Guttag
畫面有桶形失真，解析度表現不佳
下圖為透過MQDH軟體擷取的畫面，可以看到畫面出現了旋轉效果，這是因為MQP的物理顯示器進行了21°反向旋轉處理。
根據海外分析師SadlyItsBradley的說法，Meta之所以會採用旋轉螢幕設計，原因可能有兩點：一是能提供更大的垂直FOV、二是因為裝置使用Pancake光學方案，光學器件更靠近使用者的臉，這樣可以給鼻子的三角形區域留出空間。
圖源：Karl Guttag
上圖出現了桶形失真，即四個邊都向外彎曲，而桶形失真用於糾正MQP Pancake光學元件所導致的枕形失真問題（很多VR光學元件都有類似的失真糾正機制）。這使得畫面外圍的畫素被光學拉長，因此解析度較低。
下面一張圖中，左1為截圖畫面，左2為相機拍屏畫面，右1為相機直接拍攝真實環境的照片。對比左邊兩張圖，可以發現最左邊影象已經經過失真糾正處理，不過它書櫃處的外部畫素因為光學畸變而被顯著拉伸超過兩倍。
圖源：Karl Guttag
下面的測試中，Karl Guttag進一步給我們展示了MQP全綵透視糟糕的解析度表現。
下圖左為MQP開啟全綵透視所拍攝到的Snellen視力表畫面，右為相機直接拍攝畫面（畫面經過了區域性放大處理）。在美國，看不到第一行的“E”基本上等同於“盲人”，而MQP的顯示效果介於20/200（“法定盲人”）和10/200（“視障者”）之間。
此外，在顏色方面，左圖還出現了很多問題，如書櫃顏色過度飽和，視力表上方出現了色彩偏移，其他地方又有欠飽和等問題。相比之下，右邊相機所拍攝的畫面與肉眼觀感較為接近。
左為MQP透視效果，右為相機直接拍攝畫面，圖源：Karl Guttag
SadlyItsBradley表示，MQP的彩色透視功能使用了兩個解析度為1280x1024的IR攝像頭為顯示器提供亮度資訊（兼做追蹤和SLAM演算法），此外，它還有一個1600萬畫素的RGB攝像頭，主要用於影象著色。
兩顆1280X1024畫素的攝像頭，從影象採集到最終螢幕成像，會經歷裁剪、旋轉和桶形扭曲等過程，最終生成的影象畫素質量約500x500，由於MQP單眼視場角約85度，簡單換算它的影象PPD約為6。
為了更直觀展示MQP相機的解析度表現，Karl Guttag還設定了三組對比照片，左1為MQP的截圖畫面，左2為相機拍攝的畫面（約70PPD），右2為經過適當壓縮處理的相機拍攝畫面（約6PPD）。
圖源：Karl Guttag
下面為區域性放大圖，（最右邊補充了Quest 2的透視效果圖）。從下圖左2可以看到，MQP透視的解析度確實不理想，它的表現甚至要比左3以6。4PPD模擬的圖片還要糟糕。因此，Karl Guttag指出，佩戴MQP時，最佳中心視力只有約人類良好視力的 1/10。
圖源：Karl Guttag
對於透視的成像效果問題，Meta的工程師理應清楚，將單個彩色攝像頭與兩個跟蹤攝像頭結合使用會嚴重損害影象質量。不過在這種情況下，它們依舊願意犧牲影象質量來換取虛實物體位置的穩定。Meta團隊實現了這一目標，但代價是影象質量以及失真程度（特別是觀察近距離物體時）表現糟糕。
SadlyItsBradley指出，Meta Quest 3將配備兩顆高解析度的彩色攝像頭，每隻眼睛各一個（或類似於奇遇MIX的方案），這樣應該能實現更好的全綵透視效果。不過，如果試圖透過實時跟蹤和深度感應相機資訊對映真實世界的畫面，仍可能會出現失真問題。因為全綵透視非常依賴處理器效能，並且對於續航而言也是一大負擔。
即將釋出的Quest 3爆料圖片，圖源：SadlyItsBradley
透視效果動態範圍表現慘淡，M2P時延約50ms
除靜態畫面外，Karl Guttag還針對MQP彩色透視的影片效果做了相應測試。他指出，MQP彩色透視的動態範圍表現簡直可以用慘淡來形容。
由於MQP使用的是對紅外線敏感的跟蹤相機，這使得它拍攝任何明亮或發光的東西，畫面都會顯得發白，而在光線不好的情況下，畫面會變得非常嘈雜。
下面影片中不難發現MQP彩色透視所呈現的動態範圍低、畫面以及顏色失真等問題。近距離物體表現很糟糕，但是距離較遠的物體也會發生奇怪的扭曲現象。
在其他一些測試場景中，MQP所拍攝的燈光和電腦螢幕都出現了過曝現象，並且紙張由於出現扭曲變得基本無法閱讀。
下面的影片中，裡面放置了一個貼有斯內倫圖表的計時器，還有一個電腦計時器（用於實現頭顯影片錄製以及相機拍攝畫面的幀同步）。由於過曝問題，電腦螢幕亮度需要設定成最低，不然無法看清楚螢幕畫面。
從影片裡面擺動的指標可以發現，在運動場景下，它的畫面失真較為嚴重，並且畫面顏色填充要明顯滯後於運動。
值得注意的一點是，雖然錄屏畫面看起來顏色還原較為準確，但是拍屏畫面顏色已經過飽和，實際肉眼觀看也如此。考慮到在VR模式下，MQP顏色還原十分準確，但透視模式的顏色表現卻不如人意，這點讓人有些費解。
左為拍屏畫面，右為影片錄製畫面，圖源：Karl Guttag
除了顏色問題，Karl Guttag還發現錄屏軟體所捕獲到的影片畫面每3幀就會出現一次畫面撕裂的情況，而透過相機拍攝的畫面（4K60幀拍攝）並沒有這一問題。原因可能在於軟體錄製的影片源與頭顯播放的影片源並不同步。
錄屏情況下發生的畫面撕裂現象，圖源：Karl Guttag
錄屏畫面與拍屏畫面顯示效果有差異不僅在Karl Guttag的測試中有所反映，很多使用者也表示他們所錄製的影片源觀感要優於親眼看到的效果。
因此Karl Guttag懷疑MQP在成像時會優先照顧運動到光子的時延（M2P）而不是畫面整體質量，而在錄屏時則剛好反了過來，這時候會優先考慮畫面質量而非M2P時延。
Karl Guttag使用光感測器測量發現，裝置的M2P時延約為40-50ms。
使用影片透視做MR，許多老大難問題還沒解決
AR/VR裝置的透視方式主要可以分為影片透視（Video See-Through，VST）和光學透視（Optical See-Through，OST）兩種。一些資料指出，光學透視方案下，使用者透過放置在眼前的半透明光學合成器看到外界真實世界，同時光學合成器也將計算機生成的影象反射到使用者的眼睛裡，從而將真實世界和虛擬世界結合起來。
而影片透視則是透過相機捕捉到真實世界的實時檢視，然後與計算機影象技術結合在一起，展示在不透明的顯示器上，最終進入使用者的視野。
影片透視是VR的主流透視方案，如果細分的話還包含黑白透視，全綵透視等。此前Karl Guttag曾經討論了用影片透視做AR的一些優缺點。
資料來源：Karl Guttag
用影片透視做AR通常是不安全的，因為它可以透過多種方式掩蓋現實世界的危險。以至於有人把它稱之為”VR to the ER“（從VR到急診室）。
MQP的透視模式緩解了部分VR視覺安全問題，不過還有很多問題沒有解決：
頭顯仍然會擋住使用者的大部分視線；
VR內容完全阻隔現實世界；
動態範圍太差，昏暗環境下基本不可用；
現實世界的解析度很差；
透視模式下的影片可能會出現高度失真問題。
除此之外，頭顯還面臨著輻輳調節衝突、閃爍等問題。
結語
MQP的透視模式相比Quest 2有了很大的提升，但是離真正的MR裝置還離得很遠。
彩色透視可用於在現實世界中尋找物件以及為VR應用設定安全邊界，但是它在AR/MR應用方面表現很糟糕，Meta把MQP稱之為混合現實裝置著實有點名不符實。
Meta在元宇宙花費了超過300億美元，而MQP是他們所打造的價值1500美元的專業裝置。從人類視覺因素的角度來看，MQP犯了很多錯誤，以至於Karl Guttag表示，這款裝置強化了他對於“Passthrough AR擁有眾多缺點”的刻板印象。
資料來源：
https：//kguttag。com/2023/01/03/meta-quest-pro-part-1-unbelievably-bad-ar-passthrough/
開啟App看更多精彩內容