2021年12月10日，由廣東省遊戲產業協會、廣東省虛擬現實產業技術創新聯盟、深圳市科學技術協會、深圳市網際網路文化市場協會指導，陀螺科技主辦，深圳市科技開發交流中心、恆悅創客魔方協辦，行業頭部媒體遊戲陀螺、VR陀螺、陀螺電競、陀螺財經、陀螺傳媒聯合主辦的2021未來商業生態連結大會暨第六屆金陀螺獎頒獎典禮（簡稱“FBEC2021”）在深圳大中華喜來登酒店6樓宴會廳盛大開幕！

在中國力量·2021 5G XR產業峰會現場，歡創科技創始人周琨：以“從雙目到四目，XR空間定位技術的發展”為主題發表了演講。

以下為演講實錄：

今天我演講的題目是“從雙目到四目，XR空間定位技術的發展”，內容由四個部分組成：

首先介紹一下AR/VR視覺空間定位的技術。空間定位主要分為外定位和自定位兩個技術流派，外定位叫Outside-in，將感測器和攝像機安裝在外部，從外向內來觀察活動的物體或者人物。它的特點：安裝和使用比較複雜，但是精度比較高，視角有限，容易被遮擋。比較常見的像OptiTrack，應用領域是影視動捕、VR、工業機器人等等。

第二種叫自定位（inside-Out），相機或感測器往往設定在頭盔上，從內向外觀測視覺，比如vSlam，特點是便攜、視角理論無限大、定位精度相對較低，應用領域是移動機器人等。在VR方面應用得比較廣泛的就是Oculus第一代產品Oculus Rift，採用外定位技術來做定位，把相機安裝在應用環境的外部，透過相繼觀測使用者頭部或者手部所佩戴物體上面的Marker來定位頭部和手部的空間位置。

前幾年的時候已經逐漸被後面Inside-Out所替代了，替代的主要原因就是成本和安裝便捷性的問題。這些年越來越多的公司採用自定位。自定位方案有兩種細分的流派：

一種是基於Marker，手部定位就是Marker，特點是定位精度比較高，適用於高速和高精度的定位場景；

另外一種是基於無marker，頭部的定位就是無marker的方式，安裝比較方便，精度低一些，容易受到環境的影響。從外定位和自定位比較起來看，有很多指標說明它們的區別。

從精度上看，外定位高一些，可以做到毫米級；自定位只能做到釐米級。兩者延遲差不多。可移動範圍，外定位一定要在環境中佈置一圈攝像頭，在此基礎上才能實現外定位；成本，外定位的安裝成本和使用成本比較高，比較麻煩。

自定位非常方便，所以在C端應用上非常受歡迎，這也是為什麼Inside-Out越來越流行的原因。外部感測器，外定位需要設定攝像機，自定位不需要；抗遮擋方面，外定位會受到影響，而自定位是不受影響。

說一下公司在inside-Out上的一些積累。公司從2015開始研究AR/VR的定位，開始研究的是外定位，後來切換到了自定位，我們基於雙目做的自定位技術，在研究Inside-Out的時候我們面臨了幾個方面的挑戰。

第一，手柄上面光帶方案的設計難度很大，別小看Oculus上面小小的光帶，有很多LED，LED的數量、佈局都有講究，另外它的大小和尺寸很關鍵。做技術的人都喜歡光帶設計得大一點，大一點容易識別，但是作為消費者場景來講不太好，安裝不方便，用起來也不美觀，對於C端產品的銷售肯定不利的，因此兩者之間需要形成平衡，而且我們作為技術公司，開發的時候還要時時刻刻注意專利的問題。因為AR/VR是一個全球競爭的舞臺，Oculus和微軟在這個領域佈局已經很多年了，因此要注意專利的規避，這是第一個難點。

第二，初始化的問題。因為CV方案最大的痛點和難點就是視場角的問題，Controller會超過視線範圍，超出範圍回來之後，要對於攝像機進行初始化，初始化做得不好就會延遲初始化或者卡頓，最好在攝像機一幀的時間內完成初始化的工作。這對於初始化的演算法有很高的要求，需要快速初始化才能讓消費者感覺不到延遲和卡頓，很快自然而然追蹤手柄正確的位置。

第三，多個Controller交叉、重疊、遮擋的情況的處理，出現重疊之後不能讓它出現漂移和出錯，這在演算法設計當中是非常大的難題。

前面這些是五星級的難題。後面還有三個難題：

第一，為了降低成本和功耗，不可能把頭部追蹤的Camera和手部的Camera分開，Camera既要實現頭部追蹤，也要進行手部追蹤，要十分複用，這需要做到切換，這就要避開專利的問題；

第二，高速跟蹤的問題，手裡拿的Controller最快達到7秒，高速運動之下，咱們手部的演算法是否適合運動的姿態；

第三，把演算法移動到嵌入平臺的問題。現在都要跑一體機，像高通、麒麟海思這樣的平臺，處理效能還是有區別的，怎麼讓演算法跑到平臺上，不再佔用CPU，需要把DSP用好，這也是一個挑戰。

現在已經完成了第一代XR雙目定位方案的一個研發，推出來的產品實現了inside-Out雙目的追蹤，FOV是170度，而且可以使用低成本，Camera微機分佈就可以了。

這是我們在實踐過程中得到的引數，包括感測器數量、解析度、幀率、視場角、最大距離、動態的角度、精度、動態的位置精度、預算延遲以及佔用的實際功耗和CPU佔用率，這是我們實際測量出來的結果。

從雙目開始到四目是一個趨勢。因為我們在研發過程中和與客戶的對接過程中發現一個問題：雙目有一個侷限性，FOV不夠大，FOV小的話會不斷超出FOV的視野範圍，導致使用者經常遇到初始化的問題。

總之，它的效果體驗不如四目方案好，因此我們往四目方案演進。但演進並非簡單地把兩個攝像頭換成四個攝像頭，將攝像頭進行堆砌，要處理的問題很多。因為四目擴充套件了範圍，因此交疊的區域小了，鏡頭的畸變非常厲害，怎麼做呢？要做到非常高精度的定位才行，這是難點。二是運算量大了很多，雙目變成四目，運動量翻書了一番，但對於四目的處理量又不能很大。

將效能做一個提升，FOV從170度變成220度，垂直視角增加了一倍，另外在動態的角度定位誤差和位置定位誤差方面也進行了大幅的最佳化。

我們看一下雙目和四目的對比，這是我們的演示影片，左邊是雙目定位，右邊是四目定位方案。每一幅圖左邊是原始圖象，右邊是它所還原出來的六軸的姿態，我們看一下演示的影片。

演示過程中，使用者會出現各種各樣的動作，比如有遮擋、交叉、重疊，還會把手伸到後方再拿出來，讓我們實現初始化的過程。追蹤系統還是能夠非常靈活和穩定地追蹤它的效果和位置。右側是我們四目的追蹤系統，運動起來使它的範圍大幅擴大了，這樣使得使用者體驗更好，避免它超出這個基線之後需要用IMU來追蹤的問題，使得它的體驗會更加流暢和連貫。

另外，這裡面要解決好的問題還包括，使用者使用過程中或者參加展會，會遇到環境光干擾的問題，這需要在我們的演算法上進行比較好的處理。這是我們的對比結果，從視場角到定位精度再到延遲，能看到我們有很大的提升。

我們公司2014年成立，是一個專注於做高精度定位感測器的公司，公司成立以來一直做高精度定位的演算法以及演算法晶片的研發。目前我們主要的產品線是在機器人層面的產品線，做鐳射雷達，裡面的晶片也是我們設計的。

目前我們在行業裡是頭部供應商的定位。同時，第二條線是在AR/VR領域，從2015年開始做AR/VR的工作，2015年的時候與愛奇藝合作，為它們提供外定位方案的解決方案。今年年初的時候完成了2億的B輪融資。

這是我們公司的主營業務：

第一，機器人裡面的鐳射雷達，包括這裡面的三大廠商，石頭、科沃斯、小米，其中有兩家都是我的客戶，出貨量今年達到將近200萬臺；

第二，VR領域，專門為客戶提供高精度6DoF的模組；

第三，工業醫療領域提供高精度定位系統，中國商用飛機公司也是我們的使用者。

這是我們公司的願景，致力於成為全球計算機視覺空間定位領先的企業。