“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

作者 / 於雷

從未間斷的自動駕駛技術路線之爭,近期似乎又上了新的高度。

豐田旗下的Woven Planet明確加入「純視覺陣營」,瞬間成為了自動駕駛領域的爆炸性新聞。不僅因為豐田全球銷量第一的身份,也因為其作為特斯拉的早期核心投資者,豐田此前表露出來的身份一直都是鐳射雷達擁躉。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

2017年,豐田TRI部門基於雷克薩斯LS600h改造自動駕駛原型車,就已搭載了7顆鐳射雷達。2021年,豐田Mirai和雷克薩斯LS採用的Advanced Drive駕駛輔助系統,也配備了3顆鐳射雷達。

對此,

豐田方面的解釋指向了當前自動駕駛最大的兩個難題——降低成本,擴大技術規模。

據悉,Woven Planet使用的攝像頭比以前使用的感測器便宜90%,而且可以很容易地安裝在乘用車上。

不過,這也並不意味著純視覺方案將成為高階自動駕駛的主流方案。從目前市場上的智慧車型規劃來看,一顆鐳射雷達稀疏平常,2-4顆也已上車。業內對於兩種路線的爭論雖遠不能分勝負,但也在持續揭露出這兩種方案亟待解決的問題。

一、降本與量產難題

實際上,純視覺和多感測器融合方案,已經成為當前自動駕駛發展道路上的一大分歧。Waymo、Cruise、百度、華為、滴滴、小馬智行等公司都在採用以鐳射雷達+攝像頭為主的多感測器融合方案,而堅定宣稱走純視覺路線的知名公司僅有特斯拉和豐田。

清華大學動力工程與工程熱物理博士張抗抗表示,

純視覺方案的最主要優勢是成本低,而多感測器融合方案可以更好地處理corner case,但對算力要求非常高,也有非常高的硬體成本。

不過,即便是有一天視覺演算法達到了人類駕駛員的水平,增加鐳射雷達仍可以進一步降低事故率,要考慮的僅僅只是成本收益問題。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

但現實情況是,鐳射雷達想要大規模裝車,成本問題首當其衝。以大疆Livox Horizon鐳射雷達為例,採用6個成本相對較低的905nm鐳射發射器,透過非往復式掃描方案,做到了等效100線左右的水平,大幅縮減鐳射發射器和接收器的數量,

但上市時售價仍達到了海外800美元/國內6499元人民幣

(目前官網售價已調整至海外1299美元/國內7199元人民幣,具體原因有待核實)。

逆向工程及成本分析公司Systemplus Consulting曾對這款鐳射雷達做過測算分拆,表示該雷達的光學模組成本佔比達到54%,而發射模組、接收模組成本佔比分別在7%和4%,其他成本佔比較大是MCU模組。

可見,即使透過掃描技術降低鐳射發射器的線束需求,其對應的光學模組成本佔比依然是最高。

而鐳射雷達核心的MEMS微鏡、鐳射發射器等上游元器件主要靠進口,這部分技術被國外企業壟斷,短時間內難以實現降本。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

長江證券研究所的報告指出,MEMS半固態鐳射雷達供應鏈最為成熟,產品售價在500-1000美元。Flash鐳射雷達在消費電子領域產品有較高成熟度,但在車載領域需要解決高能量發射的痛點,目前價格相對MEMS較高,遠期有潛力下探到500美元以下。

至於未來,華為此前提出要將鐳射雷達成本降低至200美元,已經當前公開發言中相當低的數字。國內鐳射雷達供應商探維科技CEO王世瑋,在近期採訪時也給出了他的最新預測:

鐳射雷達未來有機會做到2000-3000元人民幣,這也是車企可以接受的一個範圍。

另一方面,張抗抗在分析中,對華為的200美元說法,提出了5個方面的猜想:1、量產導致成本的降低;2、技術的進步促使了成本降低;3、針對應用場景開發特定效能的產品以降低成本;4、提供更好的系統開發環境以降低主機廠的研發成本,相當於變相降低了鐳射雷達成本;5、華為提供整套方案,鐳射雷達讓出的利潤可在整套方案中掙回來,也相當於降低了成本。

但從目前的情況來看,降本的預期可能還很遙遠。

蘇州嶺緯智慧科技有限公司的一位客戶經理透露:

如果有效探測距要達到200m以上,大機率要用到1550nm鐳射發射器,其價格在100美元左右。

而1個Livox Horizon鐳射雷達,就用到了6個鐳射發射器,還是成本更低的905nm。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

然而,1550nm鐳射發射器已成未來的應用方向。目前的車規級鐳射發射器一般有905nm和1550nm兩類。但因為905nm鐳射可能傷害人眼,為滿足Class-A安全要求只能降低功率,探測距離相對有限。而1550nm的鐳射在到達視網膜之前基本都會被晶狀體和角膜吸收,可採用更大的發射功率,穿透能力、探測距離更加出色。

相比單車就要帶有2-4顆鐳射雷達的多感測器融合方案,只依靠攝像頭的純視覺方案成本優勢非常明顯。

根據半導體公司安森美公佈的資料,L2級自動駕駛每輛車攝像頭總成本為40美元,L3級自動駕駛每輛車攝像頭成本也只是185美元。

這不僅對量產車製造成本影響較小,也在相應程度上解決了只能應用在中高階車型上的問題。Woven Planet也將他們已確定要走的純視覺方案稱為「突破」,希望能夠有助於降低成本,更好地擴充套件豐田汽車自動駕駛技術。

二、演算法迭代難題

除了成本以外,純視覺方案和多感測器融合方案也有著邏輯上的不同,不能僅對比感測器效能和算力。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

對於純視覺方案來說,研發壓力主要在於軟體算

法。

攝像頭可以比作人眼,可以採集帶有最豐富和完整的畫面資訊,但能解析多少要靠經過學習、最佳化、篩選後的AI模型,進行高效可靠的推導。即使在硬體相同的情況下,也能依靠軟體不斷迭代來提升能力,最終達到人眼的水平,甚至超越人眼的水平。

鐳射雷達的能力與硬體效能高度相關,核心原理是運用回波時間測量法,由鐳射二極體發出紅外脈衝光,脈衝光照射到物體表面後發射回一部分光束,光束被鐳射雷達上搭載的光子探測器接收並記錄,透過計算發射和探測的時間差,得出目標物表面與鐳射雷達探測器之間的距離。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

對於鐳射雷達來說,

點雲數量和最終能夠得到多少細節有著直接關係,如大疆Livox Horiz

on點雲數

據率可以達到24

0000點/每秒。但也因為點雲數量異常龐大,需要極高的算力支援。

目前,蔚來、智己等帶鐳射雷達的多感測器融合方案,算力已經高達1000+TOPS。

此外,鐳射雷達因為不具備色彩、文字等完整的環境感知能力,實際並不能作為單一的感測器來使用,不能當做攝像頭的完全冗餘。而且,其對於環境的適應能力,也不如宣傳時來的誇張,玻璃、雨霧、揚塵、飄動的垃圾等都有可能影響鐳射傳遞,進而影響最終的感知結果。

當然,目前視覺方案的感知能力也有侷限,但卻是高度冗餘的訊號,最終的上限也可以接近甚至超越人眼。不過,純視覺路線也更為漫長,需要積累足夠多的資料和情景,不斷進行演算法迭代。

特斯拉的AI高階總監Andrej Karpathy早些時候也在公開演講裡表示:「純視覺能夠精準感知深度、速度、加速度資訊,實現純視覺是一件困難的事情,還需要大量的資料。」

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

Andrej Karpathy提及的資料,也是困擾純視覺方案迭代,以及影響自動駕駛公司和車企路線選擇的難題。

純視覺系統辨別物體高度依賴樣本的訓練,難以辨別樣本未覆蓋的物體,

這也導致其在初期應對corner case的能力有限。

而且,無論單目還是多目方案,都存在距離檢測難度大的問題,靜止物體的識別率相對較低。

早期以視覺為主的駕駛輔助方案,實際應用時都遇到過大量難以招架的場景,甚至還引發了數起轟動性事故,包括特斯拉將側翻倒地的白色卡車當成天空、未識別出正在轉彎的白色半掛卡車;蔚來ES8撞擊施工作業車;小鵬P7未識別出側翻轎車、未減速撞向60km/h正常行駛的空載掛車等。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

為此,特斯拉提出的解決方案是「影子模式」:

透過量產車輛持續收集外部環境與駕駛者的行為,與自

身策略對比,如果駕駛者實際操作與其判斷有出入,資料就會上傳至特斯拉雲端,並對演算法進行修正訓練。

目前,特斯拉車端搭載的HW3。0晶片具備每秒處理2000多幀畫面的能力。

Andrej Karpathy透露,完成7輪影子模式的迴圈驗證之後,特斯拉一共處理了100萬條10秒短影片,這些影片全部來自特斯拉車身拍攝的畫面。同時,特斯拉為60億個物體做了標籤化處理,同時包含精準的深度和速度資訊。這些資料一共有1。5PB。

然而,特斯拉的解決方案並不容易複製。其得以實施影子模式,一方面依託於出色的量產車銷量,另一方面也是因為其每款車均預裝了全部的駕駛輔助硬體。這對於市場規模不夠的造車新勢力、或解決方案供應商來說,都存在很大挑戰。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

地平線智慧駕駛產品線產品規劃與市場高階總監呂鵬還向Auto Byte指出了另一個關鍵問題:

「目前大部分車企傾向於選擇帶鐳射雷達的方案,其原因在於純視覺方案走到量產落地需要花更長的時間,而現在競爭主要是加速商業化落地,速度至關重要。」

Woven Planet的想法與特斯拉類似,其工程副總裁Michael Benisch表示:「我們可以釋放豐田和大型汽車製造商所擁有的優勢,即獲取大量資料。」他們認為,使用大量汽車收集不同的駕駛資料,對於開發一個強大的自動駕駛汽車系統十分重要,但使用昂貴的感測器測試自動駕駛汽車成本太高,而且無法進行規模化測試。

三、感測器冗餘和融合難題

在純視覺方案和帶鐳射雷達的感測器融合方案之間,冗餘也是被談及較多的問題。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

純視覺方案的核心在於讀懂拍到的東西到底是什麼,基於攝像頭收集到的僅是2D資料,需要進行影象分割、物體分類、目標跟蹤、世界模型、多感測器融合、線上標定、視覺SLAM、ISP等一系列步驟進行匹配與深度學習,分析影象中的每個畫素,將其還原成真實的3D場景。

但是,純視覺方案的能力與資料量高度相關,目前仍存在漏檢無法完全應對corner case的情況。因此,有部分企業提出了加入鐳射雷達來解決測距問題,給攝像頭做部分冗餘。

這種初衷是利用各感測器的優勢,如視覺的影象資訊+雷達的速度和位置資訊。

不過在實現這一目標的過程中,也出現了新的難題,不同感測器之間要如何融合?是否只保留優勢資訊,還是不同感測器之間也要相互交叉驗證?相比之下,僅有單一型別感測器的純視覺方案,這方面的壓力要小得多。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

馬斯克近期在微博討論自動駕駛汽車不同的感知方案時也表示,汽車上的純視覺方案,尤其是在使用顯式光子計算時,比雷達+視覺的組合要好很多。後者有太多的不確定性——當雷達和視覺感知不一致時,不清楚該相信哪個。

王世瑋也對其選擇純視覺路線的動機做出了進一步分析:

「多感測器融合確實是比較複雜、容易出問題的地方,攝像頭和雷達獨立去做採集和感知,決策過程中還要做取捨和判斷,如果規則設定或者系統架構不合理,也有可能會出現1+1<1的情況。」

目前,多感測器主要有三種融合架構,但均存在優劣勢:

集中式融合架構:將各感測器獲得的原始資料直接送到中央處理器進行融合處理,資料處理精度高,演算法相對靈活,但各感測器相互獨立,資料直接流向融合中心,缺乏必要的聯絡,融合中心的計算和資訊負載過重,容錯性過差。

分散式融合架構:將各感測器獲得的資料進行區域性融合處理,然後將結果送入中央處理器,最終獲得目標結果。每個感測器均具備估計全域性資訊的能力,可靠性、容錯性高,對通訊頻寬要求低。但中央處理器只能獲得各個感測器處理後的物件資料,無法訪問原始資料。因為感測器自身帶有處理器,也導致體積大、功耗高。

混合式架構:集中式和分散式的混合應用,部分感測器帶處理器,不帶感測器的傳輸到中央處理器,兼顧集中式融合和分散式融合的優點,穩定性較強,但同時也面臨缺乏部分原始資訊,對通訊頻寬、計算能力要求高等問題。

除了融合架構之外,多感測器方案還要面臨資訊融合時的級別分類:前融合包括資料集融合與特徵級融合,後融合是目標級或決策級融合。

不過,由於原始資料噪聲大、資訊利用率低以及多模態感測器的無對準,達到相當好的效能並非易事。目前,該路線也還存在諸多挑戰:未建立統一的融合理論和有效廣義融合模型及演算法;對資料融合的具體方法的研究也處於初步階段;融合系統中的容錯性或魯棒性問題也待解決。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

但在當前階段,增加鐳射雷達做部分資訊的冗餘,仍是解決視覺技術不夠成熟的一種策略。呂鵬也向Auto Byte表示:

「在視覺技術還不夠成熟的時候,鐳射雷達是可以被用來『補短板』,多一個資訊維度的輸入保證安全。」

黑芝麻智慧應用工程總監王九旭也提到:「現階段,鐳射雷達確實是一個能有效補齊攝像頭、毫米波雷達不足的硬體。在一定演算法基礎上、足夠算力支撐下,藉助鐳射雷達可以加速自動駕駛推出時間。」

從目前的商業化方案來看,有競爭自動駕駛量產節點意圖的車企,普遍都採用了帶有鐳射雷達的多感測器方案。

但細分下來,這些在宣傳時均少不了以鐳射雷達作為亮點的車企中,也不乏一些僅以鐳射雷達做資訊冗餘,實際在走純視覺路線的車企。

“純視覺”與“多感測器”路線之爭背後,久未解決的3大難題

其中,比較有代表性的是集度和智己。前者的系統原型是百度純視覺方案ANP,後者採用的Momenta技術也是純視覺路線,而且無鐳射雷達的L7測試車已在去年進行過上海市區的公開路測。

根據集度公佈的資訊來看,其是做出了純視覺和雷達兩套完全獨立的系統,以實現互為備份、相互補充。與之類似的還有Mobileye,以純視覺子系統為主,雷達子系統主要在緊急避險時用作安全冗餘。

而採用這種方案的目的,也是規避純視覺方案依賴資料且需要大量時間走向成熟的問題。

對於特斯拉和豐田來說,龐大的量產車規模是被他們押注純視覺方案的關鍵。但是在目前的技術環境下,純視覺和多感測器融合方案,並不一定是相互對立的關係。

至於未來的結果如何,呂鵬與Auto Byte交流時提到了至關重要的一點:「不管是純視覺、鐳射雷達,還是別的技術路線,最終在市場上勝出的自動駕駛解決方案,看的還是使用者體驗。

如果純視覺方案和帶鐳射雷達方案的安全性與使用者體驗相當,那麼市場自然會偏向純視覺的方向,畢竟這其中直接涉及到整車的成本,但這也是一個循序漸進的過程。

參考連結:

https://view。inews。qq。com/a/20210427A044EM00

https://www。doc88。com/p-99639058019672。html?r=1

https://zhuanlan。zhihu。com/p/470588787

https://www。zhihu。com/question/433267289/answer/1857116584

https://zhuanlan。zhihu。com/p/161561792?ivk_sa=1024320u

關於Auto Byte

Auto Byte 為機器之心推出的智慧出行垂直媒體,關注自動駕駛、新能源、晶片、軟體、汽車製造和智慧交通等方向的前沿研究與技術應用,透過技術以洞察產品、公司和行業,幫助汽車領域專業從業者和相關使用者瞭解技術發展與產業趨勢。

歡迎

註標星

,並點選右下角

點贊

在看