機器之心報道
編輯：蛋醬
2023 年，城市 NOA 迎來爆發元年。
圍繞城市 NOA 的討論，成為了今年自動駕駛領域最受關注的話題之一。
當眾多車企全力推進城市 NOA 的量產落地，重感知、去高精度地圖已成為業內公認的趨勢。
但在實際的車輛運行中，面向復雜多變的路交通環境，在車端部署城市 NOA 需要精準高效的感知融合算法，以滿足車規級計算平臺的適配，有效解決復雜路況中的各種長尾問題。
這意味著，自動駕駛的感知模塊將要迎接更高的挑戰，而其中的一個難點在於如何評估「感知結果」與「自動駕駛系統決策規劃結果」之間的關系。
眾所周知，自動駕駛感知模塊的高效評測是自動駕駛技術研發過程中一個非常重要的部分，它直接影響整個智能系統的安全性和可靠性。
此前業界的大多數方法僅針對感知模塊進行評測，但忽略了感知模塊對自動駕駛決策規劃行為的整體影響，目前僅有 Waymo、NVIDIA 和多倫多大學對該問題進行了有效探索。
輕舟智航是一家行業領先的自動駕駛通用解決方案公司，2019 年 3 月於矽谷成立，並於同年 11 月落地中國創立總部，迄今已積累了全棧自研的核心技術體系。
輕舟智航在去年完成轉型，聚焦以中高階輔助駕駛解決方案服務車企。
在最近的一篇 ICML 2023 論文中，輕舟智航創新地提出了一套考慮全局影響的感知模塊高效評測和理論分析框架，極大地推動了自動駕駛領域這一基礎性問題的突破。
這種從規劃器視角出發的框架提供了一種新的方法來評估感知模塊對整個自動駕駛系統的影響，從而改進設計和優化感知模塊，幫助提高自動駕駛系統的性能和安全性。
論文鏈接：
https://arxiv.org/pdf/2306.07276.pdf
ICML《International Conference on Machine Learning，國際機器學習大會》，與 NeurIPS 和 ICLR 一起，被公認為機器學習和人工智能研究中具有高度影響力的三大主要會議之一。
目前，ICML 為 CCF《中國計算機學會》推薦的 A 類會議，同時也是 Core Conference Ranking 的 A* 類會議，被視為推動機器學習發展的重要會議。
研究背景
自動駕駛領域在工業界和學術界在近期均得到了迅速發展。
車載感知模塊是自動駕駛汽車獲取動態環境信息的重要來源。
傳統的計算機視覺感知任務《如檢測、分割、跟蹤等》雖然可以直接套用來評價感知模塊的性能，但是這些評價方法忽略了感知模塊在自動駕駛系統中對系統整體的影響。
事實上，感知模塊結果中相似的錯誤對決策規劃控制的影響可能大相徑庭：例如同樣是靜態障礙物的漏檢，這種錯誤發生在正在向前行駛的自動駕駛車輛前方時相對於發生在後方要嚴重得多。
因此整個領域都非常需要一個高效和有效的工具來評價感知模塊性能對整個自動駕駛任務的影響。
之前試圖解決這個問題的工作大多從自動駕駛的軌跡輸出來試圖衡量感知誤差對自動駕駛系統的影響。
一個常見的方法就是通過計算自動駕駛車輛的決策規劃在真值和實際感知輸入作用下得到的結果的區別來判斷影響大小。
但是自動駕駛車輛最終行為的改變與最終結果之間的相關性在不少情況下都比較弱，在某些場景下甚至呈負相關，如下圖所示：
圖中紅色箭頭表示自動駕駛車輛決策規劃在感知真值輸入下得到的最優動作軌跡，灰色箭頭表示在錯誤感知下的最優動作軌跡。
彩色和灰度的路障分別表示障礙物的真實位置和錯誤感知位置。
在《a》情況下，自動駕駛汽車必須繞行較大的彎路，以繞過錯誤感知的路障。
而對於《b》， 自動駕駛車輛雖然需要稍微向右做微小繞道，然而它最終在實際世界裡撞上了路障。
在這種情況下，盡管行為的改變遠遠小於《a》，但結果卻明顯更糟《『撞到一個物體』 vs 『繞了遠路』》。
在《c》中，不論是向左還是向右繞道，任何一種方式的結果對 『向前移動』 這一目的來說都沒有太大區別；但就時空軌跡而言，行為的變化非常大。
在《d》場景裡，道路兩側各有一個被誤檢的路障，但並不會與前進通過的車輛發生碰撞《雖然車輛經過時路障距離車輛很近》；在這個有誤檢的情況下自動駕駛車輛仍然決定保持與真實情況相同的運動繼續勻速前進：在感知誤差存在的情況下，自動駕駛汽車的最終行為沒有改變，但經過兩個近距離物體的成本實際上已經改變了決策規劃過程，而這些額外的隱藏成本將無法通過僅關注自動駕駛車輛結果行為變化的感知評價指標體現。
因此，由於感知錯誤導致的車輛行為變化並不總是與錯誤導致的實際後果相關。
之前有限的幾個從自動駕駛系統角度評價感知模塊性能的工作大多采用類似這樣的啟發式方法。
這些方法會將一些人工總結的先驗知識整合到評價系統中，如《Philion et al.，2020》假設感知誤差的造成的後果與其導致的規劃器輸出的時空軌跡變化直接相關，並提出用 KL 散度作為評價指標來衡量後果；但由於沒有考慮實際的環境背景，因此並不能準確反映真實交通環境裡輸入噪聲導致的實際代價。
本文希望強調的是通過規劃過程來理解感知誤差對自動駕駛系統影響的必要性：隻有從決策規劃的角度，通過理解感知輸入噪聲對自動駕駛系統造成的實際後果才能有效評估感知誤差帶來的影響。
這種完全通過實際觀察者《規劃器》的視角來評估待考察事物《感知誤差》屬性的方法，與經典哲學理論裡的先驗唯心主義論(Kant，1781)一致，因此該方法被命名為規劃器先驗唯心論《Transcendental Idealism of Planner / TIP》。
目前對自動駕駛決策規劃過程的研究工作大致可以分為兩類，其一是基於效用的方法，其二是非基於效用的方法。
前者通過對自動駕駛要實現的具體目標《向目的地接近，遵守交通規則，平滑的車輛運動等》編碼來構建一個描述行為與收益的目標函數，並通過求最優化解作為最終的決策規劃結果；後者則利用海量數據和深度學習的擬合能力，直接將原始或者被預處理過的傳感器數據直接映射為自動駕駛車輛的控制信號。
本文重點在探索感知噪聲對決策規劃的影響，因此主要關注基於效用的規劃研究。
理論分析
基本概念
感知錯誤分析
通過以上推導，可以得到如下結論：
並非環境狀態估計或感知中的所有錯誤對自動駕駛車輛規劃都有同等的影響。
實際上，隻有 PCE 會對 EUM 結果有影響，PIE 完全不會造成任何影響；PCE 的影響既可能是負面的《讓規劃器低估正確行為選項的優勢》也可能是『正面的』《讓規劃器高估正確行為選項的優勢》。
這兩個結論都是通過本文提出的理論框架下的分析得到的自然推論結果。
可以分解為四個期望效用來計算。
每一個期望效用可以利用隨機采集的獨立同分佈樣本通過無偏估計器
進行數值估計。
可以證明，這樣的估計方法可以由一致收斂界限《uniform convergence bound》保證指數級別的數值收斂速度。
這是一個值得注意的結果，因為指數收斂速度只要求效用函數是有界的，至於效用函數的具體形式《保證了可使用任意函數形式的靈活性》和其中變量的維度完全沒有任何限制《因此維度爆炸不會出現》。
整個過程的偽代碼如下：
實驗驗證
實驗中使用的所有自動駕駛汽車都是基於同一類型的普通乘用車。
這些車載自動駕駛系統中的基於效用的模塊化規劃器已在多個百萬人口級別的城市進行了嚴格的道路測試和廣泛的驗證。
實驗中研究者選取了三個基準方法作為參照對象：
《1》在傳統端，nuScenes 數據集評分《NDS》《Caesar et al.，2020》將 3D 物體檢測的幾個傳統評分結果結合到一個單一的性能分數中；
《2》SDE 距離加權平均精度《SDE-APD》《Deng et al.，2021》以自動駕駛車輛為空間中心視角的方式更多地關注自動駕駛車輛附近的感知誤差《支撐距離誤差》；
《3》PKL《Philion et al.，2020》則作為自動駕駛車輛基於行為變化指標的代表。
人工合成數據測試
第一組實驗的目標是獲得各種評測方法對常見感知噪聲類型在噪聲可控條件下的反應的一些理解。
數據集是從真實世界中收集和精心選擇的復雜道路測試場景生成。
共有 1000 個 5s 長的交通場景，每個場景交通參與者數量在 30-500 之間，含有由專業人員標註的感知真值。
實驗中考慮了如下常見類型噪聲：
誤檢《假陽性》錯誤是在以自動駕駛車輛為中心的一個 70×30 米的矩形范圍裡隨機加入 『幽靈』 車輛，而這些車輛的其他運動信息從自動駕駛汽車的運動信息通過隨機擾動添加。
漏檢《假陰性》錯誤是通過以一定的概率《即漏檢率》隨機從真值結果中移除物體來實現。
其他類型的感知噪聲《速度，位置，朝向，大小等誤差》則通過直接向原始真值裡添加高斯隨機噪聲實現。
在上述的不同強度噪聲下各個評估指標的結果如下圖所示：
橫軸為噪聲強度，左縱軸為 NDS 和 SDE-APD，右縱軸為 PKL 和 TIP。
在一些情況下，一旦噪聲達到一定水平， NDS 就會飽和《比如在速度噪聲上》。
同理，包含大量人工設計的 SDE-APD 也在不同的噪聲強度下表現出了大量的非線性《比如速度噪聲上》。
而 TIP 和 PKL 沒有依賴人工設計，表現出的靈敏度在各種噪聲強度區間裡相對都比較一致。
研究者也單獨考察了一個如下圖所示的一個具體場景。
在這個場景裡，x 軸上有三個物體：1》一個漏檢的靜態物體《坐標為 x》；2》一個靜態物體在 x=50m；3》自動駕駛車在 x=0 以大概 14m/s 的速度向 x 軸正前方前進。
有兩個不同的規劃器參與評測：1》AV-1《加速劇烈變動厭惡型》針對駕駛舒適性做了優化《最大剎車加速度為 -4m/s²》；2》AV-2《碰撞厭惡型》針對安全性做了優化《最大剎車加速度為 -6m/s²》。
二者最小剎車距離分別為 30m 和 20m。
在這個情況裡，對 AV-1 規劃器，TIP 認為最關鍵的誤檢發生在 30m，因為障礙物低於這個距離時即使能成功檢測到碰撞也無法避免，因此恰好在最小剎車距離的物體誤檢是最嚴重的《剛好能避免的碰撞發生的地方》。
其他判據都沒有類似的特點和分辨能力，NDS 和 SDE-APD 都表現出各項同性《都認為發生在正後方和正前方同樣距離的誤檢影響都一樣》，而 PKL 則認為正前方的漏檢越近影響越大。
真實數據測試
第二組實驗中，本文研究了部署在自動駕駛車輛上的真實感知模塊的結果。
以一個 3D 物體檢測模型為例，該模型可以從激光雷達點雲中預測物體的類別、位置、方向、速度和大小。
TIP 獨立於特定的檢測器，可以應用於評估各種感知模型。
如下圖所示為該車載模型在若幹場景上用 PKL 和 TIP 評估的結果。
左圖為這些場景的同場景 PKL 和 TIP 分數分佈圖，可以看到有大量的點匯集在橫軸上，對應那些行為變化不大，但是卻可能導致嚴重後果的感知錯誤。
其中被紅圈標記的場景如右側兩幅圖所示。
右側第一幅圖顯示在感知真值輸入時，自動駕駛汽車可以通過緩慢制動向前行駛，以保持與前面另一輛車的距離；然而當實際的感知輸入包括噪聲時《右側第二幅圖》，自動駕駛汽車必須緊急制動，以避免與前方近距離的誤檢車輛《紅色箭頭所示》發生碰撞。
在這兩種情況下，由於自動駕駛車輛速度緩慢並且正在制動《無論是緩慢制動還是緊急制動》，行為的差異比較小《PKL=-0.802》，但這個誤檢物體卻導致了嚴重的後果：誤檢物體導致了緊急制動和虛擬碰撞《在真值感知輸入下的行為和誤檢物體之間》，這種差異被 TIP《TIP=-115.42》精確捕獲。
真實場景的自動駕駛車輛的運動學數據為《a=-0.36m/s²，j=-0.72m/s³》，噪聲場景下為《a=-0.36m/s²，j=-76.4m/s³》。
而正常情況下的加加速度《jerk》一般不會超過 1m/s³。
從系統的角度來看，這是一個嚴重的感知錯誤。
由此可見，TIP 能夠捕捉到被其他指標所忽略的對自動駕駛車輛規劃過程有重要影響的感知噪聲。
為了進一步證明所提出的方法在場景層面的合理性，本文還實施了一套類似於《Philion et al，2020》中的主觀評估。
為此，研究者收集了 258 對具有上述感知模型實際感知噪聲的場景，並檢查 TIP、PKL、SDE-APD 和 NDS 在相對嚴重程度上是否存在分歧《即一個評估方法認為場景 A 的感知誤差比場景 B 的感知誤差更大，而另一個評估方法認為相反》。
這些場景對由 10 個隨機選擇的人類駕駛員進行比較和評分，以決定從人類的角度來看一個場景對裡哪個場景更糟糕。
結果表明，相比其他三個基準評估方法人類駕駛員更傾向於和 TIP 保持一致的結果，如下表所示。
應用到神經規劃器
除了具有明確定義效用函數的決策規劃過程，研究者提出的方法也可以應用到一些端到端訓練的神經規劃器上，比如說類似《Bansal et al.，2019; Zeng et al.，2019; Philion et al.，2020》這樣的帶有車輛行為損失或者分佈函數的規劃器。
作為示范，研究者采用了《Philion et al.，2020》裡帶有規劃行為概率輸出的神經規劃器，並把輸出行為的概率分佈函數作為效用函數帶入 TIP 中。
研究者使用 CBGS 檢測器《Zhu et al.，2019》在 nuScenes 數據集的 3D 檢測任務上驗證集上獲得了如下的結果。
左圖是每個測試場景裡 PKL-TIP 結果的分佈圖。
可以看到不少數量的點都在豎軸附近。
其中一個點對應的場景顯示在右側的四幅圖裡：檢測真值，CBGS 檢測器結果，檢測結果與真值之差，神經規劃器輸出《每種顏色代表某個時間點上規劃的車輛位置概率，其中每個時間點上概率最大的若幹位置被置為 100% 飽和度方便可視化》。
在該場景裡，兩種輸入下《考慮車輛運動學和動力學的約束後》最優的選擇都是傾向於停留在原地。
因此 PKL 直接計算原始結果裡所有位置的分佈偏差會認為行為差異很大，而 TIP 隻考慮車輛實際會執行的行為，因此認為這個具體情況下感知噪聲的影響不大。
TIP 還能用來直接評估每個場景裡具體物體漏檢和位置上出現誤檢的影響，如下兩圖所示。
本圖展示了車輛漏檢嚴重程度的可視化結果。
每個環境車輛都被單獨從真值結果裡移除然後計算場景的 TIP 並把結果分數作為不透明度繪制到該車輛上《所有環境車輛都為紅色》。
可以看出大部分被 TIP 認為發生漏檢後果嚴重的環境車輛都是那些在自動駕駛車輛《AV》行進路徑上可能與之發生交互的車輛《而不是簡單的距離最近的車輛》。
本圖展示了車輛誤檢嚴重程度的可視化結果。
任給自動駕駛車輛《AV》附近的一個位置，一輛被誤檢的車被添加到真值結果裡然後計算場景的 TIP，並把結果分數作為不透明度繪制到該位置上《用紅色標記》。
可以看出大部分被 TIP 認為發生誤檢後果嚴重的位置都是那些在自動駕駛車輛行進路徑上可能與之發生交互的地方。
總結
本文提出了一個系統性框架，從自動駕駛決策規劃的視角來評估感知結果裡的噪聲對自動駕駛影響的嚴重程度。
該方法通過利用基於效用的規劃器的特性，有效地識別了在期望效用最大化的背景下可能導致決策規劃過程發生重大改變的感知噪聲。
在人工合成數據和真實數據上進行的大量實驗表明，該方法能夠有效發現傳統的感知評估指標以及隻關注自動駕駛最終行為的方法無法區分的感知錯誤。
依托上述這種前沿、高效的感知評測方法，充分考慮微小感知噪聲對規劃結果的影響，並采用系統化的方法對感知能力進行評估和優化，輕舟智航提供的自動駕駛通用方案感知能力正在得到飛速提升。
基於高效的數據利用、超融合感知和獨創時空聯合規劃等核心技術，輕舟智航在 2022 年 11 月發佈了「輕舟乘風」高階輔助駕駛解決方案，目前已構建起「高速 + 城區」NOA 的完整產品矩陣，並順利完成 2000 萬級人口城市復雜路況挑戰。
今年 3 月，輕舟智航首發基於單征程 5 芯片的城市 NOA 版方案，通過對超融合感知大模型和多任務模型在架構和性能方面的極致優化，輕舟智航實現了更高的算力使用率，以更少的模型數量完成更多任務，最大限度地降低了算力需求，從而用單顆征程 5 芯片也能良好完成復雜場景下的感知和決策規劃，突破城市 NOA 性價比的天花板。
而在 4 月的上海國際汽車工業展覽會上，輕舟智航還發佈了基於環視相機的 6V1R 視覺方案的高速 NOA 方案，並實現落地體驗。
該方案可實現行泊一體，通過復用傳統的泊車傳感器，提高硬件使用效率，進一步降低了高速 NOA 的硬件成本。
這證明了輕舟智航行業領先的工程化能力，而這也得益於其背後的經驗豐富的技術團隊以及體系化的工程治理團隊；車規量產級、靈活配置的硬件方案；完善的自動駕駛系統功能安全開發流程，不斷有效加速輕舟產品在多車型、多場景中的落地。
行業的發展往往與技術的進步息息相關，當城市 NOA 處在量產落地的「前夜」，類似「感知模塊測評」這樣的前沿議題將成為決定自動駕駛方案性能和安全性的關鍵因素，也更加值得進一步的探索。
參考文獻
Kant，I. Critik der reinen Vernunft. Johann Friedrich Hartknoch，1781.
Osborne，M. and Rubinstein，A. A Course in Game Theory. MIT Press，1994.
Philion，J.，Kar，A.，and Fidler，S. Learning to evaluate perception models using planner-centric metrics. In CVPR，2020.
Deng，B.，Qi，C. R.，Najibi，M.，Funkhouser，T.，Zhou，Y.，and Anguelov，D. Revisiting 3D object detection from an egocentric perspective. In NeurIPS，2021.
Caesar，H.，Bankiti，V.，Lang，A.，Vora，S.，Liong，V. E.，Xu，Q.，Krishnan，A.，Pan，Y.，Baldan，G.，and Beijbom，O. nuScenes: A multimodal dataset for autonomous driving. In CVPR，2020.
Zhu，B.，Jiang，Z.，Zhou，X.，Li，Z.，and Yu，G. Class-balanced grouping and sampling for point cloud 3d object detection. arXiv preprint arXiv:1908.09492，2019.
Bansal，M.，Krizhevsky，A.，and Ogale，A. ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst. In Robotics: Science and Systems (RSS)，2019.
Zeng，W.，Luo，W.，Suo，S.，Sadat，A.，Yang，B.，Casas，S.，and Urtasun，R. End-to-end interpretable neural motion planner. In CVPR，2019.