作者 |Dr. Li，復睿微算法工程師
出品 | 復睿微電子
作者簡介
Dr. Li，復睿微算法工程師，南京理工大學與加州大學洛杉磯分校聯合培養博士，專註於自動駕駛感知算法研究，擁有多年高精度地圖感知算法研發經驗。
高精度地圖是伴隨著自動駕駛而生的，是目前研發L3及以上自動駕駛技術的標配。
高精度地圖是以厘米級精度來描述道路細節的數據集。
與傳統導航地圖不同的是，高精度地圖除了能提供的道路《Road》級別的導航信息外，還能夠提供車道《Lane》級別的導航信息。
無論是在信息的豐富度還是信息的精度方面，都遠遠高於傳統導航地圖。
圖1導航地圖《左》與高精度地圖《右》對比示意圖
國內外高精度地圖發展概述
Waymo早在2009年就在為自動駕駛構建地圖。
隨後，由於大算力芯片以及深度學習技術的蓬勃發展，自動駕駛技術能落地的場景也變得越來越豐富，同時自動駕駛技術本身帶來的巨大商業價值，吸引了越來越多的國內外玩家進入該領域，進行深入研究來實現各類場景的落地。
高精地圖作為自動駕駛技術中的重要環節，在定位、感知、規劃甚至端到端的自動駕駛算法中都能提供技術支撐，越來越多的企業加入了高精度地圖制作行業來加速自動駕駛快速落地。
除了Here、TomTom等傳統圖商先後加入到高精地圖制作外，自動駕駛技術公司Mobileye，Tesla等在自研高精度地圖上也投入了大量精力。
國內廠商緊隨其後，2013年，國內圖商四維圖新、高德、寬凳科技等加入高精度地圖的制作，同時，自動駕駛技術公司百度、Momenta等為滿足L3級別的自動駕駛的要求也開始了高精度地圖的制作和使用。
高精度地圖在自動駕駛中的作用主要體現在如下幾個方面：
感知：紅綠燈感知、車道線感知、超視距感知等大大簡化了自動駕駛過程中後續預測以及規控算法設計的復雜度。
路徑規劃與決策：使用高精度地圖提供的信息提前進行路徑規劃，同時根據障礙物所在車道位置或者紅綠燈等信息預測障礙物可能的運行軌跡，從而提前做出預判和決策。
安全：在雨雪、大霧等極端天氣下，各傳感器可能會出現一定失效或者感知結果不準確，高精度地圖可以有效的進行信息的補充，從而保證自動駕駛汽車行駛過程中的安全性，同時，在一些如多層立交、隧道等復雜的道路場景下，利用高精度地圖，結合視覺毫米波雷達、激光雷達等無源定位的無源傳感器，實現自主定位，這種融合定位的方式會大大提升定位的準確性，也會進一步提升自動駕駛的安全性。
高精度地圖制作方案對比
目前高精度地圖的生產制作主要是兩種方式，一種是采用攝像頭這種純視覺的生產方式，代表的公司Deep Motion、寬凳科技、Momenta等初創公司，純視覺的生產方式除了大大降低生產成本，還會使得高精度地圖制作的周期大大降低，加速高精度地圖眾包方案的落地，但是對算法技術的創新有較高的要求。
另一種主流的方案是采用以激光雷達為主的高精地圖采集方案來進行高精度地圖的生產《圖2為高精度地圖采集車示意圖以及實物圖》，代表公司有很多，例如Waymo、百度、四維圖新、高德等，采用激光雷達為主，攝像頭為輔的方案相對來說技術比較成熟，可以綜合利用各個傳感器的優勢進行算法的研發，簡化了後續算法研發的復雜度。
但是生產制作成本高，生產周期長，同時不利於眾包更新高精度地圖方案的落地。
圖2高精度地圖采集車示意圖與實物圖《從左到右》
高精度地圖制作技術發展趨勢
圖3 高精度地圖生產流程
- 數據采集技術： 一般利用多傳感器GPS、IMU、輪速計、激光雷達或者攝像頭融合技術計算出當前采集車的位置信息，讓後將該位置信息以及激光雷達/攝像頭的掃描信息寫入到地圖數據中。
- 柵格圖預處理： 這裡主要涉及點雲拼接、柵格圖融合以及偽影去除等。
- 自動矢量化： 按照一定的精度要求，給出利用點線以及多邊形所描述目標物體的坐標信息。
這裡主要涉及數據采樣、多邊形擬合等傳統圖像數據處理算法。
可以看出整個流程還是相當繁瑣的，同時制作成本也是相當高的。
加上後期的地圖更新和維護成本也會是相當復雜和價格高昂，這些都大大限制了其使用范圍，尤其是在自動駕駛領域大規模的落地使用和更新。
因此，為了解決在自動駕駛技術落地高精度地圖使用的問題，產生了實時局部高精度地圖生成的技術路線。
相比較傳統的高精度地圖生成，該技術路線主要體現在高精度地圖生成的實時性以及空間范圍的局部性《隻產生處在當前車輛周邊環境的高精度地圖信息以供自動駕駛使用》兩個方面，如圖4所示。
圖4 傳統高精度地圖生產與實時局部高精度地圖生產方式對比
2021年，實時局部高精度地圖技術路線主要是利用多視圖攝像頭/激光雷達采集到的圖像數據利用神經網絡進行特征提取並利用相機外參投影到鳥瞰圖視角下，在鳥瞰圖視角下進行解碼操作得到車道線的分割信息以及車道線方向信息，在經過後處理操作得到矢量地圖，如圖5所示。
圖5在線局部高精度地圖生成模型
2022年，實時局部高精度地圖技術路線迎來了比較大的變化，第一個比較大的變化是整個實時局部高精度地圖生成變成端到端的方式，不再需要根據車道線的分割結果等進行矢量化後處理操作。
第二個比較大的變化是，transformer網絡結構被廣泛地使用在圖像或者激光雷達數據特征圖的編解碼階段直接輸出矢量化的地圖數據，包含道路線的關鍵點信息，關鍵點之間的起始順序以及拓撲結構信息。
比較有代表性的工作有VectorMapNet《如圖6所示》、該方案將不同模態《如攝像頭圖像和激光雷達點雲》生成的特征轉換為鳥瞰圖特征後，再聚合到一個公共的BEV特征空間中；然後，基於transformer的網絡結構進行車道線的關鍵點預測，最後利用注意模塊建模生成關鍵點之間的拓撲連接關系。
MapTR《如圖7所示》的方案首先是對原始圖像進行語義特征提取，之後轉換為鳥瞰圖特征，采用transformer變體結構，使用分層級的query embedding機制結構化地編碼地圖要素的信息，最終輸出地圖要素的語義類別和節點位置。
特斯拉的Lanes Neural Network《如圖8所示》則更加面向工程化一點，Lanes Neural Network不僅用到了圖像信息，而且其用到了導航地圖的文本信息，例如車道線的數量、寬度、拓撲連接關系等屬性描述，通過嵌入操作和視覺圖像的特征信息統一到同一個特征張量空間輸入到transformer網絡結構進行解碼輸出，這也是文本與圖像信息首次進行特征融合被用在局部高精度地圖自動生成構建中。
其大概的過程如下：首先是視覺特征作為輸入，利用transformer結構，網絡會先預測關鍵節點的粗略位置，再以粗略位置所在的局部范圍進行更精確的位置預測，然後預測該節點的語義信息，最後預測節點的連接拓撲關系，如分叉/並道/曲率參數等。
網絡會以這樣自回歸的方式將所有的車道線節點進行生成《按照一定順序，如自上而下，自左到右》。
圖6 VectorMapNet網絡結構圖
圖7 MapTR網絡結構圖
圖8 Lanes Neural Network網絡結構圖
高精度地圖制作技術發展趨勢
從目前的技術發展路線來看，未來自動駕駛所需的高精度地圖使用方式無論從制作成本、使用的便利性以後續更新的實時性角度考慮，很大概率會使用這種局部實時構建高精度地圖的方式，感知數據輸入會分為純視覺(多視圖)以及視覺與激光雷達融合輸入的方案，但都是在鳥瞰圖視角下利用transformer網絡結構對多源數據《攝像頭、激光雷達》進行感知特征的統一表征，同時為了提高車道線關鍵點之間拓撲結構關系描述的準確性以及更多的高精度地圖元素輸出，帶有地圖文本描述的信息會越來越多的加入到網絡結構中，利用transformer網絡結構將這些特征信息進行交互得到更準確的位置信息以及更多的高精度地圖元素輸出，而不局限於隻有車道線、人行橫道線等有關高精度地圖線信息元素的矢量化輸出。
通過將視覺感知、文本、語音等不同模態數據，通過映射到同一語義空間進行特征對齊後，利用transformer網絡結構進行特征交互學習得到統一的多模態特征，靈活的根據不同的下遊任務進行特征解碼操作也將是未來很多AI模型訓練的一種方式。
關於復睿微電子
復睿微電子：復睿微電子是世界500強企業復星集團出資設立的先進技術型企業。
復睿微電子根植於創新驅動的文化，通過技術創新改變人們的生活、工作、學習和娛樂方式。
公司目標成為世界領先的智能出行時代的大算力方案提供商，致力於為汽車電子、人工智能、通用計算等領域提供以高性能芯片為基礎的解決方案。
目前主要從事汽車智能座艙、ADS/ADAS芯片研發，以領先的芯片設計能力和人工智能算法，通過底層技術賦能，推動汽車產業的創新發展，提升人們的出行體驗。
在智能出行的時代，芯片是汽車的大腦。
復星智能出行集團已經構建了完善的智能出行生態，復睿微是整個生態的通用大算力和人工智能大算力的基礎平臺。
復睿微以提升客戶體驗為使命，在後摩爾定律時代持續通過先進封裝、先進制程和解決方案提升算力，與合作夥伴共同面對汽車智能化的新時代。
參考文獻：
[1] https://ryanadex.github.io/2019/06/04/opendrive/ Opendrive地圖數據解析。
[2] Q. Li，Y. Wang，Y. Wang，and H. Zhao. Hdmapnet: A local semantic map learning and evaluation framework. arXiv preprint arXiv:2107.06307，2021
[3] Yicheng Liu，Yue Wang，Yilun Wang，and Hang Zhao. Vectormapnet: End-to-end vectorized hd map learning. arXiv preprint arXiv:2206.08920，2022a.
[4] Liao B，Chen S，Wang X，et al. MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction[J]. arXiv preprint arXiv:2208.14437，2022.
[5] Thinkautonomous.ai，『A Look at Tesla’s Occupancy Networks』，https://www.thinkautonomous.ai/blog/occupancy-networks/
[6] 地圖采集車的那些事 | 載車篇 https://zhuanlan.zhihu.com/p/367189697