不同的傳感器都有其優(yōu)勢和缺陷，無法在單傳感器的情況下完成對無人駕駛功能性與安全性的全面覆蓋，這顯示了多傳感器融合的必要性。因此，各個傳感器之間借助各自所長相互融合、功能互補、互為備份、互為輔助才是完備的無人駕駛系統(tǒng)。如何融合這些傳感器的優(yōu)勢，彌補不足是自動駕駛工程師們現(xiàn)在的主要工作之一。

目前，現(xiàn)有的車載傳感器包括激光雷達、毫米波雷達、車載攝像機、GPS/IMU、V2X通信傳感、紅外探頭、超聲波雷達等。主流的無人駕駛傳感平臺以雷達和車載攝像頭為主，并呈現(xiàn)多傳感器融合發(fā)展的趨勢?；跍y量能力和環(huán)境適應(yīng)性，預(yù)計雷達和車載攝像頭會持續(xù)保持傳感器平臺霸主的地位，并不斷與多種傳感器融合，發(fā)展處多種組合版本。

激光雷達

為了解決測距的問題，引入了激光雷達這種傳感器。常常應(yīng)用在Level 3級別以上的無人車。

激光雷達的工作原理是利用可見和近紅外光波（多為950nm波段附近的紅外光）發(fā)射、反射和接收來探測物體。

 如下圖所示，激光雷達的發(fā)射器發(fā)射出一束激光，激光光束遇到物體后，經(jīng)過漫反射，返回至激光接收器，雷達模塊根據(jù)發(fā)送和接收信號的時間間隔乘以光速，再除以2，即可計算出發(fā)射器與物體的距離。

激光雷達可以探測白天或黑夜下的特定物體與車之間的距離。由于反射度的不同，也可以區(qū)分開車道線和路面，但是無法探測被遮擋的物體、光束無法達到的物體，在雨雪霧天氣下性能較差。

激光雷達在無人駕駛運用中擁有兩個核心作用。

 一是3D建模進行環(huán)境感知。通過雷射掃描可以得到汽車周圍環(huán)境的3D模型，運用相關(guān)算法比對上一幀和下一幀環(huán)境的變化可以較為容易的探測出周圍的車輛和行人。

 二是SLAM加強定位。3D雷射雷達另一大特性是同步建圖（SLAM），實時得到的全局地圖通過和高精度地圖中特征物的比對，可以實現(xiàn)導(dǎo)航及加強車輛的定位精度。

激光雷達的分類 

激光雷達根據(jù)安裝位置的不同，分類兩大類。一類安裝在無人車的四周，另一類安裝在無人車的車頂。 

安裝在無人車四周的激光雷達，其激光線束一般小于8，常見的有單線激光雷達和四線激光雷達。

安裝在無人車車頂?shù)募す饫走_，其激光線束一般不小于16，常見的有16/32/64線激光雷達。

激光雷達雷射發(fā)射器線束越多，每秒采集的云點就越多。然而線束越多也就代表雷射雷達的造價就更加昂貴，以Velodyne的產(chǎn)品為例，64線束的雷射雷達價格是16線束的10倍。HDL-64E單個定制的成本在8萬元左右。

目前，Velodyne公司已經(jīng)開發(fā)出了相對便宜的LiDAR傳感器版本HDL-32E和HDL-16E。其中HDL-16E是由16束雷射取代64束雷射，支持360度無盲區(qū)掃描，犧牲一定的數(shù)據(jù)規(guī)模云點，每秒鐘只提供30萬個數(shù)據(jù)點，但是售價仍高達售價8千美元。

當(dāng)前人工智能的算法還不夠成熟，純視覺傳感器的無人駕駛方案在安全性上還存在較多問題，因此現(xiàn)階段的無人車的開發(fā)還離不開激光雷達。強如Google，目前也還沒開發(fā)出脫離激光雷達的自動駕駛方案。

 不過，激光雷達的普及所遇到的最大挑戰(zhàn)是：成本過高。單獨一個雷達的價格可能就超過了普通小汽車的價格，因此現(xiàn)階段還沒有大規(guī)模量產(chǎn)的可能性。激光雷達的降低成本之路任重道遠。

毫米波雷達

 毫米波雷達通過發(fā)射無線電信號（毫米波波段的電磁波）并接收反射信號來測定汽車車身周圍的物理環(huán)境信息（如汽車與其他物體之間的相對距離、相對速度、角度、運動方向等），然后根據(jù)所探知的物體信息進行目標(biāo)追蹤和識別分類，進而結(jié)合車身動態(tài)信息進行數(shù)據(jù)融合，完成合理決策，減少事故發(fā)生幾率。

 毫米波雷達不受天氣狀況限制，即使是雨雪天都能正常運作，穿透霧、煙、灰塵的能力強。因此被廣泛應(yīng)用于車載距離探測，毫米波雷達在自動駕駛中最常見的三種用途是： 

1. ACC（自適應(yīng)巡航）

2. BSD&LCA（盲點監(jiān)測和變道輔助）

3. AEB（自動緊急制動，通常配合攝像頭進行數(shù)據(jù)融合）

毫米波雷達分類

頻率在10GHz~200GHz的電磁波，由于其波長在毫米量級，因此處于該頻率范圍的電磁波也被工程師們稱為毫米波。

應(yīng)用在自動駕駛領(lǐng)域的毫米波雷達主要有3個頻段，分別是24GHz，77GHz和79GHz。不同頻段的毫米波雷達有著不同的性能和成本。

短距離雷達：24GHz頻段

處在該頻段上的雷達的檢測距離有限，因此常用于檢測近處的障礙物。在自動駕駛系統(tǒng)中常用于感知車輛近處的障礙物，為換道決策提供感知信息。

長距離雷達：77GHz頻段

性能良好的77GHz雷達的最大檢測距離可以達到160米以上，因此常被安裝在前保險杠上，正對汽車的行駛方向。

如下圖右下角的棕色區(qū)域，為特斯拉AutoPilot 2.0中所配備的長距離毫米波雷達，及其感知范圍。

長距離雷達能夠用于實現(xiàn)緊急制動、高速公路跟車等ADAS功能；同時也能滿足自動駕駛領(lǐng)域，對障礙物距離、速度和角度的測量需求。

長距離雷達：79GHz頻段

該頻段的傳感器能夠?qū)崿F(xiàn)的功能和77GHz一樣，也是用于長距離的測量。

根據(jù)公式：光速 = 波長 * 頻率，頻率更高的毫米波雷達，其波長越短。波長越短，意味著分辨率越高；而分辨率越高，意味著在距離、速度、角度上的測量精度更高。因此79GHz的毫米波雷達必然是未來的發(fā)展趨勢。

毫米波雷達相比于激光有更強的穿透性，能夠輕松地穿透保險杠上的塑料，因此常被安裝在汽車的保險杠內(nèi)。這也是為什么很多具備ACC（自適應(yīng)巡航）的車上明明有毫米波雷達，卻很難從外觀上發(fā)現(xiàn)它們的原因。

然而實際開發(fā)的過程中，在自動駕駛領(lǐng)域應(yīng)用毫米波雷達有一下三點挑戰(zhàn)。

挑戰(zhàn)1：數(shù)據(jù)穩(wěn)定性差 

數(shù)據(jù)的不穩(wěn)定性對后續(xù)的軟件算法提出了較高的要求。加大了工程師的工作難度。

挑戰(zhàn)2：對金屬敏感 

由于毫米波雷達發(fā)出的電磁波對金屬極為敏感，在實際測試過程中會發(fā)現(xiàn)近處路面上突然出現(xiàn)的釘子、遠距離外的金屬廣告牌都會被認為是障礙物。一旦車輛高速行駛，被這些突然跳出的障礙物干擾時，會導(dǎo)致剎車不斷，導(dǎo)致汽車的舒適性下降。

挑戰(zhàn)3：高度信息缺失

毫米波雷達的數(shù)據(jù)只能提供距離和角度信息，不能像激光雷達那樣提供高度信息。沒有高度信息的障礙物點會給技術(shù)開發(fā)帶來很多挑戰(zhàn)。

超聲波雷達

超聲波雷達又名倒車?yán)走_。常見的超聲波雷達有兩種。第一種是安裝在汽車前后保險杠上的，也就是用于測量汽車前后障礙物的倒車?yán)走_，這種雷達業(yè)內(nèi)稱為UPA；第二種是安裝在汽車側(cè)面的，用于測量側(cè)方障礙物距離的超聲波雷達，業(yè)內(nèi)稱為APA。作為無人車上成本最低的傳感器，挖掘超聲波雷達的潛力是工程師們不斷在琢磨的事。

UPA和APA的探測范圍和探測區(qū)域都太相同，如下圖所示。圖中的汽車配備了前后向共8個UPA，左右側(cè)共4個APA。

UPA超聲波雷達

UPA超聲波雷達的探測距離一般在15~250cm之間，主要用于測量汽車前后方的障礙物。

如圖所示，為單個UPA的探測范圍示意圖。

APA超聲波雷達

APA超聲波雷達的探測距離一般在30~500cm之間。APA的探測范圍更遠，因此相比于UPA成本更高，功率也更大。

如圖為單個APA的探測范圍示意圖。

APA的探測距離優(yōu)勢讓它不僅能夠檢測左右側(cè)的障礙物，而且還能根據(jù)超聲波雷達返回的數(shù)據(jù)判斷停車庫位是否存在。

超聲波雷達的應(yīng)用

本文標(biāo)題提到超聲波雷達是被低估的傳感器，因為它除了檢測障礙物外，還可以做很多事。

應(yīng)用1：泊車庫位檢測

自動泊車功能需要經(jīng)歷兩個階段：1.識別庫位；2.倒車入庫

識別庫位功能就是依賴安裝在車輛側(cè)方的APA，如下場景。

汽車緩緩駛過庫位時，汽車右前方的APA傳感器返回的探測距離與時間的關(guān)系可判斷當(dāng)前空間有無車位。有了庫位檢測功能，進而開發(fā)自主泊車功能就不是難事了。

應(yīng)用2：高速橫向輔助

特斯拉Model S在AutoPilot 1.0時代就實現(xiàn)了高速公路的巡航功能，為了增加高速巡航功能的安全性和舒適性，特斯拉將用于泊車的APA超聲波雷達，也用在了高速巡航上。

先看一段Model S應(yīng)用APA的視頻，視頻左下角的圖像是一個朝汽車后向的攝像機，右側(cè)的圖像是朝向行駛方向的視角。

在視頻中可以看出，當(dāng)左側(cè)駛過的汽車?yán)碜攒囕^近時，Model S在確保右側(cè)有足夠空間的情況下，自主地向右微調(diào)，降低與左側(cè)車輛的碰撞風(fēng)險。

車載攝像機

車載攝像機的大致原理是：首先，采集圖像進行處理，將圖片轉(zhuǎn)換為二維數(shù)據(jù)；然后，進行模式識別，通過圖像匹配進行識別，如識別車輛行駛環(huán)境中的車輛、行人、車道線、交通標(biāo)志等；接下來，依據(jù)物體的運動模式或使用雙目定位，以估算目標(biāo)物體與本車的相對距離和相對速度。

攝像機根據(jù)鏡頭和布置方式的不同主要有以下四種：單目攝像機、雙目攝像機、三目攝像機和環(huán)視攝像機。

 單目攝像機模組只包含一個攝像機和一個鏡頭。由于很多圖像算法的研究都是基于單目攝像機開發(fā)的，因此相對于其他類別的攝像機，單目攝像機的算法成熟度更高。但是單目有著兩個先天的缺陷。

 一是它的視野完全取決于鏡頭。

 焦距短的鏡頭，視野廣，但缺失遠處的信息。反之亦然。因此單目攝像機一般選用適中焦距的鏡頭。

 二是單目測距的精度較低。 

攝像機的成像圖是透視圖，即越遠的物體成像越小。近處的物體，需要用幾百甚至上千個像素點描述；而處于遠處的同一物體，可能只需要幾個像素點即可描述出來。這種特性會導(dǎo)致，越遠的地方，一個像素點代表的距離越大，因此對單目來說物體越遠，測距的精度越低。

雙目攝像機 

由于單目測距存在缺陷，雙目攝像機應(yīng)運而生。雙目攝像機，是通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現(xiàn)的是什么類型的障礙物。依靠兩個平行布置的攝像頭產(chǎn)生的“視差”，找到同一個物體所有的點，依賴精確的三角測距，就能夠算出攝像頭與前方障礙物距離，實現(xiàn)更高的識別精度和更遠的探測范圍。使用這種方案，需要兩個攝像頭有較高的同步率和采樣率，因此技術(shù)難點在于雙目標(biāo)定及雙目定位。

相比單目，雙目的解決方案沒有識別率的限制，無需先識別可直接進行測量；直接利用視差計算距離精度更高；無需維護樣本數(shù)據(jù)庫。但因為檢測原理上的差異，雙目視覺方案在距離測算上相比單目以及毫米波雷達、激光雷達，其硬件成本和計算量級的加倍，也是另一個難關(guān)。

雖然雙目能得到較高精度的測距結(jié)果和提供圖像分割的能力，但是它與單目一樣，鏡頭的視野完全依賴于鏡頭。而且雙目測距原理對兩個鏡頭的安裝位置和距離要求較多，這就會給相機的標(biāo)定帶來麻煩。

三目攝像機 

由于單目和雙目都存在某些缺陷，因此廣泛應(yīng)用于無人駕駛的攝像機方案為三目攝像機。三目攝像機其實就是三個不同焦距單目攝像機的組合。 

特斯拉 AutoPilot 2.0安裝在擋風(fēng)玻璃下方的三目攝像機

如下圖，可以看出三個攝像頭的感知范圍由遠及近，分別為前視窄視野攝像頭（最遠感知250米）、前視主視野攝像頭（最遠感知150米）及前視寬視野攝像頭（最遠感知60米）。

對攝像機來說，感知的范圍要么損失視野，要么損失距離。三目攝像機能較好地彌補感知范圍的問題。因此在業(yè)界被廣泛應(yīng)用。

那么測距精度的問題怎么辦？

正是由于三目攝像機每個相機的視野不同，因此近處的測距交給寬視野攝像頭，中距離的測距交給主視野攝像頭，更遠的測距交給窄視野攝像頭。這樣一來每個攝像機都能發(fā)揮其最大優(yōu)勢。

三目的缺點是需要同時標(biāo)定三個攝像機，因而工作量更大一些。其次軟件部分需要關(guān)聯(lián)三個攝像機的數(shù)據(jù)，對算法要求也很高。

環(huán)視攝像機 

環(huán)視攝像機，一般至少包括四個攝像頭，分別安裝在車輛前、后、左、右側(cè)，實現(xiàn)360°環(huán)境感知，難點在于畸變還原與對接。安裝于車輛前方、車輛左右后視鏡下和車輛后方的四個魚眼鏡頭采集圖像，采集到的圖像與下圖類似。

環(huán)視攝像機的鏡頭是魚眼鏡頭，而且安裝位置是朝向地面的。某些高配車型上會有“360°全景顯示”功能，所用到的就是環(huán)視攝像機。魚眼攝像機為了獲取足夠大的視野，代價是圖像的畸變嚴(yán)重。

通過標(biāo)定值，進行圖像的投影變換，可將圖像還原成俯視圖的樣子。之后對四個方向的圖像進行拼接，再在四幅圖像的中間放上一張車的俯視圖，即可實現(xiàn)從車頂往下看的效果。如下圖。

相比于其他傳感器，攝像頭最為接近人眼獲取周圍環(huán)境信息的工作模式，可以通過較小的數(shù)據(jù)量獲得最為全面的信息，同時因為現(xiàn)在的攝像頭技術(shù)比較成熟，成本可較低。但是，攝像頭識別也存在一定局限性，基于視覺的解決方案受光線、天氣影響大；同時，物體識別基于機器學(xué)習(xí)資料庫，需要的訓(xùn)練樣本大，訓(xùn)練周期長，也難以識別非標(biāo)準(zhǔn)障礙物；同時，由于廣角攝像頭的邊緣畸變，得到的距離準(zhǔn)確度較低。

攝像機的功能 

攝像機在無人車上的應(yīng)用，主要有兩大類功能。分別是感知能力，其次是定位能力。

攝像機的感知能力表現(xiàn)在可以識別車道線（lane）、障礙物（Obstacle）、交通標(biāo)志牌和地面標(biāo)志（Traffic Sign and Road Sign）、交通標(biāo)志牌和地面標(biāo)志（TrafficSign and Road Sign）和交通信號燈（Traffic Light）

定位能力體現(xiàn)在獲取當(dāng)前無人車的位置。視覺SLAM技術(shù)根據(jù)提前建好的地圖和實時的感知結(jié)果做匹配，從而獲取當(dāng)前無人車的位置。視覺SLAM需要解決的最大問題在于地圖的容量過大，稍微大一點的區(qū)域，就對硬盤的容量要求很高。如何制作出足夠輕量化的地圖，成為SLAM技術(shù)商業(yè)化的關(guān)鍵。

攝像機是所有車載傳感器中，感知能力最強的。為此特斯拉采用了純視覺的感知方案，而沒有使用激光雷達，當(dāng)然激光雷達價格昂貴也是一個因素。

GPS/IMU

GPS是全球定位系統(tǒng)（GlobalPosition System）的簡稱，IMU（Inertial Measurement Unit）慣性測量單元。

GPS在復(fù)雜的動態(tài)環(huán)境中，尤其在大城市，其多路徑反射的問題很顯著，導(dǎo)致獲得的GPS定位信息很容易產(chǎn)生幾米的誤差。另外，由于GPS的更新頻率低（10Hz），在車輛快速行駛時很難給出精準(zhǔn)的實時定位。單純依賴GPS的導(dǎo)航很有可能導(dǎo)致交通事故。因此GPS通常輔助以慣性傳感器（IMU）用來增強定位的精度。

IMU是檢測加速度與旋轉(zhuǎn)運動的高頻（1KHz）傳感器，但IMU自身也有偏差積累與噪音等問題影響結(jié)果。通過使用基于卡爾曼濾波的傳感器融合技術(shù)，我們可以融合GPS與IMU數(shù)據(jù)，結(jié)合GPS的定位精度高和誤差無積累的特點，與IMU的自主性和實時性的優(yōu)點。一方面可以實現(xiàn)導(dǎo)航設(shè)備之間優(yōu)勢互補，增強系統(tǒng)適應(yīng)動態(tài)的能力，并使整個系統(tǒng)獲得優(yōu)于局部系統(tǒng)的精度；另一方面提高了空間和時間的覆蓋范圍，從而實現(xiàn)真正意義上的連續(xù)導(dǎo)航。因此，GPS/IMU組合的優(yōu)勢在于：

1.系統(tǒng)精度的提高。利用GPS的長期穩(wěn)定性彌補IMU誤差隨時間累積的缺點。GPS/IMU組合后的導(dǎo)航誤差實際上要比單獨的GPS或單獨的慣導(dǎo)系統(tǒng)可能達到的誤差都小。

2.系統(tǒng)抗干擾能力的增強。利用IMU的短期高精度彌補GPS系統(tǒng)易受干擾、信號易失鎖等缺點，同時借助IMU的姿態(tài)信息、角速度信息可進一步提高GPS系統(tǒng)快速捕獲或重新鎖定衛(wèi)星信號的能力。

3.導(dǎo)航信息的補全。GPS/IMU組合系統(tǒng)與單GPS相比，除了可以提供載體運動的三維位置和速度信息外，還可提供加速度、姿態(tài)和航向信息；GPS/IMU組合系統(tǒng)此外可提供100Hz甚至高于100Hz的數(shù)據(jù)更新率。

IMU慣性器件的標(biāo)定技術(shù)由于加速度計、陀螺儀等慣性器件本身存在缺陷，會產(chǎn)生一些器件誤差，如標(biāo)度因數(shù)誤差等。另外，在對IMU進行集成的時候，各個器件之間的非正交安裝會引起交叉耦合誤差。以上這些誤差可以通過器件標(biāo)定來加以補償,以達到提高其精度的目的。

V2X通信傳感

V2X是V2V（Vehicle toVehicle,車車通信）、V2I（Vehicle to Instruction，車路通信）、V2P（Vehicle to Pedestrain）等的統(tǒng)稱。通過V2X可以獲得實時路況、道路信息、行人信息等一系列交通信息，從而帶來遠距離環(huán)境信號。

V2X通信系統(tǒng)可以看做是一個超級傳感器，它提供了比其他傳感器都高得多的感知能力和可靠性，在自車感知技術(shù)尚不能達到高可靠性之前，用V2X可以決定性地其可靠性。V2X是無人駕駛的必要技術(shù)和智慧交通的重要一環(huán)。

簡單來說，V2X技術(shù)是利用無線通信技術(shù)實現(xiàn)車與車之間、車與道路之間、車與行人之間的信息互通，也就是說，通過人、車、路之間的互相交流，駕駛員能夠更好地掌握車輛狀態(tài)和周圍情況，從而有效降低事故發(fā)生的風(fēng)險。V2X通信技術(shù)首次由福特公司于2014年6月發(fā)布，現(xiàn)場展示了福特的兩輛經(jīng)過特殊改造過的汽車，通過一臺連接了WiFi的無線廣播系統(tǒng)，演示了這項V2V通信技術(shù)是如何防止碰撞事故發(fā)生的。

詳細來說，V2X是一種網(wǎng)狀網(wǎng)絡(luò)，網(wǎng)絡(luò)中的節(jié)點（汽車、智能交通燈等）可以發(fā)射、捕捉并轉(zhuǎn)發(fā)信號。利用V2X車聯(lián)網(wǎng)，車輛可以獲取周圍環(huán)境的未知參數(shù)及附近車輛的運行狀態(tài)，這些狀態(tài)包括速度、位置、駕駛方向、剎車等基本的安全信息。然后車載端主動安全算法將處理所獲取的信息，并按照優(yōu)先級對信息進行分類，對可能發(fā)生的危險情景進行預(yù)警，緊急情況下可以利用車輛執(zhí)行端對車輛進行控制從而規(guī)避風(fēng)險。V2X技術(shù)開啟了對四周威脅的360度智能感知，這一技術(shù)能夠在各種危險的情況下提醒駕駛者，從而大大減少碰撞事故的發(fā)生并緩解交通擁堵。美國交通部根據(jù)最新的數(shù)據(jù)進行分析，如果能夠大面積地普及V2X技術(shù)，就能在75%的交通事故發(fā)生之前提醒駕駛員。

相比傳統(tǒng)雷達，V2X通信傳感系統(tǒng)有以下幾點優(yōu)勢：

1）覆蓋面廣

300-500米的通信范圍相比10幾米的雷達探測范圍要遠得多，不僅是前方障礙物，身旁和身后的建筑物、車輛都會互相連接通信。 

2）有效避免盲區(qū)

路邊聯(lián)入互聯(lián)網(wǎng)的物體都會有單獨的信號顯示，因此即便視野受阻，通過實時發(fā)送的信號可以顯示視野范圍內(nèi)看不到的物體狀態(tài)，因而降低忙去出現(xiàn)的概率，也就充分避免了因盲區(qū)而導(dǎo)致的潛在傷害。

3）對于隱私信息的安全保護性更好

由于這套系統(tǒng)將采用5.9Hz頻段進行專項通信，相比傳統(tǒng)通信技術(shù)更能確保安全性和私密性，如果通信協(xié)議及頻道在各個國家都能規(guī)范化，這套系統(tǒng)將變得像SOS救援頻道一樣成為社會公用資源。

小結(jié) 

不同的傳感器都有其優(yōu)勢和缺陷，無法在單傳感器的情況下完成對無人駕駛功能性與安全性的全面覆蓋，這顯示了多傳感器融合的必要性。因此，各個傳感器之間借助各自所長相互融合、功能互補、互為備份、互為輔助才是完備的無人駕駛系統(tǒng)。如何融合這些傳感器的優(yōu)勢，彌補不足是自動駕駛工程師們現(xiàn)在的主要工作之一。