機(jī)器視覺是汽車駕駛輔助系統(tǒng)應(yīng)用領(lǐng)域的重要技術(shù)，本文主要綜述了機(jī)器視覺在車道檢測(cè)技術(shù)、交通標(biāo)志識(shí)別技術(shù)、車輛識(shí)別技術(shù)、行人檢測(cè)技術(shù)和駕駛員狀態(tài)檢測(cè)技術(shù)等領(lǐng)域的應(yīng)用，著重介紹了機(jī)器視覺技術(shù)在上述領(lǐng)域目前的研究現(xiàn)狀，為機(jī)器視覺在汽車駕駛輔助領(lǐng)域的進(jìn)一步研究提供了參考。
本文來自 2017 年 10 月 10 日出版的《上海汽車》，作者是中國汽車技術(shù)研究中心的張琳琳和鄭碧琪。
0 引言
隨著我國汽車工業(yè)的快速發(fā)展，機(jī)動(dòng)車的保有量逐年攀升，道路交通事故對(duì)人類生命和財(cái)產(chǎn)安全造成的重大危害也不斷凸顯。世界衛(wèi)生組織發(fā)布的《 道路安全全球現(xiàn)狀報(bào)告 2013 》中指出，全世界每年約有 124 萬人死于道路交通，道路交通傷害是全球第 8 大死因之一。
為了改善道路交通安全狀況，國內(nèi)外眾多的科研機(jī)構(gòu)、汽車企業(yè)均投入大量精力在汽車安全防護(hù)系統(tǒng)的研究和開發(fā)領(lǐng)域。研發(fā)內(nèi)容從較早的機(jī)械和電子裝置，發(fā)展到今時(shí)今日關(guān)注的熱點(diǎn)——先進(jìn)輔助駕駛系統(tǒng)（ADAS）。
以 ADAS 為代表的系統(tǒng)在硬件上應(yīng)用了多種傳感器，如超聲波傳感器、視覺傳感器、雷達(dá)、GPS 等，在行車過程中感知車輛自身狀態(tài)及環(huán)境變化，采集車輛數(shù)據(jù)和環(huán)境數(shù)據(jù)，依據(jù)這些數(shù)據(jù)，進(jìn)行交通場(chǎng)景識(shí)別、交通事件預(yù)測(cè)，并給出相應(yīng)的駕駛建議和應(yīng)急措施，輔助駕駛?cè)藛T進(jìn)行決策，避免交通事故發(fā)生，減少事故造成的傷害。
在實(shí)際駕駛過程中，駕駛員獲取絕大部分信息均來自于視覺，比如：路面狀況、交通標(biāo)志、標(biāo)線和信號(hào)、障礙物等，研究表明大約有 90% 的環(huán)境信息來自于視覺，如果能很好地利用視覺傳感器理解路面環(huán)境，對(duì)實(shí)現(xiàn)車輛智能化是一個(gè)很好的選擇。基于視覺導(dǎo)航的交通標(biāo)志檢測(cè)、道路檢測(cè)、行人檢測(cè)和障礙物檢測(cè)的車輛駕駛輔助系統(tǒng)，可以降低駕駛員的勞動(dòng)強(qiáng)度，提高行駛安全性，減少交通事故。
駕駛輔助系統(tǒng)在為駕駛員提供決策建議的過程中，使用了大量的視覺信息數(shù)據(jù)，在這方面視覺圖像具有無法比擬的優(yōu)勢(shì)：
視覺圖像包含的信息量大，例如可視范圍內(nèi)物體的距離信息、物體形狀、紋理和顏色等；
視覺信息的獲取是非接觸的，不會(huì)破壞路面和周圍環(huán)境，也不需要對(duì)現(xiàn)有道路設(shè)施進(jìn)行大范圍的配套修建；
一次視覺圖像的獲取，可同時(shí)實(shí)現(xiàn)道路檢測(cè)、交通標(biāo)志檢測(cè)、障礙物檢測(cè)等多項(xiàng)工作；
視覺信息的獲取過程中不會(huì)出現(xiàn)車輛相互干擾的情況。
綜上所述，智能車輛機(jī)器視覺技術(shù)在智能交通、汽車安全輔助駕駛、車輛的自動(dòng)駕駛等方面有著廣泛的應(yīng)用前景。
1 機(jī)器視覺在先進(jìn)輔助駕駛系統(tǒng)中的應(yīng)用
目前，視覺傳感器及機(jī)器視覺技術(shù)被廣泛應(yīng)用到了各類先進(jìn)輔助駕駛系統(tǒng)中。其中，行車環(huán)境的感知是基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)的重要組成部分之一。
行車環(huán)境的感知主要是依靠視覺技術(shù)感知車輛行駛時(shí)的道路信息、路況信息和駕駛員狀態(tài)，為輔助駕駛系統(tǒng)提供決策所必需的基礎(chǔ)數(shù)據(jù)。其中，道路信息主要是指車外的靜態(tài)信息，包括：車道線、道路邊沿、交通指示標(biāo)志和信號(hào)燈等；路況信息主要是指車外的動(dòng)態(tài)信息，包括：行車前方障礙物、行人、車輛等；駕駛員狀態(tài)屬于車內(nèi)信息，主要包括：駕駛員的疲勞、異常駕駛行為等，通過提醒駕駛員可能發(fā)生的不安全行為，避免車輛發(fā)生安全事故。
借助機(jī)器視覺技術(shù)對(duì)行車環(huán)境進(jìn)行感知，可獲取各種車內(nèi)、外的靜態(tài)信息和動(dòng)態(tài)信息，幫助輔助駕駛系統(tǒng)做出決策判斷。
根據(jù)上述分類，可知目前應(yīng)用較多的基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)的關(guān)鍵技術(shù)包括：車道線檢測(cè)技術(shù)、交通標(biāo)志識(shí)別技術(shù)、車輛識(shí)別技術(shù)、行人檢測(cè)技術(shù)和駕駛員狀態(tài)檢測(cè)技術(shù)等。
1.1 車道線檢測(cè)技術(shù)
目前已有的車道線檢測(cè)技術(shù)研究成果中，主要涉及設(shè)備和算法兩個(gè)方面。車道線檢測(cè)技術(shù)的數(shù)據(jù)采集基于不同的傳感器設(shè)備，例如激光雷達(dá)、立體視覺、單目視覺等。對(duì)采集到的信息，需要匹配適合的算法，例如基于模型的方法和基于特征的方法進(jìn)行計(jì)算和決策。
激光雷達(dá)的機(jī)器視覺原理是通過不同的顏色或材質(zhì)有不同反射率的特點(diǎn)進(jìn)行道路識(shí)別；
立體視覺與激光雷達(dá)相比準(zhǔn)確性高，但實(shí)現(xiàn)圖像匹配難度大，設(shè)備成本較高，且由于算法復(fù)雜，導(dǎo)致了實(shí)時(shí)性較差；
單目視覺在應(yīng)用中主要通過基于特征、模型、融合和機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)。
基于特征的算法首先進(jìn)行圖像特征提取，比如邊緣信息。利用這些特征信息，按照預(yù)定規(guī)則獲得車道線標(biāo)記。例如 Lee 等人在 2002 年就提出了一種基于特征的車道線檢測(cè)方法，他們使用邊緣分布函數(shù)來統(tǒng)計(jì)全局的梯度角累積分化找出累積量，結(jié)合左右車道線的對(duì)稱特性，確定出車道線的位置。此類算法的主要優(yōu)點(diǎn)在于其對(duì)車道線的形狀不敏感，在噪聲干擾較強(qiáng)的情況下（如陰影、標(biāo)志線磨損等）仍具有較好的魯棒性，能較為可靠地檢測(cè)出車道線的直線模型。
Lopez 等人于 2010 年提出使用圖像的「脊峰」替代圖像邊緣信息提取車道線特征數(shù)據(jù)的方法?！讣狗濉箍梢苑从硤D像鄰域像素點(diǎn)的匯聚程度，在車道線標(biāo)志線區(qū)域中，它的表示形態(tài)是在車道線中間的具有局部極大值的明亮區(qū)域。與圖像邊緣相比較，「脊峰」更加適合應(yīng)用于車道線檢測(cè)的應(yīng)用場(chǎng)合。
基于模型的車道線識(shí)別方法是運(yùn)用數(shù)學(xué)的思維建立道路模型，分析圖像信息獲取參數(shù)，從而完成車道線檢測(cè)。Shengyan Zhou 等提出了一種基于 Gabor 濾波器與幾何模型的車道線識(shí)別方法。在智能車前方存在車道標(biāo)示線的前提下，可以用車道線原點(diǎn)、寬度、曲率、起始位置這 4 個(gè)參數(shù)對(duì)其進(jìn)行描述。先對(duì)攝像機(jī)進(jìn)行預(yù)標(biāo)定，在計(jì)算完模型參數(shù)后篩選出若干車道線模型。算法通過局部 Hough 變換和區(qū)域定位估算所需參數(shù)，確定使用模型并完成與實(shí)際車道線的匹配。
一般來講，基于模型的車道線識(shí)別方法主要分為簡單的直線模型和較為復(fù)雜的模型（如二次曲線和樣條曲線），實(shí)際應(yīng)用中需要根據(jù)具體的使用場(chǎng)合和道路特點(diǎn)選擇不同的方法。例如大多數(shù)的車道偏離預(yù)警系統(tǒng)均采用簡單的直線模型來刻畫車道線；而需要靈活擬合車道線的場(chǎng)合下，如車道線預(yù)估與跟蹤問題，則通常使用較復(fù)雜的模型算法。
1.2 交通標(biāo)志識(shí)別技術(shù)
交通標(biāo)志識(shí)別可提示駕駛員道路環(huán)境中的交通標(biāo)志，幫助駕駛員做出正確決策，提高駕駛安全性。交通標(biāo)志通常都具有較明顯的視覺特征，如顏色、形狀等，利用此類視覺特征可以檢測(cè)出不同交通標(biāo)志，在交通標(biāo)志檢測(cè)方法研究的相關(guān)文獻(xiàn)中，顏色特征和形狀特征相結(jié)合的相關(guān)檢測(cè)方法較為廣泛。但由于實(shí)際情況下，交通標(biāo)志的圖像采集數(shù)據(jù)的質(zhì)量可能會(huì)受到光照、天氣變化等影響；同時(shí)，交通標(biāo)志被遮擋、扭曲、磨損等，也會(huì)影響算法準(zhǔn)確性。
目前交通標(biāo)志識(shí)別技術(shù)的實(shí)現(xiàn)方法，大部分都是通過設(shè)定顏色分量的閾值范圍實(shí)現(xiàn)圖像分割，從復(fù)雜的背景區(qū)域中得到感興趣區(qū)域（ROI），然后在感興趣區(qū)域上進(jìn)行形狀的過濾，從而檢測(cè)出交通標(biāo)志的所在區(qū)域。常見的算法有直接彩色閾值分割算法，直接在 RGB 顏色空間對(duì)圖像所有像素進(jìn)行分割，通過角點(diǎn)檢測(cè)確定目標(biāo)區(qū)域是否有交通標(biāo)志，該算法對(duì)光照影響和遮擋問題的解決效果不佳，因此許多學(xué)者都對(duì)該算法進(jìn)行了改進(jìn)，常用的是將 RGB 圖像轉(zhuǎn)化到 HSV、HIS 等更符合人類對(duì)顏色的視覺理解的顏色模型下再進(jìn)行圖像分割和提取，有效地克服了交通標(biāo)志的光照影響和遮擋難題。
交通標(biāo)志識(shí)別技術(shù)具代表性的應(yīng)用是在智能交通系統(tǒng)（ITS）之中。2010 年，美國馬薩諸塞州大學(xué)研制的 TSR 系統(tǒng)，該識(shí)別系統(tǒng)采用顏色閾值分割算法和主成分分析方法進(jìn)行目標(biāo)檢測(cè)與識(shí)別，系統(tǒng)的識(shí)別準(zhǔn)確率高達(dá) 99.2%，針對(duì)輕微目標(biāo)遮擋以及能見度較低的天氣情況，該算法都能取得不錯(cuò)效果，具有一定的魯棒性和適用性，處理速度為每幀 2.5 s，系統(tǒng)的主要不足就是難以滿足實(shí)時(shí)性要求。
2011 年德國舉辦了交通標(biāo)志識(shí)別大賽（IJCNN 2011），促進(jìn)了交通標(biāo)志檢測(cè)和識(shí)別研究的快速發(fā)展。2011 年，Ciresan 等人在 IJCNN 大賽上對(duì) GTSRB 數(shù)據(jù)庫采用深度卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，獲得了比人類平均識(shí)別率更高的結(jié)果。
2012 年，Greenhalghd 等人在歸一化的 RGB 空間中選?。液?B 通道以及結(jié)合 RGB 圖像提取 MSEＲ區(qū)域并利用 SVM 進(jìn)行交通標(biāo)志判斷，該方法有較好的實(shí)時(shí)性。2013年 Kim J.B. 認(rèn)為顏色形狀容易受周圍環(huán)境影響，增加了視覺顯著性模型進(jìn)行交通標(biāo)志檢測(cè)并具有較高的實(shí)時(shí)性。
1.3 車輛識(shí)別技術(shù)
在車輛識(shí)別技術(shù)方面，目前許多專家學(xué)者都在研究多傳感器融合技術(shù)。這是由于單一的傳感器在復(fù)雜的交通環(huán)境下檢測(cè)車輛的難度加大，且不同車輛具有各自不同的外形、大小和顏色，在物體之間的遮擋、雜亂且動(dòng)態(tài)變化的背景下，多傳感器融合可以達(dá)到作用互補(bǔ)的效果，是車輛識(shí)別技術(shù)的發(fā)展趨勢(shì)。
雷達(dá)在檢測(cè)車輛前方障礙物的位置、速度、深度等信息方面具有明顯優(yōu)勢(shì)，種類主要包括激光雷達(dá)、毫米雷達(dá)、微波雷達(dá)，其中激光雷達(dá)又可分為單線、四線及多線?；谲囕d攝像頭的視覺信息，可以對(duì)外部環(huán)境進(jìn)行立體視覺或單目視覺的檢測(cè)。立體視覺檢測(cè)的目的在于獲取障礙物的深度信息，但在實(shí)際應(yīng)用中，較大的計(jì)算量難以保證高速行駛中的實(shí)時(shí)性，且由于車輛顛簸等影響，雙目或多目攝像頭的標(biāo)定參數(shù)往往會(huì)有較大偏差，產(chǎn)生較多的誤檢及漏檢情況。單目視覺在實(shí)時(shí)性方面擁有較大優(yōu)勢(shì)，是目前常用的檢測(cè)方法，主要包括：基于先驗(yàn)知識(shí)的檢測(cè)方法、基于運(yùn)動(dòng)的檢測(cè)方法、基于統(tǒng)計(jì)學(xué)習(xí)的檢測(cè)方法。
基于先驗(yàn)知識(shí)的檢測(cè)方法：提取車輛的某些特征作為先驗(yàn)知識(shí)，原理與車道檢測(cè)技術(shù)中基于特征的檢測(cè)算法類似，經(jīng)常作為先驗(yàn)知識(shí)的車輛特征包括：車輛的對(duì)稱性、顏色、陰影、邊緣特征、紋理特征等信息。該方法在圖像空間中進(jìn)行搜索，找到與先驗(yàn)知識(shí)模型匹配的區(qū)域，即可能存在車輛的區(qū)域（ROI）。對(duì)于確定出的 ROI 區(qū)域通常還會(huì)采用機(jī)器學(xué)習(xí)的方法進(jìn)一步確認(rèn)。
基于運(yùn)動(dòng)的檢測(cè)方法：由于在不同的實(shí)際環(huán)境中物體運(yùn)動(dòng)時(shí)產(chǎn)生的圖像信息不同，基于此特點(diǎn)，通常需要對(duì)多幅差異較大的圖像進(jìn)行處理，積累足夠的信息后對(duì)運(yùn)動(dòng)物體進(jìn)行識(shí)別，實(shí)現(xiàn)對(duì)障礙物的檢測(cè)。但此方法由于計(jì)算量大的局限，實(shí)際應(yīng)用中實(shí)時(shí)性欠佳?；谶\(yùn)動(dòng)的檢測(cè)方法中，主要是光流法，該方法是機(jī)器視覺和模式識(shí)別中檢測(cè)運(yùn)動(dòng)物體常用的方法之一，它利用了同一平面內(nèi)運(yùn)動(dòng)物體的圖像像素序列灰度分布的變化，建立坐標(biāo)系檢測(cè)并獲取障礙物位置。
基于統(tǒng)計(jì)學(xué)習(xí)的檢測(cè)方法：首先需要采集足夠多的前方車輛樣本，樣本需涵蓋不同的環(huán)境、天氣、遠(yuǎn)近等情況。在訓(xùn)練樣本數(shù)據(jù)的過程中，一般采用神經(jīng)網(wǎng)絡(luò)、Haar 小波等方法。訓(xùn)練完成后，便可應(yīng)用于要實(shí)現(xiàn)的具體功能上。
1.4 行人檢測(cè)技術(shù)
行人檢測(cè)技術(shù)與現(xiàn)行的智能駕駛輔助技術(shù)相比具有一定的特殊性，主要體現(xiàn)在行人兼具剛性和柔性物體的特性，對(duì)行人的檢測(cè)易受到行人自身行為、穿著、姿態(tài)等因素的影響。行人檢測(cè)技術(shù)，即從傳感器采集到的圖像中提取行人位置，對(duì)行人運(yùn)動(dòng)行為進(jìn)行判斷的方法，通過提取視頻中運(yùn)動(dòng)目標(biāo)區(qū)域的信息，使用背景減除法、光流法、幀差法等，結(jié)合人體形態(tài)、膚色等特征判斷。在獲取的靜態(tài)圖片中，使用的方法主要有模板匹配方法，基于形狀檢測(cè)方法，基于機(jī)器學(xué)習(xí)的檢測(cè)方法。由于前兩種方法存在明顯缺點(diǎn)，近年來實(shí)際應(yīng)用較少，本文著重介紹基于機(jī)器學(xué)習(xí)的檢測(cè)方法的發(fā)展現(xiàn)狀。
基于機(jī)器學(xué)習(xí)的行人檢測(cè)方法的性能提升主要依賴行人特征描述以及分類器的訓(xùn)練。特征描述的復(fù)雜程度又影響了檢測(cè)方法的實(shí)時(shí)性，HOG 是目前廣泛使用的行人特征描述方法，另外 Haar、LBP 及其改進(jìn)方法也是行人特征描述的常用方法。機(jī)器學(xué)習(xí)的分類器涉及到行人檢測(cè)的檢測(cè)率，神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和 Boosting 方法是常見的機(jī)器學(xué)習(xí)分類器。
許多行人檢測(cè)技術(shù)的算法都是以上述方法及其改進(jìn)方法的基礎(chǔ)上進(jìn)行研究，從而在不同方面優(yōu)化了行人檢測(cè)技術(shù)。以 HOG 與線性向量機(jī)（SVM）結(jié)合為例，HOG 刻畫了圖像的局部梯度幅值和方向特征，基于梯度特征、對(duì)塊的特征向量進(jìn)行歸一化處理、允許塊之間相互重疊，因此對(duì)光照變化和小量的偏移并不敏感，能有效地刻畫出人體的邊緣特征。HOG 特征和 SVM 在場(chǎng)景簡單的 MIT 行人數(shù)據(jù)庫測(cè)試中，該組合檢測(cè)率近乎 100%。
1.5 駕駛員狀態(tài)檢測(cè)技術(shù)
早期駕駛員狀態(tài)檢測(cè)的方法主要是基于車輛運(yùn)行狀態(tài)的檢測(cè)方法，包括車道偏離報(bào)警、轉(zhuǎn)向盤檢測(cè)等，此類方法對(duì)駕駛員本身特征敏感度不高，容易因環(huán)境因素誤判，因此在近年來的研究中很少單一使用。本文將分別介紹基于駕駛員面部特征的檢測(cè)技術(shù)，以及該技術(shù)與多傳感器融合的駕駛員狀態(tài)檢測(cè)技術(shù)。
目前在基于駕駛員面部特征的檢測(cè)技術(shù)中比較常用的是駕駛員的頭部特征，駕駛員頭部的可視化特征可集中反映駕駛員的精神狀態(tài)，比如眼睛的眨動(dòng)狀態(tài)和頻率、嘴部運(yùn)動(dòng)特征、頭部姿勢(shì)等，這些特征都可通過攝像頭采集，不會(huì)對(duì)駕駛員正常駕駛產(chǎn)生影響，這種非接觸式的方法也逐漸成為此類技術(shù)的主流方法。
FaceLAB 是基于眼部特征的駕駛員狀態(tài)檢測(cè)技術(shù)的代表，該技術(shù)通過檢測(cè)駕駛員頭部姿態(tài)、眼瞼運(yùn)動(dòng)、凝視方向、瞳孔直徑等特征參量，進(jìn)行多特征信息融合，實(shí)現(xiàn)對(duì)駕駛員疲勞狀態(tài)的實(shí)時(shí)檢測(cè)，系統(tǒng)采用眼睛睜閉和注視方向檢測(cè)方法，解決了在暗光照、頭部運(yùn)動(dòng)和駕駛員佩戴眼鏡條件下的視線跟蹤問題。2008 年，新版的 FaeeLAB0 v4 系統(tǒng)采用紅外光主動(dòng)照明技術(shù)，進(jìn)一步增強(qiáng)了視線檢測(cè)的準(zhǔn)確度和精度，且能獨(dú)立地跟蹤每一只眼睛。
基于駕駛員面部特征與多傳感器融合的檢測(cè)技術(shù)，其主要代表是歐盟名為「AWAKE」的項(xiàng)目研究，該項(xiàng)目利用圖像、壓力等多種傳感器，通過對(duì)駕駛員眼瞼運(yùn)動(dòng)、視線方向、轉(zhuǎn)向盤握緊力等駕駛狀態(tài)，及車道跟蹤、周邊車距檢測(cè)、油門加速度計(jì)和制動(dòng)器的使用等的分析，將駕駛員的疲勞程度劃分為清醒、可能疲勞和疲勞 3 種狀態(tài)，對(duì)駕駛員狀態(tài)進(jìn)行較為全面的檢測(cè)和綜合評(píng)價(jià)。
該項(xiàng)目的駕駛員報(bào)警系統(tǒng)，由聲音、視覺、觸覺報(bào)警器組成，當(dāng)檢測(cè)到疲勞發(fā)生時(shí)，可根據(jù)疲勞程度的不同，通過強(qiáng)弱不同的聲光刺激和安全帶抖動(dòng)來提高駕駛員的警覺性。在此研究基礎(chǔ)上，日產(chǎn)公司研制出一種報(bào)警系統(tǒng)，當(dāng)該系統(tǒng)判斷駕駛員處于疲勞駕駛狀態(tài)時(shí)，電子報(bào)警器就會(huì)鳴響，并向駕駛室噴放一種含有薄荷和檸檬等醒腦物質(zhì)的香氣，及時(shí)消除司機(jī)睡意，如果駕駛員疲勞狀態(tài)得不到改善，該系統(tǒng)會(huì)使用聲光報(bào)警，并且自動(dòng)停車。
2 結(jié)語
汽車技術(shù)的發(fā)展進(jìn)入了智能化時(shí)代，機(jī)器視覺在眾多汽車駕駛輔助技術(shù)中均有應(yīng)用，機(jī)器視覺領(lǐng)域的技術(shù)進(jìn)步無疑將推動(dòng)汽車駕駛輔助技術(shù)的發(fā)展。因此圖像采集質(zhì)量的提升、圖像處理算法的優(yōu)化，如何更快速地實(shí)現(xiàn)圖像智能生成、處理、識(shí)別并給出決策建議，都是機(jī)器視覺領(lǐng)域需要解決的重要問題。
未來，隨著各類傳感器的技術(shù)革新、圖像處理算法復(fù)雜度的降低，機(jī)器視覺技術(shù)將更好地滿足行車過程中實(shí)時(shí)性、準(zhǔn)確性的要求。（來源：網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)告知本站刪除）
