（一）基于深度學(xué)習(xí)的缺陷檢測(cè)方法框架

缺陷的定義與檢測(cè)任務(wù)劃分

在有監(jiān)督的方法中，缺陷意味著標(biāo)記過(guò)的區(qū)域或者圖像（如利用標(biāo)記了標(biāo)簽，包括類別、矩形框或逐像素等的缺陷圖像輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練）；在無(wú)監(jiān)督的方法中，是將正常無(wú)缺陷的樣本進(jìn)行學(xué)習(xí)，網(wǎng)絡(luò)檢測(cè)異常的區(qū)域。

缺陷檢測(cè)任務(wù)大致分為三個(gè)階段：缺陷分類（分類出缺陷的類別，如異色、空洞、經(jīng)線等）、缺陷定位（不僅需要獲取缺陷的類別還需要標(biāo)注出缺陷的位置）、缺陷分割（將缺陷逐像素從背景中分割出來(lái)）。

深度學(xué)習(xí)方法下的不同網(wǎng)絡(luò)類型

分類網(wǎng)絡(luò)：基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的分類網(wǎng)絡(luò)在表面缺陷分類中常用，如AlexNet，VGG，GoogLeNet，ResNet，DenseNet，SENet，ShuteNet，MobileNet等。利用分類網(wǎng)絡(luò)結(jié)合滑動(dòng)窗口的方式可實(shí)現(xiàn)缺陷的定位。

檢測(cè)網(wǎng)絡(luò)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法結(jié)構(gòu)上可劃分為兩階段（two – stage）網(wǎng)絡(luò)（以FasterR – CNN為代表）和一階段（one – stage）網(wǎng)絡(luò)（以SSD或YOLO為代表）。兩階段網(wǎng)絡(luò)需先生成可能包含缺陷的候選框（proposal），再進(jìn)一步進(jìn)行目標(biāo)檢測(cè)；一階段網(wǎng)絡(luò)直接利用網(wǎng)絡(luò)中提取的特征來(lái)預(yù)測(cè)缺陷的位置和類別。

在訓(xùn)練階段針對(duì)小數(shù)據(jù)集和樣本不平衡特點(diǎn)可采用在線困難樣本挖掘（OHEM）技術(shù)等提高檢測(cè)效果，例如在PCB缺陷檢測(cè)中的應(yīng)用。

分割網(wǎng)絡(luò)：可將表面缺陷檢測(cè)任務(wù)轉(zhuǎn)化為缺陷與正常區(qū)域的語(yǔ)義分割甚至實(shí)例分割問(wèn)題，能精細(xì)分割出缺陷區(qū)域，還可獲取缺陷的位置、類別以及相應(yīng)的幾何屬性（如長(zhǎng)度、寬度、面積、輪廓、中心等），大致可分為FCN（FullyConvolutionalNetworks）方法和MaskR – CNN方法兩種。

（二）傳統(tǒng)的基于工業(yè)機(jī)器視覺(jué)的表面缺陷檢測(cè)方法框架

傳統(tǒng)方法往往采用常規(guī)圖像處理算法或人工設(shè)計(jì)特征加分類器方式。通常利用被檢表面或缺陷的不同性質(zhì)進(jìn)行成像方案的設(shè)計(jì)，以獲得光照均勻的圖像，使物體表面缺陷明顯體現(xiàn)出來(lái)。

在工業(yè)機(jī)器視覺(jué)中的缺陷檢測(cè)需求分為“缺陷是什么”（缺陷分類）、“缺陷在哪里”（缺陷定位）和“缺陷是多少”（缺陷分割）三個(gè)層次。

二、結(jié)構(gòu)檢測(cè)包含的內(nèi)容

結(jié)構(gòu)檢測(cè)包含的內(nèi)容可能因檢測(cè)對(duì)象和檢測(cè)目的不同而有所差異。在缺陷檢測(cè)的范疇下，從上面提到的缺陷檢測(cè)方法來(lái)看：

基于不同網(wǎng)絡(luò)類型的結(jié)構(gòu)檢測(cè)內(nèi)容

分類網(wǎng)絡(luò)方面：如果是對(duì)結(jié)構(gòu)部件（如建筑結(jié)構(gòu)中的梁、柱等或者機(jī)械結(jié)構(gòu)中的零部件等）進(jìn)行檢測(cè)，可能是對(duì)結(jié)構(gòu)部件存在的缺陷類別進(jìn)行分類，例如判斷結(jié)構(gòu)表面是否有裂縫類、孔洞類等缺陷類別。這需要構(gòu)建合適的分類網(wǎng)絡(luò)結(jié)構(gòu)，采集含有不同缺陷類別的結(jié)構(gòu)部件圖像數(shù)據(jù)進(jìn)行訓(xùn)練，讓網(wǎng)絡(luò)學(xué)習(xí)到不同類別缺陷的特征以便準(zhǔn)確分類。

檢測(cè)網(wǎng)絡(luò)方面

對(duì)于兩階段網(wǎng)絡(luò)（如FasterR – CNN），結(jié)構(gòu)檢測(cè)可能先通過(guò)第一階段生成結(jié)構(gòu)部件可能存在缺陷的候選區(qū)域，第二階段在這些候選區(qū)域內(nèi)精準(zhǔn)確定缺陷的位置和類別。例如在建筑結(jié)構(gòu)墻體檢測(cè)中，先篩選出可能有缺陷的墻體區(qū)域，再確定缺陷是裂縫還是剝落等缺陷類型及其具體位置。

一階段網(wǎng)絡(luò)（如SSD或YOLO）則直接從結(jié)構(gòu)部件圖像中提取特征預(yù)測(cè)缺陷的位置和類別。比如在橋梁結(jié)構(gòu)部件檢測(cè)中直接判斷出結(jié)構(gòu)部件上缺陷的位置和類型（如鋼梁的腐蝕位置和程度類別）。

分割網(wǎng)絡(luò)方面：在結(jié)構(gòu)檢測(cè)中能夠精確地將結(jié)構(gòu)部件的缺陷區(qū)域從正常區(qū)域分割出來(lái)，同時(shí)獲取缺陷的幾何屬性。例如對(duì)于混凝土結(jié)構(gòu)的檢測(cè)，可以準(zhǔn)確分割出裂縫區(qū)域，并且得到裂縫的長(zhǎng)度、寬度、面積等幾何屬性，以及裂縫在結(jié)構(gòu)中的位置和所屬類別（是橫向裂縫還是縱向裂縫等）。

傳統(tǒng)檢測(cè)方法中的結(jié)構(gòu)檢測(cè)內(nèi)容

在傳統(tǒng)基于工業(yè)機(jī)器視覺(jué)的檢測(cè)中，結(jié)構(gòu)檢測(cè)會(huì)涉及根據(jù)結(jié)構(gòu)部件表面或缺陷的性質(zhì)設(shè)計(jì)成像方案，例如對(duì)于金屬結(jié)構(gòu)部件，可能需要特定的光照角度和強(qiáng)度來(lái)突出表面缺陷。之后利用常規(guī)圖像處理算法或者人工設(shè)計(jì)特征加分類器的方式進(jìn)行檢測(cè)，判斷結(jié)構(gòu)部件是否存在缺陷以及缺陷的類型和位置等。比如通過(guò)邊緣檢測(cè)算法確定結(jié)構(gòu)部件邊緣是否有破損，通過(guò)紋理分析判斷結(jié)構(gòu)表面是否有異常紋理（可能暗示存在缺陷）等。