目前，基于機(jī)器視覺的表面缺陷裝備，已經(jīng)在各工業(yè)領(lǐng)域廣泛替代人工肉眼檢測(cè)，包括3C、汽車、家電、機(jī)械制造、半導(dǎo)體及電子、化工、醫(yī)藥、航空航天、輕工等行業(yè)。

傳統(tǒng)的基于機(jī)器 視覺的表面缺陷檢測(cè)方法，往往采用常規(guī)圖像處理 算法或人工設(shè)計(jì)特征加分類器方式。

一般來說，通常利用被檢表面或缺陷的不同性質(zhì)進(jìn)行成像方案的設(shè)計(jì)，合理的成像方案有助于獲得光照均勻的圖像，并將物體表面缺陷明顯的體現(xiàn)出來。

近年來，不少基于深度學(xué)習(xí)的缺陷檢測(cè)方法也被廣泛應(yīng)用在各種工業(yè)場(chǎng)景中。

對(duì)比計(jì)算機(jī)視覺中明確的分類、檢測(cè)和分割任務(wù), 缺陷檢測(cè)的需求非?；\統(tǒng)，實(shí)際上, 其需求可以劃分為三個(gè)不同的層次: “缺陷是什么”（分類）、“缺陷在哪里”（定位）和“缺陷是多少”（分割）。

一、表面缺陷檢測(cè)關(guān)鍵問題

1、小樣本問題

目前深度學(xué)習(xí)方法廣泛應(yīng)用在各種計(jì)算機(jī)視覺 任務(wù)中, 表面缺陷檢測(cè)一般被看作是其在工業(yè)領(lǐng)域的具體應(yīng)用。在傳統(tǒng)的認(rèn)識(shí)中, 深度學(xué)習(xí)方法無法直接應(yīng)用在表面缺陷檢測(cè)中的原因是因?yàn)樵谡鎸?shí)的 工業(yè)環(huán)境中, 所能提供的工業(yè)缺陷樣本太少。

相比于ImageNet數(shù)據(jù)集中1400多萬張樣本數(shù)據(jù), 表面缺陷檢測(cè)中面臨的最關(guān)鍵的問題是小樣本問題, 在很多真實(shí)的工業(yè)場(chǎng)景下甚至只有幾張或幾十張缺陷圖片。 實(shí)際上, 針對(duì)于工業(yè)表面缺陷檢測(cè)中關(guān)鍵問題之 一的小樣本問題, 目前有4種不同的解決方式:

1）數(shù)據(jù)擴(kuò)增、生成

最常用的缺陷圖像擴(kuò) 增方法是對(duì)原始缺陷樣本采用鏡像、旋轉(zhuǎn)、平移、扭曲、濾波、對(duì)比度調(diào)整等多種圖像處理操作來獲取 更多的樣本。另外一種較為 常見方法是數(shù)據(jù)合成, 常常將單獨(dú)缺陷融合疊加到 正常(無缺陷)樣本上構(gòu)成缺陷樣本。

2）網(wǎng)絡(luò)預(yù)訓(xùn)練與遷移學(xué)習(xí)

一般來說,，采用小樣本來訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)很容易導(dǎo)致過擬合, 因此 基于預(yù)訓(xùn)練網(wǎng)絡(luò)或遷移學(xué)習(xí)的方法是目前針對(duì)樣 本中最常用的方法之一。

3）合理的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

通過設(shè)計(jì)合理的網(wǎng)絡(luò) 結(jié)構(gòu)也可以大大減少樣本的需求?；趬嚎s采樣定理來壓縮和擴(kuò)充小樣本數(shù)據(jù), 使 用CNN直接對(duì)壓縮采樣的數(shù)據(jù)特征進(jìn)行分類. 相比 于原始的圖像輸入, 通過對(duì)輸入進(jìn)行壓縮采樣能大 大降低網(wǎng)絡(luò)對(duì)樣本的需求. 此外, 基于孿生網(wǎng)絡(luò)的表 面缺陷檢測(cè)方法也可以看作是一種特殊的網(wǎng)絡(luò)設(shè)計(jì), 能夠大幅減少樣本需求。

4）無監(jiān)督或半監(jiān)督

在無監(jiān)督模型中, 只利用正 常樣本進(jìn)行訓(xùn)練, 因此不需要缺陷樣本. 半監(jiān)督方法 可以利用沒有標(biāo)注的樣本來解決小樣本情況下的網(wǎng)絡(luò)訓(xùn)練難題。

2、實(shí)時(shí)性問題

基于深度學(xué)習(xí)的缺陷檢測(cè)方法在工業(yè)應(yīng)用中包括三個(gè)主要環(huán)節(jié)： 數(shù)據(jù)標(biāo)注、模型訓(xùn)練與模型推斷. 在實(shí)際工業(yè)應(yīng)用中的實(shí)時(shí)性更關(guān)注模型推斷這一環(huán)節(jié)，目前大多數(shù)缺陷檢測(cè)方法都集中在分類或識(shí)別的準(zhǔn)確性上, 而很少關(guān)注模型推斷的效率。

有不少方法用于加速模型, 例如模型權(quán)重量化和模型剪枝等。

二、工業(yè)表面缺陷檢測(cè)常用數(shù)據(jù)集

1）鋼材表面：NEU-CLS（可用于分類、定位任務(wù)）

由東北大學(xué)（NEU）發(fā)布的表面缺陷數(shù)據(jù)庫，收集了熱軋鋼帶的六種典型表面缺陷，即軋制氧化皮（RS），斑塊（Pa），開裂（Cr），點(diǎn)蝕表面（ PS），內(nèi)含物（In）和劃痕（Sc）。該數(shù)據(jù)庫包括1,800個(gè)灰度圖像：六種不同類型的典型表面缺陷，每一類缺陷包含300個(gè)樣本。對(duì)于缺陷檢測(cè)任務(wù)，數(shù)據(jù)集提供了注釋，指示每個(gè)圖像中缺陷的類別和位置。對(duì)于每個(gè)缺陷，黃色框是指示其位置的邊框，綠色標(biāo)簽是類別分?jǐn)?shù)。

2）太陽能板：

3）金屬表面：

• 在電子換向器中嵌入的塑料表面上觀察到了微小的碎裂或裂縫；
• 在八個(gè)不重疊的圖像中捕獲每個(gè)換向器的表面積；
• 在受控環(huán)境中捕獲圖像。

4）PCB板檢測(cè)：DeepPCB

圖1. PCB板檢測(cè)數(shù)據(jù)集

5）面料缺陷

該數(shù)據(jù)庫由七個(gè)不同織物結(jié)構(gòu)的245張4096 x 256像素圖像組成。數(shù)據(jù)庫中有140個(gè)無缺陷圖像，每種類型的織物20個(gè)，除此之外，有105幅紡織行業(yè)中常見的不同類型的織物缺陷（12種缺陷）圖像。圖像的大尺寸允許用戶使用不同的窗口尺寸，從而增加了樣本數(shù)量。Internet上的數(shù)據(jù)庫還包含所有具有缺陷的圖像的分割mask，使得白色像素表示缺陷區(qū)域，其余像素為黑色。

6）天池布匹缺陷數(shù)據(jù)

在布匹的實(shí)際生產(chǎn)過程中，由于各方面因素的影響，會(huì)產(chǎn)生污漬、破洞、毛粒等瑕疵，為保證產(chǎn)品質(zhì)量，需要對(duì)布匹進(jìn)行瑕疵檢測(cè)。布匹疵點(diǎn)檢驗(yàn)是紡織行業(yè)生產(chǎn)和質(zhì)量管理的重要環(huán)節(jié)，目前人工檢測(cè)易受主觀因素影響，缺乏一致性；并且檢測(cè)人員在強(qiáng)光下長時(shí)間工作對(duì)視力影響極大。由于布匹疵點(diǎn)種類繁多、形態(tài)變化多樣、觀察識(shí)別難道大，導(dǎo)致布匹疵點(diǎn)智能檢測(cè)是困擾行業(yè)多年的技術(shù)瓶頸。本數(shù)據(jù)涵蓋了紡織業(yè)中布匹的各類重要瑕疵，每張圖片含一個(gè)或多種瑕疵。數(shù)據(jù)包括包括素色布和花色布兩類，其中，素色布數(shù)據(jù)約8000張，用于初賽；花色布數(shù)據(jù)約12000張，用于復(fù)賽。

7）天池鋁型材表面瑕疵數(shù)據(jù)集

在鋁型材的實(shí)際生產(chǎn)過程中，由于各方面因素的影響，鋁型材表面會(huì)產(chǎn)生裂紋、起皮、劃傷等瑕疵，這些瑕疵會(huì)嚴(yán)重影響鋁型材的質(zhì)量。

為保證產(chǎn)品質(zhì)量，需要人工進(jìn)行肉眼目測(cè)。然而，鋁型材的表面自身會(huì)含有紋路，與瑕疵的區(qū)分度不高。

傳統(tǒng)人工肉眼檢查十分費(fèi)力，不能及時(shí)準(zhǔn)確的判斷出表面瑕疵，質(zhì)檢的效率難以把控。

近年來，深度學(xué)習(xí)在圖像識(shí)別等領(lǐng)域取得了突飛猛進(jìn)的成果。鋁型材制造商迫切希望采用最新的AI技術(shù)來革新現(xiàn)有質(zhì)檢流程，自動(dòng)完成質(zhì)檢任務(wù)，減少漏檢發(fā)生率，提高產(chǎn)品的質(zhì)量，使鋁型材產(chǎn)品的生產(chǎn)管理者徹底擺脫了無法全面掌握產(chǎn)品表面質(zhì)量的狀態(tài)。

當(dāng)然，深度學(xué)習(xí)技術(shù)還可以應(yīng)用到許許多多的行業(yè)產(chǎn)品里去，這里就不一一介紹了。

如果你的工業(yè)生產(chǎn)線中，可能用的到機(jī)器視覺或AI深度學(xué)習(xí)方面的技術(shù)來做質(zhì)量管控，那不妨和我們盈泰德科技聊聊，我們會(huì)先根據(jù)你的需求分析，從一個(gè)專業(yè)的角度免費(fèi)來給你設(shè)計(jì)一個(gè)合適你的方案，然后聽取你的意見，再詳細(xì)洽談，最后即使沒能達(dá)成合作，我們也非常希望能多認(rèn)識(shí)個(gè)朋友。