(一)“通用式三維即時(shí)成像技術(shù)”的研制目的和主要思路
目前能夠自動(dòng)實(shí)現(xiàn)三維立體圖像視覺(jué)測(cè)量的系統(tǒng),一般采用的技術(shù)手段是線激光光截圖測(cè)量技術(shù)或雙目加結(jié)構(gòu)光的測(cè)量技術(shù)。
這些技術(shù)的主要問(wèn)題是:①在室外陽(yáng)光下使用時(shí),可對(duì)成像造成強(qiáng)烈干擾,不能滿足成像質(zhì)量要求;②這些方式對(duì)于吸光面、大曲面、強(qiáng)反射光滑面,不能形成良好反射,影響檢測(cè)效果;③當(dāng)激光功率太小時(shí),測(cè)量深度會(huì)減小,測(cè)量精度會(huì)下降,當(dāng)激光功率加大時(shí),又容易造成使用者或被測(cè)物的傷害;④采用結(jié)構(gòu)光等主動(dòng)成像方式只能是在結(jié)構(gòu)光照到的位置進(jìn)行檢測(cè),對(duì)于結(jié)構(gòu)光之間的空隙,無(wú)法形成三維測(cè)量數(shù)據(jù),做到對(duì)被測(cè)物細(xì)部特征的三維成像;⑤由于結(jié)構(gòu)光照到的部位和其它照不到的位置在成像時(shí)的高對(duì)比度要求,使被測(cè)物的顏色和紋理無(wú)法同步測(cè)量和展示。
考慮到上述問(wèn)題,采用基于雙目視覺(jué)測(cè)量技術(shù)中的被動(dòng)式純光學(xué)成像的技術(shù),是符合“機(jī)器眼”三維成像目標(biāo)要求的技術(shù)。單純使用雙目匹配算法實(shí)現(xiàn)三維立體圖像計(jì)算,目前廣泛應(yīng)用在航測(cè)領(lǐng)域,但該方法在計(jì)算三維時(shí),需要人工干預(yù),且大都采用后期處理的方式,難以采用一套程序自動(dòng)完成。
雙目加結(jié)構(gòu)光這種三維測(cè)量方式,就像求解一個(gè)線性方程組,要得到解,方程的數(shù)量與變量的數(shù)量至少必須一致,如果方程數(shù)量不足,就變成了不定解方程,就需要增加方程數(shù)量或再給出其它的已知條件。結(jié)構(gòu)光等三維成像時(shí)的輔助手段,都可以理解為增加了額外的解方程前的已知條件,由于有了這些已知條件的存在,雖然足以能夠得出方程解,但這些手段的多樣性和復(fù)雜性,使這樣的三維測(cè)量難以滿足通用性的要求,同時(shí),極大限制了該類(lèi)測(cè)量系統(tǒng)的應(yīng)用范圍和測(cè)量效果。
按照畫(huà)法幾何的原理,描述三維物體時(shí)一般采用的是三視圖的方式。如果只用兩個(gè)視圖,在一些空間結(jié)構(gòu)體的理解上難免會(huì)出現(xiàn)歧義。對(duì)于純雙目匹配必然帶來(lái)歧義性這樣的命題,雖然目前還沒(méi)有嚴(yán)格意義上的幾何學(xué)證明,但從目前涌現(xiàn)的三維實(shí)時(shí)測(cè)量系統(tǒng)中大量采用雙目加結(jié)構(gòu)光的模式來(lái)看,依靠純雙目三維測(cè)量確實(shí)難以實(shí)現(xiàn)自動(dòng)化實(shí)時(shí)檢測(cè)。其可能的原因就是由于雙目匹配空間幾何解算的條件不足,造成了匹配上可能的歧義。
目前流行的雙目或多目圖像測(cè)量系統(tǒng),一般采用的方式是將各相機(jī)呈角度布置,這樣能夠擴(kuò)大測(cè)量視場(chǎng)范圍,提高測(cè)量精度。但在圖像匹配運(yùn)算時(shí)需要根據(jù)相機(jī)間的夾角以及被視物的空間位置,首先在采集圖像上計(jì)算出匹配極線。空間位置不同,極線在圖像上的角度不同,成為了一條斜率不固定的斜線。圖像匹配時(shí),就需要按照這條斜率不固定的斜線進(jìn)行像素搜索和匹配,搜尋范圍不能確定,運(yùn)算工作量大。
基于以上思考,北京清影公司設(shè)計(jì)開(kāi)發(fā)了一套建立在四像機(jī)組平面陣列基礎(chǔ)上的純圖像三維測(cè)量系統(tǒng),該系統(tǒng)至少包括一組組成2×2陣列的四臺(tái)數(shù)碼相機(jī),其運(yùn)算過(guò)程是對(duì)像機(jī)組采集的圖像進(jìn)行匹配運(yùn)算;根據(jù)匹配好的像素點(diǎn)像坐標(biāo),計(jì)算各個(gè)像素點(diǎn)的空間位置坐標(biāo);根據(jù)空間位置坐標(biāo),形成三維點(diǎn)云數(shù)據(jù);建立三維點(diǎn)云圖形,進(jìn)行三維立體重現(xiàn)。
(二)“通用式三維即時(shí)成像技術(shù)”介紹
“通用式三維即時(shí)成像技術(shù)”采用四像機(jī)組平面陣列硬件形式,后臺(tái)配置通用三維算法,能夠全自動(dòng)、快速完成對(duì)相機(jī)視場(chǎng)內(nèi)被視物體空間關(guān)系的解構(gòu)。北京清影公司經(jīng)過(guò)一年努力,已經(jīng)完成了全套軟硬件系統(tǒng)的研制,包括:專(zhuān)用三維相機(jī)、三維運(yùn)算軟件和三維立體顯示軟件等。在普通光照條件下,在不到1秒時(shí)間內(nèi)實(shí)現(xiàn)被視環(huán)境的三維快速成像。同時(shí),申請(qǐng)了11項(xiàng)發(fā)明,已經(jīng)獲得1項(xiàng)發(fā)明和5項(xiàng)實(shí)用新型授權(quán),打造出以“通用式三維即時(shí)成像技術(shù)”為核心的完整技術(shù)體系。
“通用式三維即時(shí)成像技術(shù)”的三維運(yùn)算,是采用幾何學(xué)的方法完成。其具體步驟是將相機(jī)組的四幅同步圖像的幅與幅之間,按像素點(diǎn)逐點(diǎn)在水平和垂直方向進(jìn)行兩兩匹配運(yùn)算。四組圖像之間通過(guò)幾何關(guān)系形成關(guān)聯(lián),互相印證,排除那些不符合幾何投影規(guī)律的匹配關(guān)系以后,技術(shù)上完全能夠?qū)崿F(xiàn)運(yùn)算的通用化,消除雙目匹配存在的歧義性問(wèn)題,實(shí)現(xiàn)像素間確定和的匹配。匹配完成后,通過(guò)匹配像素點(diǎn)的視差計(jì)算,直接得出被視點(diǎn)的三維空間坐標(biāo),以三維點(diǎn)云形式實(shí)現(xiàn)三維顯示。
以上方法,可以用物理定理來(lái)類(lèi)比理解。例如物體運(yùn)動(dòng)滿足牛頓定理的前提條件是光滑平面且不考慮風(fēng)的阻力等條件,圖像間的匹配也是同樣。當(dāng)四相機(jī)呈矩形陣列平行布置時(shí),相鄰兩相機(jī)之間的像素匹配就簡(jiǎn)化為水平或垂直匹配,這樣匹配運(yùn)算就由全圖面運(yùn)算變?yōu)樗交虼怪钡闹本€運(yùn)算,匹配范圍由面縮小為一條直線,增加了空間解算的確定性,極大提高了運(yùn)算速度。當(dāng)四組圖像兩兩匹配時(shí),就類(lèi)似于把四個(gè)匹配過(guò)程在空間相交為逐個(gè)確定的點(diǎn)。形成確定且三維空間解算幾何結(jié)構(gòu)。
“通用式三維即時(shí)成像技術(shù)”通過(guò)空間幾何的解算,直接跨過(guò)各類(lèi)圖像處理的復(fù)雜算法,實(shí)現(xiàn)利用多目相機(jī)純圖像解算,直接測(cè)量被視環(huán)境中物體的三維尺寸。該方法簡(jiǎn)單、快速、準(zhǔn)確,可實(shí)現(xiàn)標(biāo)準(zhǔn)化程序運(yùn)算。該技術(shù)采用四像機(jī)組平面陣列的方式,在任何光照條件下,對(duì)任何物體,采用完全相同的匹配算法和步驟就可以實(shí)現(xiàn)被視物的三維測(cè)量。實(shí)現(xiàn)了真正的“所見(jiàn)即所得”的三維機(jī)器視覺(jué)。
(三)“通用式三維即時(shí)成像技術(shù)”主要功能
“通用式三維即時(shí)成像技術(shù)”的主要功能表現(xiàn)在以下幾個(gè)方面:
1、 使用普通工業(yè)相機(jī)搭建多目相機(jī)組,實(shí)現(xiàn)任意環(huán)境的下光學(xué)被動(dòng)三維成像,不依賴(lài)于結(jié)構(gòu)光、事先標(biāo)定等任何輔助手段;
2、 能夠?qū)崟r(shí)抓取被視物的主要視覺(jué)特征,秒級(jí)時(shí)間內(nèi)直接得到物體輪廓及其空間三維數(shù)據(jù),快速實(shí)現(xiàn)物體與背景的分離和切割;
3、 硬件結(jié)構(gòu)簡(jiǎn)單、軟件完全通用、操作使用方便。徹底擺脫對(duì)專(zhuān)業(yè)人員、專(zhuān)業(yè)設(shè)備和專(zhuān)業(yè)技能的依賴(lài),傻瓜相機(jī)式的操作體驗(yàn),隨時(shí)隨地的三維測(cè)量結(jié)果輸出;
4、 硬件采用工業(yè)相機(jī)組,技術(shù)成熟可靠、成本低,成像作業(yè)過(guò)程簡(jiǎn)單。
(四)“通用式三維即時(shí)成像技術(shù)”應(yīng)用前景
機(jī)器視覺(jué)作為人工智能與工業(yè)4.0領(lǐng)域的關(guān)鍵技術(shù),在今后5~10年內(nèi)將迎來(lái)井噴式的發(fā)展,其廣泛的應(yīng)用范圍,有望創(chuàng)造出千億、以至萬(wàn)億級(jí)的市場(chǎng)機(jī)遇。
“通用式三維即時(shí)成像技術(shù)”作為一種具有高度通用性、靈活性的視覺(jué)感知技術(shù),在以下應(yīng)用方面,提供了一種全新用戶體驗(yàn),極大提升了人工智能的成長(zhǎng)空間:
可應(yīng)用于無(wú)人汽車(chē),作為主要視覺(jué)裝置部分替代當(dāng)前使用的景深相機(jī)和激光雷達(dá);
可與智能手機(jī)相結(jié)合,形成普通用戶均可以操作使用的便攜式三維成像終端,供警察、律師、醫(yī)生、電商、建筑設(shè)計(jì)師、機(jī)械工程師等專(zhuān)業(yè)人士使用;
可應(yīng)用于AR、VR以及3D打印領(lǐng)域,作為主要的前端視覺(jué)成像設(shè)備,快速、低成本地搭建景物的三維圖像;
可應(yīng)用于軍事領(lǐng)域,配置在單兵頭盔、戰(zhàn)車(chē)和戰(zhàn)機(jī)上,實(shí)現(xiàn)對(duì)復(fù)雜戰(zhàn)場(chǎng)環(huán)境的快速偵測(cè)感知;
可應(yīng)用于公安反恐與金融支付領(lǐng)域,對(duì)人臉實(shí)現(xiàn)三維建模和任意角度的二維識(shí)別;
可配置給各種類(lèi)型的機(jī)器人作為視覺(jué)感知終端使用,通過(guò)提供完整的視覺(jué)信息,極大提升無(wú)人系統(tǒng)的智能化程度。
“通用式三維即時(shí)成像技術(shù)”,我們的一小步,機(jī)器視覺(jué)的一大步。
圖1、清影三維立體相機(jī)
圖2、樓房照片
圖3、樓房3維立體照片
圖4、花的三維立體照片
圖5、花的照片