摘
要：光照一致性是增強(qiáng)現(xiàn)實(shí)研究的一個(gè)重要組成部分，本文利用攝像機(jī)捕獲的放置在真實(shí)場(chǎng)景中的標(biāo)定物和鏡面小球的視頻圖像，設(shè)計(jì)了一個(gè)增強(qiáng)現(xiàn)實(shí)光照系統(tǒng)模型。放置在真實(shí)場(chǎng)景中的標(biāo)定物用來(lái)計(jì)算光源位置以及放置虛擬物體，鏡面小球用于記錄真實(shí)場(chǎng)景中的光照信息。此模型的實(shí)現(xiàn)過(guò)程表明，該文的方法實(shí)現(xiàn)相對(duì)簡(jiǎn)單，不需要對(duì)場(chǎng)景及模型進(jìn)行預(yù)處理，能夠達(dá)到虛實(shí)對(duì)象在動(dòng)態(tài)增強(qiáng)現(xiàn)實(shí)場(chǎng)景中光照的一致性，并可進(jìn)行實(shí)時(shí)交互。

　　關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí); 光照一致性; 實(shí)時(shí)交互

　　1 引 言

　　增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)，又稱增強(qiáng)型虛擬現(xiàn)實(shí)(Augmented Virtual
Reality)，是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步拓展，它借助必要的設(shè)備使計(jì)算機(jī)生成的虛擬環(huán)境與客觀存在的真實(shí)環(huán)境(Real
Environment，簡(jiǎn)稱RE)共存于同一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，從感官和體驗(yàn)效果上給用戶呈現(xiàn)出虛擬對(duì)象(Virtual
Object)與真實(shí)環(huán)境融為一體的增強(qiáng)現(xiàn)實(shí)環(huán)境。增強(qiáng)現(xiàn)實(shí)技術(shù)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)的新特點(diǎn)[1][2][3]
。在工業(yè)、教育、軍事、體育和娛樂(lè)等領(lǐng)域具有廣泛的應(yīng)用前景。

　　為使計(jì)算機(jī)生成的虛擬對(duì)象具有真實(shí)感，讓用戶從感官上確信虛擬對(duì)象是周?chē)h(huán)境的組成部分，需解決幾何一致性、光照一致性和實(shí)時(shí)性的問(wèn)題。光照一致性是指虛擬對(duì)象與真實(shí)場(chǎng)景的圖像應(yīng)達(dá)到一致的光照效果，這就需要恢復(fù)出真實(shí)場(chǎng)景的光照模型，然后計(jì)算真實(shí)場(chǎng)景光照對(duì)虛擬對(duì)象的影響，如明暗、陰影、反射效果等。

　　為解決光照一致性問(wèn)題Fournier[10]等人首先提出了利用基于圖像的光照技術(shù)將真實(shí)場(chǎng)景和虛擬對(duì)象融合在一起，進(jìn)行統(tǒng)一的光照計(jì)算的框架，但產(chǎn)生的光照效果有偏差，且不支持實(shí)時(shí)交互。Debevec[8][9]利用環(huán)境映照技術(shù)，通過(guò)高動(dòng)態(tài)范圍的恢復(fù)算法,
得到相應(yīng)的輻射度圖。高動(dòng)態(tài)范圍圖像對(duì)于基于圖像的光照問(wèn)題來(lái)說(shuō)具有非常重要的意義，但他的方法不適用于動(dòng)態(tài)場(chǎng)景，而且由于沒(méi)有恢復(fù)出光源的位置因此不能產(chǎn)生虛實(shí)陰影效果。SATO[11]利用物體的影子來(lái)估計(jì)真實(shí)場(chǎng)景光源的分布，但是由于沒(méi)有恢復(fù)真實(shí)物體的材質(zhì)，所以不能計(jì)算陰影以外的其它光照效果，而且虛擬物體的位置也受到限制。隨著圖形硬件的不斷發(fā)展，實(shí)時(shí)圖形技術(shù)離我們?cè)絹?lái)越近，本文將基于圖像的光照技術(shù)與增強(qiáng)現(xiàn)實(shí)注冊(cè)技術(shù)相結(jié)合，從而實(shí)現(xiàn)了點(diǎn)光源位置及真實(shí)場(chǎng)景光照信息的實(shí)時(shí)獲取與繪制。

　　2 光照模型的建立

　　光照模型是計(jì)算機(jī)圖形學(xué)中生成真實(shí)感圖形的基礎(chǔ)，它定義了光源的特性、光強(qiáng)在照射表面的幾何分布和表面對(duì)光照的反射特性。在三維圖形的繪制中，需要根據(jù)光照模型計(jì)算每一個(gè)像素上可見(jiàn)景物表面投向觀察者的光亮度[4]。

　　基于圖像的光照技術(shù)是近年來(lái)的一個(gè)研究熱點(diǎn)，它是利用真實(shí)場(chǎng)景的光照?qǐng)D像來(lái)照明真實(shí)的或計(jì)算機(jī)生成的虛擬場(chǎng)景及物體的一種方法?；趫D像的光照模型是半整體的光照模型，它反映了真實(shí)場(chǎng)景中光照及物體對(duì)虛擬物體的影響，一般需要先獲取真實(shí)場(chǎng)景的光測(cè)圖(Light
Probe)來(lái)記錄場(chǎng)景的光輻射分布信息;然后將光照映射成一個(gè)場(chǎng)景環(huán)境的表示，并從環(huán)境中模擬光照，獲得真實(shí)的光照及環(huán)境映射圖像，照明計(jì)算機(jī)生成的虛擬三維物體。其中光測(cè)圖的生成方法是拍一幅光澤球面的照片，因?yàn)樗蹲降搅饲蝮w位置處的光照環(huán)境，基于圖像的光照技術(shù)讓用戶在改變視點(diǎn)的前提下還可以改變場(chǎng)景本身，突破了靜態(tài)場(chǎng)景的限制，對(duì)于增強(qiáng)現(xiàn)實(shí)系統(tǒng)的光照一致性研究具有重要的意義，但它的缺點(diǎn)是不能恢復(fù)真實(shí)場(chǎng)景的光源位置信息。

　　光源位置信息是產(chǎn)生陰影的前提，將陰影加入增強(qiáng)現(xiàn)實(shí)場(chǎng)景中不僅可以增強(qiáng)虛擬物體的真實(shí)感，還可以為用戶提供場(chǎng)景中虛實(shí)物體的位置關(guān)系。真實(shí)場(chǎng)景中的光源可以分為單個(gè)點(diǎn)光源、多個(gè)光源和自然光源(即某一方向的平行光)。單個(gè)點(diǎn)光源為簡(jiǎn)單，多個(gè)光源和自然光源相對(duì)來(lái)說(shuō)較為復(fù)雜。本文只研究單個(gè)點(diǎn)光源情況下的光源位置信息恢復(fù)。

　　3 實(shí)現(xiàn)過(guò)程

　　3.1 環(huán)境光處理

　　首先，不考慮虛擬物體對(duì)真實(shí)場(chǎng)景的影響，利用基于圖像的光照技術(shù)采集真實(shí)場(chǎng)景中的光照信息，照明虛擬物體。在基于圖像的光照技術(shù)中環(huán)境貼圖(Environment
Mapping，EM)由于不需要對(duì)真實(shí)場(chǎng)景進(jìn)行幾何重建，并且突破了靜態(tài)場(chǎng)景的限制，能讓用戶在改變視點(diǎn)的前提下還可以改變場(chǎng)景本身，在增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照一致性和實(shí)時(shí)性的研究上有廣闊的應(yīng)用前景。環(huán)境貼圖也稱為反射貼圖(Reflection
Mapping)，由Blinn和Newell[6]
[7]提出，他們采用球面及其經(jīng)、緯度來(lái)存儲(chǔ)物體周?chē)沫h(huán)境信息(即環(huán)境映照)，環(huán)境映照中存儲(chǔ)了一點(diǎn)處從各個(gè)方向入射的光輻射。球面環(huán)境貼圖是環(huán)境貼圖的一種，也是商業(yè)化圖形硬件早支持的一種環(huán)境貼圖[4]。這里我們通過(guò)ARToolkit[5]軟件和一個(gè)放在真實(shí)場(chǎng)景中的鏡面小球采集真實(shí)場(chǎng)景的光照信息。ARToolkit軟件提供了視頻捕獲和模型視圖矩陣的計(jì)算，通過(guò)已計(jì)算出的模型視圖矩陣以及鏡面小球的大小，可以從視頻圖像中分離出鏡面小球所在的區(qū)域圖像，這一區(qū)域圖像包含了真實(shí)場(chǎng)景環(huán)境中的光照信息。

　　一旦鏡面小球可以從視頻圖像中分離出來(lái)，就可以將它作為球面環(huán)境貼圖的紋理存入紋理內(nèi)存。由于OpenGL中紋理圖像尺寸必須是

個(gè)像素為了保證紋理圖像的完整性，我們對(duì)得到的鏡面小球區(qū)域圖像進(jìn)行了縮放，使之等于固定值，這里我們定義紋理圖像的大小為32*32。

　　接著為模擬物體表面的不同粗糙程度，根據(jù)虛擬物體表面的BRDF值對(duì)環(huán)境圖預(yù)先進(jìn)行濾波，并以查找表的方式進(jìn)行存儲(chǔ)。這里我們采用了Ashikhmin
和Ghosh
[12]的方法，利用OpenGL中的mipmap技術(shù)，在生成環(huán)境圖紋理之前，自動(dòng)快速地生成一系列已經(jīng)過(guò)濾的不同大小的紋理圖。通過(guò)在這一系列已經(jīng)過(guò)濾的從鏡面到漫反射效果紋理圖中選擇適當(dāng)?shù)募y理圖進(jìn)行混合，來(lái)近似的模擬物體表面的粗糙程度，物體的光亮度由混合的級(jí)別來(lái)決定。

　　當(dāng)?shù)玫郊y理圖后，就可以計(jì)算適當(dāng)?shù)募y理坐標(biāo)得到環(huán)境映照，并照明虛擬對(duì)象了。結(jié)果如圖2所示。

　　3.2 點(diǎn)光源位置的確定

　　通過(guò)以上步驟我們得到了真實(shí)場(chǎng)景中的環(huán)境光，但并不能得到點(diǎn)光源位置信息，為確定點(diǎn)光源位置本文用一個(gè)與其位置一致的標(biāo)定物來(lái)確定。

　　根據(jù)計(jì)算機(jī)視覺(jué)原理，攝像機(jī)攝取三維真實(shí)空間得到其二維圖像。圖像上每一點(diǎn)的亮度和色彩反映了真實(shí)空間中物體表面某一點(diǎn)對(duì)光的反射屬性，并且該點(diǎn)在圖像上的位置與其在真實(shí)空間中物體表面對(duì)應(yīng)點(diǎn)的位置之間存在一定的幾何變換關(guān)系。即對(duì)空間中任何一點(diǎn)P，根據(jù)它在三維真實(shí)空間中的齊次坐標(biāo)(Xw,Yw,Zw,1)T就可求出它在圖像上的成像位置，
根據(jù)這一原理，基于給定的標(biāo)定物是能夠識(shí)別確定攝像機(jī)相對(duì)于標(biāo)定物的方位，并結(jié)合已標(biāo)定的攝像機(jī)內(nèi)參數(shù)，可以確定點(diǎn)光源在圖像上的位置，但在這里我們還需要知道光源對(duì)于虛擬對(duì)象的相對(duì)位置，即需要知道在虛擬對(duì)象坐標(biāo)系下光源的位置，這時(shí)需要計(jì)算兩個(gè)標(biāo)定物之間的相對(duì)位置關(guān)系。

　　具體實(shí)現(xiàn)是，假設(shè)obj [0].trans是虛擬對(duì)象在相機(jī)坐標(biāo)系中的轉(zhuǎn)換矩陣，obj
[1].trans是光源在相機(jī)坐標(biāo)系中的轉(zhuǎn)換矩陣，那么光源在虛擬對(duì)象坐標(biāo)系中的相對(duì)位置計(jì)算如公式(1)：

　　wmat即為光源在虛擬對(duì)象坐標(biāo)系中的相對(duì)位置。

　　3.3 陰影處理

　　通過(guò)以上步驟我們得到了點(diǎn)光源位置信息，但并沒(méi)有將陰影效果加入到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中。

　　增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的陰影除了真實(shí)場(chǎng)景中的真實(shí)物體間的陰影，以及虛擬物體之間的陰影以外，還包括了真實(shí)物體對(duì)虛擬物體產(chǎn)生的陰影以及虛擬物體對(duì)真實(shí)物體產(chǎn)生的陰影。真實(shí)場(chǎng)景中真實(shí)物體對(duì)真實(shí)物體產(chǎn)生的陰影，不需要進(jìn)行處理，虛擬物體之間產(chǎn)生的陰影可以直接使用虛擬現(xiàn)實(shí)中的技術(shù)，真實(shí)物體以虛擬物體以及虛擬物體對(duì)真實(shí)物體產(chǎn)生的陰影需要進(jìn)行特別的處理。在這里我們除了考慮真實(shí)物體之間和虛擬物體之間的陰影之外，主要考慮了虛擬物體對(duì)真實(shí)物體產(chǎn)生的陰影。本文為滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要，對(duì)模板陰影生成技術(shù)進(jìn)行了改進(jìn)，算法流程如圖3所示。

　　4 實(shí)驗(yàn)結(jié)果與分析

　　我們用VC++和OpenGL實(shí)現(xiàn)了系統(tǒng)的原型。系統(tǒng)運(yùn)行過(guò)程如下：系統(tǒng)啟動(dòng)后首先初始化讀取攝像機(jī)內(nèi)參數(shù)，并根據(jù)標(biāo)定物確定光源位置和鏡面小球區(qū)域。初始化結(jié)束后，將光源與鏡面小球放到指定的位置。執(zhí)行真實(shí)場(chǎng)景光照信息的獲取與虛擬物體及陰影的繪制。

　　運(yùn)行結(jié)果表明，利用基于視頻圖像采集得到的光照信息可以成功的實(shí)現(xiàn)虛實(shí)環(huán)境的無(wú)縫結(jié)合，基本達(dá)到了增強(qiáng)現(xiàn)實(shí)場(chǎng)景中虛實(shí)物體的光照一致性，且不需要對(duì)場(chǎng)景和光照做預(yù)處理，可以在程序運(yùn)行過(guò)程中改變場(chǎng)景或場(chǎng)景中的光照，刷新速度達(dá)到每秒24幀左右，基本達(dá)到了用戶與增強(qiáng)現(xiàn)實(shí)場(chǎng)景的實(shí)時(shí)交互。

　　5 結(jié)束語(yǔ)

　　增強(qiáng)現(xiàn)實(shí)技術(shù)要求能讓用戶從感官上確信虛擬對(duì)象是周?chē)h(huán)境的組成部分，因此需解決幾何一致性、光照一致性和實(shí)時(shí)性的問(wèn)題。本文將基于圖像的光照技術(shù)、模板陰影生成技術(shù)以及三維注冊(cè)技術(shù)相結(jié)合，設(shè)計(jì)了一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)模型，實(shí)驗(yàn)表明該模型可以很好的將虛擬物體與周?chē)墓庹窄h(huán)境相融合。

　　但是，由于球面環(huán)境貼圖本身會(huì)給結(jié)果圖像帶來(lái)一定的誤差，所繪制圖像的精度依賴于虛擬物體的大小和它與中介表面的相對(duì)位置，當(dāng)虛擬物體較大或偏移中介表面的中心時(shí)，誤差會(huì)較大，且只對(duì)一個(gè)觀察方向有效，即使改變觀察方向，也依然會(huì)使用相同的紋理貼圖。同時(shí)由于沒(méi)有對(duì)真實(shí)場(chǎng)景進(jìn)行完全建模，因此虛擬物體對(duì)真實(shí)物體產(chǎn)生的陰影受到投影平面的限制，這些都是下面要進(jìn)一步要完善的工作。

　　參 考 文 獻(xiàn)

　　[1] 陳小武，趙沁平. 分布式虛擬環(huán)境的變化[R].
中國(guó)計(jì)算機(jī)科學(xué)技術(shù)發(fā)展報(bào)告([2]中國(guó)計(jì)算機(jī)學(xué)會(huì)2004年會(huì))，2005年。中國(guó)計(jì)算機(jī)學(xué)會(huì)約稿。

　　[2] 王涌天，劉越，胡曉明. 戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)及其應(yīng)用的研究[J]. 系統(tǒng)仿真學(xué)報(bào) Vol.15，No.3, 3月2003年。

　　[3] Azuma, R.; Baillot, Y.; Behringer, R.; Feiner, S.;Julier, S.;
MacIntyre, B.; Recent Advances in Augmented Reality[J] . Computer Graphics and
Applications, IEEE Volume: 21, Issue: 6, Nov.-Dec. 2001 Pages: 34~47.

　　[4] 彭群生，鮑虎軍，金小剛編著：計(jì)算機(jī)真實(shí)感圖形的算法基礎(chǔ)[M]. 北京：科學(xué)出版社，1999

　　[5] http://www.hitl.washington.edu/artoolkit/

　　[6] Blinn J F, and M.E. Newell. Texture and reflection in computer
generated images [J]. Comm ACM, 1976, 19(10) Pages: 542~547.

　　[7] Blinn, James F. Models of light reflection for computer synthesized
pictures [J]. ACM Computer Graphic (SIGGRAPH’77 Proceedings), July 1977. Pages:
192~198

　　[8] Paul Debevec. Image-based lighting [J]. IEEE Computer Graphics and
Applications, 2002, 22(2) Pages:26~34.

　　[9] Paul Debevec. HDRI and image-based lighting[C]. San Diego: Proc
SIGGRAPH 2003, Course 19, 2003.

　　[10] Alain Fournier. Illumination Problems in Computer Augmented Reality
[A]. In Journee INRIA, Analyse/ Synthese. D’Images(JASI’94), 1994. Pages:
1~21

　　[11] Sato I , Sato Y, Ikeuchi K. Illumination from shadows. IEEE
Transactions on Pattern Analysis and Machine Intelligence [J]. 2003, vol. 25,
No. 3, Pages: 306~312

　　[12] Michael Ashikhmin , Abhijeet Ghosh. Simple blurry reflections with
environment maps [J]. Journal of Graphics Tools, 2002, vol. 7 n.4, Pages:
3~8

　　[13] 馬頌德，張正友：計(jì)算機(jī)視覺(jué)―計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社，1998. 52~67