3．5．3 二維虛擬教學(xué)場景匹配方法

目前虛擬攝影中使用比較多的前后景匹配方式是圖形識別方式和傳感器方式，但是圖形識別方式需要購買專門的圖像采集卡來獲取當前圖像幀并進行分析，還需要用到復(fù)雜的圖像變換與計算，增加了系統(tǒng)開銷，還會產(chǎn)生很長的延時，而傳感器方式所需硬件也過于昂貴。因此，高質(zhì)量教育數(shù)字媒體內(nèi)容制作系統(tǒng)利用攝像機控制和虛擬背景控制模塊，以同時控制攝像機與虛擬背景，實時獲取PTZ攝像機相關(guān)參數(shù)的方式來實現(xiàn)前景與背景的匹配。該匹配算法不需要額外的視頻采集卡、傳感器等硬件，避開了煩瑣的圖像處理方式，并在設(shè)計過程中綜合考慮了人眼視覺特性（human visual properties）及視覺美學(xué)等因素，可取得較好的效果。

1．攝像機運動時的二維虛擬教學(xué)場景匹配算法

要取得虛擬背景與前景之間逼真的聯(lián)動效果，避免產(chǎn)生飄移現(xiàn)象，必須推導(dǎo)出圖片運動速度與當前攝像機參數(shù)之間的關(guān)系，使其與攝像機運動的速度精確對應(yīng)起來。圖3－25為攝像機角速度與虛擬背景在現(xiàn)實中的速度對應(yīng)示意圖。

圖3－25 攝像機角速度與虛擬背景在現(xiàn)實中的速度對應(yīng)示意圖

在圖3－25中，攝像機角速度θ為固定已知量；半徑r為攝像機與藍箱墻面的距離，由具體的藍箱而定，也可以認為是已知的固定值；虛擬背景運動速度v近似取為弧長。由弧長計算公式可得：

但是，此公式計算出來的背景速度v是現(xiàn)實中的藍箱墻面的速度，并不能直接拿來使用，還需利用攝像機成像原理進行換算，換算關(guān)系如圖3－26所示。

圖3－26 背景速度轉(zhuǎn)換圖

圖3－26中的f為當前攝像機的焦距，可向攝像機實時發(fā)送命令讀出。公式（3－1）中的v在這里作為物體高度｜EF｜，攝像機與藍箱墻面的距離為物距r，所成的像的高度v′（即｜CD｜）為轉(zhuǎn)化后的背景速度（由于虛擬攝影中所有的物距都在兩倍焦距外，所以在這里不考慮一倍焦距內(nèi)以及一倍焦距與兩倍焦距之間的成像原理）。則由圖3－26可推導(dǎo)出新的背景速度v′：

由△BAO∽△BDC可得：

由△OEF∽△ODC可得：

聯(lián)立式（3－2）與式（3－3）可得：

此處計算出的單位為m／s，還需乘以一個系數(shù)μ轉(zhuǎn)化為顯示設(shè)備像素單位，才能在實際系統(tǒng)中應(yīng)用。則最終以像素／秒為速度單位的虛擬背景速度v″的計算公式為：

將式（3－1）代入得：

要得到系數(shù)μ，可先取一個固定的焦距值，多次測算出該焦距對應(yīng)的v″值，再通過式（3－6）計算出來。

由式（3－6）計算出的圖像速度v″的單位為像素／秒，表示的是圖像被顯示部分在某個方向上的改變量。要在顯示設(shè)備上將這種變化顯示出來，須以一定的時間間隔對其進行重繪。根據(jù)人眼視覺惰性的相關(guān)討論，換幅間隔必須小于50ms，但不能過小，同時考慮普通電腦的CPU及顯卡的速度，換幅間隔應(yīng)盡量取一個較大值，經(jīng)過多次實驗分析，取經(jīng)驗值45ms為換幅間隔，能取得較為滿意的效果。

2．攝像機慣性運動模擬和補償

當攝像機在某個方向上停止運動時，它由于機械慣性而做勻減速運動，所在背景圖片也應(yīng)該做勻減速運動才能與之匹配；同時由人眼視覺特性分析，背景圖片也應(yīng)該勻減速停止以符合視覺審美要求。所以在每次前景與背景綁定運動即將停止時，應(yīng)該設(shè)置背景圖片做勻減速運動直至停止，而不是突然將速度降為零。

3．攝像機變焦時的虛擬場景匹配算法

對于攝像機焦距放縮的前背景匹配比較簡單，因為虛擬背景本身就有一個視覺遠近參數(shù)，再加上人眼對放縮的敏感度不如對移動的敏感度高，所以只需針對每一個變焦速度設(shè)置一個相應(yīng)的圖片放縮速度即可。需要注意的是，虛擬背景的放縮要嚴格依照比例來進行，若系統(tǒng)最終輸出窗口大小為800×600，則在進行背景放縮時要保持800

600≈1．33的比值不變，才不至于使背景變形失真。

4．二維虛擬教學(xué)場景匹配模塊實現(xiàn)

圖3－27為低成本虛擬攝影棚系統(tǒng)的二維匹配部分軟件界面圖，系統(tǒng)支持二維圖片和視頻背景，具有三種控制模式可供選擇。

圖3－27 二維場景匹配部分界面

1）攝像機調(diào)整模式

當調(diào)整選項選擇為攝像機調(diào)整時，可以對攝像機以指定速度進行上、下、左、右、左上、左下、右上、右下8個方位及變焦的調(diào)整，但虛擬背景位置和大小不變。

2）虛擬背景調(diào)整模式

當調(diào)整選項選擇為背景調(diào)整時，可以對二維背景以指定速度進行8個方位及變焦的調(diào)整，但攝像機本身不動。

3）綁定調(diào)整模式

當調(diào)整選項選擇為綁定調(diào)整時，可以對攝像機及二維背景進行聯(lián)動調(diào)整，即在調(diào)整攝像機時，根據(jù)二維虛擬場景匹配算法對虛擬場景進行相應(yīng)的調(diào)整。

5．場景匹配效果分析

為了檢測二維匹配算法的實際效果，我們進行了兩組實驗，隨意選擇了一張普通圖片類型的虛擬場景，分別進行前景人物與虛擬背景的匹配平移及放縮，具體效果如圖3－28和圖3－29所示。

圖3－28 二維虛擬場景匹配效果示例1

圖3－29 二維虛擬場景匹配效果示例2

在圖3－28中，除了茶杯、桌子、報紙是實物以外，其余的都是由3DS MAX建模渲染的虛擬圖片背景。其中，（a）圖為初始位置，（b）圖為攝像機向左移到一定位置時前景與背景匹配運動的結(jié)果，（c）圖為攝像機焦距變大時的匹配結(jié)果。從圖3－28中我們可以看出，該示例中前景與背景的搖移、聚散焦功能也能進行較好的匹配。

在圖3－29中，（a）圖為原始圖像，（b）圖為前景人物與虛擬背景匹配后一起右移的結(jié)果。通過（b）圖與（a）圖的對比可以看出，虛擬背景與人物一直是保持鎖定的、相對靜止的關(guān)系，當攝像機向右搖移時，前景人物在攝像機中的位置發(fā)生改變，虛擬背景中原本左邊的茶壺等物品移出了攝像機的視野，而出現(xiàn)了原始圖像中沒有的立柜等物品，虛擬背景的變化符合實景拍攝中的情況，而虛擬背景與前景人物的鎖定也不存在漂移現(xiàn)象。（c）圖是相對于（a）圖的位置攝像機變焦的情況，也可以看到虛擬背景與前景人物同時放大了，虛擬背景的上下左右邊緣已經(jīng)因為放大而移出了攝像機的視野范圍。攝像機俯仰運動的效果，與搖移的效果相同。此外，可以在此基礎(chǔ)上，加上一層FG2前景，取得虛擬遮擋效果。

由上述分析可知，本系統(tǒng)設(shè)計二維虛擬教學(xué)場景匹配算法，實現(xiàn)簡單且基本沒有延時，具有很高的處理效率，在設(shè)計時綜合考慮了人眼視覺的某些相關(guān)特性，能夠取得符合視覺美學(xué)規(guī)則的較好的匹配效果。