5．3．4 教育數(shù)字媒體內(nèi)容適配原型系統(tǒng)設(shè)計與實現(xiàn)

1．移動互聯(lián)網(wǎng)技術(shù)基礎(chǔ)

使用移動終端瀏覽網(wǎng)頁，主要采用WAP。WAP是Wireless Application Proto－col（無線應(yīng)用協(xié)議）的簡稱，中文一般譯為無線應(yīng)用協(xié)議，也有人稱之為無線互聯(lián)網(wǎng)協(xié)議，它是開發(fā)移動網(wǎng)絡(luò)上類似互聯(lián)網(wǎng)應(yīng)用的一系列規(guī)范的組合。WAP由諾基亞（Nokia）、愛立信（Ericsson）、摩托羅拉（Motorola）等通信業(yè)巨頭制定。WAP是移動互聯(lián)網(wǎng)的通信標(biāo)準(zhǔn)，無線通信設(shè)備能夠通過它訪問互聯(lián)網(wǎng)上的資源。WAP只需有移動設(shè)備和WAP代理服務(wù)器的支持，就能實現(xiàn)對互聯(lián)網(wǎng)的訪問，不需要對現(xiàn)有的移動通信協(xié)議做任何改動。WAP能支持大多數(shù)的無線網(wǎng)絡(luò)，包括GSM、CDMA、PHS、TDMA、3G等。用戶只需要在移動設(shè)備中安裝與互聯(lián)網(wǎng)中的瀏覽器類似的微型瀏覽器，就可以訪問互聯(lián)網(wǎng)上的資源。

WAP定義了一種新的網(wǎng)頁標(biāo)記語言WML（wireless markup language，無線標(biāo)記語言），它是一種適用于無線環(huán)境的網(wǎng)頁創(chuàng)建語言，作用類似于HTML。而互聯(lián)網(wǎng)上的網(wǎng)頁是用HTML（hypertext markup language）語言描述的，最初的WAP1．X協(xié)議需要使用WAP網(wǎng)關(guān)對原有的HTML頁面進行處理，將HTML描述的頁面轉(zhuǎn)換為WML描述的頁面，在經(jīng)過轉(zhuǎn)換之后，移動終端設(shè)備就能夠瀏覽互聯(lián)網(wǎng)的資源。最新的WAP2．0協(xié)議采用XHTML語言。

WAP 2．0協(xié)議棧如圖5－14所示，是對WAP 1．X的升級。WAP 2．0采用具有無線特征的HTTP協(xié)議（WP－HTTP）。WP－HTTP規(guī)范是針對無線環(huán)境的HTTP協(xié)議的子集，能夠與HTTP1．1共同使用。因此，采用WAP 2．0不需要對WAP網(wǎng)關(guān)進行協(xié)議轉(zhuǎn)換，因為可以直接使用HTTP1．1來實現(xiàn)客戶端和源數(shù)據(jù)服務(wù)器之間的數(shù)據(jù)傳輸及移動應(yīng)用。因此，支持WAP 2．0就可以實現(xiàn)移動終端對WEB資源的直接訪問。

圖5－14 WAP2．0協(xié)議棧結(jié)構(gòu)

2．教育數(shù)字媒體內(nèi)容適配原型系統(tǒng)的功能模塊設(shè)計

教育數(shù)字媒體內(nèi)容適配原型系統(tǒng)架構(gòu)圖如圖5－15所示。為了將教育資源（如網(wǎng)絡(luò)課程，包含網(wǎng)頁、教學(xué)視頻、圖片、文字等教育數(shù)字媒體內(nèi)容）通過無線網(wǎng)絡(luò)分發(fā)給各種移動終端（包括便攜電腦、智能手機等），在教育資源服務(wù)器和移動終端之間設(shè)立教育數(shù)字媒體內(nèi)容適配服務(wù)器。該適配服務(wù)器的主要作用是：從教育資源服務(wù)器下載教育資源進行緩沖，然后在獲取智能終端相關(guān)參數(shù)信息（屏幕分辨率、處理能力）和無線網(wǎng)絡(luò)傳輸狀態(tài)（帶寬、時延、丟包率等）的情況下，進行適配處理。其處理流程如圖5－16所示。

圖5－15 教育數(shù)字媒體內(nèi)容適配原型系統(tǒng)架構(gòu)圖

圖5－16 教育數(shù)字媒體內(nèi)容適配服務(wù)工作流程

因為教育資源具有一定的結(jié)構(gòu)（如網(wǎng)絡(luò)課程），因此教育數(shù)字媒體內(nèi)容適配服務(wù)器將下載的教育資源首先進行資源的結(jié)構(gòu)分析和鏈接分析，提取出其中的文本數(shù)據(jù)、圖片數(shù)據(jù)和視頻數(shù)據(jù)，然后分別通過文本適配模塊、圖片適配模塊、視頻適配模塊進行適配處理，最后將適配后的數(shù)字媒體內(nèi)容以一定的結(jié)構(gòu)重新組成教育資源并分發(fā)給移動學(xué)習(xí)用戶。

為實現(xiàn)上述功能，教育數(shù)字媒體內(nèi)容適配原型系統(tǒng)包括以下功能模塊。

1）教育資源獲取與內(nèi)容分析模塊

此處的教育資源常見的是包含有各種類型數(shù)字媒體內(nèi)容的WWW網(wǎng)頁。該模塊的功能是對移動終端申請的WWW教育資源網(wǎng)頁進行下載和分析?；ヂ?lián)網(wǎng)中的資源是基于HTTP協(xié)議的，因此這個模塊需要支持HTTP協(xié)議，對網(wǎng)絡(luò)上教育資源服務(wù)器中的內(nèi)容進行下載，并保存于適配服務(wù)器上。

如圖5－17所示，教育資源的下載和分析過程為：適配服務(wù)器連接到遠端的教育資源服務(wù)器上，然后通過給教育資源服務(wù)器發(fā)送HTTP請求，獲取相應(yīng)的教育資源，并將其保存到本地服務(wù)器上；分析教育資源的結(jié)構(gòu)和鏈接特性（如為網(wǎng)絡(luò)課程，則解析相應(yīng)的HTML代碼），分離出對應(yīng)的文本、圖片和視頻等內(nèi)容。

圖5－17 教育資源內(nèi)容分析模塊

2）上下文環(huán)境參數(shù)獲取模塊

該模塊用于獲取移動終端參數(shù)和當(dāng)前網(wǎng)絡(luò)狀況。移動終端參數(shù)是通過獲取終端型號后在適配服務(wù)器上的終端信息庫中查找對應(yīng)的參數(shù)信息獲取；終端信號可以通過移動終端提交的HTTP信息中攜帶的User Agent來獲??；網(wǎng)絡(luò)參數(shù)狀態(tài)可以通過有效帶寬等的測量來獲取。其中終端信息參數(shù)獲取過程如圖5－18所示。

圖5－18 移動終端信息獲取模塊

通過移動終端資源請求中的User Agent信息獲取移動終端的型號。對該型號在移動終端參數(shù)信息庫中進行查找和匹配。如果查找成功，則可以提取此型號移動終端的詳細性能參數(shù)信息；如果查找不成功，則對此款移動終端采用默認(rèn)參數(shù)進行適配。

3）圖像適配處理模塊

該模塊根據(jù)移動終端屏幕的大小、支持的圖片格式等對教育資源中的圖片進行相應(yīng)的圖片裁減和格式轉(zhuǎn)換處理等。在此模塊中，針對圖片縮小后重要區(qū)域清晰度降低、無法掌握重要信息的問題，采取對圖片感興趣區(qū)域進行提取處理，去掉一些無關(guān)區(qū)域的信息，并對其進行裁剪與修改。在一定的屏幕分辨率情況下，盡可能地將重要區(qū)域的內(nèi)容顯示得更清楚，圖片適配處理模塊流程圖如圖5－19所示。

圖片適配處理模塊的處理過程如下。

（1）圖片感興趣區(qū)域識別。基于圖像感興趣區(qū)域識別算法提取感興趣區(qū)域的位置和大小。

（2）圖片感興趣區(qū)域的裁剪。在原圖中將感興趣區(qū)域內(nèi)容提取出來，去除其他多余的內(nèi)容。

（3）圖片大小、格式轉(zhuǎn)換。根據(jù)移動終端所能支持的格式，對圖片進行格式轉(zhuǎn)換，以使圖片能夠在移動終端上正確顯示；根據(jù)移動終端屏幕分辨率，對圖片按比例進行縮放處理，以方便其在移動終端屏幕上顯示。

圖5－19 圖像適配處理模塊流程圖

基于感興趣區(qū)域的圖像適配主要是為了保證圖片適配后的主觀感受質(zhì)量，不致因為整體圖像分辨率的下降而損失最重要區(qū)域的信息。但感興趣區(qū)域的圖片作為一種可選模式，通?？梢栽谟脩粜枰^看更加清晰的細節(jié)圖的時候才提供給用戶感興趣區(qū)域的圖片，并且感興趣區(qū)域可能會有多個，用戶可以通過交互式選擇方式查看多個感興趣區(qū)域。如用戶如果需要進一步觀看圖片的某些細節(jié)部分，可以通過點擊該圖片，通過鏈接查看感興趣區(qū)域。

4）視頻適配處理模塊

視頻適配處理模塊根據(jù)估計的有效網(wǎng)絡(luò)帶寬、移動終端支持視頻格式等特性對教育資源所含的視頻進行碼率適配或格式轉(zhuǎn)換。碼率適配的一種最簡單的方法就是改變視頻的幀率，因此，在本系統(tǒng)實現(xiàn)中考慮丟幀來減少視頻編碼速率。但丟棄過多的重要幀或連續(xù)丟幀可能會使視頻發(fā)生運動抖動。所以在此模塊中，采取基于運動能量的計算，找出重要的幀，在碼率適配時優(yōu)先保證重要的幀，甚至采取預(yù)先丟棄不重要的幀的方式來保證適配后的視頻主觀質(zhì)量，減少視頻的運動抖動。視頻適配處理模塊流程圖如圖5－20所示。

視頻適配處理模塊的處理過程為：根據(jù)運動能量模型計算視頻中幀的運動程度；根據(jù)運動能量的大小將視頻幀進行質(zhì)量分層；根據(jù)網(wǎng)絡(luò)傳輸參數(shù)判斷視頻編碼速率是否處于網(wǎng)絡(luò)有效帶寬之內(nèi)，若無線網(wǎng)路帶寬較小，則通過丟棄若干處于低質(zhì)量層的視頻幀，降低教學(xué)視頻的編碼速率，以適應(yīng)無線網(wǎng)絡(luò)的帶寬要求。

5）文字適配處理模塊

圖5－20 視頻適配處理模塊流程圖

本模塊主要對教育資源的文本進行字體、大小以及段落方面的適配。首先根據(jù)移動設(shè)備字體支持等對文字進行處理和轉(zhuǎn)換；然后根據(jù)移動終端屏幕大小對文本的段落進行樣式轉(zhuǎn)換和調(diào)整。文字適配處理模塊流程圖如圖5－21所示。

第一，文字字體和顏色的設(shè)置。根據(jù)移動設(shè)備上支持的字體和文字的顏色的規(guī)定，對終端不支持的文字字體或顏色模式進行處理。

第二，文字大小的適配。對文字大小的處理需要根據(jù)移動終端最適合顯示字體的大小來進行適配，因為現(xiàn)今的移動終端具有不同的分辨率、不同的顯示屏幕尺寸，這些都會影響同樣大小的字體在移動終端上的顯示。即使是同樣大小的字體，移動終端的分辨率不同，顯示的文字大小也不一樣。屏幕上的一切字號單位，如px、pt，都是相對單位，單憑它們并不能確定文字的實際大小。因此需要針對不同的移動終端，對文字的大小進行相應(yīng)的設(shè)置。

首先，需要確定一個文字最佳顯示的物理尺寸。經(jīng)過對多個移動設(shè)備的研究得出，對于一個移動設(shè)備，字體的長寬約為3mm的字體比較適合觀看，而長寬約為2mm的字體則較小，長寬約為4mm的字體較大。因此，長寬約為3mm較適合最佳顯示的文字的物理尺寸大小。

其次，通過移動終端參數(shù)信息庫，可以找出該移動設(shè)備的物理屏幕寬度、物理屏幕高度、水平分辨率、垂直分辨率4個參數(shù)?？梢赃x擇水平方向的參數(shù)來進行計算，也可以選擇垂直方向的參數(shù)來進行計算。計算出的結(jié)果一般不會有較大的差異，本

圖5－21 文字適配處理模塊流程圖

系統(tǒng)選擇水平方向的參數(shù)進行計算。相關(guān)計算公式如下：

在計算過程中，物理屏幕寬度采用mm作為單位，水平分辨率以px為單位，因此求出的文字大小單位為px。這里求出的文字大小一般不是整數(shù)，同時在中文字體顯示的時候，偶數(shù)像素顯示的效果更優(yōu)。這里對文字的大小選取最相近的偶數(shù)作為其最終的字號大小。如：16．5px≈16px。

最后，根據(jù)已求出的文字大小對已有文字進行轉(zhuǎn)換或設(shè)置相關(guān)屬性。

第三，段落分析和轉(zhuǎn)換。根據(jù)屏幕大小和字體大小，對不能一次顯示完畢的文本進行段落分析和劃分，并作相應(yīng)轉(zhuǎn)換，盡可能使得意思相近的文字段落能夠在終端屏幕上顯示于一屏內(nèi)。

3．移動終端信息獲取模塊的實現(xiàn)

1）手機型號的獲取

在服務(wù)器端獲取客戶端手機的User Agent信息，其實現(xiàn)步驟如下。

（1）在適配服務(wù)器上使用PHP技術(shù)建立一個新的站點，作為教育資源適配系統(tǒng)的入口并為手機提供代理訪問的功能。當(dāng)手機訪問教育資源適配系統(tǒng)的時候，用戶只需在教育資源適配系統(tǒng)中提交要訪問的網(wǎng)站的網(wǎng)址，適配服務(wù)器將作為手機的代理自動向源數(shù)據(jù)服務(wù)器訪問所需要的網(wǎng)頁，再將數(shù)據(jù)經(jīng)過適配后返回給手機終端，用戶就可以訪問所需要的網(wǎng)頁了。

（2）當(dāng)手機向適配服務(wù)器提交訪問網(wǎng)站的網(wǎng)址后，在適配服務(wù)器上便可以獲取手機的HTTP Header信息。從中可以得到手機的型號和手機的瀏覽器版本等信息。其獲取方法及代碼如下。

＜？php

echo＄＿SERVER［＇HTTP＿USER＿AGENT＇］］；

if（＄＿POST［＇website＇］＝＝""）

　　　　　echo＄＿POST［＇website＇］；

else

　　　　　echo"Empty WebSite"；

＄string＝＄＿SERVER［＇HTTP＿USER＿AGENT＇］；

＄mobileParameters＝split（"；"，＄string）；

＄broswer＝＄mobileParameters［0］；//瀏覽器類型

＄mobileType＝＄mobileParameters［2］；//瀏覽設(shè)備類型

echo"請等待．．．?dāng)?shù)據(jù)獲取中．．．＜br／＞您所需要獲取的網(wǎng)站為"．＄＿POST［＇website＇］

＄command＝"ReadWeb．exe"．＄＿POST［＇website＇］．""．＄broswer．""．＄mobileType；

echo＄command；

passthru（＄command）；

？＞

通過測試，可以看到手機的User Agent信息如圖5－22所示。

該手機模擬器的User Agent信息如下。

Mozilla／4．0（compatible；MSIE5．0；Seriers60／3．0Nokia6630／4．06．0Profile／MIDP－2．0Config－uration／CLDC－1．0）

可以得出以下信息：

瀏覽器類型為Mozilla／4．0（compatible；MSIE5．0；Series60／3．0）

手機型號為Nokia6630／4．06．0

2）手機參數(shù)的獲取

在服務(wù)器端的教育資源適配系統(tǒng)的主頁上獲取到手機型號之后，通過手機型號，到適配系統(tǒng)中的手機參數(shù)信息庫中查找與之匹配的手機型號，從而獲得手機的詳細參數(shù)。該模塊的實現(xiàn)方法如下。

（1）建立設(shè)備信息數(shù)據(jù)結(jié)構(gòu)，用于在適配中方便針對需要適配的手機提供其所能支持的詳細參數(shù)。該方法的實現(xiàn)過程及代碼如下。

圖5－22 訪問適配服務(wù)器時發(fā)送的HTTP Header信息

struct stDeviceInfo

｛ CString strDeveiceName； //聲明設(shè)備名稱變量

int nMaxImageHeight；　　　　　　　　//聲明圖片的最大高度變量

int nMaxImageWidth；　　　　　　　　//聲明圖片的最大寬度變量

int nScreenWidth；　　　　　　　　　//聲明手機屏幕的物理寬度

int nScreenHeight；　　　　　　　　　//聲明手機屏幕的物理高度

int nResolutionWidth；　　　　　　　//聲明水平分辨率變量

int nResolutionHeight；　　　　　　　//聲明垂直分辨率變量

vector＜CString＞m＿vecImgFormat；　//聲明圖像格式變量

stDeviceInfo（）；

　　　　　　　　　　　　　　　　　　　//初始化設(shè)備參數(shù)

｛……｝

｝

（2）使用GetDeviceInfo方法來對手機參數(shù)信息庫的XML文件中的數(shù)據(jù)的詳細參數(shù)進行提取。該方法的實現(xiàn)過程及代碼如下。

GetDeviceInfo（CString strDeviceName）

｛

stDeviceInfo info；//實例化info對象

TiXmlElement＊pEle＝m＿pDeviceNode－＞FirstChildElement（）；

//讀XML中的節(jié)點

TiXmlElement＊pEle＝m＿pDeviceNode－＞FirstChildElement（）；

if（strcmp（name，"max＿image＿width"）＝＝0）//比較字段名稱

pInfo－＞Attribute（"value"，＆（info．nMaxImageWidth））；//取出圖像寬度

……

//依次比較其他字段，并取出字段的數(shù)值

return info；//將該設(shè)備的參數(shù)信息返回

｝

4．教育資源獲取模塊的實現(xiàn)

1）教育資源的下載

適配系統(tǒng)作為移動終端的代理，需要根據(jù)手機發(fā)送過來的網(wǎng)頁地址，訪問Web服務(wù)器，將手機所需求的網(wǎng)頁從其所在的服務(wù)器下載到適配服務(wù)器上。在適配服務(wù)器上建立網(wǎng)頁下載模塊，通過使用HTTP協(xié)議進行網(wǎng)頁的下載，網(wǎng)頁下載模塊的實現(xiàn)方法及代碼如下。

int CHttpDownloader：：StartDownload（）

｛

Cstring myData；//聲明一個對象

//打開URL，獲得HTTP文件

myHttpFile＝（ChttpFile＊）mySession．OpenURL（m＿url）；

//讀取文件

While（myHttpFile－＞ReadString（myData））

｛

m＿info＝m＿info＋”＼r＼n”；

m＿info＋＝myData；｝

//關(guān)閉HTTP文件，結(jié)束會話

myHttpFile－＞Close（）；

mySession．Close（）；

UpdateData（false）；

｝

2）圖片、視頻資源的抽取

將教育資源下載到適配服務(wù)器后，需要對網(wǎng)頁中的圖片、視頻進行適配處理。首先，需要將教育資源網(wǎng)頁中的圖片全部提取出來。根據(jù)對HTML頁面進行分析可知，網(wǎng)頁中的圖片描述都使用＜img＞標(biāo)簽，視頻資源的描述一般使用＜embed＞或＜o(jì)bject＞。因此，根據(jù)標(biāo)簽中所指出的地址將圖片、視頻下載到適配服務(wù)器上。下面以新浪網(wǎng)為例進行測試，通過對www．sina．com．cn頁面中的圖片地址進行解析，然后依次下載到本地。試驗結(jié)果如圖5－23所示。

圖5－23 獲取教育資源網(wǎng)頁中的圖片

5．圖片適配處理模塊的實現(xiàn)

圖片的適配主要基于感興趣區(qū)域算法提取感興趣區(qū)域，然后對圖片按照感興趣區(qū)域進行裁減，以適應(yīng)移動終端的屏幕大小。

1）圖像感興趣區(qū)域識別

圖像感興趣區(qū)域是指在一幅圖像中用戶最關(guān)注的、最顯著的區(qū)域或圖像的主要區(qū)域。根據(jù)視覺心理學(xué)的研究，人類的視覺系統(tǒng)在接收到一幅圖像時，會利用選擇性注意機制來分析圖像，選擇圖像的特定區(qū)域，根據(jù)其局部特征，通過快速的眼動掃描，將其轉(zhuǎn)移到視網(wǎng)膜中央凹區(qū)，實現(xiàn)對該區(qū)域的注意，然后對其進行更精細的觀察與分析。

本原型系統(tǒng)采用Itti等人提出的bottom－up控制策略注意力模型。該模型利用的是生物的中央周邊濾波器結(jié)構(gòu)，在幾個不同的空間尺度上提取出一些低級特征，通過組合得到的特征圖，分別是亮度、顏色和方向三個顯著性的特征描述，最后得出的顯著性圖則為這三個顯著性特征描述的線性組合。接下來，采用一種被稱為贏者取全神經(jīng)網(wǎng)絡(luò)將注意力集中于當(dāng)前最突出的圖像區(qū)域，從而獲取感興趣區(qū)域。圖5－24所示為基于顯著圖的ROI提取算法流程。

顯著圖的基本思想是將像素在顏色、亮度、方向等方面與背景的對比定義為該點

圖5－24 基于顯著圖的ROI提取算法流程

的顯著值，所有點的顯著值構(gòu)成一張顯著圖。顯著值的大小表示各點吸引注意力的強弱程度。

對輸入圖像進行處理，建立二階高斯金字塔，并進行多尺度表達，通過低通濾波器和二次抽樣，產(chǎn)生水平和垂直方向之比為1∶1到1∶256的共九個級別的圖像。

設(shè)r、g、b分別表示輸入圖像的紅、綠、藍三個通道分量。

亮度特征為：

對輸入的每層金字塔都做上述運算，即可得到亮度金字塔I（σ），σ＝｛1，…，9｝顏色特征的計算如下。

紅／綠特征圖：

藍／黃特征圖：

方向特征圖是對亮度特征I在尺度σ用方向θ的Gabor濾波得到的金字塔

為了模擬感受野的中心－外周拮抗結(jié)構(gòu)，對各種特征分別在特征金字塔的不同尺度間作差。感受野的中心對應(yīng)于尺度c的特征圖的一個點（c∈｛2，3，4｝），感受野的外周對應(yīng)于尺度s的特征圖中的相應(yīng)點（s＝c＋σ，σ∈｛3，4｝）。由于不同尺度的特征圖大小不同，在作差時需要把大尺度s下的特征圖插值，得到和小尺度c下的特征圖一樣大小的圖像。然后逐點作差。這個過程表示為－。作差得到的是中心（尺度c）和外周（尺度c＋σ）的特征的對比：

經(jīng)過實驗發(fā)現(xiàn)：進行Gabor濾波后可以提取出圖像中紋理信息豐富的區(qū)域，并且這些區(qū)域視覺顯著性較強。Gabor濾波在60°、120°兩個方向取得最多的紋理信息，考慮到程序運行的時間復(fù)雜度問題，所以選取60°、120°兩個方向?qū)D像進行Gabor濾波。經(jīng)過上述計算，共有5個金字塔，亮度特征圖1個，顏色特征2個，方向特征2個，每個金字塔有6幅特征圖，共得到30幅特征圖。把每一個特征圖歸一到區(qū)間［0，1］，以消除和特征相關(guān)的幅度差別。為了消除干擾噪聲、突出顯著物體，對每個特征圖分別用二維高斯差函數(shù)進行卷積運算，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭。卷積和迭代過程進行多次（如10次）：其中，N（）表示上述迭代的高斯差函數(shù)運算。

把每一類歸一化的特征圖相加后，即可得到三類特征的顯著圖：

所有的顯著圖相加，再進行歸一化后，即可得到對應(yīng)于輸入圖像的顯著圖：

Dirk Walther和Christof Koch的算法，是利用贏者取全神經(jīng)網(wǎng)絡(luò)來獲取感興趣區(qū)域，然后通過返回抑制機制，抑制當(dāng)前顯著區(qū)域，使注意力轉(zhuǎn)向下一個最突出的區(qū)域。

圖5－25所示為根據(jù)Itti提出的方法獲取感興趣區(qū)域的示例。

圖5－25 感興趣區(qū)域提取示例

2）圖像感興趣區(qū)域的裁剪

根據(jù)感興趣區(qū)域識別模塊獲取的坐標(biāo)值，還需要在適配服務(wù)器上對圖片進行裁剪處理。本模塊根據(jù)圖像感興趣區(qū)域的坐標(biāo)值，使用CropImage（）方法，將感興趣區(qū)域提取出來。該方法的實現(xiàn)過程及代碼如下。

BOOL CImageConverter：：CropImage（CString strImage，RECT rect）

｛

CxImage image；//聲明CxImage對象

if（圖像格式＝＝IMAGETYPE＿GIF）

//加載格式為IMAGETYPE＿GIF的圖像

image．Load（strImage，CXIMAGE＿FORMAT＿GIF）；

……//繼續(xù)判斷其他格式的圖像image．Crop（rect）；

//根據(jù)矩形區(qū)域坐標(biāo)，調(diào)用Crop（）方法進行裁剪

image．Save（strImage，CXIMAGE＿FORMAT＿BMP）；//保存新的圖像

｝

圖5－26所示為在手機上直接瀏覽圖片和瀏覽感興趣區(qū)域圖片的對比圖。圖5－26（a）所示為原圖片在手機上瀏覽的效果圖，圖5－26（b）為經(jīng)過感興趣區(qū)域識別及裁剪以后的圖片在手機上瀏覽的效果圖。經(jīng)過比較可以發(fā)現(xiàn)，在圖5－26（b）中可以更加清晰地看到花朵的細節(jié)區(qū)域。

圖5－26 手機圖片瀏覽效果對比圖

3）圖像格式的轉(zhuǎn)換

根據(jù)手機參數(shù)信息庫中給出的手機所能支持的圖像格式，需要對所訪問的網(wǎng)頁中的圖片的格式進行轉(zhuǎn)換，以使該型號的手機能夠識別。因此在適配服務(wù)器上需要實現(xiàn)圖片格式的轉(zhuǎn)換功能。這里通過ConvertImage（）方法來實現(xiàn)，strImagePath表示的是圖片保存的位置，m＿imType是此型號手機所能支持的圖像類型。將這兩個參數(shù)作為該方法的輸入。該方法的實現(xiàn)過程及代碼如下。

BOOL CImageConverter：：ConvertImage（CString strImagePath，m＿imType）

｛ CxImage image；//聲明CxImage對象

IMAGE＿TYPE eType＝GetType（pExt）；//獲取圖片格式

if（eType＝＝m＿imType）//如果圖片的格式和手機支持的格式相同

　　　return FALSE；//直接返回，不做處理else

　　　　依次判斷圖像eType的類型；

//以原圖像類型的方式打開

image．Load（strImagePath，原圖像類型）；

//保存為手機所能支持的圖像類型

image．Save（strImagePath，手機支持的圖像類型）；

return TRUE；

｝

由圖5－27（a）可知，當(dāng)用手機瀏覽網(wǎng)頁時，若對某些圖片格式不支持，則會出現(xiàn)一片白色區(qū)域。而經(jīng)過格式適配以后，在手機上的顯示效果如圖5－27（b）所示，該圖片便可以很好地在手機上顯示出來。

圖5－27 圖片格式適配對比圖

4）圖像大小的調(diào)整

根據(jù)手機參數(shù)信息庫中給出的該手機所能支持的圖像的最大寬度和最大高度，對圖片的大小進行修改，本模塊通過使用ExpandImage（）來實現(xiàn)，共定義了三個輸入?yún)?shù)，其中strImage是指該圖片，nNewX表示新圖片的寬度，nNewY表示新圖片的高度。實現(xiàn)過程及代碼如下。

BOOL CImageConverter：：ExpandImage（CString strImage，int nNewX，int nNewY）

｛ CxImage image；//CxImage image；//聲明CxImage對象

image．Expand（nNewX，nNewY，image）；//對圖片的大小進行調(diào)整

image．Save（strImage）；//保存圖片

｝

圖5－28為圖片經(jīng)過大小適配調(diào)整以后在手機上顯示的效果對比圖。圖5－28（a）所示為網(wǎng)頁中的泰姬陵圖片直接在手機上瀏覽的效果圖，圖5－28（b）所示為根據(jù)屏幕大小適配的圖片效果。很明顯右邊的圖片可以看到圖片的全貌，并且更充分地利用了手機屏幕空間。

圖5－28 圖片大小適配對比圖

6．視頻適配模塊的實現(xiàn)

視頻的適配主要是編碼速率的適配。為避免復(fù)雜的轉(zhuǎn)碼操作，可以采取簡單地丟棄若干視頻幀的方法來實現(xiàn)，但要盡量避免丟棄特別重要的關(guān)鍵幀。因此，在本原型系統(tǒng)中，采用感知運動能量模型的方法來分析視頻中不同的編碼幀對于用戶主觀感知質(zhì)量的重要性，丟棄不重要的編碼幀來適應(yīng)網(wǎng)絡(luò)帶寬的變化。

1）視頻感知運動能量模型

在壓縮視頻流中，視頻運動信息通常以運動矢量來表達。然而，運動矢量僅僅是真實的光流場（real optical flows）的粗略和不連續(xù)的近似，其可靠性在一定程度上會受到噪聲的影響。一般來說，運動矢量的幅度比其方向?qū)τ谠肼暩用舾?。因此，要有效利用運動矢量信息來分析視頻序列的運動特征，需要使用濾波器來對運動矢量的幅度進行濾波，以消除噪聲的影響。

首先，采用空間中值濾波器（median filter）對運動矢量的幅度進行濾波。定義Ws為中值濾波器窗口的寬度，則濾波后的運動矢量幅度可以通過式（5－18）計算得到：其中，Mag_i，j為宏塊MB_i，j處運動矢量的幅度值，函數(shù)Max4th（Mag_k）為返回濾波器窗口Ws內(nèi)以降序排列的運動矢量幅度值序列中的第4個元素值。

經(jīng)過中值濾波后的運動矢量幅度再通過一個時間域的能量濾波器來進一步消除噪聲，可以采用如三維時空跟蹤卷（3Dspatial－temporal tracking volume）內(nèi)的α截斷率（alpha－trimmed）濾波器。設(shè)三維時空跟蹤卷的空間窗口大小定義為Wt，其持續(xù)時間長度為L_t，則包括對象運動能量和攝像機運動能量在內(nèi)的混合運動能量MixEn_i，j的計算式為：式中，M為跟蹤卷中的幅度值元素總數(shù)，［αM］為不大于αM的最大整數(shù)，Mag_i，j（m）為跟蹤卷內(nèi)幅度值序列的元素值，截斷率參數(shù)α（0≤α≤0．5）則決定了被排除在運動能量累積計算過程以外的數(shù)據(jù)樣本數(shù)目。

對于整個視頻幀來說，可以使用該幀內(nèi)所有宏塊的運動矢量的平均幅度值Mag（n）來評估其運動強度，P幀和B幀內(nèi)的Mag（n）分別通過式（5－20）和式（5－21）計算得出：式中，MixFEn_i，j（n）和MixBEn_i，j（n）分別代表第n幀內(nèi)的前向運動矢量和后向運動矢量的混合運動能量，N為幀內(nèi)的宏塊總數(shù)。

由于人眼更傾向于跟蹤和注意視頻場景中的主導(dǎo)運動（dominant motion），因此在模型中引入主導(dǎo)運動方向的百分比α（n），以更好地表征相關(guān)運動特性，α（n）可以由式（5－22）計算得出：

式（5－22）中，角度空間2π被劃分為m個角度區(qū)間，定義AH（n，k）為角度直方圖，則max（AH（n，k），k∈［1，m］）即為落入主導(dǎo)運動方向區(qū)間的角度數(shù)目。

感知運動能量（PME）是指運動矢量的平均幅度值與主導(dǎo)運動方向百分比的乘積：其中，Mag（n）反映了丟棄低運動強度的幀比丟棄高運動強度的幀較不容易被人眼察覺的事實。當(dāng)視頻序列中存在攝像機運動或其他主導(dǎo)對象運動時，α（n）將使得PME值有一個較大幅度的增加，這也反映出人眼對主導(dǎo)運動的敏感性。

2）視頻質(zhì)量分層

我們通過感知運動能量模型來刻畫視頻幀的運動強度。視頻幀運動強度的不同在一定程度上反映出其在人眼感知系統(tǒng)中的重要性的不同?；谶@一考慮，可以根據(jù)感知運動能量模型對視頻進行質(zhì)量分層，基本思想是將具有相同或相近感知運動能量的視頻幀分配為同一質(zhì)量層，感知運動能量越高的視頻幀所屬的質(zhì)量層的級別越高。根據(jù)感知運動能量的大小，可在時域中將順序編碼傳輸?shù)腂幀分為兩個質(zhì)量層：高運動能量層和低運動能量層，以此來反映各個B幀在視頻編碼流中重要性的不同。由于P幀作為后續(xù)視頻幀的參考預(yù)測幀，其重要性顯然比B幀要高，因此將所有P幀劃入更高的質(zhì)量層。最終可得到如圖5－29所示的質(zhì)量分層結(jié)構(gòu)。

圖5－29 基于感知運動能量的視頻質(zhì)量分層結(jié)構(gòu)

3）視頻編碼速率調(diào)整

可根據(jù)當(dāng)前網(wǎng)絡(luò)可用帶寬BW和當(dāng)前視頻傳輸碼率R_k來決定最佳的適配操作。此處的k表示當(dāng)前傳輸?shù)淖畹透兄|(zhì)量層的標(biāo)號，即從感知質(zhì)量層k到最高的感知質(zhì)量層n之間的所有層內(nèi)的視頻幀正被傳輸，而標(biāo)號小于k的感知質(zhì)量層數(shù)據(jù)則已被丟棄。R₁無疑是最大的視頻傳輸速率，此時所有感知質(zhì)量層的數(shù)據(jù)都被傳輸。這一適配過程的最終目的就是在滿足網(wǎng)絡(luò)可用帶寬的約束條件下，盡可能地丟棄低感知質(zhì)量層的視頻幀，而盡可能多地保留高感知質(zhì)量層的視頻幀，從而使視頻傳輸后的主觀感知質(zhì)量最優(yōu)化。具體適配決策算法如下。

（1）當(dāng)R_k＜BW＜R_k－1時，即當(dāng)前網(wǎng)絡(luò)可用帶寬僅支持傳輸感知質(zhì)量層k，k＋1，…，n時，如果將感知質(zhì)量層k－1加入當(dāng)前的傳輸過程中，則會超過網(wǎng)絡(luò)當(dāng)前的容量。因此，此時不必采取任何適配操作。

（2）當(dāng)R_k＋1＜BW＜R_k時，即當(dāng)前網(wǎng)絡(luò)可用帶寬降低到僅支持傳輸感知質(zhì)量層k＋1，k＋2，…，n時，適配引擎應(yīng)當(dāng)將低于感知質(zhì)量層k＋1的各層中的視頻幀丟棄，以降低視頻傳輸碼率。

（3）當(dāng)BW＞R_k－1時，即當(dāng)前網(wǎng)絡(luò)可用帶寬增加，支持更高視頻傳輸碼率時，標(biāo)號小于k的感知質(zhì)量層也可以被傳輸，適配引擎將把更多的視頻幀加入到當(dāng)前的傳輸序列，即傳輸感知質(zhì)量層k－1，k，…，n中。

7．文本適配處理模塊的實現(xiàn)

文本適配處理模塊的實現(xiàn)可分為以下四個步驟。

（1）在DeleteTag（）方法中通過字符串匹配的方法將網(wǎng)頁中的＜font＞和＜style＞標(biāo)簽全部去掉。

（2）使用GetDeviceInfo（）方法將移動設(shè)備的物理屏幕寬度（screen＿width）、水平分辨率（resolution＿width）提取出來。

（3）根據(jù)文字適配公式，通過Compute（）方法將最適合的文字大小計算出來。

（4）在原網(wǎng)頁中＜body＞標(biāo)簽內(nèi)部，設(shè)置其文本顏色（color）、文字字體（face）、文字大?。╯ize）三個屬性值。

文本適配處理模塊實現(xiàn)的過程及代碼如下。

BOOL CWebContentFormater：：FormatContent（stDeviceInfo info）

｛

//求每個水平像素的寬度

float nPrePixWidth＝info．nPhysicalWidth／（float）info．nScreenWidth；

//求出文字應(yīng)該設(shè)置的大小

int nFontSize＝（int）（DEFFONTSIZE／nPrePixWidth）；

RemoveTag（）；//去掉標(biāo)簽和css外部樣式

int nPos＝m＿strWebContent．Find（"＜body"）；//找到＜body＞標(biāo)簽

CStringA strReplace；//聲明新的樣式對象

//定義新的樣式

strReplace．Format（"＜body style＝”font－size：%dpx”"，nFontSize）；

//替換新的樣式

m＿strWebContent．Replace（"＜body"，strReplace）；

return TRUE；

｝

文字適配效果如圖5－30所示，網(wǎng)頁頁面中的文字有大有小，在沒有轉(zhuǎn)換的情況下瀏覽該網(wǎng)頁的文字效果如圖5－30（a）所示，文字無法完全顯示；經(jīng)過適配后的文字效果如圖5－30（b）所示，文字大小統(tǒng)一，并且呈現(xiàn)的內(nèi)容也增多，更適合瀏覽。

圖5－30 文字適配效果對比圖