2.4　性能評(píng)價(jià)

假定相關(guān)轉(zhuǎn)換提供的檢索詞對(duì)潛在用戶都是有效的（即對(duì)某一用戶無(wú)效,但對(duì)其他的用戶來(lái)說(shuō)可能有效）。只要某詞表有轉(zhuǎn)換詞出現(xiàn),則認(rèn)為轉(zhuǎn)換有效。本實(shí)驗(yàn)從《漢表》、《社科表》和《經(jīng)管表》中隨機(jī)抽取180個(gè)詞匯進(jìn)行轉(zhuǎn)換效率測(cè)定。性能評(píng)價(jià)采用以下指標(biāo)：

完全匹配率：是指用戶輸入的轉(zhuǎn)換詞在各詞表中出現(xiàn)的頻次與用戶輸入的轉(zhuǎn)換詞可能出現(xiàn)的頻次之比。

完全同義詞轉(zhuǎn)換率：是指同義詞（包括用戶輸入的轉(zhuǎn)換詞）在各詞表中出現(xiàn)的頻次與用戶輸入的轉(zhuǎn)換詞可能出現(xiàn)的頻次之比。

相關(guān)轉(zhuǎn)換率：是指在完全同義詞轉(zhuǎn)換不能實(shí)現(xiàn),而相關(guān)轉(zhuǎn)換能夠?qū)崿F(xiàn)的情況下,相關(guān)轉(zhuǎn)換詞在各詞表出現(xiàn)的頻次與用戶輸入的轉(zhuǎn)換詞可能出現(xiàn)的頻次之比。

例如：

上例轉(zhuǎn)換中,“代幣”一詞通過(guò)完全匹配和完全同義詞轉(zhuǎn)換,在漢表中均沒有轉(zhuǎn)換結(jié)果,通過(guò)相關(guān)轉(zhuǎn)換,在漢表中找到相關(guān)詞“貨幣”。此次轉(zhuǎn)換提高了詞表的轉(zhuǎn)換性能,在相關(guān)轉(zhuǎn)換率測(cè)定中是有效的。

敘詞表轉(zhuǎn)換結(jié)果統(tǒng)計(jì)樣例如表2-7所示,轉(zhuǎn)換性能評(píng)價(jià)結(jié)果如表2-8所示。其中,“A”表示完全匹配轉(zhuǎn)換；“B”表示完全同義詞轉(zhuǎn)換；“C”表示相關(guān)詞轉(zhuǎn)換；“○”表示系統(tǒng)轉(zhuǎn)換生成的檢索詞；“●”表示用戶輸入的轉(zhuǎn)換詞。

表2-7　敘詞表轉(zhuǎn)換結(jié)果統(tǒng)計(jì)樣例

續(xù)表　2-7

表2-8　敘詞表轉(zhuǎn)換性能評(píng)價(jià)結(jié)果

《社科表》、《漢表》和《經(jīng)管表》的轉(zhuǎn)換結(jié)果為180條,三者的兼容率分別為30.2%、44.4%和40.0%,平均兼容率為40.5%。采用完全同義詞轉(zhuǎn)換和相關(guān)轉(zhuǎn)換,可使《社科表》轉(zhuǎn)換率分別提高13.4%和7.7%（共21.1%）,《漢表》轉(zhuǎn)換率分別提高14.5%和4.4%（共18.9%）,《經(jīng)管表》轉(zhuǎn)換率都提高5%（共10%）。以上數(shù)據(jù)分析表明,敘詞表之間實(shí)現(xiàn)自動(dòng)轉(zhuǎn)換是完全可行的,通過(guò)不同類型的轉(zhuǎn)換操作可使敘詞表的詞匯自動(dòng)轉(zhuǎn)換性能大大提高。

《社科表》與《漢表》兼容轉(zhuǎn)換效率遠(yuǎn)遠(yuǎn)高于《經(jīng)管表》。主要原因在于《社科表》與《漢表》具有基本相同的敘詞款目結(jié)構(gòu),并且具有完善的參照系統(tǒng)。因此,敘詞表的詞匯結(jié)構(gòu)影響敘詞表的兼容轉(zhuǎn)換性能的一個(gè)重要因素。為了測(cè)試《社科表》與《漢表》的兼容轉(zhuǎn)換性能,從上述用于測(cè)定轉(zhuǎn)換效率的詞匯中抽取出從《漢表》和《社科表》中選取的實(shí)驗(yàn)數(shù)據(jù)（共124個(gè)詞匯）,重新進(jìn)行統(tǒng)計(jì)分析,統(tǒng)計(jì)結(jié)果見表2-9。

表2-9　《漢表》與《社科表》轉(zhuǎn)換結(jié)果

《社科表》與《漢表》本身具有較好的兼容性,通過(guò)同義詞轉(zhuǎn)換和相關(guān)詞轉(zhuǎn)換,可使《社科表》的兼容轉(zhuǎn)換率分別提高16.9%和11.3%,《漢表》的兼容轉(zhuǎn)換率提高18.5%和6.4%。由此可以看出,中文敘詞表詞匯自動(dòng)轉(zhuǎn)換是完全可以實(shí)現(xiàn)的。

盡管《經(jīng)管表》是計(jì)算機(jī)檢索系統(tǒng)的詞匯表,并且沒有參照系統(tǒng),但通過(guò)其他敘詞表提供的同義詞等參照系統(tǒng),可使其兼容水平得到一定的提高。另外,由于《經(jīng)管表》是面向計(jì)算機(jī)檢索系統(tǒng)的,其兼容轉(zhuǎn)換性能往往取決于其標(biāo)引質(zhì)量。如果其標(biāo)引質(zhì)量高,其轉(zhuǎn)換性能也會(huì)相對(duì)提高。