6.4　關(guān)鍵詞篩選算法

關(guān)鍵詞篩選算法：

輸入：一篇文獻(xiàn)的所有N-gram

輸出：文獻(xiàn)的關(guān)鍵詞

（1）：輸入文獻(xiàn)的N-gram,建立列表Gramlist；

（2）：計(jì)算Gramlist中所有字符串的GF/GL權(quán)重值；

（3）：刪除Gramlist中GF/GL值等于零的字符串/＊?jiǎng)h除出現(xiàn)頻率為1的字符串＊/；

（4）：定義參數(shù)K/＊定義父串最大長(zhǎng)度和子串最小長(zhǎng)度＊/；

（5）：For Gramlist中的每個(gè)字符串S。

For S的在Gramlist中的每個(gè)子串SS（LENs-K≤LENss＜LENs）/＊?jiǎng)h除GF/GL值小于S的子串/＊

for S在Gramlist中的每個(gè)父串PS（LENs＜LENss≤LENs＋K）/＊?jiǎng)h除GF/GL值小于S的父串＊/

（6）：刪除Gramlist做刪除標(biāo)記的字行串

（7）：刪除Gramlist中的停用詞

（8）：輸出Gramlist中的剩余字符串,作為該文獻(xiàn)的關(guān)鍵詞。

其中,K表示字符串和父串（或者子串）相比較時(shí),它們之間長(zhǎng)度差異的最大值。k在關(guān)鍵詞篩選算法中用于控制文獻(xiàn)的標(biāo)引深度和標(biāo)引專指度。k值越大,標(biāo)引專指度越高,而標(biāo)引深度就越低。例如,k＝4,那么進(jìn)行關(guān)鍵詞篩選時(shí),字符串只與其長(zhǎng)度相差不超過(guò)四個(gè)漢字字符的父串（或者子串）進(jìn)行比較。如果k值較小,字符串就只與其較短的父串和較長(zhǎng)的子串進(jìn)行比較,在標(biāo)引結(jié)果中廣義詞、狹義詞和相關(guān)詞（指字面上相似的詞）可能同時(shí)存在。例如：某篇關(guān)于中文搜索引擎的文獻(xiàn),自動(dòng)抽取出的關(guān)鍵詞可能為“搜索引擎”、“中文搜索引擎”和“中文搜索”。關(guān)鍵詞抽取結(jié)果樣例見(jiàn)表6-1,其中＊表示不完整詞匯,！表示停用詞。

表6-1　關(guān)鍵詞抽取結(jié)果樣例

續(xù)表6-1

下以是一篇CWT中的文本為例,進(jìn)一步說(shuō)明該方法的應(yīng)用效果。

民俗文化——剪紙博物館^[1]：剪紙博物館。去其他博物館。作品欣賞。著名民間剪紙藝術(shù)家楊玉琴,自幼酷愛(ài)剪紙,是陜西民間剪紙協(xié)會(huì)的會(huì)員,其剪紙作品多次獲獎(jiǎng)并被各國(guó)友人收藏。從1994年6月份起,楊玉琴老人用了整整三年半的時(shí)間,精心剪成了1 000幅精美的大型剪紙作品。作品所表現(xiàn)的內(nèi)容包羅萬(wàn)象,人物、典故、歷史、傳說(shuō)、民間故事、花鳥蟲魚等無(wú)所不有。人物剪紙中遠(yuǎn)有傳說(shuō)中的軒轅帝,近有偉人毛澤東,歷朝歷代的帝王將相在她的剪紙上全都惟妙惟肖,“三國(guó)演義”、“水滸傳”“紅樓夢(mèng)”“西游記”等名著中的人物、典故更是表現(xiàn)得生動(dòng)逼真。剪紙中的花鳥魚蟲千變?nèi)f化,十二生肖、百蝶圖、百鳳圖、盤龍臥虎等躍然紙上,惹人喜愛(ài)。去年韓國(guó)文化電視臺(tái)北京分社來(lái)到西安采風(fēng)時(shí),專程采訪了楊玉琴。3月6日,上海大世界吉尼斯總部將大世界吉尼斯之最的證書寄到了楊玉琴的家中。這卷長(zhǎng)160米、寬1.10米的組合剪紙成了中國(guó)民間剪紙藝術(shù)中極其珍貴的一部分。澳門日?qǐng)?bào)。世界最長(zhǎng)的百米剪紙畫西安退休女工已完成。據(jù)新華社西安20日電,一幅世界最長(zhǎng)逾百米組合剪紙畫,由陜西省西安市六旬老人楊玉琴歷時(shí)三年六個(gè)月創(chuàng)作完成。近日該作品獲上海大世界吉尼斯總部認(rèn)證。這幅剪紙作品由以前幅單件作品組合而成,長(zhǎng)150米,寬1.1米。剪紙選題廣泛既有中華歷史人物,民間故事傳說(shuō)、社會(huì)生活面畫,西北風(fēng)土人情,也有饒富情趣的花鳥蟲魚,具有較高的藝術(shù)收藏價(jià)值。

關(guān)鍵詞抽取結(jié)果：剪紙、民間剪紙、民間剪紙藝術(shù)、楊玉琴、博物館、西安、上海大世界吉尼斯總部、剪紙博物館、花鳥蟲魚、組合剪紙、民間故事