專家評審內(nèi)容與規(guī)則_多語種敘詞本體

9.4　專家評審內(nèi)容與規(guī)則

前文已經(jīng)提到，敘詞本體演化的主要工作是確定變更需求，執(zhí)行相應的變更，并且保持演化前后敘詞本體的一致性。專家評審工作的開展就是圍繞這幾項內(nèi)容來進行的，不過對每項工作進行具體考察后發(fā)現(xiàn)，類似于詞頻統(tǒng)計、新詞發(fā)現(xiàn)、關(guān)系抽取這種機械性的工作都由電腦程序自動完成，專家評審只需要做好兩大類工作，主要包括對敘詞的增刪改和敘詞本體一致性的評審工作?？紤]到這兩類工作自身性質(zhì)、特點以及工作內(nèi)容的不同，我們將分開對這兩項工作的評審內(nèi)容與規(guī)則進行闡述。

9.4.1　專家的任務目標

在敘詞本體演化時，為了確保敘詞本體的規(guī)范性與權(quán)威性，敘詞本體演化工作必須在一定的目標驅(qū)使下開展，其基本目標包括兩點:

(1)減少敘詞本體演化過程中敘詞變更出現(xiàn)的錯誤。在敘詞本體演化進程中，我們必須考慮到，雖然機器的分詞技術(shù)已經(jīng)為機械化的人工操作帶來了大大的便利，但是從根本上來講，還不足以達到完美的程度，由于各種敘詞抽取技術(shù)自身總會有或多或少的缺陷，這個敘詞本體演化帶來了一系列的問題，比如敘詞本體新詞發(fā)現(xiàn)錯誤，關(guān)系抽取錯誤，實例添加錯誤，甚至是變化之后帶來敘詞本體自身結(jié)構(gòu)變動問題，這些問題在敘詞本體演化中必須要加以控制和解決的。

(2)減少敘詞本體演化中因為認為關(guān)系帶來的主觀性太強的問題。即使有專家對敘詞本體的演化進程進行控制和管理，但是由于各個專家的自身經(jīng)歷不同，領(lǐng)域知識積淀也存在差異，可能還會因為各種利益出現(xiàn)一些違規(guī)的操作，這些導致專家在對某些敘詞本體概念及關(guān)系進行評判時或多或少帶有一些主觀性質(zhì)，不能夠很好的指導敘詞本體演化工作的進行，為了更高效的實現(xiàn)敘詞本體自身的功用，必須減少在敘詞本體演化過程中這一隱患。

為了完成以上兩個基本目標，同時，考慮到前文提到的敘詞本體演化的基本任務，專家在敘詞本體的增刪改工作中的評審任務就十分明確了，主要包括以下幾點: a.敘詞語詞評審，對于計算機以自動或半自動化方式從Web資源中獲取期望的本體的敘詞集合進行人工審核; b.敘詞間關(guān)系評審，主要是對計算機以自動或半自動化方式從Web資源中獲取概念之間的繼承關(guān)系集合的評審工作; c.屬性關(guān)系評審，主要是對計算機以自動或半自動化方式從Web資源中獲取概念之間的屬性——宿主關(guān)系集合的評審工作; d.實例獲取的評審，計算機以自動或半自動化方式從Web資源中獲取實例集合以及實例和概念之間的實例關(guān)系集合之后，專家對此進行評審; e.敘詞一致性評審，由于語詞概念的加入，新的關(guān)系的變動帶來敘詞一致性變化的問題，需要領(lǐng)域?qū)＜业呐浜?。對于詞與詞間關(guān)系的評審工作，如果專家能夠做好以上5點，就能夠保證敘詞本體演化的順利進行。不過總體來講，可以將專家評審內(nèi)容分為兩大部分:第一部分是對敘詞的增刪改工作的評審，這些評審內(nèi)容主要包括敘詞與敘詞詞間關(guān)系的增刪改工作的評審，至于屬性關(guān)系與實例的評審，不需要專家給予過多的重視，雖然敘詞表的構(gòu)建采用本體技術(shù)，但卻并未涉及過多的屬性與實例。第二部分是對敘詞一致性的評估，這部分內(nèi)容評估的是敘詞內(nèi)在的穩(wěn)定性與完整性問題，是為了保證敘詞表結(jié)構(gòu)的完整性而進行的一項工作。

9.4.2　敘詞的增刪改

增刪改的評審規(guī)則，是敘詞本體演化的基本工作，開始考慮將敘詞的增刪改與敘詞間關(guān)系的增刪改分開進行考慮，這樣分析進行一段時間后，發(fā)現(xiàn)這一方法存在嚴重的缺陷，因為敘詞本體自身本來就是敘詞的屬性和敘詞間關(guān)系的一個結(jié)合體，敘詞的增刪改與敘詞間關(guān)系是密不可分的一個整體，如果將其完全割裂開，會給敘詞本體的演化工作帶來嚴重影響，因此，對于增刪改工作的進行必須是要將敘詞作為一個整體來進行研究。

當然，對于敘詞的增刪改規(guī)則的制定，僅僅是針對敘詞演化中的一個整體的規(guī)則探究，這里要指出的是，針對特定的敘詞本體演化的方法，采取的演化框架與學習算法各異，所以必須考慮到采用本體演化技術(shù)之后，敘詞本體的自動演化機制所基于的機器學習算法，到底是基于語境的方法、基于語言學的方法，抑或是基于統(tǒng)計學的方法，各種方法都會有自己的特點，因而也不免帶來不同的問題。針對這些不同的機器學習方法，專家必須要考慮到這些方法自身的缺陷，然后在評審敘詞時給予這些方面更多的關(guān)注。同時，對于敘詞的抽取方式與敘詞間關(guān)系的抽取規(guī)則也是完全不一致，因而，專家評審規(guī)則的制定也必須因情況而定，所以盡管我們必須對敘詞的增刪改作為一個整體來研究，但是為了讀者能夠更清晰透徹的理解專家評審規(guī)則，我們將會分別對詞和詞間關(guān)系的專家評審規(guī)則加以敘述，然后對二者做一融合。下面我們就結(jié)合前文所提出的詞的抽取以及關(guān)系抽取的兩種演化方式對增刪改的內(nèi)容進行詳細說明，同時最后會給出一個基于詞抽取的專家評審的幾點討論。

9.4.2.1　詞抽取中的專家評審

敘詞的抽取是基于Web信息源對CNKI上的專業(yè)信息的采集方式，主要的方法有三種:基于語言學的方法，基于統(tǒng)計學的方法以及混合方法。這三種方法前文已經(jīng)提到，在此不過多敘述，因為本文最后的試驗系統(tǒng)是采用基于統(tǒng)計的方式抽取各種新的敘詞，所以結(jié)合這種方式提出專家評審的規(guī)則。

在計算機根據(jù)敘詞本體變更需求在網(wǎng)上采集一定的信息后，會采用中文分詞技術(shù)將采集到的信息加以規(guī)整，并且按詞性分類存取，專家在評審的過程中，應該遵守以下規(guī)則，以確保采集到敘詞的完整性與規(guī)范性。

①明確敘詞變更需求，確認采集到的詞是所需要的敘詞。

②確保滿足敘詞變更需求之后，必須選取正確的詞匯作為敘詞或是選擇放棄采集到的詞。一般的，采集來的詞匯可能有兩種情形，一種是采集到關(guān)于某一熱門領(lǐng)域的詞匯比較少，或是采集到的都是一些已經(jīng)被棄之不用的敘詞，對于這一類的詞匯，采取的措施就是放棄這類詞匯;另外一種可能的情況是，采集來的關(guān)于同一概念的詞匯較多，而且又都是較新的概念，這時，專家就需要根據(jù)自己的經(jīng)驗選擇一個能夠為大家普遍接受的詞匯作為敘詞。

③確定添加的新敘詞，必須確保添加到正確的位置，同時也不能破壞敘詞表自身的完整性和規(guī)范性。由計算機根據(jù)特定的算法確定如何將該敘詞添加進敘詞表之中，專家需要注意的是這個新添加的敘詞在敘詞表中位置是否合理，上下位關(guān)系是否完整，是否需要調(diào)整一些關(guān)系或是實例等。

④對于新增加的敘詞，關(guān)鍵是看其應用是否有效，如果發(fā)現(xiàn)在與用戶交互的過程中，這些敘詞被使用率并不高，就應該考慮是否該替換一個其他的非敘詞作為正式敘詞了。

這樣的一個閉環(huán)的評審規(guī)則，雖然較為復雜，但對于確保敘詞本體演化的高準確性有了更好的保障。

9.4.2.2　詞間關(guān)系中的專家評審

敘詞間的關(guān)系分為三種:等同關(guān)系，等級關(guān)系和相關(guān)關(guān)系。在前文中提到，對詞間關(guān)系進行抽取時，由于各種關(guān)系的復雜程度與自身特性不同，分別采用不同的方式對敘詞詞間關(guān)系進行抽取。采用模板的方法抽取等同關(guān)系與等級關(guān)系，而采用模板與關(guān)聯(lián)規(guī)則的方法抽取相關(guān)關(guān)系，盡管兩種方法之間不同，但是在抽取關(guān)系之后，提交專家進行評審的過程中需要遵守一些共同的規(guī)則，這些也是專家在評審的過程中需要留心和注意的，其主要目的是解決這類方法由于自身弊端帶來的隱患。

①確保敘詞本體詞間關(guān)系的正確性。在詞間關(guān)系的抽取中，由于計算機算法存在的一些弊端，因此抽取的關(guān)系并非絕對符合要求。專家在接收到評審請求時需首先關(guān)注抽取關(guān)系的正確性。模板方法雖然簡便，但是過于刻板，由于自然語言的復雜性和多邊形，可能有很多意想不到的抽取結(jié)果。雖然抽取結(jié)果準確率并不是特別高，但這些結(jié)果有部分還是可取的，這就需要專家的細心甄別和評審。同樣，關(guān)聯(lián)規(guī)則挖掘方法僅僅根據(jù)兩個詞在同一篇文章中同時出現(xiàn)次數(shù)的多少來判斷二者之間是否存在語義關(guān)系，這有一定的科學性，不過當確定有語義關(guān)系時，會通過該規(guī)則的一些算法推測出二者的語義關(guān)系，這些未免有些武斷，因為即便是具有靈活頭腦的人類，在沒有給出特定語境的情形下，也是很難分辨給出的一段話中的詞間關(guān)系的。

②保證敘詞關(guān)系加入敘詞表之中的合理性。確定了詞間關(guān)系的正確性，提交給計算機，計算機會根據(jù)演化的相關(guān)算法，將詞匯添加到敘詞表中相應的位置，這個過程，同樣離不開專家的評審工作，專家需要確保詞間關(guān)系加入位置的準確合理性，主要包括三個方面:加入敘詞表中的詞間關(guān)系位置正確，敘詞表的變動調(diào)整影響范圍最小，調(diào)整變動的準確性與完整性確定。

9.4.2.3　基于敘詞專家評審實例討論

在本書最后，我們將要構(gòu)建一個信息檢索領(lǐng)域的小本體庫，原有的語料庫是根據(jù)《中國分類主題詞表》中信息檢索領(lǐng)域構(gòu)建，以此為基礎的敘詞本體表，在此基礎上進行擴充，專家需要參與的工作主要有以下幾點討論:

(1)基于新的語料對敘詞本體表進行修訂

針對信息檢索領(lǐng)域的本體敘詞表，進行兩項工作:一是信息檢索領(lǐng)域?qū)＜覍母鞣N數(shù)據(jù)源上搜集和加工之后的信息進行整理，人工選擇與信息檢索相關(guān)的術(shù)語;二是在語料庫中統(tǒng)計詞頻，根據(jù)詞頻，對選擇的術(shù)語進行排序，將詞頻低的術(shù)語淘汰掉，具體比例大小取決于構(gòu)建該敘詞本體表的目的，以及該敘詞表的規(guī)模。選詞過程是手工的，可以看做一種搜集術(shù)語的方式，詞頻統(tǒng)計可以是計算機自動查詢次數(shù)后進行統(tǒng)計。

經(jīng)過對信息檢索語料庫的信息檢索相關(guān)術(shù)語詞頻統(tǒng)計之后，選擇一些正確的詞匯，并按詞頻大小進行了排序，通過查詢，檢查在已經(jīng)合并的敘詞本體表中是否存在這些詞，并且分析其語義關(guān)系，將詞頻比較高，而敘詞本體表中沒有的詞匯加入敘詞本體表中。本文將詞頻大于一定閾值的詞進行了查重，如果敘詞本體表中沒有，則將其加入，同時設計其與現(xiàn)有詞匯的語義相關(guān)關(guān)系，并且在敘詞本體表中對其關(guān)系進行重構(gòu)。具體選擇多大比例的詞頻比較合適，決定于構(gòu)建敘詞本體表的目的，以及領(lǐng)域?qū)＜覐膶I(yè)角度考慮其重要性。

60篇信息檢索相關(guān)的網(wǎng)絡信息，合到一起成為一個文件后，共10萬字左右，用于選擇和驗證信息檢索術(shù)語的出現(xiàn)頻次。從語料中通過專家進行檢詞時，可以總結(jié)一些實踐經(jīng)驗。在中文中，一些概念是混淆的，或模糊的，或不同人有不同的理解。如有的文章用“信息檢索”，有的文章是“情報檢索”，還有的文章是“文獻檢索”。這正是中文信息檢索的特點，可用“信息檢索”作為一個總的“概念”，其下分兩個下位概念，一個是“文獻檢索”，偏重于紙質(zhì)或是電子版文獻信息的檢索，多為圖書館學專業(yè)去研究的;一個是“情報檢索”，偏重于網(wǎng)絡信息資源方面的內(nèi)容，多為信息學領(lǐng)域關(guān)注的問題。其實，在英語中，前者用“document retrieve”，后者用“information retrieve”是兩個詞，而中文中則只用一個詞，只有看了文章才可知道屬于哪一類。

敘詞本體采用了本體的相關(guān)技術(shù)，通過領(lǐng)域?qū)＜姨粼~，對于概念的問題處理的還是較合理的。另一個比較明顯的例證如“微內(nèi)容”是否對“信息組織”造成威脅，對此問題目前還沒有明確的結(jié)論。故在語義和詞頻方面，只能說與“信息組織”有關(guān)，而無法定義肯定或否定的語義關(guān)系，相信隨著時間的推移，在此領(lǐng)域還會出現(xiàn)一些新的術(shù)語詞匯，并且可能會增加新的語義。這就從具體實例中得到答案，即敘詞本體需要不斷地進行修訂、補充新詞、增加語義等服務，這是一個長期的過程。

對于專家評審選擇詞匯，有一點要重點強調(diào)，就是可以選擇盡量多的同義詞，相當于傳統(tǒng)敘詞表中的用代關(guān)系的詞匯，將這些詞匯作為同義詞，放在同一本體論節(jié)點內(nèi)，從而增加入口詞匯，利于信息的搜索。

(2)基于詞頻選擇敘詞的討論

基于語料庫的詞匯選擇標準，有兩點須明確把握。第一是必須選擇詞頻出現(xiàn)多的專業(yè)概念詞匯，以概念含義為標準吸收這些詞匯，其中的專業(yè)性質(zhì)由領(lǐng)域?qū)＜野殃P(guān)。并不是所有計算機檢出的高頻詞匯，都可以作為吸收詞匯，如與信息檢索關(guān)系不大，則不必選擇。例如一些從語言角度出發(fā)的連詞、代詞等，例如“而且”、“和”等詞匯，一些相關(guān)漢語軟件，有此類詞匯的收集，這些可以通過構(gòu)建詞表，通過計算機程序自動剔除。另一些詞匯雖然也為高頻專業(yè)詞匯，但與食物安全專業(yè)領(lǐng)域關(guān)系不明顯，也不必收錄。例如語料庫中詞匯“科技”一詞，在語料庫中出現(xiàn)了100多次，詞頻是很高，但這個概念太泛了，科技的概念或范圍可以包羅萬象，所以不選作敘詞本體在信息檢索領(lǐng)域的術(shù)語。

第二，根據(jù)詞匯的詞頻高低，判斷詞的重要性，前提條件是組成語料庫的所有文獻，每表達一個主題，使用的詞匯量是相同的。體現(xiàn)到在網(wǎng)上選擇的每篇文獻的篇幅，基本上是幾千字的文獻、消息或評論。由于限定了每個主題使用相同數(shù)量的詞匯去表達，或者可以理解為每篇文獻使用相同數(shù)量的詞匯表達一個主題。具體到某一個詞匯，在不同文獻中出現(xiàn)的次數(shù)越多，則詞頻會越高，如果這些文獻都與信息檢索有關(guān)，則這些詞應該是候選詞。這種假定是比較理想的狀況，實質(zhì)上，各個文獻所用的文法不盡相同，個別文章中，某一專業(yè)術(shù)語重復多次，即雖然出現(xiàn)的頻次高，但集中在少數(shù)文獻中;而一些詞匯，雖然詞頻不算太高，但在多篇文獻中出現(xiàn)，對于這種現(xiàn)象，在選詞是也應綜合考慮，不能把詞頻作為唯一的依據(jù)。比如詞匯A只在一篇文獻中出現(xiàn)了8次，而詞匯B在語料庫中雖然只出現(xiàn)4次，但卻是分別在4篇文獻中出現(xiàn)，這時僅憑詞頻決定詞匯的重要性是不合適的，這種情況往往詞匯B更重要。所以詞頻可以是參考項之一，具體詞匯的選擇應該通過領(lǐng)域?qū)＜业脑u審，按照詞匯在專業(yè)領(lǐng)域中的重要性、語義相關(guān)等決定選用具體的詞匯代表某一概念。

經(jīng)過以上工作，專家評審需要做的就是定期的維護和修訂，這些工作是基于敘詞本體自動演化的基礎之上的。其實對于維護工作，在一定思路上是重復構(gòu)建本體論的原過程，鑒于敘詞本體將來可用于網(wǎng)絡搜索引擎，而網(wǎng)絡信息的最大特點之一就是更新快、信息新，所以敘詞本體表的維護應該是隨時的、經(jīng)常性的工作。

9.4.3　敘詞一致性的維護

由于構(gòu)建基于信息檢索的敘詞本體表的過程中，各人認識差異，在多人合作構(gòu)建的知識庫會導致概念理解的差異，導致不一致問題存在，另外在主觀上，在知識形式化過程中，還存在由于認知能力的個人傾向性錯誤與編輯錯誤等。同時，由于知識量大而廣，文本知識本身也可能存在不正確性，導致知識體系中的不一致性。除此之外，從哲學觀點來看，隨著時間的推移，知識正確性也會受到動搖。最重要的是，在敘詞本體演化之中，帶來新的詞匯與關(guān)系，雖然能極大豐富敘詞本體表的語義關(guān)系，但是難免帶來敘詞本體結(jié)構(gòu)上的變化，帶來一致性的問題?？梢韵胂?，知識不一致可能會帶來什么后果。如果在軍事上，知識的不一致可導致導彈無法正確發(fā)送、戰(zhàn)機無法正確作戰(zhàn)等;在農(nóng)業(yè)上，可能提供的信息讓農(nóng)民無法正確把地握施肥的時間、得不到可靠的市場信息等。因而，對于一致性的維護是專家評審必須要解決的重要難題。

對于敘詞本體而言，因為借鑒本體技術(shù)，在很大程度上與本體具有相似性，因而我們可以借鑒本體的一致性檢測的專業(yè)知識作為敘詞本體的一致性檢測的指標，這點是有理論依據(jù)的，根據(jù)一些較為流行的一致性檢測的理論知識，筆者認為專家評審在對一致性進行維護時要做到以下幾點:

敘詞本體的類定義應該是正確、詞匯簡略和語義明確。很自然，類的定義不一致，也會導致獲取的實例產(chǎn)生歧義，導致實例知識不一致。因此，在進行知識獲取之前，我們必須保證我們類的定義是一致的、完整的。特別是在由多個知識領(lǐng)域?qū)＜液献鞯那闆r下，可能導致對同一概念會有不同的專業(yè)術(shù)語來表示，造成類定義冗余。同樣，敘詞本體在演化的過程中，由于網(wǎng)上的信息量大而且較為復雜，魚目混珠，存在大量錯誤的誤導信息，這樣給基于Web的概念抽取與關(guān)系抽取帶來了極大的挑戰(zhàn)，很有可能抽取的概念是一種錯誤的定義，或是抽取的語義僅僅是一個側(cè)面的說明，并不足以作為一個概念的完整說明，諸如此類的情況等。因此必須對概念進行明確的定義，確保一個在本體中，一個概念只有一種術(shù)語名稱，但允許定義多個同義詞。另外一種情況是同一術(shù)語可能表示多個概念，這也是由于術(shù)語沒有明確定義而造成的。這一情況也會體現(xiàn)在概念中關(guān)系、屬性和側(cè)面的定義上。

在信息檢索敘詞本體中，最重要和最基本的語義關(guān)系就是繼承關(guān)系，由此關(guān)系構(gòu)成的信息檢索敘詞本體可以看做描述信息檢索領(lǐng)域的一個層次模型，也可以看做一種信息分類體系。因此，檢查分類錯誤是最基本的要求。分類錯誤包括以下幾種類型:

①循環(huán)錯誤。循環(huán)錯誤一般由于概念之間的關(guān)系循環(huán)造成的。最典型循環(huán)錯誤是分類結(jié)構(gòu)循環(huán)，當一個敘詞本體類定義除了描述自身知識外，也可能對自身知識的概括，這樣通過繼承關(guān)系就形成圖9-4，如果分類一致，該圖形應該是一個有向無環(huán)圖，我們稱為知識分類圖。造成定義循環(huán)主要是由于對一個概念體系認知不清或概念層次過多導致的。針對知識分類圖，我們可以從圖中得知: C₁和C₂之間構(gòu)成一條邊表示C₁是C_n的父類。另外，C_n－1是C₁的父類，而C_n卻又是C_n－1的父類，這樣，就出現(xiàn)了矛盾，不可能一個類既是另一個類的父類，也是它的子類。在一般的繼承關(guān)系圖中，如果我們假設不存在環(huán)，那么需要證明圖中沒有回路。

圖9-4　繼承循環(huán)

②類劃分錯誤。對一個概念進行分類時，一般將劃分的子類構(gòu)成該概念的一個劃分。但是這雖然滿足了概念定義的完整性，但是子類分類錯誤也會經(jīng)常出現(xiàn)，我們稱為類歸屬矛盾，如圖9-5所示。假設A可以完整劃分成任意一個互不相交的下屬類P₁，P₂，□，P_n，任意P_i、P_j∈A，同時已知P_i可以劃分為P_i1，P_i2，P_i3這三個下屬類，如果B是屬于P_j類，B同時又是另一個類P_i2的下屬類，則類歸屬矛盾就出現(xiàn)了。

(3)公理不一致。敘詞本體中同樣會存在一些簡單的公理，這些公理用于約束類之間、屬性之間及關(guān)系之間的聯(lián)系，從而保證框架知識的一致性，另外，公理重要的一個方面就是用于推理，能幫助系統(tǒng)提供一些智能判斷。公理一致性是指公理規(guī)定條件下經(jīng)過推理永遠會得出一致的結(jié)論，而不一致性則相反。任何一個公理系統(tǒng)都要滿足無矛盾性，否則用它建立的幾何體系將是一個有矛盾的體系，這樣的公理系統(tǒng)是沒有任何價值的。從形式上，我們可以將敘詞本體的公理系統(tǒng)看作一階邏輯組成的邏輯系統(tǒng)，從這個意義上，公理不一致，就是說在邏輯系統(tǒng)中出現(xiàn)了“是=否”這樣的公理，如公理P、Q，很明顯公理P與Q相互矛盾。

圖9-5　類歸屬矛盾

公理P:所有(x:兒童)((年齡)大于(嬰兒年齡))。

公理Q:所有(x:兒童)((年齡)小于(嬰兒年齡))。

從形式上，我們在本體中定義的公理可以看作一階邏輯，因此，我們檢查公理一致性就可以轉(zhuǎn)化為一階邏輯運算問題。

總的來說，對于敘詞本體一致性的維護需要專家盡職盡責，不過當本體數(shù)量達到一定程度時，單憑人工評審的方式很難完成對敘詞本體一致性的評審工作，因為其中的關(guān)系是非常復雜多變的。隨著計算機技術(shù)的發(fā)展，相信通過編制一系列的算法，將很多人工勞動轉(zhuǎn)換成機器的自動工作，這樣將大大減輕專家的工作，不過在這之中，同樣離不開專家去挖掘，制定有效的一致性評審規(guī)則與規(guī)范。

9.4.4　專家評審基本規(guī)則

專家評審一般分為討論和投票兩個階段，投票表決應建立在充分討論的基礎上。在討論中，按照敘詞演化的類型進行細分為兩類:

(1)對于敘詞的選用和刪除，專家評審需遵循的規(guī)則:

①專家對所呈交的敘詞及其變化，進行一番評論之后，進行打分，采用10分制的方案，用打分來裁決該選用哪些敘詞或是剔除掉那些舊有的敘詞本體。

②無記名打分。其嚴格形式是秘密打分，每個專家有不受他人關(guān)注的私人投票空間。

③不得棄權(quán)。棄權(quán)票給多數(shù)票的確定帶來一定困難。

(2)對于詞間關(guān)系，專家評審須遵循的規(guī)則:

①選出該領(lǐng)域的兩位權(quán)威度最高的專家，由他們?yōu)樽罱K的敘詞關(guān)系的確立進行表決，兩位專家具有一票否決權(quán)，如果都不同意其他專家的看法，可以要求重新開始征集新的詞間關(guān)系的意見。

②由學科領(lǐng)域的其他專家對提交的詞間關(guān)系發(fā)表意見，讓他們給出在敘詞本體發(fā)生演變之后的詞間關(guān)系演變的整體方案。

③無記名打分。其嚴格形式是將所有方案分發(fā)給各位專家，秘密的給每個所選打分，每個專家有不受他人關(guān)注的私人投票空間。

④不得棄權(quán)。

⑤由收集人員將所有的征集方案收集之后遞交給兩位專家，由他們進行評判，確定最終的敘詞詞間關(guān)系演化方案。