第三節(jié)　幾種科學評價方法

一、診斷性評定法

診斷性評定法是對個人能力剖析圖（individual profile）進行審查并與某種常模或標準作比較的一種方法。診斷性評定是針對個人的，而診斷性評價（diagnostic evaluation）則針對學校的教學過程，如課程設置、教學大綱、教學管理等等。這兩種工作的任務是確定學生或教學過程的優(yōu)缺點。

對學生學習問題的診斷性評定通過測驗進行，這種研究著重于測驗的結構和運用及對之作出解釋。掌握知識的測驗（mastery tests）也可用于診斷目的，因為這種測驗能反映出教與學的過程以及學生的成績。最后，必須把評定弱智學生的診斷方法與評定一般的學習困難相區(qū)別。

在評價的過程中，對“診斷”一詞有過許多不同的解釋或比喻，但都不一定合適。當我們使用這個術語時，常常包含有醫(yī)療上的意義。設定一組目標，然后測量學生的實際成績，檢查和分析存在的差距，以便找出“療法”或“處方”。有些文獻則用另外的比喻，即與計算技術作對比。它把學習困難稱為“程序故障”或“學生故障”。但并非所有的研究人員和教育工作者都同意這種比喻，因為學習上的問題往往也包含教的問題。因此，診斷就不能僅僅針對學生。存在學習問題的學生與病人有病是不同的，問題在于某種教學方法和學生的學習活動或認知風格存在不一致。這些問題很重要，對學生實施診斷測驗與診斷性評定時必須牢記。

（一）診斷性評定

診斷性評定與總結性評定（如最低能力測驗，期末考試或畢業(yè)考試）不同。總結性評定，形成性評定和診斷性評定之間的區(qū)別。在于所涉及問題的類型各不相同?？偨Y性評定所關心的是最后成果，形成性評定是提供學生進步的描述，而診斷性評定描繪的則是學生成績的輪廓。它考慮：

（1）預期成績與實際成績之間的差異。

（2）造成差異的原因。

（3）相應的補救措施。

診斷性評定的實施要求有明確的學習目標和應用某些評定技術。診斷性評定的總體方法基于教師的觀察，對學生作業(yè)的分析以及成績測驗的結果，而不是著眼于特殊的評價工具。從這個觀點看，學生學習困難的診斷不可能通過考核單個專門技能辦到，應當提供學生的多科成績。只有全面地檢查學生，才可能評論產生學習問題的原因并作出準確的診斷。這種“個案研究”并不打算用于班級的每個學生，而只用于遇到學習困難的學生。通盤的檢查是費時的，多數(shù)學生并不需要這類評定。

只有收集到完整的數(shù)據(jù)并對這些數(shù)據(jù)作出正確的解釋時，診斷性評定才會有效。而有診斷者可能定出一組有限的學習問題，并把學生往這些問題上套，然后只開出熟悉的或現(xiàn)成的通用處方，這種做法是危險的，因為這樣做對于診斷與治療的有效性都是問題。因此，有必要針對具體情況對已有“處方”的有效性做進一步的評價。此外，在從總體上檢驗該模式的功效時，經驗數(shù)據(jù)是需要的。

（二）診斷性測驗

診斷性測驗是向教師和學生提供關于他們優(yōu)缺點的反饋，幾乎所有測驗均為診斷性測驗。實際上，任何標準化測驗的得分都能表示學生成績，同時也能告訴教師：他的教學是否成功。雖然各個試題的測驗可以告訴我們哪些答案對，哪些答案錯，但是總分并不能提供有關特定困難所在及形成原因的任何真實信息。然而，現(xiàn)在的問題是大多數(shù)測驗的目的并不是為了診斷。對于每一個教學目標，它們所用的試題太少；對錯誤答案的分析不能得出對學習問題的診斷。診斷性測驗則可看成是現(xiàn)行教與學過程的一部分。為了使測驗能用于診斷，應該作出專門的設計。

為了診斷目的而編制“好”的多項選擇測驗，必須有一個準則。和其他任何測驗一樣，需要有明確的學習目標，但每種測驗都涉及十分具體的技能（如加、減等等），要從不同的角度來設計測驗某個特定子技能的試題。每個試題都能為學生和教師提供信息，因為每個誘答項對指出學習困難和提出可能的治療方案都有重要作用。這里要強調的是每個特定答案的意義和反應模態(tài)?？偡譀]有實在的重要性或意義，在診斷性測驗中猜測是不必要的，因為學生的猜測并不提供診斷和治療所必需的具體信息。

關于能否將誘答項作為診斷信息源的問題存在著不同的意見，主要有以下三種觀點。一種觀點認為，選擇某個誘答項對指出學習困難有其特別作用；而有學者則認為應從無限制問題（Openended questions）著手，分析各種回答，從而找出學生回答問題所遵循的規(guī)則；最后一種觀點是，在適應性測驗或順序測驗中要考慮的唯一信息是答案正確與否，認為分析學生的答案沒有任何意義，從而對學生所給的答案不做任何分析。

在適應性或順序測驗中，后一個測驗試題根據(jù)學生對前一個試題的回答情況而定。通常的情況是，如答對了就再給一個更難的試題，反之就給一個更易的試題。試題的確定并不取決于學生選了什么誘答項，而是根據(jù)答案的正確與否。這種類型的測驗，通常由計算機執(zhí)行，計算機記錄下答案并確定一個試題。在這種測驗中，內存試題的單維性要經過預先檢驗，而試題的確定則以難度為基礎。最后，根據(jù)反應模式就可以估計出學習上的困難。

順序測驗或適應性測驗存在著一個問題，即它只根據(jù)對某個單一試題的回答來作決策。然而，某些診斷特征卻需要根據(jù)這些測驗得出。這種測驗的主要優(yōu)點是能提高測量的精確度，因為每個人都接受一組與他的成績水平相適應的不同試題。為了有效地將適應性測驗用于診斷目的，必須增加用于作出診斷性決策的試題數(shù)。因為適應性測驗具有易于適應學生成績水平的靈活性，所以進一步發(fā)展它在診斷性評定中的應用是有潛力的。

另一個研究是試圖解釋為什么會產生錯誤，其方法是識別“錯誤概念”，或產生這些錯誤概念的“故障”。第一件工作是將問題分解為一些必要的子技能，以便為研究中的每一種技能構造一個“程序網絡”（procedural network）。事實上，為了回答完成一個作業(yè)會有哪些正確的與不正確的方法，將技能分解成子技能是很必要的，診斷模型“必須包含所有可能被學生錯誤理解的知識，否則某些學生的錯誤概念就會超出系統(tǒng)的診斷能力之外”。第二件工作就是編制一組試題，以便有機會向學生顯示所有需要鑒別的子技能。然后檢查學生的答案，找出學生尚未回答的子技能。根據(jù)學生的“錯誤概念”，再提出第二組問題，并驗證原來的估計。測驗所獲信息應該給出可能治療方案。

這種方法已經得到實際施行，它使用一個“故障系統(tǒng)”（buggy system），即一種計算機對弈系統(tǒng)（多用于教師的培訓）。計算機扮演學生的角色，教師必須識別學生所犯錯誤（或故障）的原因，并能復述這種錯誤。這樣，教師就更易于找出學生學習困難的原因。很明顯，根據(jù)這種模型，可以輕而易舉地診斷單一的“故障”。但是，如果學生有“多種故障”，或者有不同的“故障”相互影響時，診斷就成問題。此外，如某些子技能可能的錯誤概念已從“程序網絡”中刪去，則有些反應模式可能被解釋為隨機錯誤。

進一步的研究發(fā)現(xiàn)可以開發(fā)一種模型來解決幾百個“故障”——這種情況在所研究的技能變得更復雜時可能產生。當可能出現(xiàn)幾百個“故障”時，概率模型看來更適合于檢測異常的反應模式。布朗和伯頓的模型表明，學生即使運用了“錯誤規(guī)則”，他也可能給出正確的答案。通過引入個體一致性指數(shù)（Individual Consistency Index，簡寫為ICD）來改進這個模型。總分低而個體一致性指數(shù)高，就表示學生正在用錯誤規(guī)則來解答問題。這個指數(shù)可作為一種信號，用以指出哪些學生需要治療和更精細的診斷，他們還用試題反應理論來說明這種情況，所得的數(shù)據(jù)是多維的。換句話說，這種測驗是在不同的維向上進行測量以便檢查學生是否掌握了技能。這項研究成果不但對診斷性測驗，而且對一般測驗都具有意義，它指明了檢驗構念效度（constructvalidity）的重要性。

不是所有“故障”都會以同樣方式影響學習過程，但是有關“故障”或錯誤概念的類型還是應該研究的。此外，為治療這些診斷出來的學習問題所采取的教學方案并非都是可行的。在作出結論前，應簡要地分析一下“掌握學習”的測驗技術，以便把它們作為診斷手段使用。

（三）掌握學習法

在這種模型中，測驗并非是作診斷使用，但實際上還是具有這種功能。

這包括在學習隊伍中作用“形成性”測驗或“掌握知識”測驗，通過對照“掌握學習的標準”來測定學生各項成績。對學生反應模式的檢查能提供有關學習水平的信息，指出學生是否需要更多的練習或其他教學方法。掌握學習領域中的某些理論家堅決主張，形成性測驗的結構應以某種學習理論為基礎。

用這種不僅能鑒別學習問題還能識別發(fā)生問題的原因的方式來設計測驗時，基礎理論是有用的。

掌握知識測驗和診斷性測驗的不同之處并非總是明顯的。由于“診斷”這個術語用在眾多的不同方面，因此它的應用一直存在著混亂。例如，蘇格蘭教育研究理事會擬定的診斷性評定模型與掌握學習模型幾乎沒有什么不同。前一個模型用的是按教育目標分類設計的標準參照測驗。這些目標（或預期的結果）直接與課程聯(lián)系。為評定掌握程度而設計模型時，不必考慮為檢測學習困難的潛在原因提供信息。因此，盡管這些模型標榜為診斷性模型，但它并不具有多少診斷特性。

形成性測驗或掌握知識測驗與診斷性測驗有些相同的目標。不同點之一可能在于它們的構成方式。如上所述，掌握知識測驗是與學習理論相適應的，而大多數(shù)的診斷工具是用來檢驗所假設的學生解答問題時可能遵循的錯誤規(guī)則。掌握測驗與教學方法相關，它用來評定學生的學習，并向學生和教師提供有關技能掌握程度的反饋。這種方法對所有學生來說可能是不夠的，對某些學生還要對他們技能的掌握加以診斷。這就需要有能夠較好地解釋問題的更為精練的手段。這些無需包括在掌握學習計劃之中。一般說來，所需信息決定所使用的測驗類型。假如教師想知道誰掌握了某種技能而誰沒有掌握，那么，幾乎任何測驗工具都會滿足這種要求。然而，如果認為部分知識是重要的，認為詳細地知道學生所犯的錯誤能幫助教師改進教學法，就需要多種多樣的測驗和更精練的測驗工具。

（四）結論

診斷性評定可用各種方式進行，可從全面的評定到專門技能的細致診斷?？梢园凑崭鞣N情況的特定要求來確定利用哪一類評定更為合適。其他因素，如時機和成本效益也會對決策有影響。假如某些學生學習困難是由于發(fā)育晚的影響，那么深入細致的診斷就沒有必要，也不會有效。

某些學習問題，雖然它們的發(fā)生是暫時的，但對它的診斷有可能導致持久的“標志”，即使學生困難已不復存在，但“標志”仍然保留。研究表明，教師的期待會影響他們對學生的態(tài)度和行為。

最后一點是關于診斷性測驗所根據(jù)的假設，首先是學習可“分解”成一組離散的子單元或子技能。其次是可以編寫出能精確地和有效地測量這些子技能的試題。上述所有診斷測驗模型均以這些假設為依據(jù)。因此，這些模型的實際價值或教育價值均取決于這些假設的正確性，這一點在許多教育領域中仍有待確定。

二、形成性評定法

（一）形成性評價的概念

形成性最初是由美國教育評價專家斯克里芬（G．F．Scriven）提出的。形成性評價是指在活動運行的過程中，為使活動效果更好而修正其本身軌道所進行的評價。形成性評價的主要目的是為了明確活動運行中存在的問題和改進的方向，及時修改或調整活動計劃，以期獲得更加理想的效果。

形成性評價的目標是在教育教學活動過程中不斷了解活動進行的狀況以便能及時對活動進行調整，進而提高活動質量進行的評價。形成性評價旨在為改進活動而了解活動的得失，而不是判斷優(yōu)劣、評定成績。在實施形成性評價時，應在活動過程中根據(jù)活動進程有計劃地進行評價，一次形成性評價的對象是活動進程某一階段的全部內容。

（二）實施形成性評價時常用的理論依據(jù)

1．多元智能理論

多元智能理論是由美國哈佛大學的發(fā)展心理學家加德納于1983年在《智力的結構》一書中提出。多元智能理論打破傳統(tǒng)的將智力看作是以語言能力和邏輯—數(shù)理能力為核心的整合的能力的認識，而認為人的智力是由言語—語言智力、邏輯—數(shù)理智力、視覺—空間關系智力、音樂—節(jié)奏智力、身體—運動智力、人際交往智力、自我反省智力，七種智力構成，并從新的角度闡述和分析了智力在個體身上的存在方式以及發(fā)展?jié)摿Φ取?/p>

多元智能理論對教育界產生了巨大的影響，具體如下：首先，它直接影響教師形成積極樂觀的“學生觀”，每個人同時擁有以上七種智力，只是七種智力在每個人身上以不同的方式、不同的程度組合存在；其次，它直接影響教師重新建構“智力觀”；再次，它幫助教師樹立新的“教育觀”，強調評價的教育功能，發(fā)展和發(fā)現(xiàn)學生身上多方面的潛能，了解學生發(fā)展中的需要，幫助學生認識自我、建立自信，促進學生在原有水平上的發(fā)展。

2．建構主義認知理論

建構主義強調人的主體能動性，即要求學習者積極主動地參與教學，在與客觀教學環(huán)境相互作用的過程中，學習者自己積極地建構知識框架和學科結構。教學絕不是教師給學生灌輸知識、技能，而是學生通過驅動自己學習的動力機制積極主動地建構知識的過程，課堂的中心應該在于學生而不在于教師，教師在課堂教學中應該是引導者、促進者和幫助者。

學習和評價的觀點都由原來的一味強調學生學習的結果轉向關注學習過程，由原來的被動反應變成積極的意義建構，從評價具體的、獨立的技能轉變成整體和跨學科評價，從注重元認知（自我監(jiān)控和學會學習的技能）和認知技能（動機和別的影響學習和成功的因素），轉向注重知識和技能的應用——從零散的事實的積累和技能轉變?yōu)閺娬{知識的應用。

（三）形成性評價在教學中的運用

1．形成性評價最早在教學中的運用

美國教育學家布盧姆教授第一次將形成性評價運用于教學活動當中，他認為形成性評價不僅是改進教學工作、提高學習效果、形成適合于教學對象的教學的重要手段，而且是促進學生智能發(fā)展、充分挖掘學生學習潛力的重要手段。

布盧姆提出形成性評價的任務是：

第一，調整學習活動。要明確規(guī)定每個學習階段的學習目標及評價項目，劃分出學習單元和具體課時，并根據(jù)評價結果及時調整學習活動。

第二，強化學生的學習。形成性測試能使學生明確是否已達到了階段目標、存在的問題及今后的努力方向，從而調動他們的積極性，增強其自信心，以起到強化學習活動的作用。

第三，發(fā)現(xiàn)存在的問題。根據(jù)測驗發(fā)現(xiàn)的問題，經過分析，可以找到產生錯誤的原因，為學生克服學習上的困難提供有效信息，同時也為確定新單元的學習目標提供必要依據(jù)。

第四，提供學習的矯正。根據(jù)對存在問題的分析，給學生及時的輔導和幫助，使他們自覺地改正錯誤，提高學業(yè)成績。這不僅有利于學生全面地完成學習任務，而且有利于發(fā)展他們的認識的能力。

2．形成性評價的常見類型

重視形成性評價是現(xiàn)代教育評價的發(fā)展趨勢之一。自其產生至目前，形成性評價與質性評價、定性評價的運用相結合，其運用類型逐漸豐富并發(fā)展為真實性評價、表現(xiàn)性評價和發(fā)展性評價等幾種。

（1）真實性評價。真實性評價（authentic assessment）指的是在真實的生活環(huán)境中評價學生的表現(xiàn)，而不是僅僅在課堂上評價學生的學習行為。真實性評價任務都是學習過程中有意義、有價值的重要經歷。例如，在真實性評價中，一名學生為了解釋發(fā)動機的零件，可能需要重新組裝一個發(fā)動機，相反，傳統(tǒng)的評價方法強調的是對發(fā)動機零件的記憶。真實性評價暗含的含義是：評價是學習的一部分，是不斷發(fā)展變化的，成功或失敗只能用學生在新的環(huán)境中應用知識和技能的能力的具體事實說明。

（2）表現(xiàn)性評價。表現(xiàn)性評價（performance assessment）關注“我們怎么知道學生知道了什么”，要求定期觀察和評價學生的表現(xiàn)。學生應該知道評價的標準，明確的標準不僅可以使學生知道關鍵信息，同時也可以給學生確立一個奮斗的目標。

表現(xiàn)性評價常常與真實性評價一起運用，并且與真實性評價一樣有著以下的評價任務特征和評價要求。真實性評價和表現(xiàn)性評價的任務特征是：情景化、整體化、元認知化（需要學生思考他們的思考過程），與所教的課程內容相關、靈活性（可以以多種方式展示知識和技能）。真實性評價與表現(xiàn)性評價的要求是：多種形式、自我評價、同伴評價、具體的標準、常規(guī)的學習結果和自我反思和個人內心反省。

（3）發(fā)展性評價。發(fā)展性評價（development assessment）是一種形成性教學評價，它針對以分等和獎懲為目的的終結性評價的弊端而提出來，主張面向未來，面向評價對象的發(fā)展。1990年前后，英國對發(fā)展性教學評價開展了廣泛的實驗與研究，取得了很好的教育效果。它由形成性教學評價發(fā)展而來，但比原始意義上的形成性評價更加強調以人的發(fā)展為本思想。原始意義上的形成性評價強調對工作的改進，而發(fā)展性教學評價強調對評價對象人格的尊重，強調人的發(fā)展。

發(fā)展性教學評價著重于人的內在情感、意志、態(tài)度的激發(fā)，促進人的完美和和諧發(fā)展，是“以人為本”的思想指導下的教學評價。發(fā)展性教學評價強調評價主體多元化，主張使更多的人成為評價主體，特別是使評價對象成為評價主體，重視評價對象自我反饋、自我調控、自我完善、自我認識的作用。發(fā)展性教學評價在重視施教過程中靜態(tài)常態(tài)因素的同時，更加關注施教過程中的動態(tài)變化因素。發(fā)展性教學評價更加強調個性化和差異性評價。要求評價指標和標準是多元的、開放的和具有差異性的，對信息的收集應當是多樣、全面和豐富的，對評價對象的價值判斷應關注評價對象的差異性，有利于評價對象個性的發(fā)展。發(fā)展性教學評價在重視指標量化的同時更加關注不能直接量化的指標在評價中的作用，強調定性評價和定量評價的結合運用。認為過于強調細化和量化指標，往往忽視了情感、態(tài)度和其他一些無法量化而對評價對象的發(fā)展影響較大的因素的作用。

3．形成性評價的方法

從一般意義上來說，形成性評價的結果能夠指導以后的教學與學習。因此，實施形成性評價的一般方法有：教師觀察，以確定一名學生應用知識和技能的能力；形成性評價也可以是緊跟在一節(jié)課后的評價活動，教師可以用一兩句話總結上一節(jié)課的要點，并且提出相關的問題，描述學生在課堂中的反應，或者聯(lián)系學生的已有知識。

除了以上的一般方法，“成長記錄袋”與“傳統(tǒng)背景下的真實性評價”是形成性評價的常用方法。

（1）成長記錄袋

成長記錄袋是指收集、記錄學生自己、教師或同伴做出評價的有關材料，學生的作品、反思，還有其他相關的證據(jù)與材料等，以此來評價學生學習和進步的狀況。成長記錄袋可以說是記錄了學生在某一時期一系列的成長“故事”，是評價學生進步過程、努力程度、反省能力及其最終發(fā)展水平的理想方式。

成長記錄袋的主要作用有以下兩點：首先學生通過自己的全程參與，學會了反思和判斷自己的落后、進步與努力、不足。因為學生有權決定成長記錄袋的內容，特別是在作品展示或過程記錄中，由學生自己負責判斷提交作品或資料的質量和價值，從而擁有了判斷自己學習質量和進步、努力和不足的機會；其次，成長記錄袋為教師最大程度地提供了有關學生學習與發(fā)展的重要信息，既有助于教師形成對學生的準確預期，方便教師檢查學生學習的過程和結果，更是將評價與教育、教學融合在一起，與課程和學生的發(fā)展保持一致，提高了評價的效度。

成長記錄袋可以讓學生觀察到：只要他們對個人或者團體做出常規(guī)的投入，那么他們的努力就會產生越來越多的回報。在成長記錄袋評價中，很多學生更加努力地學習，因為這些成長記錄袋表現(xiàn)了學生的所有權和個人選擇，并與學生的興趣和能力相關聯(lián)。當學生察覺他們努力的目的是有意義的，他們就會更加努力地學習。當他們的學習超越了課堂環(huán)境，并且和他們的現(xiàn)實世界相聯(lián)系的時候，學生通常會認為觀點和概念更加有意義、更有價值。

（2）傳統(tǒng)背景下的真實性評價

如前所述，真實性評價是用來描述富有意義、有價值得和作為學習過程一部分的任務。真實性評價包括實際的行為，在這種行為中學習被認為是創(chuàng)作。真實性評價的目標之一是給學生評判自身努力的機會。在傳統(tǒng)課堂上要實施真實性評價或者搜集信息，實施者必須問關于評價的“5W1H”即“誰（who）”、“什么（what）”、“哪里（where）”、“什么時候（when）”、“為什么（why）”和“怎樣（how）”的問題。通過對這些問題的詢問并獲得相關的答案，從而把真實性評價活動引進到課堂中。

（四）形成性評價對教學的促進

1．形成性評價促進教與學的作用

形成性評價不僅可以幫助學生強化已學知識，也可以幫助學生發(fā)展不清楚的知識點。這種評價也可以改善學生注意、記筆記、問問題、解決實際問題的方法。形成性評價通常受到學生的喜愛，因為它更多的是幫助學生表現(xiàn)已知的而不是未知的知識。形成性評價也受到老師的歡迎，因為這不需要很多的講授或者評分，甚至學生也可以創(chuàng)造一種特定的形成性評價活動。

傳統(tǒng)的評價注重學習結果，而形成性評價強調學習過程，重視評價的反饋機能，其目的在于建立適合于教育對象的教學。形成性評價不僅可以使學生明確今后如何學，而且可以使教師明確今后怎樣教，幫助教師完成既定的教學目標。形成性評價用于教學，有助于教師及時發(fā)現(xiàn)教學中的問題，提出改進措施，修正教學計劃。

2．形成性評價促進教學方法的改變

形成性評價可以為教學提供及時的反饋，因此，從形成性評價中，教師、家長和學生可以及時發(fā)現(xiàn)學生學習過程中的問題。比如，他們發(fā)現(xiàn)學生只有掌握了一些技能后才能進入更高水平的學習。形成性評價不僅可以幫助教師檢查學生一小塊內容的學習情況，發(fā)現(xiàn)教學或學習問題，同時也可以幫助教師比較形成性評價中的項目和學習目標，以確保教學與評價之間的一致性。因為形成性評價的目標在于發(fā)現(xiàn)學生未知的東西以調整教學，所以形成性評價使得學生學習的知識和評價的內容之間取得了一致。

3．避免錯誤地使用形成性評價

形成性評價對教與學的雙方都有利，但評價需要用考試作為手段，因此會出現(xiàn)錯誤地使用形成性評價的現(xiàn)象。比如，一些學校出現(xiàn)考試失控的現(xiàn)象，考試或測驗成災，月月考、周周考、天天考。這種做法不但加重了學生的學習負擔，而且也損害了學生的身體健康。即使有些學校對考試加以控制，但在實施形成性評價的過程中，大都是進行單純的考試，沒有利用考試對教學質量作出評價，尤其是忽略了提出改進教學的對策。上述兩種做法都不復合形成性評價的目的要求。因此，在運用形成性評價時，需要注意糾正以上的不良傾向，力求有目的、有計劃地實施評價活動，以促進教學質量的提高。

三、總結性評價

（一）總結性評價的基本內容

總結性評價（summative evaluation）也稱為“結果評價”，是在課程編制或課程實施完成之后所進行的評價，它與形成性評價相對應，主要目的在于搜集資料和信息，對課程計劃的成效，通過課程實施后實現(xiàn)既定課程目標的程度做出整體判斷，從而決定推廣采用或修訂完善課程計劃。

總結性評價有兩個主要階段：專家評價階段和實地試驗階段，專家評價階段的目的就是要判斷當前所用的教學或其他候選教學方案是否能夠滿足組織所定義的教學需求。實地試驗階段的目的是要記錄有望采用的教學在預期的環(huán)境下對目標人群的有效性。每個階段所要進行的分析和決策，以及評價活動都列在下表中。

在專家評價階段所要進行的活動是為了判斷候選教學是否有競爭力，這包括①評價組織的教學需求與該教學的相合性；②評價該教學的完整性和正確性；③評價該教學中蘊含的教學策略；④評價教學的效力；⑤評判當前用戶對此教學的滿意度。如果該教學已經為滿足組織的需求而做了裁剪，并經過了系統(tǒng)化的設計和開發(fā)，以及總結性評價前的形成性評價，那么專家評價可以不做，但是如果該組織不熟悉此教學和它的開發(fā)歷史，就必須要做專家評價。

表1　總結性評價的專家評價和實地實施階段

續(xù)表1

實地試驗階段由兩部分組成，第一部分是結果分析，要評價教學對學習者技能、對學習者工作（遷移）以及對組織（需求滿足程度）的影響。第二部分是管理分析，包括評定教員及管理人員對學習者表現(xiàn)的看法，實施可行性和費用等。

總結性評價的實地試驗階段要記錄學習者的表現(xiàn)和態(tài)度，記錄教員／管理者的態(tài)度，記錄實施教學過程和所需要的資源，實地試驗的主要目的就是要確定教學的優(yōu)點和缺點，判斷成因，記錄下好的地方和存在的問題。

專家評價和實地試驗都可以只對一種教學材料做，也可以對若干個需要比較的教學材料做。一般來說，專家評價階段往往是從多個候選教學中挑選出一兩個最有競爭力的去做實地試驗。下面詳細介紹了這兩個階段。在專家評價階段的敘述中，假設你要評價的教學是你所不熟悉的，而你又必須決定是否要增加實地試驗的人手和費用。

（二）總結性評價的專家評價階段

1．適合度分析

（1）組織的需要。不管總結性評價是否要做教學材料的比較，還是只對一種教學材料進行評價，評價人員都要了解所評價的教學材料是什么，目標針對什么對象而設計的，要判斷該教學的目標和對象是否與組織的需求、目標學習者的特征相吻合。為了進行適合度分析，首先你必須獲得該組織需求的詳細說明，其中包括對目標學習者入門技能和特征的精確描述。在獲得這個信息之后，你要在教學材料中具體標注出滿足組織需求的地方。對于每一種候選材料，你都需要獲得該教學的目標和目的的清楚陳述，以及它所針對的目標對象。這些信息有時候可以在材料的前言中或序中找到，也可能出現(xiàn)在教師手冊中。如果這些描述太一般化了，那么你可能還需要與材料的出版商聯(lián)系，索求更詳細的信息。

（2）資源。你還要分析該組織為了購買及實施教學材料可用的資源，以及獲取和安裝其他材料的費用。太貴的材料，即使很有效，通常也不在組織的考慮之列。組織中可用的設施和設備與實施教學所需要的設施和設備之間往往也存在著一定的差距。

一旦獲得了這些相關資料，你就要開始比較：①組織的需求與材料的目標是否相符；②組織的目標人群與材料的目標人群是否相適應；③組織可用的資源與獲得和實施該教學的設備需求是否一致。從適合度分析中得出的信息應該與有關的決策人分享，盡管你會被要求提供建議，但是那些做出最終決定的人，那些決定要對哪個材料做總結性評價，或者是否繼續(xù)評價過程的人因組織而異。

對于那些被選擇做總結性評價的材料都要問如下幾個與高質量材料設計有關的問題，這些問題應該在進行實地試驗之前就得到回答：①該材料及所附帶的考試題是否齊全且準確？②所采用的教學策略是否適合學習結果的類型？③該材料能夠被有效地使用嗎？④當前用戶對此材料滿意嗎？

如果你判斷出候選材料在這些重要方面存在明顯的不足，那么繼續(xù)總結性評價不會有什么結果。在總結性評價的這個階段結束后，你應該告訴主管你的判斷，再問他們是否還要繼續(xù)總結性評價。

總結性評價的這個階段所采用的工作方式與形成性評價中一對一評價時所采用的策略類似，但也有些不同。

2．內容分析

因為教師可能不是要評價的材料方面內容的專家，因此可能需要請一個專家作為顧問。這時必須考慮的問題是如何最好地發(fā)揮這個專家的作用。一種策略是向專家提供所有候選材料的副本，請他們評判材料對于組織所陳述目標的精確性和完整性。另外一種更好的、性價比更高的策略是與專家一起做所陳述目標的教學分析。專家所產生的文檔既要包括目標分析也要包括從屬技能分析。那個確定并序列化教學目標中主要步驟和從屬技能的框架可用來判斷任何候選材料的精確性和完整性。

如何使用這個框架呢？框架中所包含的技能可以轉換為一張核查表或一張等級量表，評價人員可以據(jù)此來審核評定候選材料以及相關考試題的質量。

3．設計分析

類似于一對一形成性評價，需要評價候選材料中的教學策略成分是否合適。作為一個外部評價人員，可能不知道某個策略成分是否出現(xiàn)了，如果出現(xiàn)了是否能引起并維持學習者的注意力。同樣在這個時候可以用核查表來審核和比較候選材料，這是最徹底最省時間的方法。

在開發(fā)核查表時，你要在最左列列出各教學策略成分，用剩下的列紀錄候選材料中是否出現(xiàn)該教學策略。你也可以設計成等級量表形式，基于材料中所說的學習結果的類型設定權值。評價人員所填寫的表格會因為教學的性質不同而有很大差別。

4．可用性和可行性分析

關于教學材料的第三個問題與候選材料的可用性有關。對于每種材料，你都要考慮這些因素，諸如是否有學習者指南，是否有課程大綱，是否有教師手冊等。另外還要考慮材料的耐用性，以及是否還有對其他特殊資源的要求，如對教師能力、設備或環(huán)境（如學習中心）的要求等?？捎眯苑矫娴目紤]還包括材料是否需要考慮小組或個人進度，獲得和實施該材料的相對費用是否可修改等等。事實上，任何有可能擴大或限制該材料在組織中采用的因素都應該考慮。

為了設計這部分的總結性評價，你需要與組織中要求進行總結性評價的關鍵人物會談。通過與他們的討論，確定你確實了解了他們的需求、資源和限制。他們還可能有助于確定你尚未考慮到的一些可用性方面的問題。

可以根據(jù)所選擇的可用性問題，設計一個總結表，以便在評價所有候選材料時將注意力集中到這些問題上。與前面的例子一樣，最重要的問題列在核查表的最左列，隨后是每種材料的回答各占一列。這種核查表和前面介紹的核查表不同，你需要給出每種材料相關的描述性信息，而不是簡單判斷某個指標是否出現(xiàn)。這種用表格的形式簡要總結描述性信息的方式，可以方便材料的比較，有助于形成建議。

5．當前用戶分析

還有另外一類分析可能希望包含在評價設計中，就是向正在使用候選材料的組織尋求額外的信息。當前用戶名單可以從材料的出版商處獲得。

需要從用戶那里獲得哪些信息呢？一種類型的信息是有關目標學習者在其他環(huán)境下的數(shù)據(jù)。例如，他們的入門技能是什么，學習這個材料的動機是什么？使用該教學前后他們的前測和后測表現(xiàn)有何差別？最后，他們對該材料的態(tài)度如何？

另一類信息是教師對該材料的感覺。例如，這些材料是否好用？他們在使用這些材料時碰到了哪些問題？使用這些材料時需要用到哪些資源？他們是否打算繼續(xù)使用該材料，如果不打算使用了，為什么？

根據(jù)你的經費和條件，你也許能夠親自去用戶單位了解情況，也許你決定通過問卷和電話訪談來收集信息，不管采用哪種方式，你都要在獲取信息之前做好計劃。

至此，已經到了專家評價階段的總結時期。基于所收集的數(shù)據(jù)，能夠決定是否需要進行總結性評價的實地試驗，哪些材料值得進行實地試驗。用于產生這部分評價的評價設計和評價過程都應該與你的建議和分析一起記錄在你的評價報告中。下圖表示了專家評價階段所要做的各項任務的工作順序，以及總結性評價人員決定所給的教學是否需要實地試驗的決策過程。

圖　在總結性評價的專家評價階段分析活動順序

（三）總結性評價的實地試驗階段

1．結果分析

總結性評價的第二個階段是實地試驗。在試驗階段，教學按照預先計劃在組織內對所選擇的目標學習者實施，實地試驗包括以下幾個部分：做評價計劃，為實施做準備，實施教學和收集數(shù)據(jù)，整理和分析數(shù)據(jù)，最后報告結果。

表1總結了與此階段評價每個部分相關的活動，每列的表頭是主要部分的名稱，下面列出的是與此相關的活動。所有處在第一列“計劃”部分的活動都應該在第二列“準備”活動開始之前自上而下地完成。類似地，第二列的活動也應該在第三列“實施／收集數(shù)據(jù)”活動開始之前按順序從上往下執(zhí)行。但是，在教學實施和數(shù)據(jù)收集時，不再采用這種自上而下順序執(zhí)行的模式，而是按照最省時、性價比最高的時間表來收集與每行相關的數(shù)據(jù)。數(shù)據(jù)總結和報告這兩列也是如此。最后三列的活動之所以也按照這個順序呈現(xiàn)，只是為了簡單地說明他們與前兩列活動之間的關系。下面非常詳細地介紹了總結性實地試驗的每個活動。

2．活動計劃

第一個計劃活動就是設計你要進行的實地試驗。所做的設計取決于幾個因素，如需求評價、材料特點、是否要包括其他做比較的材料等。你可以只用一組人來評價一種材料；也可以用具有不同的特征、或分處在不同環(huán)境下的多個組去評價一種材料；你還可以在對照組和對照環(huán)境下比較不同的材料。

另外一個設計活動是清楚定義在研究時要回答的問題，這些問題是根據(jù)學習結果分析（對學習者、工作和組織的影響）和管理分析而提出來的。這些問題一定要與學習者的入門技能、他們在目標上前測和后測的成績以及他們的態(tài)度緊密相關，另外也要與所需要的資源、設備和設施相關，還可能與實施教學的那些人的技能和態(tài)度有關。其他相關因素還有實施過程和實施日程安排。具體包含哪些問題取決于所做的研究及可用的資源。

所要設計的問題不僅關于學習環(huán)境下學生的表現(xiàn)，還要包括在遷移環(huán)境下學生的表現(xiàn)。事先要計劃好是對參與教學的部分學生還是全部學生做進一步的調查?？梢圆捎迷L談、問卷和觀察方法向學習者和管理者、同僚和下屬了解該教學對工作環(huán)境的影響。在形成性評價實地試驗時所問的一些問題在這里也可以問，總之，一定要事先做好計劃。

當手頭有了教學材料，有了設計好的評價框架，下一步就是陳述研究所需要的資源、設施和設備了。這個活動應該在確定如何取樣之前完成，因為在這方面所遇到的限制會影響到你所要使用的組的性質。先計劃理想化的需求，然后再協(xié)商這些需求的可行性。

在解決了所需要的資源問題后，你就可以將注意力轉向描述理想目標學習者了。你的描述應該包括他們的入門技能，以及其他與材料相關的特征（如先前的經歷，現(xiàn)在的職位，和個人目標），你還要決定你所需要的（或你能應付的）學習者的數(shù)量，以及你所需要的組的數(shù)目。在做這個決定的時候，你要做適當?shù)毓烙嫞驗槭菙?shù)據(jù)的質量而不是數(shù)量起關鍵作用。一般來說，有20到30個經過挑選的真正能代表目標人群的學習者就夠了。組這個詞并不意味著小組教學，而是指要收集數(shù)據(jù)的個體數(shù)目。

一旦你知道了研究中要有多少學習者，你就可以確定需要多少教員或管理人員。除了說明理想人數(shù)，你還要描述為了實施教學他們應具備的技能。是否能夠找到一定數(shù)量的合適教員可能會影響到你前面設計的學習者數(shù)量。如果限制學習者數(shù)量不可行，那么你就需要做一個計劃，多培訓幾個教員了。

計劃階段的最后一個活動就是對教員做相關培訓。一個好的總結性評價需要實施教學教員的合作，他們必須知道他們是整個研究的重要組成，他們有知情權，他們的觀點是有價值的。與這些人從一開始就建立和睦的關系，并在整個研究過程中保持密切合作，會提高實地試驗以及所獲得的數(shù)據(jù)的質量。最后一個提醒：必須要使教師相信不是在評價他們自己，也不是在評價學習者。從一開始，評價的焦點就應該是教學，而是教師或者學生。只有建立信任，關心學習者的需求，才能順利進入這個環(huán)境，獲得需要的真實數(shù)據(jù)，事實上，可以在研究過程中始終將他們既視為研究的實施者，也視作評價人員，這是一個不錯的想法。

表2　總結性評價試驗活動一覽

續(xù)表2

續(xù)表2

3．準備

準備階段的活動應根據(jù)計劃階段的決定而做，包括獲取所有的材料、量表、資源和人。當需要和現(xiàn)實不同時，就要做出某種讓步。在你的評價報告中要專門有一節(jié)說明這些試驗限制，注明所做的改變。

4．收集數(shù)據(jù)

在教學的實施階段，你需要收集所要求的各種類型的數(shù)據(jù)，包括測定表現(xiàn)、觀察、訪談和問卷。你所收集的數(shù)據(jù)的多寡取決于你的問題和資源。至少你需要前測數(shù)據(jù)和后測數(shù)據(jù)，以及學習者對教學材料和教學過程的看法。這些信息通常通過教師不太昂貴也不太麻煩地就可以獲得。在過了一段時間之后，就可以到實際環(huán)境去作評價了。

5．整理、分析數(shù)據(jù)

在形成性評價的實地試驗部分介紹的數(shù)據(jù)匯總技術對于總結性實地試驗也同樣適用。至少需要產生目標－題目對照表，按組或按人總結學習者的成績，你也可能還想用表格形式比較個人和小組從前測到后測的進步，描述所學技能在實際環(huán)境下的使用情況。

在分析數(shù)據(jù)的時候，需要將教學效果不佳的地方記錄下來，同時也要記錄造成這些弱項的可能原因。另外，教學有效的地方也要記錄下來。在總結性評價的實地試驗階段，對材料的優(yōu)勢和不足進行均衡分析十分重要，只關注不足對材料的價值評價就會出現(xiàn)偏差。

6．報告結果

總結性評價報告的內容取決于評價設計。如果評價設計既包括專家評價，也包括實地試驗，那么在評價報告中這兩個階段的情況都要寫。每個階段都要說明基本目的、特定問題、評價設計和評價過程、評價結果、建議和分析。建議必須依據(jù)評價結果部分所呈現(xiàn)的數(shù)據(jù)。

在設計和形成評價報告的時候要始終想著評價報告的讀者。教育學者沃仁、桑德和費茨派崔克曾經在分析了幾份項目評價報告后，總結道：盡管這些報告內容豐富，但是它們是印刷“毒藥”！不妨按照他們提出的格式來寫作，以避免這個問題。他們建議在報告開頭部分先寫一個簡短的總結，概括最終的建議和所做的分析。隨后，讀者就可以自行選擇閱讀技術文檔的哪些部分，以便審核評價過程的質量，判斷你的結論的正確性。