第5章　EVM模式的應用方法

方法論是應用方法的高層次集成，EVM模式的方法論框架最終還是要由EVM模式的應用方法構成。本章旨在從應用方法層面進一步介紹EVM模式投資決策與計劃、過程控制、后評價這三個階段所包含的內容，一方面可以更加深入地認識EVM模式的各項活動，另一方面也可以加強EVM模式的可操作性。

5.1　投資決策與計劃

IS投資的決策與計劃過程是異常困難的。曾經有一項調查表明，有35%的企業(yè)因為無法確定IT項目能帶來的價值而不得不放棄項目^[1]，而在已投資的項目中，大部分都是建立在對IT的主觀信心（Faith on IT）之上的，只有16%的企業(yè)采用嚴格的方法進行IT的投資決策評估^[2]。但IS投資的高風險、高隱含成本又使得事前謹慎的決策與計劃尤其重要，盲目的IT投資帶來的后果是觸目驚心的。一方面，不成熟的投資決策會導致不成熟的項目認識，就不能準確把握項目的目的和范圍，致使項目偏離方向，得不到企業(yè)期望的價值；另一方面，缺少全面的計劃就不能理性地估計和預測項目的成本以及可能出現(xiàn)的問題，風險控制的針對性和解決問題的能力就不強，大大增加了項目失敗的可能性。

EVM事前決策和計劃的過程是充分預測項目未來可能結果的過程，也是全面估計項目可能存在問題并提出相應計劃的過程，盡管好的決策與計劃過程不能完全保證IS價值的成功實現(xiàn)，卻可以使得項目從一開始就盡可能地考慮到未來可能發(fā)生的問題，盡可能地優(yōu)化資源配置，防患于未然，確保項目往正確的方向發(fā)展，避免不必要的時間和資源浪費，提高IS價值的實現(xiàn)概率。另外，評估和計劃過程中隱含了企業(yè)對項目實施過程以及項目相關人員行為的期望，因此除了為決策者提供判斷依據(jù)外，EVM投資決策與計劃還可以為未來的項目實施和人員考核甚至事后評價提供標準，作為糾正偏差、協(xié)調各方利益的工具。

5.1.1　事前投資決策與計劃的主要活動

配合IS價值實現(xiàn)過程中主流的投資準備和項目設計^[3]，事前的IT投資評估以及對后續(xù)工作做一個概要計劃是EVM工作的第一步。企業(yè)在正式實施IS項目之前，企業(yè)至少需要知道：①該項目主要能解決什么問題？預期價值是否與企業(yè)戰(zhàn)略需要相一致（Rock，1988；Ross，1991）？②企業(yè)是否有能力完成該項目（Willcocks，1994；Remenyi，1997）？③如果有能力，那么應該以什么樣的價值標準考核設計的方案（James，1999）？④確定方案后，應該在哪些方面進行控制以保證預期的價值得以實現(xiàn)？如何控制（Bram，2000；Chowdhury，2001）？⑤在正式實施項目之間，如何事先進行整體的計劃（Remenyi，1997）？這一系列的問題，僅靠傳統(tǒng)的可行性分析是很難實現(xiàn)的，它實際上需要包括如圖5．1所示的所有活動。

圖5.1　決策評估過程的內容

可以把這些活動分為三個階段，第一個階段是項目目標定義階段，EVM的項目目標定義基于等同于IS價值目標化，是從企業(yè)整體價值出發(fā)定義項目的目標，確定項目的目標和范圍，為后期投資方案的選擇、相關的選型以及項目的控制等提供評判的依據(jù)，是項目進行的首要基礎。第二個階段是決策結果的獲得階段，主要是為解決事前投資的決策服務的，包括決策標準與指標的確定、正式的評估過程、評估結果的分析等，屬于傳統(tǒng)的項目決策評估的內容，財務、技術、風險等的分析都發(fā)生在這一階段，需要進行總結性評價得出明確結論，是決定項目是否進行的關鍵階段。第三個階段是項目的事前計劃，等同于IS價值實現(xiàn)的事前計劃，可以有效地補充IS項目計劃的不足，如圖5．2所示。

圖5.2　IS項目事前決策評估鏈

5.1.2　IS項目目標的定義

IS項目目標的定義與IS價值目標確定的過程比較類似，都是需要在分析企業(yè)固有特征等基礎上對項目所要達到的目標進行詳細的分析，但從范圍來看，IS項目目標大于IS價值的目標化，畢竟在整個IS項目的建設管理過程中，除了追求IS價值這一主要目標之外，加上一些“必需的（must do）”目標如政府形象工程的要求、客戶訂單的要求等，共同組成項目的目標集。一般來說，IS項目的主要目標往往不止一個，但為了便于考核也不會太多，很少超過五個，每一目標又可以往下分成多個子目標。

不同的企業(yè)、不同的IS項目其項目目標是完全不同的，比如說某大型企業(yè)準備在企業(yè)范圍內實施ERP項目，其項目的目標是降低經營成本、提高客戶滿意度和加強內部經營的規(guī)范性這三個戰(zhàn)略性的目標；而另一家投資不大的生產物料管理系統(tǒng)的目標為：理順生產中物料的傳遞、提高物料管理的精確性、縮短生產周期、提高操作人員對電腦的熟悉程度四個相對比較具體的操作層的目標。因此本書很難給出具體的IS項目目標，而且IS項目目標的定義過程是相關者共同熟悉項目背景、共同探討項目期望的重要過程，除了結果，過程本身的意義也非常重要。

Dennis^[4]曾以“如果實施企業(yè)變革中沒有任何阻礙的情況下，他們最希望從信息技術投資中得到或提高的業(yè)務目標是什么”為問題對企業(yè)管理人員進行調查。Dennis在調查結束后從改善企業(yè)內部現(xiàn)有業(yè)務流程、改善企業(yè)之間現(xiàn)有業(yè)務流程、在企業(yè)內部建立新的業(yè)務流程、在企業(yè)之間建立新的業(yè)務流程四個方面對管理者期望的目標結果進行了總結，如表5．1所示，可以作為企業(yè)定義IS項目目標時的參考。

表5.1　實施IS的價值目標

IS項目目標定義的所有活動結束后，最終應該形成一份正規(guī)的文檔——項目分析藍圖（PAP，project analysis picture）^[5]，把上述活動的分析內容都包括在內，作為指導后期過程的規(guī)范。不過，盡管PAP的這些內容是項目后續(xù)管理的指導，不會輕易變化，但仍有可能在項目實施過程中不斷地被更新。

5.1.3　投資決策評估結果的獲得

有了項目目標之后，投資決策評估結果的獲得與分析主要就是在項目目標的基礎上形成投資決策的判斷標準，對待選方案進行評估得出一個能夠輔助決策的結果。

IS投資決策評估的標準有很多種，決策結果是多種標準綜合的結果。多位學者專門就IS投資決策的標準做出研究，如James^[6]提出IS投資決策標準包括財務標準、管理標準和開發(fā)標準三類，共15個指標；Willcocks^[7]經過調查發(fā)現(xiàn)，系統(tǒng)可用性、組織需求、響應時間、系統(tǒng)能力、業(yè)務部門的需要、成本這6個指標是IS可行性研究中使用最頻繁的標準；B．Hochstrasser^[8]建議從可能的效益、帶來的機會、可能的障礙、戰(zhàn)略集成、風險這五個角度對備選方案進行評估；Parker在1988年提出的著名的信息經濟學方法（IE法）^[9]采用傳統(tǒng)的成本效益分析加上管理因素和技術因素，共11個指標進行評價，在業(yè)界的認可程度相當高；Andresen^[10]認為IT評價的標準有財務、戰(zhàn)略、競爭優(yōu)勢、使用的效果、提高質量、關鍵需求、用戶滿意度、外部滿意度、技術、風險共10個標準；而分析最為全面的是SIESTA（Strategic Investment Evaluation and Selection Tool Amsterdam）方法^[11]，提出了二十幾條評價標準，如圖5．3所示。

根據(jù)本書項目目標是決定項目其他活動的基礎這一原則，同時考慮各文獻中對IS項目的其他因素，以及評估的簡潔性、易操作性等，本書認為完整的投資決策評估標準至少應該包括以下幾個方面的因素：

（1）滿足項目目標的程度。項目目標是對企業(yè)基礎、企業(yè)戰(zhàn)略、關鍵需求、競爭戰(zhàn)略等的一個綜合，通過考核項目滿足項目目標的程度，等于間接地考核項目對企業(yè)整體的貢獻等，因此滿足項目目標的程度應該是評估項目的最主要的標準。盡管實現(xiàn)項目目標的程度并不完全是由方案決定的，還取決于企業(yè)及實施過程中的其他因素，但方案設計的好壞仍是決定目標實現(xiàn)程度的最基本的因素。

（2）與成本因素。盡管目前關于IS成本因素的分類各異（Hochstrasser^[12]，Murugan^[13]），不過不管IS項目的成本有多少類，從評估的易操作性角度和統(tǒng)計的便捷角度來說，總的來說都可以歸入以下四類：①項目的IS項目的建設成本，是指解決方案的各供應商提出的項目預算總和。②項目的配套成本，如更新的網絡架構、數(shù)據(jù)庫、人員成本、外設、管理成本及協(xié)調成本等。③項目的運營成本，項目運行時需要的日常費用，如網絡、電力、人員等的費用。④隱含成本，一般不會具體統(tǒng)計，而是根據(jù)項目的特點，估計一個比例進行核算^[14]。

（3）效益因素。效益因素與成本相對應，更多的是考慮IS價值構成要素中可測度的那一部分，我們可以把：①對生產率的影響。^[15]對用戶的影響。③對競爭優(yōu)勢的影響。④對管理水平的影響。⑤對企業(yè)經濟收益的影響。⑥對企業(yè)變革和創(chuàng)新的影響這六方面的因素轉化為這些定量和定性相結合的指標。例如ERP項目比較完整的效益指標體系包括：顧客滿意度、企業(yè)商譽、企業(yè)凝聚力、組織合理性、管理效率、信息效率、資產凈利率、全員勞動生產率、存貨周轉率、流動資金周轉次數(shù)、產品開發(fā)周期、市場占有率、運營成本、工時利用率、設備利用率。

（4）與技術相關的因素。IS項目是管理與技術的結合，在大量文獻強調管理重要性的同時，技術作為支撐管理的基礎仍然占有舉足輕重的地位。特別是隨著新技術的快速發(fā)展，很多企業(yè)會因為無法及時理解新技術或盲目應用新技術而導致項目的失?、?。前面提到的各文獻的評估標準中，都包含了技術這一標準，根據(jù)這些文獻，我們可以總結技術評估的標準主要有技術的風險性、技術系統(tǒng)的質量、易用性三個方面。

（5）與風險相關的因素。風險是項目投資中一個永恒的話題，風險管理直接決定了項目實施中可能會遇到的障礙以及實施的難度，風險管理本身就是一個大的課題，一些IS顧問甚至會列出長達十幾頁的項目可能面臨的風險清單。借鑒Remenyi對IT風險的分類方法^[16]，在事前評估過程中，我們僅需從方案對業(yè)務環(huán)境、項目環(huán)境、業(yè)務和項目知識、項目基礎、時間周期這五個方面的要求識別備選方案的風險。

（6）與軟硬件供應商相關的因素。由于目前大部分解決方案是由供應商直接或聯(lián)合參與提供的，選擇了某一方案，就等于選擇了未來很長一段時間內實施和維護的合作伙伴，而合作伙伴資質的好壞、其配合程度當然是整個合作項目的關鍵。一般來說，選擇供應商主要是從對該項目的重視、行業(yè)方案的解決能力、可長期合作的前景三方面去考慮的。

綜合上述標準的分析，以某企業(yè)的ERP項目為例，其事前投資決策評估的標準體系如表5．2所示。對備選方案在這些標準下的評估分析同時也為接下來的事前計劃提供了有待解決的問題的清單，特別是滿足目標的程度、風險、實施難度等。

根據(jù)我們前面的分析，IS項目的投資決策具有以下幾方面的特點：①投資決策的最終目的在于做出正確的選擇，而不追求計算的精確性；②IS項目要做出精確的財務分析幾乎是不可能的；③IS項目對企業(yè)的影響往往都有戰(zhàn)略意義大于財務意義、無形效益多于有形效益等特點；④IS項目往往會涉及多方的利益；⑤企業(yè)不愿意為事前評估投入太多資源。

表5.2　EVM事前決策與計劃的標準體系

基于IS項目投資決策的上述特點，本書認為，在有了決策標準之后，IS項目的事前評估方法，應該更傾向于采用軟評價法和硬評價法相結合的方法，如專家打分法與ROI分析相結合等，盡可能簡化評價標準與評價步驟，依賴于評價者在這些指標的指導下，通過排序、優(yōu)先級的設定、圖表對比等方法得出一個較為滿意的結論。實際上，盡管第2章提到評價的方法超過100種，但在現(xiàn)實中90%以上的事前評估過程所用的無非是CBA、ROI、IRR、投資回收期、專家打分法、MOMC、IE、BSC等幾類較常見的方法?？傊琁S項目事前投資決策評估的方法，既可以很簡單也可以很復雜，完全取決于企業(yè)所要達到的決策精度。

5.1.4　實施的事前計劃

EVM中的事前計劃與IS價值管理的事前計劃是類似的，都是為IS實施過程中的項目管理做準備的，主要包括選擇最佳的IS價值實現(xiàn)途徑（屬于IS方案設計的范疇，本書不再詳述）、提出一系列的監(jiān)控項目實施過程是否按計劃進行的變量指標，提出變化管理、風險管理的計劃，并把相應的責任分配到相關人員，采用一定的激勵機制進行激勵等內容。但EVM與單純的價值管理不同，除了這些計劃之外，還要分析項目計劃，把這些計劃與項目計劃融合在一起，共同實施。在項目實施階段，EVM的這些計劃不再獨立運行，更多地是通過項目管理在實施階段強調這些計劃的活動內容，使得實施過程中不至于忽視這些重要的因素，與項目管理一起融合發(fā)揮對IS價值的管理作用。

5.1.4.1　監(jiān)控項目運行的變量

就監(jiān)控變量的選擇，本書主要是以IS實施過程中項目管理關心的重點為監(jiān)控的主要變量，根據(jù)《IT項目管理》一書中所提到的項目管理的主要內容^[17]，我們將從項目范圍、項目時間、項目成本、項目質量、項目溝通、項目采購這六個方面定義項目的關鍵監(jiān)控點。根據(jù)Chalfin^[18]，Robert^[19]等人的研究，從這六個方面進行分解，總結出IS項目實施過程中具體的監(jiān)控點有：①預計的可交付成果。②活動排序的質量。③已完成活動與已消耗時間的對比。④變更中的時間處理。⑤預算的變化。⑥已完成任務與已消耗成本的比例。⑦可擴展性、穩(wěn)定性。⑧快速響應性。⑨一致性。⑩信息格式的正確性。信息收集的效率。信息分發(fā)的效率和匹配性。采購的過程合理性。合同管理的準確性。

5.1.4.2　變化管理的計劃

IS項目的實施將面臨來自組織各方面的抵制，越來越多的證據(jù)表明，在IS項目實施過程中人的因素是最重要的風險因素^[20]，如何減少IS的實施變化中與人相關的負面影響、增強正面效果正是變化管理所要解決的問題。統(tǒng)一而又完整的變化管理計劃可確保項目的成功，同時也可縮短項目實施的周期，降低成本。變化管理計劃首先要在項目目標的指導下，對未來的項目過程進行一定的診斷，分析可能存在的抵制，以及組織實施項目的能力，溝通管理也是管理變化里很重要的一部分。另外，變化管理作為這幾年的研究重點，從文獻分析來看已經積累了很多工具，如預測變化的影響、變化歷史調查、角色分派應用工具、委托人評估、變革阻力表、變革推動力評估，組織變革實施計劃等。何時、何人應用這些工具以及如何應用是變化管理計劃的另一內容。

5.1.4.3　風險管理的計劃

3．4．3已經給出了明確的風險及風險管理的定義，關于風險管理的重要性也已經成為常識性的知識，這里不再具體討論。由于其在IS建設中的重要性，很多作者（Remenyi，1999；Beohm①，1999；Wideman^[22]，1998）對這個問題做了深入的研究。分析IS項目的風險源，Lyytine及Ward認為可能會導致風險發(fā)生的領域包括技術、數(shù)據(jù)、用戶、組織和商業(yè)環(huán)境等方面。三個應對風險的基本措施是：規(guī)避、接受和降低。風險規(guī)避涉及根除具體的威脅和風險；風險接受意味著如果風險發(fā)生，則接受風險所產生的后果；風險降低通過減少風險發(fā)生的概率來減輕風險事件的影響。Willcocks認為好的風險管理的關鍵在于：①用戶參與。②管理層、關鍵員工以及IT人員的責任心。③方案的靈活性。④戰(zhàn)略對應性。⑤時間的控制。⑥調整項目的大小。⑦范圍的控制。⑧機動的計劃。⑨評價體系的及時反饋。同時，應急計劃和應急儲備也是風險管理計劃中很重要的一部分，以配合風險發(fā)生時采取及時的措施進行補救。一些風險控制的工具，如十大風險事項追蹤等，應該在計劃過程中就有所考慮。

5.1.4.4　責任與激勵管理的計劃

IS項目建設中的責任管理是一個新興的領域，具體責任管

理應該包括哪些活動、采用哪些方法還沒有定論，根據(jù)IS價值實現(xiàn)過程的要求，為了達到責任管理的效果，其計劃的過程如下：首先，借鑒一定的工具如項目管理中的計劃工具工作分解結構（WBS），將與價值實現(xiàn)相關的工作分解為可管理的要素。其次，列舉所在與IS價值實現(xiàn)相關的部門或個人，然后EVM小組與項目經理一起協(xié)商，按照均衡的原則把工作分配到有能力的單位中，在此基礎上把可管理要素中的每一項工作指派給各執(zhí)行人而形成的一個矩陣，稱之為責任分配矩陣（Responsibility Assignment Matrix，RAM）。RAM按期望的詳細程度將工作分配給負責和具體工作的組織、團隊或個人，對于小型的項目來說，最好還是將每一項工作指派給個人。而對于大型的項目來說，將具體工作指派給部門或團隊將更有效。

不過要讓相關者承擔起責任，還有“7＋1”個條件，在組織設計人員安排時可以提供一定的參考，這“7＋1”個條件分別是：清晰的指令和范圍、足夠的權力和行動范圍、必要的能力、相應的資源、清楚的責任關系、理解權利和義務、相關的考核；另外還有相關人員愿意接受這些責任。最后，為了確保責任管理機制確實發(fā)生效果，與之相對應的還需要建立一定的獎罰機制對各個責任人員進行激勵。激勵的方式有很多種，可以是獎金、榮譽、休假、培訓機會，也可以是扣獎金、通報批評、免職等懲罰手段。但在IS建設過程中，為了不打擊各相關者參與的熱情，保證大家以良好的心態(tài)完成項目，一般是獎多罰少，讓相關者更加積極地參與到項目中來。

總體來說，變化管理、風險管理、責任與激勵管理盡管在概念上有很大的差異，在實際過程中，有很大一部分工作是重疊交叉在一起的，很難區(qū)別這一活動到底屬于變化管理或風險管理或責任與激勵管理，在計劃的過程中也要考慮到這種重疊性。IS目標定義階段所形成的PAP是指導所有這些事前計劃的主要標準，當然在這一階段結束后，也將形成一份文檔，我們稱之為項目管理藍圖（PMP，project management picture），作為IS價值實現(xiàn)控制階段的重要參考。

5.2　IS實施中的過程控制

IS項目的實施要確保項目實施的有序性和結果的可預測性，必須包括各類資源的計劃與控制、業(yè)務模擬測試、系統(tǒng)開發(fā)確認和系統(tǒng)轉換運行等多項內容，任務繁多復雜，而且各種問題也非常集中，如需要各層次大量員工的參與、要求企業(yè)成員以不同的方式完成工作、意料之外的變化、計劃疏漏、充滿沖突與矛盾等。因此，項目實施的過程往往都比較緊張，項目小組很容易陷于日常的數(shù)據(jù)整理、問題處理、關系協(xié)調等活動中，而IS一些重要變量如項目的范圍、進度、風險和質量等的控制就顯得力不從心，甚至最為重要的IS價值方向很多時候也被完全忽略，更不用說在這過程中進行補充性的投入以加強價值的創(chuàng)造。因此這迫切需要在具體統(tǒng)一的價值導向下，通過一定的協(xié)商和控制機制進行解決，降低日常障礙因素對價值實現(xiàn)的影響。同時IS項目實施由于時間和資源限制，又不易增加過多的評價、監(jiān)控等其他非主流活動。EVM中的過程控制借鑒形成性評價理論，結合IS的項目管理，設計了分階段的過程控制模型，以實現(xiàn)項目實施過程中的IS價值管理。

5.2.1　事中過程控制的主要內容框架

基于這樣一些目標，在參考控制理論和形成性評價模型的基礎上，本書認為綜合輔助的過程控制模式應該包括數(shù)據(jù)收集、形成性評價、相關者協(xié)商與妥協(xié)、項目監(jiān)控、討論決策等幾大部分，該模式從內容結構上看，如圖5．4所示。

圖5.4　事中過程控制內容結構圖

圖5．4是IS價值實現(xiàn)的控制過程圖（圖4．5）的另一映像圖，可以更加清晰地看到過程控制的本質，但在本圖中無法表達過程控制中分階段循環(huán)控制的意思。本書所提的實施過程中的分階段循環(huán)主要是指：把實施過程劃分為多個階段，按階段投入資源和考核IS價值的產生，每一階段對應一次過程控制的循環(huán)，得出一個階段結果。當項目面臨的經營環(huán)境發(fā)生變化時，企業(yè)可以在下一階段尋求新的改進機會，這盡管會增加一定的工作量，但可以精確控制到IS實施的每一個階段，實現(xiàn)風險的漸進管理。

EVM的關鍵是各相關者持續(xù)評價和協(xié)同推進項目的進程，通過這些多相關者參與的形成性評價、討論、協(xié)商、決策等重要活動，IS不再是少數(shù)領導人操縱的結果，大大提高了IS的接受程度。讓各相關者持續(xù)地參與IS的開發(fā)過程，了解IS的建設過程之所以導致最終結果的各種原因，對系統(tǒng)的最終形式就不會有排斥心理，即使有不滿意的地方，也因為了解IS具體原因而變得寬容。接受度高，那么IS的應用效果就會好；應用效果好，最終發(fā)揮出來的IS價值當然也高。另外，相關者的參與也會導致一個更加有效的解決企業(yè)問題的IS方案。

過程控制的首要基礎是數(shù)據(jù)的收集和分發(fā)，當然這些收集的材料最后往往都會被整理成正式的項目變量差異報告，在更加正式的變量差異分析會上進行討論，依次延續(xù)到變量差異分析、形成性評價、協(xié)商與妥協(xié)這三個過程控制的主要活動。不過在很多時候這三者是互相交叉融合的，變量差異分析過程中可能存在一定的評價活動，也肯定會有協(xié)商和妥協(xié)的過程。所以，這相關者參與的三大活動并不是獨立的、在不同時間段進行的。對此進行分類，只是能更清晰地表達在過程控制中，相關者需要參與何種活動。

5.2.2　變量差異分析

責任與激勵管理、變化管理和風險管理與項目管理一樣都是持續(xù)于項目生命全周期的過程，與形成性評價、協(xié)商妥協(xié)等活動一樣都會經歷多次資料收集、回顧、重新決策等循環(huán)，EVM的過程控制把這些活動集成到一起，進行同步的循環(huán)，不僅可以增加過程控制的效果，也可以減少資源的浪費。因此，從這一角度出發(fā)，變量差異分析所針對的對象不僅僅是事前計劃中所定義的十四個變量，而是包括了所有計劃如責任與激勵管理計劃、變化管理計劃、風險管理計劃、組織配合等設定的變量，考察計劃的變量與項目實施中的現(xiàn)實之間的差異，并分析差異產生的原因及討論解決對策。

在召開變量差異報告會之前，先要由EVM常設委員會撰寫變量差異報告，該報告建立在全面、持續(xù)、完整地收集資料的基礎之上，把項目實施中涉及的方方面面記錄成為正式的文檔，可以與項目管理中的項目進程報告共享數(shù)據(jù)資源，但與項目進程報告不同的是，變量差異報告包含了對企業(yè)環(huán)境變化的記錄，項目不再是封閉式實施的結果，同時也對外界環(huán)境及需求的變化及時進行響應。項目實施過程中的數(shù)據(jù)收集方式有很多種，其中最普遍應用的是觀察、現(xiàn)場記錄、訪談、項目文檔分析、問卷調查等，在某些利用軟件工具進行項目管理的項目中，還可以查詢該工具的日志或記錄的信息。但由于變量差異報告最主要還是用于項目實施中的工具文檔，其撰寫過程和查閱都不宜花費過多時間，本書建議采用簡單明了的圖表方式記錄各類變量的變化和差異情況，如時間序列表、偏差記分卡、控制盤等，把復雜的問題簡單化，便于EVM其他人員快速理解和掌握。

變量差異分析會不同于一般的項目碰頭會。首先，在人員上，參加變量差異分析會的主要是EVM相關人員，而項目碰頭會往往是業(yè)務或IT的主管人員，盡管有一部分重復，但EVM執(zhí)行所涉及的人員和所涉及的面要廣很多；其次，項目碰頭會主要是解決項目實施中出現(xiàn)的各類問題，控制進度和成本等，實現(xiàn)的或解決的是短期的目標和問題，而變量差異分析以原始的PAP與PMP為參照，以一套統(tǒng)一的、長期的標準來考察、分析項目的現(xiàn)狀，確保項目在持續(xù)變化的環(huán)境下仍然以項目的最終價值為導向，而不是短視的問題導向。特別是隨著各相關者知識和經驗的積累，所有的相關者將從各自的立場對項目關鍵變量存在的差異闡述新的觀點，尤其是與自身利益息息相關的變量存在差異時，都會積極提出改進項目過程或修正項目目標的意見，這非常有利于糾正項目實施過程中出現(xiàn)的偏差，調整項目組織形式和項目管理方法，幫助企業(yè)逐漸修正并形成一套完善的PAP 或PMP。

5.2.3　形成性評價

形成性評價，也稱之為過程性評價（Process Evaluation），是相對總結性評價（Summative Evaluation）提出的。總結性評價相當于一幅快照，靜態(tài)地反映了項目某一時刻、某一角度的狀態(tài)，只涉及一兩個相關者的利益，而且這種快照往往是基于某些定義好的變量，如項目的績效、可用性以及用戶滿意度等^[23]，定量分析的成分要大于定性分析，傳統(tǒng)的事前投資決策評估、事后的效益評價等都屬于總結性評價。

形成性評價則不同，根據(jù)Patter^[24]，F(xiàn)inne^[25]和Remenyi^[26]等人的定義，對于形成性評價已經達成了如下共識，即形成性評價是以促進項目的價值最大化為最終目的，在項目進行過程中對項目持續(xù)地監(jiān)控和評價，總結并反饋各利益相關者的意見，最后協(xié)商做出決策的動態(tài)循環(huán)過程。其主要特征包括：①以企業(yè)商業(yè)目標為價值導向。②充分考慮項目過程中的變化因素。③需要項目各類相關者的積極參與。④評價與決策的持續(xù)循環(huán)交替，共同推進項目進展。^[27]與其他活動的協(xié)同性。

借鑒形成性評價在其他學科如教育過程、醫(yī)院治療過程、政府公共服務過程、人力資源開發(fā)過程及各類采用原型法開發(fā)的項目建設過程等方面的應用⑤ ^[28][29][30]，盡管有很多不同之處，但在形成性評價涉及的內容、研究方法、過程控制的方法等方面還是可以找到一些共性的地方，總結如表5．3所示，可以為項目實施中的過程控制設計提供一定的理論基礎。

表5.3　形成性評價的共性分析

具體到EVM的過程控制，如果說變量差異分析是控制過程中對比計劃與現(xiàn)狀差異的過程，那么形成性評價就是全面考察項目定性因素得出評價結果的過程。在項目實施過程中，需要進行評價的內容是非常多的，既可能是外部事件（新的客戶需求），也可能是內部環(huán)境的轉變（業(yè)務優(yōu)先順序的重新定義），項目事件（未預期到的項目延期），或轉變過程中的某個特定點（活動的始點或終點）等。在任何一次循環(huán)階段上，如下的16個問題對決定后續(xù)過程的成功至關重要：

·公司高層是否仍然支持和堅信原來的戰(zhàn)略愿景及PAP？

·驅動這個戰(zhàn)略愿景及PAP的客觀情況與前提假設是否仍然有效？

·用于實現(xiàn)戰(zhàn)略愿景及PAP的業(yè)務能力是否已經明確定義？

·企業(yè)是否已經實現(xiàn)了業(yè)務能力的提高？

·整個項目是否已經被劃分為易于管理的程序來實現(xiàn)IS的價值？

·管理層是否仍然積極地支持這個項目？

·是否抓住了主要的成功要素或主要的問題，并設法解決？

·是否評價過客觀情況和前提條件的改變對項目的影響？

·PAP與PMP是否已經針對改變過的情況進行了有效性驗證？

·項目的改變是否已經記錄在案并且相應地調整了投資預算？

·反饋流程是否已經被用于管理項目預算和高層的期望？

·是否已經定義了項目的范圍、時間和所需要的資源？

·項目所需的關鍵人員和資源是否已經被持續(xù)地投入進來？

·項目組的成員能夠清晰地表達出項目要實現(xiàn)的價值嗎？

·是否有一個具體的計劃來分配并評估人員對項目目標的貢獻（即責任管理）？

·員工們會理解并接受最終的項目嗎？

這些問題包含了IS項目實施過程中現(xiàn)狀、IS項目發(fā)生的變化、企業(yè)環(huán)境的變化等多方面的內容。即使沒有在形式上使用形成性評價，企業(yè)也應成功地解決上述的每一個問題。假如其中的任何一個問題不能得到確定的回答，那么就應重新回到上一步去直到解決該問題為止。否則，就很可能導致整個項目的失敗。

5.2.4　回顧、協(xié)商與妥協(xié)

實際在上述兩個活動中或多或少地存在回顧、協(xié)商和妥協(xié)等活動，而且這些活動應該已經成功地根據(jù)需要調整了部分項目的過程，但在企業(yè)實際IS建設過程中，更常見的問題是需求的變更牽扯到復雜的利益關系、尋找不到最佳方案、需要更多的時間、資金甚至新的技術等比較重要的情況，需要高層領導決策但高層領導也為難的情況，在IS項目實施過程中正是因為這些問題導致項目的延期、成本的上升、失敗等，非常有必要單獨對這些問題提出解決方案。而這一部分所謂的回顧、協(xié)商和妥協(xié)就是以合理地解決這些相對重要、解決難度較大的問題為目標，為項目的過程控制發(fā)揮關鍵性的決策作用。把它們單獨作為一部分來研究，一方面是有利于更深入地探討過程控制中應該如何在多相關者參與的情況下實現(xiàn)最優(yōu)決策；另一方面也是強調這些活動的重要性。

回顧是指重新審視項目實施的現(xiàn)狀、變量差異分析以及形成性評價的結果，特別是由于項目和環(huán)境變化后所產生的新的需求，選擇其中爭議比較大、涉及項目關鍵以及有待決策的問題形成一系列的列表，以供接下來的協(xié)商與妥協(xié)使用，但問題列表的數(shù)量不宜太多，每一決策點一般都不會超過5個，畢竟協(xié)商與妥協(xié)過程是比較漫長的，而且大部分的問題在項目管理、變量差異分析及形成性評價過程都已經被討論和解決。

每一個問題的解決不僅需要各相關者的群策群力，更需要以統(tǒng)一的標準考核解決方案，平衡各方的利益最后得出協(xié)商結果，這樣的一個過程實際上與事前的投資評估決策非常類似，但決策時間與可利用資源卻遠沒有后者多，所以其過程更加困難，但第5章所討論的事前投資決策評估方法仍然可供參考。一些學者也提出了很多協(xié)商與妥協(xié)的模式，如本書所借鑒的Remenyi的協(xié)商與妥協(xié)箱，主要是從功能、成本、時間、技術四方面分析由于變化所帶來的新的需求，評估實現(xiàn)新需求的必要性、所需要的資源、可能帶來的效益等^[31]。協(xié)商與妥協(xié)理論假設EVM小組的成員是理性的，擁有足夠談判知識能力的，但在實際過程中卻并非如此，因此協(xié)商與妥協(xié)并不能絕對保證企業(yè)達到最優(yōu)的決策，不過相對的質量卻已經提高了很多。

由于這些問題往往直接牽扯到相關者的利益關系，在這一過程一般需要在各相關者之間進行多次的協(xié)商和妥協(xié)，在共同價值觀的引導下，就最終的解決方案達成一致的意見，如果無法達成一致的意見，就只能一級一級地往上報告，由上級部門解決，直到問題得到最終的解決。當然這些過程描述起來是非常簡單，但在實際過程中卻是異常艱難的，需要有一個中立的機構以BP為指導標準，不斷地平衡協(xié)調。但前期如果已經在企業(yè)范圍內對項目達成共識，相關者之間也已經通過形成性評價等活動已經互相建立起信任，這些工作將會輕松很多。

5.2.5　過程控制的結果

從圖5．4可以看到，在每一次決策點的循環(huán)中，由多相關者參與的過程控制會有三個可能的結果，大部分的情況都是根據(jù)項目和外部環(huán)境的變化以及項目變量差異分析、形成性評價及協(xié)商妥協(xié)的結果，重新制定項目計劃、重新安排項目步驟、重新分配項目資源并重新編制PAP和PMP，以資源的連續(xù)投入作為處理現(xiàn)實環(huán)境變化的一個方法。

第一個可能的結果是，調整的入口可以是其中的任意一個，但最終都將帶動另外一個藍圖的更新。這些更新過的藍圖經EVM小組討論通過后將以新的文檔編號加以保存，然后再開始新一輪的過程控制，如此循環(huán)，直到項目結束。

第二個可能的結果是，在項目需求變動非常大或者問題數(shù)量非常多的情況下，沒有足夠的資金、時間或技術可供調配，簡單的調整和修正已不能滿足需求的變化，需要在原有方案的基礎上尋找新的途徑或方法。一般來說，企業(yè)最普遍的解決方法是在下一個版本的計劃中一次性地解決新出現(xiàn)的問題，如果沒有下一版本的計劃，那么只能在維護過程中一個個地解決。

第三個可能的結果是，經過多方面的考慮，認為項目無法解決企業(yè)根本問題的需求，那么只有通過終止項目來把損失降低到最小。終止項目是非常痛苦的，但終止一個錯誤決策的成本終究要比證明一個錯誤決策要低很多^[32]。

5.3　IS應用過程中的后評價

IS應用過程后評價的目的主要是為了提高IS應用階段IS價值的實現(xiàn)程度，IS價值影響因素的分析中也提到要通過良好的IS組織與管理、創(chuàng)新性應用，提高用戶的接受度等方法可能進一步加強IS應用階段的價值實現(xiàn)，不過除此之外，按照Goddard^[33]的觀點，IS應用往往會存在這樣一些問題。如項目不了了之，缺少持續(xù)的改進，缺乏持續(xù)的培訓，IS不再有效等。結合IS價值管理模型的IS測度與跟蹤階段，EVM提出了以后評價為主的管理體系，盡管后評價本身不能解決這些問題，但后評價可以為IS項目驗收和IS維護提供全面準確的信息反饋，更好地輔助IS維護以解決這些問題，提升IS應用階段的IS價值實現(xiàn)。

5.3.1　后評價的內容框架

后評價在很多文獻中也被稱之為事后回顧、事后審計等，但正如評價本身與回顧、審計等詞的差異，這中間還是有很多的不同之處。后評價根據(jù)國際援助委員會的定義，是指對已實施或完成項目的執(zhí)行過程、效益和影響進行系統(tǒng)、客觀的分析、檢查和總結，以確定目標是否實現(xiàn)，檢驗項目是否合理和有效，是否具有持續(xù)性，并通過可靠、有用的信息資料，為未來的決策執(zhí)行提供經驗和教訓的過程^[34]。后評價比較側重于確定項目實際執(zhí)行的效果，對比無項目情況下發(fā)生的變化，以確定項目的增量效應，從而總結出經驗教訓；從功能上看，審計主要著眼于責任，而后評價主要著眼于學習^[35]。

為能更清晰地解釋后評價，本書參考美國審計局對IS項目事后跟蹤評價的分析^[36]，把IS項目的后評價分為終期評價與跟蹤評價兩類，這兩者有著完全不同的目的和內容，圖5．5可以清晰地反映這兩者之間的關系。

5.3.2　終期評價

按照前面對終期評價的定義，在這一階段主要是對項目的前期實施工作進行回顧，參照PAP與PMP用實際的數(shù)據(jù)對項目結果驗證，評價最初決策合理性并發(fā)現(xiàn)問題得出主要結論的過程。從EVM的角度來看，終期評價與事前投資決策評估一樣，是為了準確、全面地反映項目的實際情況，因此在評價步驟與評價指標體系上有很多雷同之處。但事前評估是對未來可能結果的一種估計，更多的是憑經驗、憑直覺，評價者的水平直接影響了最終的評價結果。而終期評價有事實可以佐證，有真實的信息和數(shù)據(jù)告訴我們項目的最終效果，需要具體測度，需要有明確的計算方法，反映實際的情況，其步驟、內容和方法都與事前投資決策評估有明顯的不同。

圖5.5　PUE與PCE的差異分析

5.3.2.1　終期評價的步驟

從本書的角度出發(fā)，由于EVM已經充分考慮到項目目標、項目背景等情況，而且項目的投資決策評估與過程控制已經為項目事后審計積累了大量結論性的信息，如項目評價標準、項目關鍵變量的實際情況、收集到的各類數(shù)據(jù)等，因此終期評價的步驟設計相對就要簡單很多。主要是在最新的PAP與PMP的指導下，定義項目的評價框架、收集補充數(shù)據(jù)，并對所有數(shù)據(jù)進行分析與比較、總結并確定主要問題、歸因分析與反饋四個步驟，最后在這基礎上進行全面的總結性評價，得出結論性的評價結果并形成規(guī)范的文檔存檔，如圖5．6所示。至此，項目的整個建設過程才算完全結束，后期不斷的應用、維護和改進的過程則交付給跟蹤評價進行管理。

圖5.6　終期評價的步驟

在終期評價過程中，定義評價框架最主要是確定要評價的五大要素，包括對象、方法、標準、時間、評價者的組織，在后面小節(jié)中將分別提到。收集補充的資料是指，項目事前及實施過程中收集的資料并不一定能完全符合終期評價的要求，那么缺少的部分就需要通過另外的途徑進行收集。與原有的資料一起，達到評價框架的要求，那么接下來就是要對這些數(shù)據(jù)和資料進行評價和分析，采用一定的方法得到結論，并尋找和確定項目實施中的主要問題。終期評價還有很重要的一點是對歸因分析，尋找出現(xiàn)這些問題的原因，或導致這一結果的潛在因素，并把這些原因或分析結果反饋到項目小組中，對項目進行最后的修正。

所有這些工作，最后都將在終期評價報告中反映出來，由于項目終期評價一般與項目驗收、結算等直接相關，從內容的定義、方法的選擇、文檔的格式就要比過程控制中的形成性評價更為正式，更為規(guī)范。特別是終期評價的報告，一般都會包括項目背景分析與介紹、項目實施過程介紹、項目目標實現(xiàn)的程度、財務評價、項目應用評價、項目實現(xiàn)過程評價、技術評價等方面的內容，主要取決于終期評價所定義的框架。

5.3.2.2　終期評價的主要評價內容

IS事后審計所包括的主要內容可以作為終期評價內容的參考之一，分別是系統(tǒng)目標實現(xiàn)程度、成本收益分析、系統(tǒng)變更的審計、各類資源的利用率、操作人員的錯誤日志、運行的連續(xù)性審計^[37]。而Willcocks^[38]的理論認為財務評價、技術、應用的程度是必須被考核的，Norris^[39]在文獻綜述的基礎上提出事后跟蹤評價的主要內容包括：投資的生產率、項目完成的時間、成本、質量、沒有被完成的任務、增加的收入、減少的風險、滿意度這八個方面。姚光業(yè)^[40]認為終期評價在項目完成后對項目實施的全過程進行檢查，不僅要評價項目的目標是否實現(xiàn)，而且對目標本身、施工建設與管理、生產經營等也要做出評價。宣國良^[41]的觀點是終期評價要根據(jù)項目的進程，審核在項目準備和評估文件中所確定的目標、確定在項目實施各階段實際完成的情況，找出其中的變化，通過確定實際與預期的對比，分析項目成敗的原因這幾部分內容。

總結這些研究，再參考事前評估所采用的標準，本書認為終期評價至少需要包括以下五個方面，其中目標實現(xiàn)的程度、財務評價、技術評價與事前的投資決策評估差異不大，這里不再重復，主要是對項目應用評價和實施過程的評價這兩部分進行說明。

（1）目標實現(xiàn)的程度，度量項目目標被實現(xiàn)的概率以及所達到的程度，是判斷項目成敗的主要依據(jù)。

（2）在某一時間點上的項目財務評價，主要是對項目成本和項目效益的全面計算，衡量項目的經濟性。

（3）項目應用評價，是考核項目實施結束后，在企業(yè)所發(fā)揮效果的程度，包括項目被利用的程度，如在系統(tǒng)中處理的業(yè)務占該項部分業(yè)務的比率；項目最終用戶的滿意度調查，從系統(tǒng)的質量、成本、時間、服務四方面考核員工對系統(tǒng)的滿意度；最后還包括對決策層的滿意度調查，主要從戰(zhàn)略性、可持續(xù)性等方面進行考核。

（4）項目實施過程評價，是對項目前期工作的一個總結，從管理上分析項目實施過程中各類活動的準確性，包括項目管理正規(guī)化程度，如文檔化管理程度、培訓的效果評價、采用項目管理工具的數(shù)量和水平；項目的控制水平，如項目時間、成本、范圍、風險等的控制水平；企業(yè)信息化建設能力的提高程度，如IT人員實施能力的提高程度、員工對信息化理解的加深。另外，項目人員的滿意度評價特別是EVM項目人員的滿意度評價也是重要指標之一。

（5）技術評價，主要是從系統(tǒng)本身所具有的可擴展性、穩(wěn)定性等角度出發(fā)。

5.3.2.3　終期評價結果的分析與反饋

對應這些評價標準收集相關信息，得出終期評價結果后，接下來的工作就是對這些數(shù)據(jù)進行歸類分析，尋找出現(xiàn)這一現(xiàn)象的原因，得出有意義的結論。一般來說，終期評價結果的分析內容主要有如下幾個方面：

（1）從投入產出的角度看企業(yè)IS項目的建設效果，得出直觀的關于項目成功與否的結論。

（2）通過與企業(yè)其他時間段的對比、與企業(yè)其他項目的對比、與其他企業(yè)的項目對比，得出相對成功的評價結論。

（3）與其他人員溝通，總結項目管理過程中好的經驗和存在的問題。為未來的信息化項目建設積累知識，提高建設能力，改善企業(yè)的信息化狀況。

（4）分析問題產生的原因，提出并跟蹤改進的機會和結果。

為了提高終期評價結果的利用價值，更為了通過評價結果影響相關人員的決策，進而影響IS應用過程和未來IS建設過程的改進，終期評價的結果需要通過一定的反饋機制和擴散機制在相關人員和組織內進行宣傳，把終期評價的信息，包括問題、結論、建議和經驗教訓及時擴散，直接為各利益主體服務。反饋的途徑主要包括摘要與總結、年度報告、文獻目錄、綜合報告、自動數(shù)據(jù)庫系統(tǒng)和研討會、新聞發(fā)布會、專業(yè)會議以及內參材料等形式^[42]。

5.3.3　跟蹤評價

企業(yè)的IS項目很少能夠在幾年內不發(fā)生任何變化，一般都要隨著需求的變化改變原有模式或增加新的功能，那么要確保和增加IS應用過程中的價值，就需要跟蹤評價企業(yè)IS應用的具體情況，及時發(fā)現(xiàn)并解決企業(yè)的新需求和IS應用中產生的問題。EVM認識到IS應用在IS價值實現(xiàn)過程中的重要性，并針對IS應用過程的具體特點，提出了跟蹤評價相對應的主要內容，幫助企業(yè)更好地管理和控制IS應用的過程。持續(xù)的跟蹤評價可以更深入地認識IS項目的真實價值和潛在持續(xù)能力，更好地分析討論IS應用中出現(xiàn)的問題以及企業(yè)所產生的新需求，充分考慮新需求與原項目之間資源的優(yōu)化匹配，加強IS應用過程中決策的準確性，提高未來信息化建設的效率和效益。但跟蹤評價并非一個成熟的研究領域，基本還沒有出現(xiàn)跟蹤評價的系統(tǒng)研究，要解決上述問題還需要很長一段時間。

EVM把跟蹤評價定義為在項目運行一段時期后對已實施項目的具體應用過程進行全面綜合分析，一方面考慮到IS價值的長期性，跟蹤評價有助于分析項目實施的實際經濟效果和影響力，相當于終期評價的延續(xù)，以論證項目的持續(xù)能力；另一方面在于評價企業(yè)具體的IS應用過程，發(fā)現(xiàn)存在的問題和由于企業(yè)變化所產生的新需求，比較類似于形成性評價，只是評價的對象是IS應用而不是IS實施，以更好地配合IS的維護過程，因此跟蹤評價是終期評價與形成性評價在IS應用階段的繼續(xù)，除了在評價的內容上有所差異外，所采用的評價方法是比較類似的。而且前期的形成性評價與終期評價已經為跟蹤評價積累了大量的經驗和數(shù)據(jù)，而且從跟蹤評價的目標和過程來看，更多是通過輔助決策達到改善IS應用的過程，是一個長期的評價→改善→評價的過程，對于階段性結果的要求并不像終期評價那么顯著，相對來說工作難度和工作量都有所減輕。

盡管跟蹤評價相對不那么強調結果，但對信息進行系統(tǒng)的整理與分析，得出最終的評價仍然是必要的，它是評價價值的最終體現(xiàn)，是下一步改進的依據(jù)，也是評價結果溝通和反饋的需要，因此在跟蹤評價過程中，與形成性評價類似的，每一個階段點（根據(jù)系統(tǒng)運行的狀況來定，一般在半年左右）的循環(huán)結束后，都需要形成或修正一份跟蹤評價文檔（在形成性評價中是PAP 與PMP），該文檔主要的內容，如表5．4所示。

表5.4　跟蹤評價文檔的主要內容＊

注：＊未經注明，均表示在某一循環(huán)間隔內的時期。

5.4　本章小結

IS的投資決策與計劃過程，從項目目標的定義開始，到決策標準的制定和決策結果的獲得，最后基于決策分析的事前計劃，不僅為項目管理和人員績效考評提供依據(jù)，對確保項目的順利實施、促使項目效益最大化等的意義也是非常顯著的。

IS的投資決策與計劃過程、分析IS實施階段的特點，控制論中的反饋方法可以有效地解決這一問題，正反饋主要是由形成性評價來實現(xiàn)。以形成性評價為基礎的過程控制是項目價值實現(xiàn)過程中最為關鍵的一個環(huán)節(jié)，可以很好地解決IS實施過程中所面臨的主要問題，但作為評價本身還不足以形成完整的控制模式，需要把形成性評價與項目監(jiān)控、討論與協(xié)商等活動相結合提出了項目過程控制的模式。

IS的投資決策與計劃過程、分析IS實施階段、EVM中的后評價包括終期評價和跟蹤評價兩個部分，其中終期評價主要是針對項目本身的一種檢驗和確認，與項目的事前評估所提出的種種估計或計劃相對應的，從項目中抽取實際的數(shù)據(jù)重新審視項目的整個建設過程。而項目的跟蹤評價則是指以IS應用為主要評價對象，不僅要從應用的角度真實而準確地反映IS項目為企業(yè)帶來的商業(yè)價值，更重要的是在環(huán)境與企業(yè)需求不斷變化的情況下，通過對IS應用的持續(xù)觀察提出改進項目應用價值的實現(xiàn)過程。

【注釋】

[1]Touche Ross，IAM．Office Automation：The barriers and Opportunities［M］．London：Touche Ross，1999．

[2]Hochstrasser，B．and Griffiths，C．Controlling IT Investments：Strategy and management ［M］．London：Chapman ＆Hall，1991．

[3]IS方案設計與IS日常的實施一樣都是項目的主流活動，不屬于輔助性的EVM所要解決的問題，因此本文不做具體討論。

[4]Dennis G．Severance，Jacqu．Making I/T work：an executive’s guide to implementing information technology systems［M］．San Francisco：Jossey－Bass，2002，9．

[5]與ABR理論中的商業(yè)藍圖（BP）有類似之處，但比BP更有項目的針對性。

[6]James J．Jiang，Gary Klein．Project selection criteria by strategic orientation．Information ＆Management［J］，1999，（36）∶p63－75．

[7]L．Willcocks，et al．Evaluating the feasibility of information systems investments：Recent UK evidence and new approaches，In Information Management：The Evaluation of Information systems investments，Eds（Willcocks），Champman ＆Hall，1994．

[8]Beat Hochstrasser，Justifying IT investments，In Information Management：The Evaluation of Information systems investments，Eds（Willcocks），Champman ＆Hall，1994．

[9]Parker，M，Benson，R．and Trainor，E．H．Information Economics：Linking Business Performance［M］．London：Prentice－Hall，1988∶38－54．

[10]Jan L Andresen，the framework for selecting an IT evaluation method，Danmarks Teknisk University Phd Thesis，2001，9．

[11]Iresl，H．G．P，et al，IT investment evaluation：Aligning supply and demand，them issue o IT investment evaluation，Informatie，1992，716－726．

[12]Beat Hochstrasser．Justifying IT Investment［M］，In Leslie Willcocks（Eds．）．Informatioin Management：The evaluation of information systems．London：Chapman ＆Hall，1994∶151－170．

[13]Murugan Anandarajan．Using an Activity－based approach to determine the cost of Client/Server Systems［M］，In Mo Adam Mahmood，Edward J．Szewczak（Eds．）．Measuring Information Technology Investment Payoff：Contemporary Approaches．Hershy：Idea Group Publishing，1998∶282－300．

[14]Brian Zrimsek，Pat Phelan，Estimating the Time and Cost of ERP and ERP II Projects：A10－Step Process，Gartner Group，26September 2001．

[15]羅伯特·格拉斯著，陳河南譯：《軟件開發(fā)的滑鐵盧，重大失控項目的經驗與教訓》，電子工業(yè)出版社，2002年版。

[16]D．Remenyi，Stop IT project failures through risk management，techtrans limited，1999．他把IT風險從縱向的業(yè)務、開發(fā)、技術和橫向的知識、基礎、時間選擇分為九類。

[17]凱西·施瓦爾貝著，王金玉、時郴譯：《IT項目管理》，機械工業(yè)出版社，2002年版。

[18]Chalfin ＆Natalie：《項目失敗的四個原因》，《項目管理網絡》，1998年6月，第7頁。

[19]羅伯特·格拉斯著，陳河南譯：《軟件開發(fā)的滑鐵盧，重大失控項目的經驗與教訓》，電子工業(yè)出版社，2002年版。

[20]H．詹姆斯·哈林頓等著，唐寧玉等譯：《項目變革管理》，機械工業(yè)出版社，2001年版。

[22]Wideman，et al，Project ＆Program risk management：A guide to managing project risks and opportunities，project management institute，1998．

[23]Remenyi，D．，et al．The effective measurement and management of IT costs and benefits ［M］．Boston：Butterworth－Heinemann，2000．

[24]Patter，M Q．Utilization Focused Evaluation［M］，London：Sage Publications Inc，Beverley Hills，1986．

[25]Finne，H．，Levin，M．etc．Trailing research：a model for useful program evaluation ［J］．evaluation．1995，1（1）∶23－36．

[26]Dan Remenyi，Micheal Sherwood－Smith．Achieving Maximum Value from IS：a Process Approach［M］，New York：John Wiley ＆Sons Ltd，1997．

[27]Beyer BK，How to conduct a formative evaluation［M］，Alexandria，VA：Association for Supervision and Curriculum Development，1995．

[28]Doris，Proving the effectiveness of community programs in Jeopardy：the role of formative evaluation，Quality Management in Healthy Care［J］，Summer，2001．

[29]Kenneth G．Brown，Megan W．Gerhardt．Formative Evaluation：an Integrative Practice Model and Case Study［J］．Personal Psychology，2002，（55）∶951－983．

[30]Weston C，McAlpine L，etc．A model for understanding formative evaluation in instructional design［J］．Educational Technology Research and Development．1995，（43）∶29－48．

[31]Remenyi，D．，et al．The effective measurement and management of IT costs and benefits ［M］．Boston：Butterworth－Heinemann，2000．

[32]約翰·索普著，陳勁譯：《信息悖論：信息技術的商業(yè)價值》，東北財經大學出版社，1999年版。

[33]Walter E．Goddard，The ABCs of investing in MRP II，Modern Materials Handling，Jan 1996．Vol．51，Iss．1；p34．

[34]www．irc．org．

[35]邵穎紅等：《論在中國建立跟蹤評價體系》，《石油化工技術經濟》，1998年第1期，第43～46頁。

[36]TAM2000－post implementation review，2001，1，www．gao．com

[37]孫強主編：《IS審計——安全、風險管理與控制》，機械工業(yè)出版社，2003年版。

[38]Willcocks L．，Lester S．The evaluation and management of information systems investments：From feasibility to routine operations［M］，In Leslie Willcocks（Eds．）．Investing in Information Systems：Evaluation and Management．London：Chapman ＆Hall，1996∶15－36．

[39]G．Norris，Post－investment appraisal，In investing in information systems：Evalaution and Management，1996，Chapman ＆Hall，p193－223．

[40]姚光業(yè)：《關于開展投資項目跟蹤評價的若干問題》，《北京行政管理學院學報》，1999年第2期，第35～38頁。

[41]宣國良、牛一點：《投資項目跟蹤評價》，《上海交通大學學報》，1996年第30期，第95～100頁。

[42]黃渝祥：《跟蹤評價的內涵及其在項目管理中的地位》，《石油化工技術經濟》，1997年第1期，第55～61頁。