“誰評估”實際是描述評估主體，即發起評估的人或組織。“評估什么”描述的是評估客體，即圍繞什么進行評估，評估對象是什么？“如何評估”是一個較為復雜的問題，首先要在評估目標的指導下，形成一定的評估思路，沿著評估思路構建評估模型。評估模型又包括評估方法、評估基準、評估指標、評估數據，遵循一定的評估步驟，運用評估模型對評估的客體進行評估，最后得出評估結果，形成評估報告。
上述這些內容就構成了組織信息化評估的整個體系。本文對這些內容進行有重點地探討，最后結合具體信息化項目評估的案例，分析了如何具體運用該評估體系框架去進行實際的評估。
組織信息化績效評估的體系框架
“誰評估”實際是描述評估主體，即發起評估的人或組織。“評估什么”描述的是評估客體，即圍繞什么進行評估，評估對象是什么？“如何評估”是一個較為復雜的問題，首先要在評估目標的指導下，形成一定的評估思路，沿著評估思路構建評估模型。評估模型又包括評估方法、評估基準、評估指標、評估數據，遵循一定的評估步驟，運用評估模型對評估的客體進行評估，最后得出評估結果，形成評估報告。上述這些內容就構成了組織信息化評估的整個體系，如圖1所示：
評估主體與客體
評估主體是指主要接受委托施予評估的組織、個人或工作組。信息化績效評估的主體可以劃分為兩類：外部實體和內部實體，但由于評估目的和所處地位與角度不同，其關心的內容和側重點就有所不同。外部實體主要包括受委托的第三方，內部實體主要是指組織自身或組織自身的某個部門。來自組織內外利益相關方對信息化績效狀況的關注，也奠定了對信息化績效評估的廣泛需求。
評估工作組負責完成整個評估過程的各項具體工作，并向專家咨詢組提供必要的政策、技術等方面咨詢意見；專家工作組根據評估工作需要，負責向評估工作組提供有關資訊和參考意見。
評估工作組應該遵循基本工作規范，獨立、客觀、公正地開展評估工作，排除各方面特別是被評估組織意愿的影響。但對被評估組織指出的評估工作和評估報告中存在的疏忽、遺漏、疑問應該認真予以解答和補充更正。
評估客體指的是評估的對象。可以作為信息化評估對象的包括信息系統、組織信息化戰略、信息化項目等。由于對評估的目的不同，存在著不同的評估需求，因而人們所評估的對象也會有一定的差異。
評估步驟
無論是內部評估，還是外部評估，所有的信息化評估都要遵循一定的工作程序，工作程序是指從確定評估對象至完成整個評估工作的過程。一般包括如下步驟：
（1）確定評估對象，下達評估通知書，組織成立評估工作組和專家咨詢組。評估通知書是值評估組織機構（委托人）出具的行政文書，也是組織接受評估的依據。評估通知書應載明評估任務、評估目的、評估依據、評估人員、評估時間和有關要求等事項。
（2）擬定評估工作方案，搜集基礎資料。評估工作方案是評估工作組進行某項評估活動的工作安排，其主要內容包括：評估對象、評估目的、評估依據、評估項目負責人、評估工作人員、工作時間安排，擬用評估方法、選用評估標準、準備評估資料以及有關工作要求等。
（3）評估工作組實施評估，征求專家意見和反饋組織，撰寫評估報告。評估工作組依據組織報送的資料進行基本評估。如果是組織內部進行評估，可以只對部分內容進行評估，受組織委托的職責而定。如果外部評估，則要有委托部門的指令，按照計劃行事。
（4）評估工作組將評估報告報送專家咨詢組復核，向評估組織機構（委托人）送達評估報告和選擇公布評估結果，建立評估項目檔案等。
評估工作正式開始前，評估工作組可以按照評估基本要求，組織組織有關人員進行自測。組織自測帶有自愿和預備性質，自測報告應該有完整的工作底稿備查。
評估工作組取得的評估結論應該與組織自測結論進行對照，及時對評估結論進行補充和修改，對評議工作組的評估結論和組織自測結論相差較大的，要進行基礎資料的核對，找出差異原因，如依據充分應該對評估結論進行必要調整。
評估報告和結果運用
在信息化評估工作完成后，應該形成一個總的評估報告。評估報告是由評估工作組完成全部評估工作后，對信息化的效益狀況和價值貢獻等進行對比分析，客觀判斷形成的綜合結論的文本文件。
評估報告由正文和附錄兩部分組成。報告正文的主要內容包括組織系統基本情況描述、主要各項績效指標對比分析、評估結論、評估依據和評估方法等。報告附錄包括有關評估工作的基礎文件和數據資料。評估報告要維護被評估組織的正當秘密。
評估報告必須客觀、公正、準確描述組織信息化的投入產出狀況、后續發展能力等，并做出發展趨勢預測。評估工作組在擬定評估報告過程中應該充分聽取專家組的意見。對影響經營的客觀情況應該在報告中予以充分說明。
評估報告應該由獨立的審計人員進行符合性審核，即：評估工作程序是否完整、評估方法是否正確、選用評估標準是否適當、評估報告是否符合規范等。
評估結果應該反饋給組織決策部門，作為信息化投資決策、管理改善和績效監管的參考依據；并作為對IT人員績效考核的依據，同時也為有關部門提供信息咨詢和管理參考。
信息化績效評估的基本思路
信息化是一項較為復雜的系統工程。要建立一套科學規范的信息化績效評估體系，是一個涉及范圍廣，技術要求高、考慮因素多的復雜系統。一套規范的信息化績效評估體系一般需要遵循以下思路，如圖2所示：
（1）必須明確信息化績效評估的目的；
（2）必須根據組織業務戰略對IT進行正確定位；
（3）評估貫穿于整個生命周期，而不僅是事后評估；
（4）根據不同的評估需求盡量選用成熟的參考框架；
（5）要分析影響IT績效的環境因素，充分考慮組織不同條件的差異；
（6）選擇合適的評估技術方法，并適應IT技術的要求，注重定量與定性評估的有機結合；
（7）將評估與監管結合，注重動態監控與管理。
有效的信息化績效評估體系應該能夠服務于組織信息化工作，能夠幫助組織對信息系統進行合理的戰略定位，并在信息系統項目的立項、可行性研究、招投標、系統規劃、技術選行，項目驗收等階段給出有力的決策依據，能夠綜合權衡財務上的實施可能性，應用方面的合理性和有效性，并能夠通過持續的評估進行有效的過程控制，從而對信息化投資實施持續的過程管理和評估，保障投資的實際投放和效益反饋。總之，評估應該確保對組織在信息化方面的投資做出有益指導，使得組織能夠進行持續的提高和創新，并實現長期效益。
明確評估目標
評估首先必須要有目的，但評估本身不是目的，評估的最終目標是為了決策。根據評估主體的出發點不同，對信息化進行績效評估有如下一些基本的目的，但不是說每個評估都包含如下的所有目的：
·IT目標出發點和組織目標相一致，使IT與組織目標與計劃統一起來
·回答IT如何支持組織使命，如何支持組織戰略、客戶、內部需要
·在決策層通過評估改善IT績效
·區別IT對當前以及對未來發展的影響
·保持各種IT因素之間的平衡
·評估所有IT功能的整體績效，以及各部門IT投資的結果
·在不同決策層實施不同的績效衡量機制
·檢查系統的目標，功能及各項指標是否達到設計要求。
·檢查系統的質量和使用效果，找出系統薄弱環節，提出改進意見。
·能夠為糾正和檢查組織信息化存在的問題提供預警機制。
·能夠為組織資源規劃與配置、信息服務、工作流程改進提供引導性支持。
·能夠提供客戶、利益相關者等產品、質量、成本、時間等方面的信息反饋。
·通過評估可以在決策者之間建立一個通用的結果導向的語言，組織可以依據評估的指標確定對IT資源進行怎樣的評估。
·評估指標可以作為重要的IT控制目標，通過實施控制過程來達到期望的結果。通過指標可以使管理部門明確某些控制行為是如何滿足信息需求以及影響IT資源的。
·通過控制來保證所有參與IT管理、使用、設計、開發、維護的人員能夠各施其職，并提供考核的依據。
以定量與定性評估相結合
以前信息化評估通常以定量指標為主，而且主要采用財務指標定量分析，通常采用投資回收期、投資收益率、凈現值等方法衡量信息系統應用的效果。當信息系統投資的目的是改善操作效率時，傳統的評估技術還可用。因為這種投資主要用于產生有形收益，并給予直接的項目成本。這種操作層的信息系統部署傳統上被用于實現效率上的收益。然而，當管理者意識到IT更廣泛的戰略收益，這種方法就凸現出其局限性：
財務數據是歷史性的靜態數據，反映的是結果，具有靜止、單一和被動反應的特點。完全采用財務指標定量評估，是一種短期業績的計量。如果對組織信息化評估完全建立在這種定量分析的基礎上，就會助長組織經營者的急功近利思想和短期投資行為。由于IT績效的滯后性和無形性，其所帶來的組織文化的改善等許多內容是很難量化的，或者量化分析也難以準確。對于考察這些行為來講，以財務指標為主的傳統定量分析方法就顯得捉襟見肘。
而如果完全采用非財務指標進行定性分析，也存在著明顯的缺陷：與財務指標相比，定性指標設計時往往缺乏一個完整的理論框架。由于非財務指標涉及到各個不同部門或者環節，指標之間很難避免相互矛盾。
綜上可以看出，如果在評估時僅關注財務指標，則容易造成組織的短期行為，影響組織的長遠發展；而過分關注非財務指標，則會由于難以準確描述和操作而導致組織IT行為失控。在IT環境下，將定性與定量分析有機結合是一種最優的選擇。
以全過程為評估范圍
多數評估活動的驅動力都是傳統的系統開發生命周期，并分為事前評估、事中評估、事后評估等幾個階段。盡管多數組織認為評估的目的是改善系統開發的過程與已開發的系統，但實際上評估的實質已經成為結束項目而不是項目改進，尤其是實施后評估。目前對項目的評估一旦在信息系統啟動后就很少能夠引起關注，事實上根本就沒有執行持續的評估。
對組織而言，信息系統是一項效益驅動的投資，因此，規劃階段是否適度、開發質量是否能夠保證，系統建成后運行效果是否達到預期目標，這些均對業務績效產生十分關鍵的影響。因此IT績效評估應該是涵蓋整個生命周期的持續性評估，而不只是判斷開始如何投資或者只是實施后的評估。
評估不是一次性快照，而是多階段的活動，貫穿項目開發與運行的整個過程。信息系統績效包括過程（系統的開發與實現）以及成果（有效滿足預期使命目標的結果）等方面的成效，包括前期的規劃與組織，建設與實施以及交付和運行等環節的實施情況，這樣有助于對系統進行改善與控制，從而沿著以績效為導向的方向前進。即就信息系統而言，績效評估是一個分析性的過程，通過該過程評估系統如何通過交付IT服務以實現組織賦予它的使命。績效評估只是在有規劃目標和期望結果的環境中才更加重要，因此需要有明確的規劃和所期望的結果來實現績效的改善。
注重動態監控與管理
信息系統評估是一個復雜過程，評估的環境、內容和過程之間的交互是多方面的；此外，信息系統不確定性導致評估需要考慮環境變更時的動態性。不同學者提出采用權變模型有助于更好理解信息系統在特殊環境下的作用與影響（如，收益、成本、風險、績效度量等）。
傳統的評估通常都是靜態的。在穩定環境下，這種評估主要關注如何有效率地使用資源并達到預先設定的目標，而不是更廣泛的組織變更。傳統的實施后評估是一次性地考察信息系統部門交付的產品是否適合。
然而，在實際進程中，信息系統所影響的時間框架是高度不確定的，并且延長到傳統生命周期外（如，長期的基礎設施的影響）。這意味著如果在操作運行期間不進行定期重新評估，可能的收益就會減少。因此，需要從中長期持續的角度將評估工作作為一個監控機制。這也意味著需要一個更適合的模型評估生命周期以便于采用收益管理方法。
隨著項目開發日益朝原型化、迭代遞增交付式過程模型發展，用戶所設計的評估以及管理者對風險的評估更加頻繁。用戶與操作管理者被包含到評估中，評估技術如何支持日常操作，所建議的信息系統在操作層面上是否有效，這樣的評估活動更具有參與性并直接關注學習過程，使各階段的每一步學習過程都被納入到整個開發過程。
參考成熟的標準體系
眾所周知，評估需要有一套科學的指標體系和理論方法作為基礎，并遵守一定的客觀規律和程序。否則，評估結果很難令人信服。目前，國際上一些從事IT治理和標準研究工作的一些組織建立了一些相關標準以及最佳實踐，這些通常是在實踐基礎上總結出來的框架體系，用其作為參考性評估體系使得評估更有依據，有助于增強可信性。
由于關注焦點各不相同，這些可用于信息化評估的參考體系的側重點各有不同，分別應用于控制、審計、戰略實施、質量認證等不同領域，如表1所示。
表1 可用于信息化評估的體系及其側重點
在選擇和運用參考體系框架時，需要認識到下列兩點：
（1）信息化評估的參考體系關注的焦點，在評估的具體運用時通常各有側重。在選擇框架時，需要根據組織的目標進行設定，綜合權衡各個評估框架的優勢和劣勢，然后將不同框架的目標進行整合來實現組織的需要。
（2）框架并不能代表評估，它只是參考性的指南，通常知時告訴你最好應該從哪些方面進行評估，而沒有告訴你如何去評估，因此，還需要根據具體情況設定評估體系。
分析評估環境因素
信息系統評估過程與內容相互交織，并與引入新系統后而導致的組織變化環境密切相關，評估環境與組織所處的多級系統與結構密切相關。影響信息化績效評估的因素有很多，包括：
·組織環境等是否支持信息化績效管理
·信息化應用對于組織的重要性
·信息技術在組織中應用的廣泛程度
·信息化活動的分散與集中性
·資源（技能、工具）的支持程度
·組織高層領導是否參與使用信息化績效的有關信息
·組織的健康性
·KPI指標中是否涵蓋IT績效
以上因素直接或間接影響信息化績效評估的復雜程度，績效評估的實施效果，以及績效評估的范圍和力度。要進行科學規范的信息系統評估，不得不考察這些因素對信息化的影響，從而得出全面正確的結論。研究影響信息化評估的環境因素，可以實現以下目標：
（1）了解評估主體、評估準則、評估方式、時間框架以及所用的技術與工具等，了解評估的利益相關者的主觀影響等，這些因素對評估的效果產生影響。
（2）針對影響因素，可以盡量改善評估的環境，創建和諧的信息系統運行環境，從而達到改善信息系統績效的目的。
（3）對不同組織的信息系統進行評估比較時，需要考慮到各自環境因素的影響度，這樣有利于分析結果的真實性。
評估模型
評估模型是整個評估體系的主體部分，而評估方法、評估基準、評估數據和評估指標則是評估模型最核心的四個要素。
評估方法
在評估中，不同的評估方法將對評估結果產生不同的影響。目前國內外關于多指標綜合評估的方法很多，根據權重確定方法的不同，這些方法大致可分為兩類：一類是主觀賦權法，如層次分析法、德爾菲法、綜合評估法等，多是采用綜合咨詢評分的定性方法，這類方法因受到人為因素的影響，往往會夸大或降低了某些指標的作用，致使排序的結果不能完全真實地反映事物間的現實關系。另一類是客觀賦權法，即根據各指標間的相關關系或各項指標值的變異程度來確定權數，避免了人為因素帶來的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些評估方法中權重確定基本上都離不開這兩種思路。我們在第6章介紹了幾種典型的評估方法及其適用范圍，在評估時，可以需要根據評估的目的和特征不同而選取不同的評估方法。
指標的權重是指該指標在本層指標中所占的相對重要程度。由于評估時權重對評估結果會產生較大的影響，尤其是主觀賦權法。在使用Delphi法（專家打分法）、層次分析法等方法確定權重的時候，權重確立的合理性與專家的判斷水平直接相關。因此，在進行權重判定時要注意：專家的組成結構要合理，需要包括組織的高、中、低層管理人員、技術人員、也要有組織外的行業專家等，分別能夠針對各自熟悉的領域對信息化績效進行客觀準確地判斷。此外，指標的權重要針對不同組織的特點進行打分。例如，對公安部門而言，所需技術要求高，因此學習與成長性指標所占權重較大。
評估基準
·組織信息化績效評估基準是準確衡量績效的尺度，基準的正確選擇對組織信息化績效評估結果具有較大影響，評估基準的制訂既是組織信息化績效評估體系建立的主要環節，也是組織信息化績效評估具體工作所面臨的一個重要工作步驟。
·基準是正在進行的系統化的方法論，用于識別、度量、比較自身在某一時期內的工作過程或職能，或與一個或其他多個組織進行比較，以實現其內部的改善。基準是績效評估的參考點。通過與參考點的對照可以認清組織自身在行業中所處的位置，從而識別前進的方向與目標。根據基準的參考點劃分為內部基準和外部基準。
·內部基準是指以某一時間段的績效情況作為參考點，反映出組織內部的績效隨時間變化的情況。內部基準的存在前提是必須以歷史數據的存在為依據，在進行過數據評估之后，組織可以選取自己的內部數據作為基準，進行縱向比較與衡量。包括計劃基準、經驗基準和歷史基準等。
·外部基準是指與組織外部的組織的運營績效情況進行比較的參照物。一種是與同行業的整體最佳實踐者進行比較，以找出差距。另一種是只瞄準特殊的競爭者，與從規模、文化等方面與本組織比較接近的組織進行比較。目的是確定，與同類組織比較，組織目前所處的行業地位，了解當前該領域的最佳實踐情況，如何對照最佳實踐過程修正自己。
·要進行組織信息化績效評估，除要建立科學、合理、規范的指標體系外，必須要對組織信息化績效評估的基準進行總體規劃設計，研究指標與基準的對應關系，研究不同評估對象的基準選擇，通過各種渠道廣泛收集整理各種分類基準數據，在條件成熟時要研究建立績效評估基準數據庫。
·基準并非是固定的和一成不變的，會隨著經濟的發展和客觀環境的變化不斷變化，因此，如何建立和維護更新基準庫也是一項非常重要的工作。一方面可以在實踐過程中根據實際情況對基準庫進行補充和修正；另一方面可以隨著相關標準的推出，不斷納入新的基準指標，使基準庫隨著應用的累積而逐漸成熟。
評估指標
評估指標是評估模型的骨架。科學建立評估指標體系是決定評估工作成功與否的關鍵。如果評估指標選擇不當，或者缺少關鍵指標，則會影響評估結論的精度，甚至給組織以錯誤的導向信號。在建立信息化評估指標體系時，一般要遵循以下原則：
1．整體性原則
評估指標的設定應該是評估對象的各個方面，并且合理構造層次數量和指標數量。這樣，才能科學地反映評估的對象，才能正確地表達評估的目的。如何劃分層次和指標沒有一個絕對的客觀標準，要根據實際情況而定。選擇評估指標，既要考慮正面收益，也要考慮負面風險，只有全方位的指標才能保證評估內容的完整性。
2．重點性原則
在選擇評估指標時，不可能事無巨細，面面俱到。如果將反映信息化績效的多項指標一并羅列，既無法突出綜合指標的高度概括功能和在評估中的主導作用，也夸大了一些具體指標對評估工作的影響程度，造成評估判斷邏輯不清，主次不明，難以實現全面準確反映信息化績效的基本目標。要盡可能篩選與目標關聯最緊密的重要指標，指標設置數量要盡可能精簡和概括，對于次要指標可以進行適當粗略化。
3．層次性原則
對于反映組織信息化績效的多重指標應該進行分析歸類，一方面將主要的、概括性強的指標作為評估的主導指標，放在評估的第一層次，形成績效評估的內在核心，將概括性稍差、從屬性的指標放在第二層次，以此類推。這樣有助于明確指標之間的內在聯系，以利于簡化評估過程。
4．準確性原則
在選擇評估指標時，必須對評估指標所反映的內容進行明確，確保指標的含義清楚，如果評估指標模棱兩可，就會影響評估結果，甚至使評估無法進行。
5．可比性原則
評估指標的建立要能夠保證不同組織之間具有較好的可比性。指標體系內部及外部的同類指標之間要能夠比較，同一指標要具有歷史可比性。
6．可度量原則
在選擇關鍵績效指標時，需要遵循可度量的原則。可度量是指績效指標針對對組織目標起到增值作用的系統輸出而設定，指標本身或者是定量的，或者是行為化的，驗證這些指標的數據與信息可以獲得，容易度量與界定。此外，數據資料應收集方便，計算簡單。
7．動態性原則
在信息化建設的不同階段，要根據工作重點對指標進行調整和改變。
8．獨立性原則
同一層次的評估指標之間應該盡可能獨立，指標的關聯性應該盡可能小。
評估數據
評估數據是評估結果產生的源泉，有了評估數據才使得評估變得有意義。數據分為定量數據和定性數據兩種，在應用評估模型時通常要對數據進行一定的處理。
1．定性指標的處理
定性數據的處理通常采用的方法是調查問卷法。因此，對指標體系中的定性數據需要設計調查問卷。為避免主觀判斷引起的失誤，增加定性指標的準確性，可以采用隸屬度賦值方法，將定性指標分成幾個檔次，分別對應1-10分。對于每一檔次的評分，制定評分依據。評分依據是進行客觀評估的約束條件，能夠在一定程度上克服單純主觀評估的缺陷，使得評估人員在評分時具有一定的參考標準。
2．定量指標的處理
定量指標的數據值按照指標的釋義和組織的具體情況進行收集，數據的收集需要不同部門配合，由于各項定量指標的內容、量綱各不相同，直接綜合在一起十分困難。因此，需要將這些指標進行無量綱處理，將定量指標原值轉化為評估值。
核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/
本文標題：信息化績效評估方法論
相關文章
