系統(tǒng)工程：第6章 系統(tǒng)評價方法

《系統(tǒng)工程》

第六章系統(tǒng)評價方法程森林主要內(nèi)容6.1、系統(tǒng)評價的基本概念6.2、評價指標體系的建立6.3、評價指標的量化方法6.4、評價指標綜合的主要方法6.5、可能滿意度方法6.6、模糊綜合評價方法6.1、系統(tǒng)評價的基本概念6.1.1系統(tǒng)評價的定義6.1.2系統(tǒng)評價的特性6.1.3系統(tǒng)評價的要素6.1.4系統(tǒng)評價的步驟6.1.1系統(tǒng)評價的定義系統(tǒng)評價是方案優(yōu)選和決策的基礎(chǔ)在系統(tǒng)分析中，對系統(tǒng)最優(yōu)目標的給定、最優(yōu)方案的選擇、同系統(tǒng)效能對應費用的決定等，只有正確的評價才能正確地選擇和決策。系統(tǒng)評價是系統(tǒng)分析的后期工作即根據(jù)預定的目標，在系統(tǒng)調(diào)查和可行性研究的基礎(chǔ)上，借助系統(tǒng)模型，從技術(shù)、經(jīng)濟、社會、政策等方面就系統(tǒng)的各種備選方案進行比較和評定，選出優(yōu)化方案或滿意方案。6.1.1系統(tǒng)評價的定義系統(tǒng)評價是對系統(tǒng)開發(fā)、系統(tǒng)改造、系統(tǒng)管理中等問題，運用系統(tǒng)工程的思想，根據(jù)系統(tǒng)的目標和屬性，綜合考察系統(tǒng)在社會、政治、經(jīng)濟、技術(shù)等方面作用（效用），全面權(quán)衡利弊得失，從而為系統(tǒng)決策選擇最優(yōu)方案提供科學的依據(jù)。因此，系統(tǒng)評價是系統(tǒng)工程工作中的一項重要的基礎(chǔ)工作。6.1.2

系統(tǒng)評價的特性近似性原因由于事物客觀效用是客觀存在的，而評價得到的結(jié)果是評價者的主觀效用；其次評價者只是社會的某一部分，由于認識的局限性，他們的主觀欲望與整個社會的要求之間不可避免地存在差異。用評價者主觀欲望來代替客觀效用必然是一種近似。改進方法可采用增加評價者的數(shù)量，即有足夠的數(shù)量以反映社會代表性，一般應超過30人；其次，提高評價者的素質(zhì)，要求評價者具有淵博的知識，對被評價系統(tǒng)有較深的了解。對于具體評價問題，參加的專家要涵蓋問題所涉及的領(lǐng)域，不同類型的專家比例與問題的主要方面正相關(guān)6.1.2

系統(tǒng)評價的特性模糊性原因由于任何系統(tǒng)都是比較復雜的，存在多屬性、多變量，而評價時為了實用、可行，往往只能用有限個屬性來表示事物的功能，用有限個變量來表示事物的屬性，這抓住了事物的本質(zhì)的主要方面而不是全部；其次許多屬性難以用一個或幾個變量來描述，在評價時，不得不借助專家的定性評價。因此評價結(jié)果肯定不是精確的。改進方法在實用可行的基礎(chǔ)上，條目盡可能包含系統(tǒng)的各種屬性，條目細化，定量分析。其次，對某一指標不得不用打分方法評價時，要邀請內(nèi)行專家，且條目要分得細一點，即有針對性。6.1.2

系統(tǒng)評價的特性相對性原因由于最終的評價值是將各個屬性加以綜合得到的，而綜合過程中是將各個屬性按一定的權(quán)重及并合原則得到的。這些并合原則及權(quán)重是評價者（集團）決定的。其次社會觀念不斷變遷，今天科學的權(quán)重明天會變得不合理。所以，評價值只能是事物（社會效用）這個絕對真理的相對值。改進方法首先參與評價人員（尤其是模型建立者）對指標體系有一個好的理解，對并合原則的選擇要盡可能符合物理概念；其次隨著時間的變化，應重新對所評價的問題進行評價。6.1.3

系統(tǒng)評價的要素評價目標即評價的目的、意向、預期的目標；評價對象事物、方案、工作、個人……；評價指標體系即衡量事物的標準尺，它由評價指標條目、標準、權(quán)重組成；評價的數(shù)學模型即能將測定的與指標有關(guān)屬性的效用，綜合成系統(tǒng)主觀效用的數(shù)學表達式；評價的組織者與專家群體6.1.4

系統(tǒng)評價的步驟(1)明確目標與對象即明確評價的目的（選優(yōu)、控制、管理）(2)熟悉評價對象實際調(diào)查，搜集有關(guān)情報資料，搞清系統(tǒng)構(gòu)成要素及其相互關(guān)系，對系統(tǒng)的行為功能、特點以及有關(guān)屬性并分析這些屬性的重要程度。(3)挑選專家在保證一定數(shù)量的基礎(chǔ)上，注意專家的合理構(gòu)成，又要注意專家的素質(zhì)，挑選那些真正熟悉對象的內(nèi)行專家，切忌只圖專家的名望。(4)設計評價指標體系這是最重要的一環(huán)，在熟悉評價對象及評價目標的基礎(chǔ)上，一般把評價目標進行逐層分解。其次，應依據(jù)一定的思路與原則進行。6.1.4

系統(tǒng)評價的步驟(5)測定對象屬性評價對象的每一屬性都需測定(6)建立評價數(shù)學模型(7)仿真、綜合主觀效用進行計算機仿真計算，靈敏度分析，得到主觀效用值。(8)擇優(yōu)由于評價模型的評價指標不可能包含系統(tǒng)的所有東西，所以應對評價對象的結(jié)果進行綜合考慮，以便提供正確的決策依據(jù)。6.2評價指標體系的建立6.2.1明確評價的目的6.2.2評價指標建立的原則6.2.3評價指標建立的程序6.2.1明確評價的目的建立評價指標體系是評價工作的關(guān)鍵步驟，首先要有明確的目的。如評價的目的是為了控制管理系統(tǒng)，使系統(tǒng)處于最優(yōu)運行軌跡，使領(lǐng)導有效地對系統(tǒng)進行管理，可采用控制的思路。如過程評價、組織的評價、市場秩序評價，這些評價目的是改進工作，可從投入、產(chǎn)出、內(nèi)部結(jié)構(gòu)和內(nèi)部狀態(tài)、環(huán)境反映等方面來構(gòu)建評價指標體系。如果評價的目的是選優(yōu)，可采用系統(tǒng)的思路，即對系統(tǒng)進行整體地剖析、綜合思考，從目標分解或社會價值觀等不同角度來構(gòu)造評價指標體系。一般有如下兩種指標構(gòu)成方法：評價指標的直接分解法，如“五好”學生的評價指標由德、智、體、美、勞五方面組成；價值觀分解法，即把政治、經(jīng)濟、技術(shù)、社會、環(huán)境等作為大類指標，如港址選擇的評價指標體系。6.2.2評價指標建立的原則(1)要保證評價的客觀性評價資料的全面性和可靠性，評價人員的代表性，自由表態(tài)的可能性，專家人數(shù)的比例。(2)要保證方案的可比性替代方案在保證實現(xiàn)系統(tǒng)的基本功能上要有可比性和一致性，個別功能突出或方案內(nèi)容新的項目，只能說明其相關(guān)方面，不能代替其他方面得法。更不能搞“陪襯”方案，失去評價的意義。(3)評價指標要成系統(tǒng)(4)評價指標符合國家的方針、政策6.2.3評價指標建立的程序(1)草擬評價指標體系調(diào)查研究、實地勘查、查閱資料、頭腦風暴。(2)設計咨詢書將咨詢的重要性以及咨詢內(nèi)容要求告訴專家（如條目的內(nèi)含，條目的增刪方法，回信的時間等）尤其要注意口氣、語氣的表示，以及一定會給以報酬的許諾6.2.3評價指標建立的程序案例：邀請信_______________：您好！市場秩序是黨和國家領(lǐng)導人以及廣大百姓所關(guān)心的話題，它關(guān)系到社會的穩(wěn)定發(fā)展，經(jīng)濟體制改革的順利進行。因此，建立和維持一個良好的市場秩序，實現(xiàn)從傳統(tǒng)的計劃經(jīng)濟體制向社會主義市場經(jīng)濟體制轉(zhuǎn)化，已成為人們研究的一個重大課題。對一個地區(qū)的市場秩序進行評價，為政府調(diào)控市場提供決策信息，為立法部門和行業(yè)組織提供改進各種管理規(guī)則的依據(jù)，為市場管理部門提供監(jiān)管重點和抓手已成為一項重要和緊迫的任務。6.2.3評價指標建立的程序我們受國家工商管理總局市場司的委托，承擔“市場秩序評價指標體系及監(jiān)管”的研究課題。課題經(jīng)過前階段理論探索和實際調(diào)查，目前已進入專家咨詢（Delphi咨詢）階段。您長期從事和關(guān)心市場經(jīng)濟及市場秩序的理論研究與實踐工作，具有較深的造詣，得到同行的一致認可。課題組熱切盼望得到您的幫助，希望您在百忙之中對市場秩序評價指標體系提出寶貴意見和建議（有關(guān)咨詢內(nèi)容見附錄）。由于時間緊迫，課題組希望您在___月___日之前給我們回復，以幫助我們能夠按時完成課題研究。課題咨詢一旦結(jié)束，我們將略致薄酬以示謝意。6.2.3評價指標建立的程序(3)第一輪Delphi咨詢將咨詢書郵寄（E-mail）給專家，并作好接受回信的準備工作。(4)第二輪Delphi咨詢將第一輪咨詢進行統(tǒng)計處理（平均值、方差），并將結(jié)果告訴專家，請專家根據(jù)上一輪統(tǒng)計結(jié)果再次進行評判。如意見差異較大，請專家能否給出自己的依據(jù)。(5)結(jié)束當指標方差達到給定的標準時6.2.3評價指標建立的程序案例：市場秩序評價區(qū)域市場秩序評價指標體系大類指標重要性級別極其重要很重要重要應考慮意義不大市場主體的狀況

市場監(jiān)管的狀況

市場法律環(huán)境

社會經(jīng)濟環(huán)境

6.2.3評價指標建立的程序重要等級的定義(1)極其重要：如果這一指標條件狀況不好，其他所有的條件再好也不能說明市場秩序的狀況是好的。(2)很重要：此項指標是市場秩序的關(guān)鍵影響因素，如果缺少了此指標，會使評價結(jié)果產(chǎn)生重大的缺陷。(3)重要：是影響市場秩序的重要因素，如果缺少了此指標，會顯得指標體系不夠完善。(4)應考慮：指此項指標是市場秩序應考慮的影響因素，如果加上這一條指標，則使得整個體系更加的完備。(5)意義不大：是否選擇這一指標對評價市場秩序的影響不大。6.2.3評價指標建立的程序結(jié)果統(tǒng)計域市場秩序評價指標體系大類指標重要性級別

均值

方差極其重要很重要重要應考慮意義不大市場主體狀況1920001.09520.0905市場監(jiān)管狀況1290001.42860.2571市場法律環(huán)境1281001.47620.3619社會經(jīng)濟環(huán)境5410202.42860.95716.3評價指標的量化方法6.3.1排隊打分法6.3.2體操計分法6.3.3專家評分法6.3.4兩兩比較法6.3.1排隊打分法如果指標因素(例如汽車的時速、油耗，工廠的產(chǎn)值、利潤、能耗等等)已有明確的數(shù)量表示，就可以采用排隊打分法。設有m種方案，則可采取m級記分制：最優(yōu)者記m分，最劣者記1分，中間各方案可以等步長記分(步長為1分)，也可以不等步長記分，靈活掌握；或者各項指標均采用l0分制，最優(yōu)者滿分為10分。6.3.1體操計分法體育比賽中許多計分方法也可以用到系統(tǒng)評價工作中來。例如，體操計分法是請6位裁判員各自獨立地對表演者按10分制評分，得到6個評分值，然后舍去最高分和最低分，將中間的4個分數(shù)取平均，就得到表演者最后的得分數(shù)。在系統(tǒng)評價工作中，就可用這種體操計分法得到系統(tǒng)的各評價指標的最后得分。6.3.1專家評分法這是一種利用專家經(jīng)驗的感覺評分法。例如，要對多臺設備操作性進行評價，可以請若干專家，即有經(jīng)驗的實際操作者來試車，專家們根據(jù)主觀感覺和經(jīng)驗。對每臺設備按一定的記分制來打分，再將每臺設備的得分相加，最后將和數(shù)除以操作者的人數(shù)，就獲得了各臺設備的得分數(shù)。6.3.1兩兩比較法這也是一種感覺(經(jīng)驗)評分法。它將方案的某個指標量化得分由兩兩比較而打分，然后對每一方案的得分求和，并進行百分化等處理。打分時可以采用0～2打分法、0～4打分法或多比例打分法等等。(當i>j時為2，當i～j時為1，當i<j時為0)6.4評價指標綜合的主要方法6.4.1加法法則6.4.2乘法法則6.4.3代換法則6.4.4取大取小法則6.4.1加法法則應用場合：各個屬性具有獨立性，它們對于價值的貢獻沒有本質(zhì)的差別，可以線性補償。用俗語表示：好壞搭配。例如：人們生活水平提高的程度Ｗ，它是由吃、穿、住、行、娛樂等屬性組成，任何一個屬性Ｑ(ｓ)的提高都意味著人們生活水平的提高，即W(α)的提高。6.4.2乘法法則應用場合：各個屬性應盡可能取較好的水平，才能使總價值提高，它不允許指標的某一個屬性處在較低的水平上。如果有一屬性零，那么，不管其它屬性如何，總價值Ｑ(α)=0。用俗語表示：不可偏廢。例如：人員的選擇；裝置的功能與可靠性；項目中的經(jīng)濟效益與政治原則；產(chǎn)品的數(shù)量和質(zhì)量；建設方案中的政治、經(jīng)濟、技術(shù)。6.4.3代換法則應用場合：多個壞品質(zhì)可以依靠一個或幾個好的品質(zhì)加以矯正。用俗語表示：一好遮百丑。特點：反對折衷，傾向于一個極端。例：某開發(fā)區(qū)的交通方便性指標，一般來講交通指標由航空、鐵路、公路、水路組成，即有四個屬性共同反映。但這一開發(fā)區(qū)建在某一高速公路邊上，但遠離鐵路、港口、機場。在評價時認為開發(fā)區(qū)的交通是很方便的。6.4.4取大取小法則應用場合：特定的物理含義和場所。例如：通航條件Ｑ(α)，一般航道深度的滿意度ｑ1(ｓ)和港區(qū)水深ｑ2(ｓ)）組成，應取最小值作為評價依據(jù)6.5可能滿意度方法6.5.1可能度定義、6.5.2滿意度定義6.5.3可能滿意度的定義6.5.1可能度的定義如果一件事物肯定能夠做到的話，那么從可能度上講，它的把握程度最大，其“可能度”最高，給以定量描述記為P，并定義P=1。反之，一件事情肯定做不到P=0。P=0～1之間某個實數(shù)就可以表示各種不同的可能程度，記為P∈[0,1]例：有一臺標牌Ｒａ升降機，在正常情況下，提升ｒ≤Ｒａ是肯定能做到的，即P（ｒ≤Ｒａ）=1，通過試驗，總能夠找到某一重量Ｒｂ，這一重量是肯定提升不起來的。P（ｒ≥Ｒｂ）＝０。為了應用方便，采用線性內(nèi)插法求解P(Ｒａ～Ｒｂ)。6.5.2滿意度的定義一件事件出現(xiàn)后，就人們的主觀欲望講“是否滿意”也有客觀依據(jù)。但“滿意度比“可能度”帶有更多的主觀隨意性。仿可能度方法，用Q表示滿意度，充分滿意時Q=1，完全不滿意時Q=0用Q∈［0,1]某一實數(shù)表示人們對某一事物的滿意程度。例：人們在選擇某個崗位人員時，對年齡有一個范圍，例如30—45歲，但并不排斥小于、或大于該年齡段的人，但滿意度會降低。sq1.0abcd6.5.3可能滿意度的定義可能滿意度就是把事物對各種屬性的可能度P(ｒ)與滿意度Q(ｓ)合并成為某一屬性α的可能滿意度w（α），它定量描述既可能又滿意的程度。同理，ｗ（α）∈[0，1]，ｗ＝１.0，百分之百既可能又令人滿意。ｗ＝０完全不可能、或完全不令人滿意、或既完全不可能又完全不令人滿意。關(guān)鍵的問題是合理確定ａ、ｂ點。本來就有數(shù)字定量的條目，只要科學的制定標準（因素、標尺）間接定量的條目，要進行分析研究，找到定量的依據(jù)只能定性處理的條目，采用分級定量方法。6.6模糊綜合評價方法6.6.1模糊綜合評價應用場合6.6.2模糊綜合評價的數(shù)學模型6.6.3應用舉例6.6.1模糊綜合評價應用場合模糊綜合評價可以用來對人、事、物進行全面、正確而又定量的評價，因此它是提高領(lǐng)導者決策能力和管理水平的一種有效方法。一些領(lǐng)導者在面對多種而又復雜的方案、褒貶不一的人才、眾說紛紜的成果時，常常會感到不知所措，以致由于主觀決策失誤，給工作帶來損失，但是，此時若能運用模糊綜合評價方法，就有可能避免上述情況的發(fā)生6.6.1模糊綜合評價應用場合對于方案、人才、成果的評價，人們的考慮往往是從多種因素出發(fā)的，而且這些考慮一般只能用模糊語言來描述。例如，評價者從考慮問題的諸因素出發(fā)，參照有關(guān)的數(shù)據(jù)和情況，根據(jù)他們的判斷對復雜問題分別作出“大、中、小”；“高、中、低”；“優(yōu)、良、可、劣”；“好、較好、一般、較差、差”等程度的模糊評價。然后通過模糊數(shù)學提供的方法進行運算，就能得出定量的綜合評價結(jié)果，從而為正確決策提供依據(jù)。6.6.2模糊綜合評價的數(shù)學模型對某一事物進行評價，若評價的指標因素(著眼點)為n個，分別記為u1,u2,u3,…un，則這n個評價因素便構(gòu)成一個評價因素的有限集合若根據(jù)實際需要將評語劃分為m個等級，分別記為v1,v2,v3,…vn，則又構(gòu)成一個評語的有限集合6.6.2模糊綜合評價的數(shù)學模型例如，對某本教材進行評價，假如可從科學性(u1)、實踐性(u2)、適應性(u3)、先進性(u4)、專業(yè)性(u5)等方面著眼，則其評價因素集合便為若評價結(jié)果劃分為“很好”(v1)、“好”(v2)、“一般”(v3)、“差”(v4)4個等級，則其評語集合便為6.6.2模糊綜合評價的數(shù)學模型若只著眼于科學性(u1)一個因素來評定該教材，采用“民意測驗”的辦法，結(jié)果是16%的人說它“很好”，42%的人說它“好”，39％的人說它“一般”，3%的人說它“差”，則這個結(jié)果可用模糊集合來描述。也可簡記為向量的形式6.6.2模糊綜合評價的數(shù)學模型評價結(jié)果是評語集合V這一論域上的模糊子集。就是對被評對象所做的單因素評價。然而，一般往往需要從幾個不同方面來綜合地評價某一事物，從而得到一個綜合的評價結(jié)果，該結(jié)果仍是評語集合V這一論域上的一個模糊子集，這便是綜合評價問題。通常，V為一有限集合，則也為相應的有限模糊集合簡記為一m維模糊向量形式6.6.2模糊綜合評價的數(shù)學模型在實際評價工作中，各個評價因素的重要程度往往是不相同的，考慮到這個客觀存在的事實，評價因素集合實際上是因素集合U這一論域上的一個模糊集合，實際上亦為一有限集，即因素集合也為一相應的有限模糊集合同樣也可用一個n維模糊向量來表示6.