開放在線課程質(zhì)量評價(jià)CMM模型應(yīng)用研究

1、    開放在線課程質(zhì)量評價(jià)cmm模型應(yīng)用研究    摘要：為了評價(jià)開放在線課程質(zhì)量，文章利用能力成熟度模型（cmm）的動態(tài)管理評測優(yōu)勢，對開放在線課程質(zhì)量評價(jià)指標(biāo)體系進(jìn)行標(biāo)準(zhǔn)定義，并采用層次分析法進(jìn)行指標(biāo)權(quán)重賦值，確定課程質(zhì)量能力成熟度綜合評分值，由此評測出課程質(zhì)量當(dāng)前管理水平，尋找限制發(fā)展的因素，有針對性地提出改進(jìn)措施，保障課程質(zhì)量可持續(xù)發(fā)展。關(guān)鍵詞：開放在線課程，質(zhì)量評價(jià)，能力成熟度模型一、引言開放在線課程質(zhì)量評價(jià)是指開放大學(xué)為達(dá)到特定的教學(xué)目的、教學(xué)任務(wù)，利用網(wǎng)絡(luò)技術(shù)、計(jì)算機(jī)技術(shù)和多媒體技術(shù)等信息化手段進(jìn)行教學(xué)課程的質(zhì)量評價(jià)，它是現(xiàn)代遠(yuǎn)程教育試點(diǎn)

2、多年以來面臨的最大挑戰(zhàn)，也是高校課程質(zhì)量診斷的重要組成內(nèi)容之一。因此，針對開放在線課程這類網(wǎng)絡(luò)課程質(zhì)量評價(jià)方法的研究日益增多，主要的評價(jià)方法包括分析評價(jià)法、指標(biāo)體系評價(jià)法、觀察評價(jià)法和實(shí)驗(yàn)評價(jià)法，其中指標(biāo)體系法由于其高可操作性、高科學(xué)性成為最常用的一種評價(jià)方法。基于開放在線課程教學(xué)能力評測的目的，嚴(yán)格把控開放在線課程質(zhì)量，以全面質(zhì)量控制的理論為出發(fā)點(diǎn)，針對開放在線課程教學(xué)質(zhì)量評價(jià)的模糊性和動態(tài)性特征，提出基于能力成熟度模型（cmm）構(gòu)建開放在線課程質(zhì)量評價(jià)指標(biāo)體系以及應(yīng)用模型，本文擬利用實(shí)例來研究該模型在開放在線課程質(zhì)量評價(jià)中的應(yīng)用成效。二、數(shù)據(jù)來源與研究思路1.數(shù)據(jù)來源本文研究所涉及的課程相

3、關(guān)數(shù)據(jù)來源于南京開放大學(xué)教務(wù)部門，以2017年春、秋以及2018春、秋季四個學(xué)期的建筑測量和2018秋季計(jì)算機(jī)繪圖、土木工程cad為例，進(jìn)行橫向和縱向比較；層次分析法（ahp法）確定權(quán)重時的調(diào)查問卷數(shù)據(jù)來源于課程項(xiàng)目組對相關(guān)人員的現(xiàn)場問卷和郵箱問卷。2.研究思路以本課題階段性成果開放在線課程質(zhì)量能力成熟度模型評價(jià)指標(biāo)（管理級）體系為基礎(chǔ)，采用層次分析法確定各個評價(jià)指標(biāo)的權(quán)重，將各個加權(quán)后的指標(biāo)值相加即為該門課程在某學(xué)期的綜合得分即能力成熟度值，用以判斷該門課程在此學(xué)期的教學(xué)質(zhì)量總體水平、發(fā)展趨勢以及課程質(zhì)量薄弱點(diǎn)，從教學(xué)組織層面上提供提高教學(xué)質(zhì)量的方法和途徑。三、開放在線課程質(zhì)量評價(jià)cmm模型

4、應(yīng)用1.評價(jià)指標(biāo)體系的確定綜合評價(jià)是在確定評價(jià)目的的前提下，對評價(jià)對象性質(zhì)分析并將其價(jià)值化的過程；確定評價(jià)指標(biāo)體系是在充分解析評價(jià)對象屬性和內(nèi)在規(guī)律基礎(chǔ)上，以一定的方式方法歸納出來的屬性體系。開放在線課程屬于遠(yuǎn)程網(wǎng)絡(luò)教育范疇，對此類課程質(zhì)量的評價(jià)標(biāo)準(zhǔn)已有基礎(chǔ)，我國遠(yuǎn)程網(wǎng)絡(luò)教育相關(guān)課程質(zhì)量評價(jià)標(biāo)準(zhǔn)有中國信息技術(shù)標(biāo)準(zhǔn)化委員會網(wǎng)絡(luò)課程評價(jià)規(guī)范celts-22.1和教育部國家網(wǎng)絡(luò)教育精品課程評價(jià)標(biāo)準(zhǔn)等，國外較成熟的網(wǎng)絡(luò)課程評價(jià)標(biāo)準(zhǔn)有英國wales-bangor大學(xué)framework for pedagogical evaluation of virtual learning、美國培訓(xùn)與發(fā)展協(xié)會（ast

5、d）在線學(xué)習(xí)的認(rèn)證標(biāo)準(zhǔn)、加拿大皇家大學(xué)網(wǎng)絡(luò)課程質(zhì)量框架等。同時開放在線課程又區(qū)別于普通的網(wǎng)絡(luò)課程，因此為確定評價(jià)指標(biāo)體系，在已有評價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上，并在中國知網(wǎng)上通過設(shè)定關(guān)鍵詞搜索相關(guān)資訊，本文分析出開放在線課程質(zhì)量評價(jià)所應(yīng)包含的評價(jià)對象特性網(wǎng)絡(luò)傳輸技術(shù)、教學(xué)系統(tǒng)、信息化手段及資源、遠(yuǎn)程學(xué)習(xí)及課程評測等。為克服以往為了評價(jià)而評價(jià)、注重評價(jià)結(jié)果的缺點(diǎn)，本研究采用了側(cè)重過程評測、從組織層面評測的能力成熟度模型（cmm）。在充分理解cmm模型管理級的過程域和目標(biāo)的基礎(chǔ)上，結(jié)合開放在線課程網(wǎng)絡(luò)傳輸技術(shù)、教學(xué)系統(tǒng)、信息化手段及資源、遠(yuǎn)程學(xué)習(xí)及課程評測等特性，將其轉(zhuǎn)化為評價(jià)指標(biāo)體系的一級指標(biāo)（準(zhǔn)則層）需求管

6、理、課程教學(xué)計(jì)劃、課程教學(xué)跟蹤和監(jiān)控、課程教學(xué)配置管理、課程教學(xué)質(zhì)量保障和課程教學(xué)過程定義6個指標(biāo)，同時展開設(shè)置二級指標(biāo)（方案層）16個、三級指標(biāo)（實(shí)施層）45個，構(gòu)建開放在線課程質(zhì)量評價(jià)cmm模型（管理級）評價(jià)指標(biāo)體系。通過調(diào)查問卷效度和信度檢測及專家咨詢，確定最終的評價(jià)指標(biāo)，即一級指標(biāo)6個、二級指標(biāo)16個，三級指標(biāo)43個。（見表2）2.評價(jià)指標(biāo)權(quán)重的確定層次分析法（ahp法）借鑒專家的經(jīng)驗(yàn)對每層次的各個因素進(jìn)行相對客觀的對比判斷，給出定量，通過該數(shù)學(xué)模型得出的權(quán)重進(jìn)行一致性驗(yàn)證，以保證其結(jié)果的科學(xué)性和可靠性。因此，ahp法確定權(quán)重既兼顧了定性分析的經(jīng)驗(yàn)性和預(yù)見性，克服了其非客觀性的缺點(diǎn)，又

7、兼顧了定量分析的科學(xué)性。在本案例中，通過設(shè)計(jì)問卷調(diào)查表得到被問卷調(diào)查者對指標(biāo)重要性的初步評分值，該評分值為服從離散型概率分布的隨機(jī)變量，（見表1）以數(shù)學(xué)期望值作為最終指標(biāo)重要性評分值；（見公式1）以此為判斷評價(jià)指標(biāo)間相互重要性的依據(jù)，根據(jù)satty的評分表依次對評價(jià)指標(biāo)進(jìn)行賦值，構(gòu)造判斷矩陣、計(jì)算判斷矩陣和進(jìn)行一致性檢驗(yàn)，對評價(jià)體系的各個指標(biāo)進(jìn)行賦值。（見表2）其中，pi為權(quán)重初步評分值i=i的概率；ni為i=i的人數(shù)；n為參與問卷調(diào)查的人數(shù)。數(shù)學(xué)期望值是反映不同人對同一個問題做出評分的整體情況，計(jì)算公式為：3.評價(jià)模型算法的確定開放在線課程質(zhì)量評價(jià)指標(biāo)體系分為一級指標(biāo)、二級指標(biāo)和三級指標(biāo)，分

8、別對應(yīng)準(zhǔn)則層、方案層和實(shí)施層，在可操作性、科學(xué)性原則的基礎(chǔ)上，根據(jù)課程特點(diǎn)、授課經(jīng)驗(yàn)，以及相關(guān)標(biāo)準(zhǔn)、政策等對評價(jià)指標(biāo)進(jìn)行詳細(xì)的定義，具體如表3（因篇幅原因，附部分）所示。對照評價(jià)指標(biāo)定義，對相應(yīng)課程各個評價(jià)指標(biāo)進(jìn)行賦值，符合評價(jià)指標(biāo)定義的賦值1，不符合賦值0，計(jì)算公式：式中aijk、aij、ai為三級、二級、一級指標(biāo)第k個評價(jià)指標(biāo)值；wijk、wij、wi為三級、二級、一級指標(biāo)第k個評價(jià)指標(biāo)權(quán)重；cijk為三級指標(biāo)第k個評價(jià)指標(biāo)賦值。4.綜合評分的確定由公式（2）至（4）計(jì)算得到準(zhǔn)則層即一級評價(jià)指標(biāo)的綜合能力成熟度評分值，由此可以進(jìn)行綜合以及各個單項(xiàng)指標(biāo)成熟度的分析。課程的綜合能力成熟度評分值

9、由公式（5）計(jì)算所得。根據(jù)能力成熟度模型判定準(zhǔn)則和文獻(xiàn)資料所示，能力成熟度評分值0.8，則判定該課程能力成熟度符合該層次要求，在本案例中若綜合評分值0.8，則判定該課程能力成熟度達(dá)到管理級。由以上規(guī)定及公式，得到本案例針對開放在線課程建筑測量四個學(xué)期課程質(zhì)量的能力成熟度評分值，如表4所示；同時對2018年秋的建筑測量、計(jì)算機(jī)繪圖和土木工程cad進(jìn)行橫向課程質(zhì)量比較，如表5所示。四、分析與討論1.課程質(zhì)量評價(jià)縱向比較（1）總體評價(jià)從建筑測量課程四個學(xué)期的綜合能力成熟度評價(jià)值看，2017學(xué)年及2018年春三個學(xué)期的課程質(zhì)量評分值0.8，未能滿足能力成熟度管理級的要求，即該課程管理未能優(yōu)化，教學(xué)質(zhì)量

10、不能穩(wěn)定，對于不同教師的教學(xué)能力和管理能力依賴性較大。從圖1中可以看出，該課程的需求管理、教學(xué)跟蹤和監(jiān)控、課程教學(xué)質(zhì)量保障兩項(xiàng)得分0.8，嚴(yán)重影響了課程質(zhì)量成熟度。因此，為提高該課程的教學(xué)質(zhì)量，應(yīng)該加強(qiáng)課程需求管理，做好課程規(guī)劃、調(diào)研，健全課程保障制度和標(biāo)準(zhǔn)，做好過程質(zhì)量跟蹤和各方面對課程的監(jiān)管工作。而該課程2018年秋這一學(xué)期的評分值相對于前三個學(xué)期有大幅度上升（評分值0.898），達(dá)到能力成熟度管理等級的要求。原因在于，該學(xué)期的課程教學(xué)質(zhì)量保障、課程教學(xué)跟蹤和監(jiān)控兩個指標(biāo)對總評分值的貢獻(xiàn)率很高，增幅很大。（2）課程質(zhì)量單項(xiàng)指標(biāo)評價(jià)從圖1中可以看出，該課程的a5、a4、a3、a2評價(jià)指標(biāo)在四

11、個學(xué)期是不同的。a5課程教學(xué)質(zhì)量保障中，2018學(xué)年評價(jià)值較其它兩個學(xué)期高，通過三級評價(jià)指標(biāo)（實(shí)施指標(biāo)）的賦值情況來分析，原因在于該學(xué)期課程教師在教學(xué)方法手段規(guī)劃上做了變動，針對教學(xué)內(nèi)容和學(xué)生的學(xué)情采取了更合理的教學(xué)方法，尤其是2018年秋教師在教學(xué)過程中增加了師生互動次數(shù)，由于該指標(biāo)權(quán)重較大即對課程質(zhì)量影響較大，對課程質(zhì)量評分值貢獻(xiàn)率較大；a4課程教學(xué)配置管理中，2017年秋及2018學(xué)年由于多媒體資源更豐富、授課課件呈現(xiàn)方式更多元化，在一定程度上提高了課程質(zhì)量的成熟度；a3課程教學(xué)跟蹤和監(jiān)控指標(biāo)中2018年秋的評分值有顯著上升，分析三級指標(biāo)及實(shí)施層發(fā)現(xiàn)，由于引進(jìn)了課程教學(xué)質(zhì)量評價(jià)方法，對教

12、學(xué)質(zhì)量進(jìn)行有效跟蹤和監(jiān)控，對提高課程質(zhì)量有著顯著影響。2.課程質(zhì)量評價(jià)橫向比較由表5評價(jià)結(jié)果可知，建筑測量和土木工程cad課程質(zhì)量已達(dá)到能力成熟度管理級要求，計(jì)算機(jī)繪圖未達(dá)到。從圖2分析，三門課程a6課程教學(xué)過程定義、a4課程教學(xué)配置管理和a2課程教學(xué)計(jì)劃三個指標(biāo)的能力成熟度評價(jià)值均在0.8以上，表明這三門課在這三方面組織能力較強(qiáng)，課程標(biāo)準(zhǔn)、課程教學(xué)設(shè)計(jì)方案、設(shè)備設(shè)施配置、人力資源配置、多媒體資源、教學(xué)實(shí)施方案、不同學(xué)習(xí)方式協(xié)作（自主學(xué)習(xí)、協(xié)作學(xué)習(xí)、在線學(xué)習(xí)）、考核說明等管理到位。課程質(zhì)量評分值主要差距體現(xiàn)在a5和a3指標(biāo)上。建筑測量和土木工程cad在a5課程教學(xué)質(zhì)量保障這個指標(biāo)上評分遠(yuǎn)超計(jì)算

13、機(jī)繪圖評分，由三級指標(biāo)（實(shí)施指標(biāo)）評測結(jié)果分析可知是由于前兩門課程增加了師生互動次數(shù)導(dǎo)致評分值增加，且由于該指標(biāo)權(quán)重較大，評分值增幅較大；建筑測量的a3課程教學(xué)跟蹤和監(jiān)控指標(biāo)評分遠(yuǎn)超其它兩門課程，從實(shí)施指標(biāo)層分析是其引進(jìn)了有效的課程質(zhì)量評價(jià)方法。三門課程在課程需求管理方面都有所欠缺，對課程的需求和規(guī)劃不夠重視，未能對課程進(jìn)行人才培養(yǎng)方案的有效調(diào)研，課程的制定缺乏科學(xué)依據(jù)，在今后應(yīng)加強(qiáng)這方面的建設(shè)。3.總結(jié)課程質(zhì)量能力成熟度評分值越高，說明該課程質(zhì)量在組織管理、教學(xué)安排、教學(xué)效果等方面越成熟，課程教學(xué)活動越能順利展開。通過提高權(quán)重比較高的指標(biāo)值，能有效提高課程質(zhì)量能力成熟度評分值。在具體實(shí)施過程中，體現(xiàn)為盡量滿足權(quán)重較大、對課程質(zhì)量影響程度高的三級評價(jià)指標(biāo)（實(shí)施層指標(biāo)）條件，如在課程教學(xué)管理過程中增大師生互動頻率、引進(jìn)課程教學(xué)質(zhì)量評價(jià)方法、改革傳統(tǒng)教學(xué)方法和制作精良的多媒體教學(xué)資源等，對開放在線課程質(zhì)量的提高有著重要意義。參考文獻(xiàn)：1金賢.開放在線課程教學(xué)質(zhì)量評價(jià)指標(biāo)體系研究以南京開放大學(xué)為例j.江蘇科技信息，2019（10）：56-58，74.2張潤芝，張進(jìn)寶，陳庚.網(wǎng)絡(luò)課程質(zhì)量評價(jià)實(shí)踐及學(xué)術(shù)研究評述j.開放教育研究，2011（4）：60-65.3胡水星.基于模糊理論的網(wǎng)絡(luò)課程評價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)j.電化教育研究，2006（6）.4王璐，趙呈領(lǐng)