研究生高水平國際化課程建設(shè)質(zhì)量評價探索與實(shí)踐

1、    研究生高水平國際化課程建設(shè)質(zhì)量評價探索與實(shí)踐    摘要：根據(jù)研究生高水平國際化課程內(nèi)涵特征及評價目標(biāo)要求，利用文獻(xiàn)分析法、理論分析法、專家咨詢法等方法對課程建設(shè)質(zhì)量評價的指標(biāo)體系進(jìn)行構(gòu)建，運(yùn)用ahp法和模糊綜合評價法進(jìn)行指標(biāo)權(quán)重賦值及評價。結(jié)果表明，該方法可操作性強(qiáng)，適應(yīng)性好，能有效地對研究生高水平國際化課程建設(shè)質(zhì)量作出全面、客觀的評價。關(guān)鍵詞：研究生課程，質(zhì)量評價，層次分析法，模糊綜合評價法基金項(xiàng)目：湖北省教改基金項(xiàng)目“研究生高水平國際化課程建設(shè)與設(shè)想”(項(xiàng)目編號2013059)；全國工程專業(yè)學(xué)位研究生教育課題“工事專業(yè)學(xué)位研究生高水平、國際

2、化課程建設(shè)與創(chuàng)新”(項(xiàng)目編號：2014-jy-066).研究生課程教學(xué)是研究生培養(yǎng)過程的重要環(huán)節(jié)，優(yōu)質(zhì)的教學(xué)內(nèi)容、科學(xué)、合理的教學(xué)方式及良好的教學(xué)環(huán)境對改善研究生知識結(jié)構(gòu)、拓展研究生學(xué)術(shù)視野與思路、提高研究生知識水平和科研能力具有重要意義。2013年3月，教育部聯(lián)合發(fā)改委、財政部發(fā)布關(guān)于深化研究生教育改革的意見(教研20131號)指出，研究生教育要以服務(wù)需求、提高質(zhì)量為主線，創(chuàng)新培養(yǎng)模式，加強(qiáng)課程建設(shè)，重視發(fā)揮課程教學(xué)作用。為更好地提升研究生課程質(zhì)量、不斷提高課堂教學(xué)效果，我校從2010年開始實(shí)施研究生高水平國際化課程建設(shè)工作，至今已立項(xiàng)建設(shè)621門課程，每門課程資助建設(shè)經(jīng)費(fèi)5萬。為保證課程建

3、設(shè)質(zhì)量，擬用4年時間分期分批對所有納入學(xué)校高水平國際化課程建設(shè)的課程進(jìn)行一輪評估。高水平國際化課程建設(shè)是一種新生事物，其建設(shè)和評價均處于探索階段。為此構(gòu)建一整套科學(xué)、合理、高效的評價指標(biāo)體系和評價方法，對指導(dǎo)研究生高水平國際化課程建設(shè)具有重要現(xiàn)實(shí)意義。一、研究生高水平國際化課程建設(shè)的意義及內(nèi)涵要素實(shí)現(xiàn)建設(shè)研究型、綜合性、開放式的世界一流大學(xué)目標(biāo)，服務(wù)于建設(shè)創(chuàng)新型國家的大戰(zhàn)略，必須培養(yǎng)一批具有廣闊國際視野、充滿創(chuàng)新活力、具有較強(qiáng)研究能力的研究生隊(duì)伍。研究生課程體系和教學(xué)內(nèi)容改革必須能夠適應(yīng)和較好服務(wù)于該培養(yǎng)目標(biāo)的要求。以往的研究生課程教學(xué)目標(biāo)集中在培養(yǎng)堅實(shí)的基礎(chǔ)理論和系統(tǒng)的專門知識這一重心上，難

4、以適應(yīng)提高科研能力和開拓國際視野的需要。為此，本文提出了將研究生課程教學(xué)目標(biāo)從“堅實(shí)基礎(chǔ)”拓展到“堅實(shí)基礎(chǔ)、學(xué)科前沿、國際視野”的培養(yǎng)理念。與此相適應(yīng)，提出了建設(shè)研究生高水平、國際化課程的總體設(shè)想，借以促使課程內(nèi)容和教學(xué)方法從以知識為單一重心向以知識、能力、視野為多元重心的轉(zhuǎn)移。通過學(xué)術(shù)大討論，凝練出高水平、國際化課程的學(xué)術(shù)內(nèi)涵，為課程建設(shè)提供了思想基礎(chǔ)與理論指導(dǎo)。高水平課程是指高水平的學(xué)者用高水平的教材，以先進(jìn)靈活的形式進(jìn)行講授的課程，其衡量標(biāo)準(zhǔn)還包括取得了讓學(xué)生滿意的教學(xué)效果。高水平課程的開設(shè)旨在培養(yǎng)學(xué)生堅實(shí)寬廣的理論基礎(chǔ)和系統(tǒng)深入的專門知識。這樣的課程在內(nèi)容上應(yīng)該具有系統(tǒng)性、基礎(chǔ)性、專業(yè)

5、性和前沿性，后者體現(xiàn)在教師結(jié)合自己的科研實(shí)踐在講述中融入一些與課程相關(guān)的前沿內(nèi)容。國際化課程是指，在國際觀念的指導(dǎo)下，把國際的、跨文化的知識與觀念融合到課程中，通過教材建設(shè)、外語教學(xué)等各種形式，旨在培養(yǎng)學(xué)生的國際觀念、視野和技能。這樣的課程應(yīng)該具有前沿性、開放性、共享性和通用性。二、評價指標(biāo)體系構(gòu)建(一)構(gòu)建思路對研究生高水平國際化課程質(zhì)量的評價是個十分復(fù)雜的系統(tǒng)工程，在建立質(zhì)量評價體系時除遵循評價指標(biāo)體系建立的一般規(guī)律外，更應(yīng)體現(xiàn)研究生高水平國際化課程內(nèi)涵要素特征。按照既有利于對研究生高水平國際化課程質(zhì)量進(jìn)行客觀、公正評價，又有利于對研究生高水平國際化課程進(jìn)一步建設(shè)發(fā)揮指導(dǎo)、引領(lǐng)作用的指導(dǎo)思

6、想遴選評價指標(biāo)。即指標(biāo)體系的建立要充分實(shí)現(xiàn)三個功能：(1)導(dǎo)向功能。評價指標(biāo)的構(gòu)建應(yīng)能引導(dǎo)研究生高水平國際化課程建設(shè)工作向正確的路徑發(fā)展，指標(biāo)體系要能為課程建設(shè)提供導(dǎo)向。即通過指標(biāo)體系能夠明確在哪些方面用力，抓哪些關(guān)鍵環(huán)節(jié)。(2)診斷功能。研究生高水平國際化課程建設(shè)是一個長期的過程，評價工作既是對前一階段建設(shè)成效的總結(jié)，更是對下一階段建設(shè)的指引。評價指標(biāo)要能充分發(fā)揮評價的診斷功能。通過實(shí)際評價能夠明確目前的進(jìn)程及相互之間的優(yōu)勢、差距和不足。(3)評價功能。要能夠采用科學(xué)的評價方法，將所有評價指標(biāo)綜合起來，形成一個可以進(jìn)行縱向、橫向相互比較的綜合指數(shù)。(二)構(gòu)建原則本文的評價對象是研究生高水平國

7、際化課程質(zhì)量，它是一個多目標(biāo)、多屬性、多層次的復(fù)雜系統(tǒng)，影響其質(zhì)量綜合評價的因素較多，在構(gòu)建評價指標(biāo)體系時既要遵循客觀性、全面性、科學(xué)性、針對性、可行性與可操作性等高等教育評價指標(biāo)體系構(gòu)建的基本原則1，突出對高等教育的質(zhì)量導(dǎo)向，激勵、鑒定和促進(jìn)作用，又要充分考慮評價目的及研究對象要素特征，以特定性(目標(biāo)、導(dǎo)向)為首要原則，兼顧可收集性和全面性，通過主客觀相結(jié)合，以定性和定量相互輔助的方式進(jìn)行指標(biāo)篩選，突出評價指標(biāo)體系的評價、導(dǎo)向和診斷功能。(三)構(gòu)建方法評價指標(biāo)體系的構(gòu)建主要有文獻(xiàn)分析法、理論分析法、專家咨詢法等。本文研究生高水平國際化課程建設(shè)質(zhì)量評價指標(biāo)的初選以理論分析法為基礎(chǔ)，同時結(jié)合其他

8、研究者課程質(zhì)量綜合評價研究中考慮較多的因素作為參考，確定評價體系基本構(gòu)架，在此基礎(chǔ)上通過專家咨詢法對指標(biāo)進(jìn)行調(diào)整、優(yōu)化，試圖構(gòu)建更加科學(xué)、全面、合理的評價指標(biāo)體系2,4。(四)構(gòu)建步驟1.評價指標(biāo)的初步擬定根據(jù)研究生高水平國際化課程質(zhì)量內(nèi)涵、本質(zhì)特征，結(jié)合構(gòu)建指標(biāo)體系的思路及原則，同時借鑒其他專家、學(xué)者成果，經(jīng)過反復(fù)比較和充分篩選，筆者設(shè)計了一套由師資水平、課程內(nèi)容、教材質(zhì)量、授課方法、教學(xué)管理、教學(xué)效果6個一級指標(biāo)、18個二級指標(biāo)構(gòu)成的初步評價指標(biāo)體系構(gòu)架。2.評價指標(biāo)體系的優(yōu)化由于評價指標(biāo)初選的側(cè)重點(diǎn)在于盡量全面地考慮可能影響評價結(jié)果的信息，所以初選的指標(biāo)可能具有重復(fù)性。同時由于考慮不全面

9、，初選的指標(biāo)也可能具有難以操作的不實(shí)用性或者有些指標(biāo)有待進(jìn)一步篩選細(xì)化。本文通過進(jìn)一步的系統(tǒng)分析及delphi專家咨詢法2，4來確定指標(biāo)間的相互制約關(guān)系，實(shí)現(xiàn)指標(biāo)的優(yōu)化，使其邏輯性更強(qiáng)，指標(biāo)更加合理、更加具有針對性。我們組織選聘了40位具有代表性研究生教育專家及高級管理人員，經(jīng)過2輪咨詢，形成了師資水平、課程內(nèi)容、教材質(zhì)量、教學(xué)方法、教學(xué)效果5項(xiàng)一級指標(biāo)，14項(xiàng)二級指標(biāo)及若干三級指標(biāo)構(gòu)成的評價指標(biāo)體系(見表1)。表1 研究生高水平國際化課程質(zhì)量評估指標(biāo)體系目標(biāo)層準(zhǔn)則層權(quán)重指標(biāo)層權(quán)重研究生高水平國際化課程建設(shè)質(zhì)量綜合評價師資水平0.204課程負(fù)責(zé)人學(xué)術(shù)水平0.314課程組師資結(jié)構(gòu)0.228課程組

10、整體水平0.252主講人教學(xué)經(jīng)歷0.206課程內(nèi)容0.272系統(tǒng)性(或國際化特征)0.356專業(yè)性、實(shí)用性0.325前沿性0.319教材質(zhì)量0.118教材使用0.558教材編寫0.442教學(xué)方法0.09教學(xué)方法0.645教學(xué)手段0.355教學(xué)效果0.316專家評價0.412學(xué)生評價0.365課程視頻效果0.223三、模糊層次質(zhì)量評價模型的建立及應(yīng)用研究生高水平國際化課程內(nèi)涵決定了綜合評價指標(biāo)有很多不能完全量化，具有灰色性，且這些指標(biāo)之間相互影響，并不完全獨(dú)立。目前的大多數(shù)課程質(zhì)量模型都是將評價指標(biāo)作為獨(dú)立變量考慮，即構(gòu)建模型的時候假設(shè)這些指標(biāo)之間不相互影響，這顯然與實(shí)際情況不符。因此，有必要研

11、究更加科學(xué)合理的模型，能夠盡量體現(xiàn)評價對象的實(shí)際情況。ahp是一種定性分析與定量分析相結(jié)合的多目標(biāo)決策方法3，5，該方法通過將決策問題分解為遞階層次結(jié)構(gòu)確定各指標(biāo)的權(quán)重系數(shù)。模糊綜合評價法3,5-7是在模糊環(huán)境下，運(yùn)用模糊數(shù)學(xué)和模糊統(tǒng)計方法，對受到多種因素制約的事物做出綜合決策的一種方法。本文將這兩種方法有效結(jié)合，在將影響課程建設(shè)質(zhì)量的主要因素建立形成有序的遞階層次指標(biāo)體系的基礎(chǔ)上，運(yùn)用層次分析法求得最低層各因素相對最高層目標(biāo)的重要程度權(quán)值，最后運(yùn)用綜合模糊評判法，得出最終質(zhì)量評價等級8。(一)ahp層次分析法確定指標(biāo)權(quán)重評價指標(biāo)權(quán)重的確定應(yīng)科學(xué)合理，體現(xiàn)在指標(biāo)間的影響程度上。本文采用層次分析

12、法確定各評價指標(biāo)的權(quán)重。利用19比例標(biāo)度方法9設(shè)計問卷，邀請8位研究生教育管理專家和學(xué)者根據(jù)同階兩指標(biāo)間相互重要程度進(jìn)行判斷賦值，由此形成相關(guān)判別矩陣。通過一致性檢驗(yàn)后求解各指標(biāo)權(quán)重(見表1)。(二)被選擇集合(決策集)的確定被選擇集合是模糊層次分析法評價中可能出現(xiàn)的評價結(jié)果的集合，其中的元素是對不同評價等級的隸屬度。根據(jù)目前研究生高水平國際化課程質(zhì)量研究現(xiàn)狀，結(jié)合評價目標(biāo)要求，本文采用“優(yōu)秀、良好、基本合格、不合格”的四級評價結(jié)果構(gòu)成被選擇集合。對4個評價元素的標(biāo)準(zhǔn)劃分見表2。表2 研究生高水平國際化課程質(zhì)量評價被選擇集合要素標(biāo)準(zhǔn)優(yōu)秀 課程組師資水平非常高，教學(xué)經(jīng)歷非常豐富，師資結(jié)構(gòu)非常合理

13、，課程內(nèi)容系統(tǒng)性強(qiáng)并能充分體現(xiàn)學(xué)科前沿，教學(xué)方法、手段使用非常合理，教材水平高，教學(xué)效果顯著良好 課程組師資水平高，教學(xué)經(jīng)歷豐富，師資結(jié)構(gòu)合理，課程內(nèi)容系統(tǒng)性較強(qiáng)并能體現(xiàn)學(xué)科前沿，教學(xué)方法、手段使用合理，教材水平高，教學(xué)效果好，但有些細(xì)節(jié)還有待完善基本合格 課程建設(shè)各方面比較理想，建設(shè)狀況可以達(dá)標(biāo)，但有些地方需要改善、提高不合格 課程建設(shè)并未達(dá)到預(yù)期目標(biāo)，有很多地方需要改進(jìn)、提高(三)模糊層次綜合評價模型建立及在高水平課程評價中的應(yīng)用1.資料來源(1)課程組申報課程評估資料。包括課程評估申請表、課程建設(shè)報告、課程授課視頻；本門課程中、英文課程簡介及教學(xué)大綱；本門課程編寫及使用教材(含講義)和主

14、要參考書的封皮及目錄復(fù)印件。(2)隨堂聽課資料。包括2名評估專家隨堂聽課評價和學(xué)生課堂評價。為此專門設(shè)計了高水平國際化課程課堂教學(xué)效果專家評價表、學(xué)生評價表及外語授課質(zhì)量評價表。2.專家評判及一級評判矩陣建立邀請本學(xué)科及相近學(xué)科專家、學(xué)者10人(其中本校專家7人，校外專家2人，國際專家1人)組成評判小組。根據(jù)上述相關(guān)資料，對評價體系的各項(xiàng)指標(biāo)根據(jù)評價標(biāo)準(zhǔn)進(jìn)行獨(dú)立的等級評判，并計算相應(yīng)的隸屬度。隸屬度的計算方法：假如10位專家對某門課程的“師資水平”下的“課程負(fù)責(zé)人學(xué)術(shù)水平”評判結(jié)果為3人優(yōu)秀、4人良好、2人基本合格、1人不合格，則該指標(biāo)對應(yīng)于評價集各元素項(xiàng)的隸屬度為3/10、4/10、2/10

15、、1/10。根據(jù)各指標(biāo)對應(yīng)于評價集各元素項(xiàng)的隸屬度，分別得到5個準(zhǔn)則層的一級評價矩陣a1、a2、a3、a4、a5。按照bi=wiuai(i=1，2，3，4，5)(u為算子符號)模糊變換，并對結(jié)果歸一化處理后得到準(zhǔn)則層5個一級指標(biāo)的評價集b1，b2，b3，b4，b5。wi為準(zhǔn)則層下各指標(biāo)權(quán)重集。3.二級模糊評價矩陣建立及綜合評價計算由各準(zhǔn)則層評價集構(gòu)成二級模糊評價矩陣b。經(jīng)wub(w為準(zhǔn)則層指標(biāo)權(quán)重)模糊變換，并對結(jié)果歸一化處理，得到該門課程的綜合評價集d。根據(jù)最大隸屬度原則，確定該門課程的綜合評價等級。四、結(jié)果分析與思考1.將ahp及模糊綜合評價法結(jié)合作為評價方法是研究對象自身性質(zhì)及特征決定的

16、適宜選擇。研究生高水平國際化課程建設(shè)是一項(xiàng)新的嘗試和一個新的領(lǐng)域，具有“內(nèi)涵明確，外延不明確”的特點(diǎn)。對其進(jìn)行質(zhì)量評價，一方面需要從不同層次、用比較復(fù)雜的多重指標(biāo)刻畫其本質(zhì)與特征，另一方面對這些特征的指標(biāo)既不能直接量化，也不能用簡單的好與不好來評判，而是要采用分為不同程度的模糊語言來評判。由于評價等級之間的關(guān)系是模糊的，沒有絕對明確的界限，因此評價等級具有模糊性。顯而易見，對于這類模糊評價問題，利用經(jīng)典的評價方法存在著不合理性。建立在模糊集合基礎(chǔ)上的模糊綜合評判方法，從多個指標(biāo)對被評價事物隸屬等級狀況進(jìn)行綜合性評判，它對被評判事物的變化區(qū)間做出劃分，一方面可以顧及對象的層次性，使得評價標(biāo)準(zhǔn)、影

17、響因素的模糊性得以體現(xiàn)；另一方面在評價中又可以充分發(fā)揮人的經(jīng)驗(yàn)，使評價結(jié)果更為客觀并符合實(shí)際情況。模糊綜合評判可以做到定性和定量因素相結(jié)合，擴(kuò)大信息量，使評價數(shù)度得以提高。因此，根據(jù)研究生高水平國際化課程建設(shè)性質(zhì)及質(zhì)量特征，將ahp與模糊綜合法結(jié)合進(jìn)行評價顯然更為合適。2.ahp和模糊綜合評價法結(jié)合用于課程建設(shè)水平評價具有一定的可行性和適用性。利用模糊層次分析法對我校首批自行申請評估的111門立項(xiàng)建設(shè)的高水平國際化課程進(jìn)行了評價。結(jié)果表明，評價指標(biāo)體系及評價方法較好地實(shí)現(xiàn)了評價目的，達(dá)到了預(yù)期的目標(biāo)要求。(1)較好實(shí)現(xiàn)了評價功能。經(jīng)過評估，本次111門課程有36門課程被評價為優(yōu)秀課程，69門課

18、程為良好課程，6門課程為基本合格課程。由于本輪是第一次評估，各院系基本都是推薦建設(shè)最好、最成熟的課程參加評估，所以整體質(zhì)量較好。該結(jié)果與我們掌握的情況大體一致。(2)較好實(shí)現(xiàn)了診斷功能。通過本輪評估，較好地發(fā)現(xiàn)了每門課程建設(shè)中的優(yōu)勢，識別出了建設(shè)中的短板與不足，對課程下一步的建設(shè)重點(diǎn)指明了方向。同時也對研究生高水平國際化課程建設(shè)的整體狀況進(jìn)行了明晰的診斷，能夠?yàn)橄乱浑A段制訂針對性的改善措施提供參考依據(jù)。因而可有效避免盲目投入、盲目建設(shè)而課程水平仍比較低的尷尬局面。(3)較好實(shí)現(xiàn)了導(dǎo)向功能。評估結(jié)果表明，通過高水平國際化課程建設(shè)，基本達(dá)到以評促建的目的：研究生課程教學(xué)內(nèi)容得到拓展，前沿性、應(yīng)用性

19、增強(qiáng)，國際化特征更加明顯。通過課程建設(shè)，有效改變了過去一人一門課的現(xiàn)象，每門課程都建立了教學(xué)團(tuán)隊(duì)，課程組年齡結(jié)構(gòu)、學(xué)歷結(jié)構(gòu)、知識結(jié)構(gòu)更趨合理。教學(xué)方法、教學(xué)手段的應(yīng)用更加靈活多樣，研究性教學(xué)法10、項(xiàng)目導(dǎo)向教學(xué)法，問題探究式教學(xué)法、體驗(yàn)性學(xué)習(xí)等教學(xué)方法得到廣泛應(yīng)用。教學(xué)方法與課程內(nèi)容的匹配度更高，結(jié)合更加有效。結(jié)合課程建設(shè)，已撰寫出版了一批配套的高水平研究生教材。如，張師帥編寫的計算流體動力學(xué)(cfd)及其應(yīng)用、劉銀水編寫的水液壓技術(shù)基礎(chǔ)及工程應(yīng)用、楊祥良主編的納米藥物、王少平等主編的計量經(jīng)濟(jì)學(xué)等都具有很高的水平。同時錄制了一大批課程視頻資料，并引進(jìn)一批外文教材。綜上所述，將ahp和模糊綜合評

20、價法結(jié)合起來運(yùn)用于研究生高水平國際化課程建設(shè)水平的評價中，具有一定的可行性和適用性。3.本指標(biāo)體系及評價方法雖然對研究生高水平國際化課程的評價具有可行性和適用性，但是沒有一種方法能夠適合各種場所、解決所有問題，每種方法都有其側(cè)重點(diǎn)和主要應(yīng)用領(lǐng)域。同時每種方法都有其優(yōu)劣性，所以要結(jié)合研究對象的實(shí)際，進(jìn)行適當(dāng)改進(jìn)。本文將ahp法及模糊綜合評價法有機(jī)結(jié)合就是一個嘗試。同時為更好指導(dǎo)評判專家對各指標(biāo)的狀況做出合理判斷，我們對每個指標(biāo)給出了與備選評價集中元素同步的評判標(biāo)準(zhǔn)(本文略)。4.研究生高水平國際化課程建設(shè)質(zhì)量評價指標(biāo)體系尚有待進(jìn)一步完善。研究生高水平國際化課程建設(shè)是一個不斷向前發(fā)展的概念，是一個動態(tài)的過程。在評價的不同階段，由于評價目的有所不同，評價重點(diǎn)必然不同，在指標(biāo)選擇和權(quán)重賦值上必有考慮。例如在評價初期要強(qiáng)調(diào)評價的導(dǎo)向功能，但經(jīng)過一段時間的建設(shè)后則應(yīng)重點(diǎn)體現(xiàn)評價功能，考察建設(shè)成效及達(dá)到的水平。由于研究對象層次性、評價指標(biāo)的復(fù)雜性及模糊性和不確定性，也需要我們進(jìn)行進(jìn)一步的研究，適當(dāng)調(diào)整、細(xì)化指標(biāo)體系，優(yōu)化評價方法。同時，隨著建設(shè)的不斷推進(jìn)，一些新的反映建設(shè)質(zhì)量的指標(biāo)(