MOOC評(píng)價(jià)模型研究

1、    mooc評(píng)價(jià)模型研究    （三）評(píng)價(jià)模型的建立vague集是在模糊集基礎(chǔ)上發(fā)展而來的。相比較fuzzy集隸屬度，它引入真假隸屬度的概念，采用區(qū)間形式，通過支持、反對(duì)和中立三種狀態(tài)表示隸屬程度，在描述模糊性和不確定性方面比fuzzy集理論更具優(yōu)勢(shì)，也更加符合客觀事物的真實(shí)情況21。雖然ahp法和vague集理論早已發(fā)展成熟，但主要運(yùn)用于系統(tǒng)工程、經(jīng)濟(jì)管理、生物醫(yī)學(xué)等領(lǐng)域，將其運(yùn)用于教育教學(xué)領(lǐng)域的研究還不多見。本文結(jié)合文本挖掘技術(shù)、借助ahp和vague集理論構(gòu)建mooc質(zhì)量評(píng)價(jià)模型，是在該領(lǐng)域的創(chuàng)新嘗試和有益探索。1.指標(biāo)vague集隸屬函數(shù)的構(gòu)

2、造假設(shè)論域x中的任意一個(gè)元素用x表示，x中的一個(gè)vague集v用一個(gè)真隸屬函數(shù)tv和一個(gè)假隸屬函數(shù)fv表示。tv（x）是x的肯定隸屬度下界，fv（x）則是x的否定隸屬度下界，tv（x）和fv（x）將區(qū)間0，1中的一個(gè)實(shí)數(shù)與x中的每一個(gè)點(diǎn)聯(lián)系起來，即tv：x0，1，fv：x0，1，其中，tv（x）+fv（x）1。如一個(gè)vague集v用一個(gè)真隸屬度tv（x）和一個(gè)假隸屬度fv（x）來描述其隸屬度的界，這兩個(gè)界構(gòu)成了0，1上的子區(qū)間tv（x），1-fv（x），表示“一定范圍內(nèi)屬于”，是存在支持、反對(duì)和中立的客觀事物的數(shù)學(xué)模型22。例如，v在點(diǎn)x的vague值為tv（x），1-fv（x）=0.6，0.

3、9，則有tv（x）=0.6，1-fv（x）=0.9，fv（x）=0.1。該結(jié)果解釋為：元素x屬于v的程度是0.6，不屬于v的程度是0.1，對(duì)v的未知程度為0.3。如果用投票模型對(duì)其進(jìn)行解釋，即10人投票，其中6人贊成，1人反對(duì)，3人棄權(quán)。本文在構(gòu)造真隸屬函數(shù)tv（x）和假隸屬函數(shù)fv（x）時(shí)借鑒了“5%猶豫度”的概念。即在某一度量值下，對(duì)x的信息全部可知，并且均為肯定信息，tv=1（或均為否定信息，fv=1），此時(shí)因素x關(guān)于vague集的不確定度為0；但5%是對(duì)x的猶豫限度，當(dāng)超過這一度量值的5%時(shí)，開始出現(xiàn)相反的信息23。根據(jù)該概念構(gòu)造mooc評(píng)價(jià)指標(biāo)對(duì)應(yīng)的vague集隸屬函數(shù)如圖2。其中a

4、、b分別表示各指標(biāo)值的最小值和最大值。2.基于vague集相似度的評(píng)價(jià)過程設(shè)u是一個(gè)非空集合，v是u上所有的vague集組成的集合，au，bu，m：v×v0，1。如果m（a，b）滿足性質(zhì)：（1）0m（a，b）1；（2）如果a=b，則m（a，b）=1；（3）m（a，b）=m（b，a）；則稱m（a，b）為a與b的相似度。設(shè)xtx，1-fx，yty，1-fy是論域x上的兩個(gè)vague值，定義優(yōu)勢(shì)函數(shù)s（x）=tx-fx，s（y）=ty-fy。定義函數(shù)m0，1，其值越大，表示vague值x和y越相似。相似度采用周曉光改進(jìn)后的相似度量公式24：設(shè)a和b是兩個(gè)vague集，a和b之間的相似程度可

5、由函數(shù)t計(jì)算，t0，1，其值越大，表示vague集a和b越相似，其中：在上述mooc綜合評(píng)價(jià)指標(biāo)體系和ahp法確定權(quán)重的基礎(chǔ)上，可以開始對(duì)mooc各項(xiàng)指標(biāo)開展評(píng)價(jià)，主要參照如下步驟進(jìn)行：（1）建立被評(píng)課程的vague集；（2）建立理想指標(biāo)的vague集；（3）根據(jù)各指標(biāo)權(quán)重計(jì)算被評(píng)課程vague集和理想指標(biāo)vague集之間的相似度。相似度越大，課程評(píng)價(jià)越優(yōu)。（四）實(shí)例應(yīng)用從mooc學(xué)院網(wǎng)站隨機(jī)選取三門課：財(cái)務(wù)分析與決策、大學(xué)國文（上）和私人化的基因醫(yī)學(xué)（課程名稱分別以課程一、課程二、課程三代替）。請(qǐng)40位同學(xué)對(duì)三門課程進(jìn)行學(xué)習(xí)，然后分別對(duì)三門課程各項(xiàng)指標(biāo)進(jìn)行評(píng)價(jià)。建立三門課程評(píng)價(jià)為“優(yōu)”的va

6、gue集，并建立理想指標(biāo)vague集；再根據(jù)相似度量公式計(jì)算三門課程vague集打分和理想指標(biāo)vague集之間的相似度。結(jié)果如表3所示。根據(jù)權(quán)重系數(shù)，最終可計(jì)算出三門課程的相似度結(jié)果：t1=0.952，t2=0.913，t3=0.828，t1>t2>t3，表明財(cái)務(wù)分析與決策課程質(zhì)量最高，大學(xué)國文（上）次之，私人化的基因醫(yī)學(xué)課程質(zhì)量最低。同時(shí)，通過每一課程模塊的相似度指數(shù)，可以發(fā)現(xiàn)大學(xué)國文（上）在界面設(shè)計(jì)方面和課程管理方面評(píng)分較低，急需改進(jìn)；而私人化的基因醫(yī)學(xué)則在課程內(nèi)容和教學(xué)設(shè)計(jì)方面比較欠缺，特別是在內(nèi)容編排和練習(xí)設(shè)計(jì)方面亟待加強(qiáng)。四、總結(jié)本文通過對(duì)mooc的用戶評(píng)論進(jìn)行采集、分析

7、挖掘，提取出評(píng)論數(shù)據(jù)中出現(xiàn)頻度較高的課程評(píng)價(jià)指標(biāo)，同時(shí)參考現(xiàn)有的課程評(píng)價(jià)方法，通過統(tǒng)計(jì)分析相應(yīng)地選取被多數(shù)權(quán)威方法所共同重視的指標(biāo)，將二者結(jié)合，建立綜合的mooc評(píng)價(jià)指標(biāo)體系；通過專家打分，使用ahp法確定各指標(biāo)權(quán)重；最后建立基于vague集的mooc評(píng)價(jià)模型。該模型的應(yīng)用價(jià)值主要體現(xiàn)在如下四個(gè)方面：一是有助于mooc平臺(tái)質(zhì)量的持續(xù)提升。mooc評(píng)價(jià)模型可以為mooc平臺(tái)提供課程質(zhì)量反饋和課程優(yōu)劣排序，為mooc平臺(tái)持續(xù)提升課程質(zhì)量和學(xué)生學(xué)習(xí)效果提供有效評(píng)價(jià)路徑。二是有助于mooc管理者的指導(dǎo)和引導(dǎo)。mooc管理者可以通過mooc評(píng)價(jià)結(jié)果，統(tǒng)籌規(guī)劃，合理投入，引導(dǎo)mooc的數(shù)量和質(zhì)量全面均衡發(fā)

8、展。三是有助于mooc學(xué)習(xí)者的有效選擇。其他mooc學(xué)習(xí)者可以參照課程評(píng)價(jià)結(jié)果選擇自己需要和匹配的優(yōu)質(zhì)mooc進(jìn)行學(xué)習(xí)，避免mooc質(zhì)量參差不齊影響學(xué)習(xí)的熱情和持續(xù)性。四是有助于mooc開發(fā)的持續(xù)改進(jìn)。通過mooc評(píng)價(jià)模型反饋的結(jié)果，課程開發(fā)者能清楚得知其課程在同類課程中的位置以及存在問題的環(huán)節(jié)，為后續(xù)持續(xù)改進(jìn)指明了方向。本文在研究過程中也存在一定局限性，仍需在后續(xù)研究中進(jìn)一步改進(jìn)。例如：評(píng)論數(shù)據(jù)均來自于mooc學(xué)院網(wǎng)站，數(shù)據(jù)量不夠充足，很難完全和完整反映用戶評(píng)價(jià)內(nèi)容；專家打分方法確定指標(biāo)權(quán)重，尚存在一定的主觀性等。mooc評(píng)價(jià)對(duì)象多元化日益明顯，需要從不同視角考量mooc的質(zhì)量指標(biāo)，建立更加

9、全面綜合的多維度mooc評(píng)價(jià)模型，使研究結(jié)果服務(wù)于mooc學(xué)習(xí)者、開發(fā)者和管理者等，以更好地促進(jìn)mooc的全面持續(xù)發(fā)展。參考文獻(xiàn)：1劉路，劉志民，羅英姿.歐洲mooc教育質(zhì)量評(píng)價(jià)方法及啟示j.開放教育研究，2015（05）：57-65.2李青，劉娜.mooc質(zhì)量保證體系研究j.開放教育研究，2015（05）：66-73.3fini a. the technological dimension of a massive open online course：the case of the cck08 course toolseb/ol.2015-03-19.http：/ article/643/

10、1402 continued.4耿文俠.影響師范生教育理論課學(xué)習(xí)興趣的因素分析j.教育研究，2009（12）：80-84.5王錚.對(duì)大規(guī)模開放式網(wǎng)絡(luò)課程的swot分析及應(yīng)對(duì)j.鄭州大學(xué)學(xué)報(bào)哲學(xué)社會(huì)科學(xué)版，2015（2）：100-103.6孫史宇，米俊魁.大學(xué)生mooc學(xué)習(xí)評(píng)價(jià)策略研究j.內(nèi)蒙古師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2015，28（3）：24-26.7王統(tǒng)永.現(xiàn)代大學(xué)課程評(píng)價(jià)理論研究綜述j.臨沂師范學(xué)院學(xué)報(bào)，2009（05）：40-43.8李曉玉，楊道宇.深化校本課程評(píng)價(jià)的四個(gè)轉(zhuǎn)型趨向j.教學(xué)與管理，2016（06）：111-113.9張家年，占南，李陽.基于網(wǎng)絡(luò)計(jì)量學(xué)的網(wǎng)絡(luò)課程評(píng)價(jià)方法研

11、究j.教育科學(xué)文摘，2015（01）：66-72.10別文群，繆興鋒.網(wǎng)絡(luò)課程的模糊綜合評(píng)價(jià)模型研究j.中國教育信息，2007（11）：20-23.11彭仁海，盧全偉，馬雪梅，陳瑞利.細(xì)胞生物學(xué)網(wǎng)絡(luò)課程的構(gòu)建與實(shí)施評(píng)價(jià)j.中國細(xì)胞生物學(xué)學(xué)報(bào)，2012，34（8）：808-811.12郭富平.美國在線課程的評(píng)價(jià)原則及啟示j.華北科技學(xué)院學(xué)報(bào)，2012（04）：95-98.13palloff r m，pratt k. effective course，faculty，and program evaluationr. 24th annual conference on distance teachi

12、ng &learning，2008.14馮雪松，于青青，李曉明.在實(shí)踐中探索mooc評(píng)價(jià)體系j.中國大學(xué)教學(xué)，2015（10）：72-85.15馬桂花.多元智能理論下大學(xué)英語慕課自主學(xué)習(xí)多維動(dòng)態(tài)評(píng)價(jià)體系構(gòu)建j.湖北函授大學(xué)學(xué)報(bào)，2015（08）：145-149.16馬明山，喬丹丹，汪向征.公眾視野中的可汗學(xué)院課程評(píng)價(jià)及其啟示j.中國電化教育，2014（01）：93-98.17崔玉潔，廖坤.借助八爪魚采集器實(shí)現(xiàn)過刊網(wǎng)刊元數(shù)據(jù)的自動(dòng)提取j.編輯學(xué)報(bào)，2016（10）：485-488.18張?chǎng)?，許鑫.文本挖掘工具評(píng)述j.圖書情報(bào)工作，2012（4）：26-31+55.19張宇，任福兵.基于

13、ahp-熵權(quán)法的智庫網(wǎng)絡(luò)傳播力評(píng)價(jià)研究j.情報(bào)科學(xué)，2017（3）：110-116.20王高飛，李明.基于ahp-模糊綜合分析的移動(dòng)社交網(wǎng)絡(luò)輿情預(yù)警模型研究j.現(xiàn)代情報(bào)，2017（1）：41-44+65.21崔春生.基于vague集的網(wǎng)上機(jī)票比價(jià)研究j.系統(tǒng)工程理論與實(shí)踐，2015（02）：437-444.22黃友銳，楊岸.基于vague集理論的課堂教學(xué)評(píng)價(jià)研究j.合肥工業(yè)大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2010（05）：61-64.23劉東海，胡曉清.基于vague集的拱壩施工方案模糊綜合評(píng)價(jià)j.水力發(fā)電學(xué)報(bào)，2008（12）：96-100+89.24周曉光，張強(qiáng).vague集（值）相似度量的比較和改進(jìn)j.系統(tǒng)工程學(xué)報(bào)，2005，20（6）：613-619.作者簡(jiǎn)