數(shù)字化轉(zhuǎn)型背景下高職教育第三方客觀評價(jià)系統(tǒng)設(shè)計(jì)與實(shí)施

一、引言隨著高等職業(yè)教育的快速發(fā)展，學(xué)生評價(jià)已成為教育質(zhì)量保障的重要手段之一，因其客觀、公正和專業(yè)的特點(diǎn)，日益受到關(guān)注。數(shù)字化轉(zhuǎn)型是當(dāng)前全球經(jīng)濟(jì)和社會發(fā)展的主要趨勢，它已經(jīng)深入到各個(gè)領(lǐng)域，也給職業(yè)教育帶來了新的機(jī)遇和挑戰(zhàn)。第三方客觀評價(jià)系統(tǒng)是數(shù)字化轉(zhuǎn)型在職業(yè)教育領(lǐng)域的一個(gè)重要應(yīng)用，其可以為職業(yè)教育機(jī)構(gòu)提供公正、可用的評價(jià)，幫助其發(fā)現(xiàn)問題、改進(jìn)教學(xué)、提高人才培養(yǎng)質(zhì)量。本文探討了數(shù)字化轉(zhuǎn)型背景下高職教育第三方評價(jià)體系的現(xiàn)狀、問題及優(yōu)缺點(diǎn)，為設(shè)計(jì)和實(shí)現(xiàn)高職教育第三方客觀評價(jià)系統(tǒng)提供參考，并給出了基于云計(jì)算和大數(shù)據(jù)分析技術(shù)的第三方客觀評價(jià)系統(tǒng)的設(shè)計(jì)和實(shí)施方法，意圖借助這套系統(tǒng)更加科學(xué)地匯總分析教育評價(jià)數(shù)據(jù)，為教學(xué)整改提供數(shù)據(jù)依據(jù)。二、第三方評價(jià)體系現(xiàn)狀分析（一）專門的評價(jià)研究機(jī)構(gòu)麥可思是專門的評價(jià)研究機(jī)構(gòu)的代表，是中國最早從事教育評估、人才培養(yǎng)質(zhì)量評價(jià)等項(xiàng)目的專業(yè)研究機(jī)構(gòu)之一，其評價(jià)結(jié)果在國內(nèi)外具有較高的認(rèn)可度和影響力。優(yōu)點(diǎn)是評價(jià)指標(biāo)較為全面，數(shù)據(jù)來源較豐富，評價(jià)結(jié)果普遍受各大高校認(rèn)可。其評價(jià)主要關(guān)注就業(yè)情況和授課效果等方面，忽略了諸如學(xué)生綜合素質(zhì)、用人單位的反饋等。（二）官方綜合性教育研究機(jī)構(gòu)以中國教育科學(xué)研究院、中國職業(yè)教育研究中心為首的官方機(jī)構(gòu)，是中國教育科學(xué)的高端研究機(jī)構(gòu)，在教育決策咨詢、教師教育、基礎(chǔ)教育、高等教育、學(xué)前教育、職業(yè)教育、特殊教育等領(lǐng)域擁有豐富的研究經(jīng)驗(yàn)和成果。其優(yōu)點(diǎn)是有足夠的權(quán)威性和專業(yè)性，其主要評價(jià)方式是量化評價(jià)，缺乏對教育過程中人文因素和主觀體驗(yàn)的評價(jià)，同時(shí)其評價(jià)存在一定的滯后，無法及時(shí)反映教育現(xiàn)實(shí)的變遷和需求。（三）在線教育平臺智慧樹、超星、網(wǎng)易云課堂等在線教育平臺，除能夠提供在線學(xué)習(xí)平臺和課程資源外，還提供課程評價(jià)、學(xué)習(xí)成果認(rèn)證等服務(wù)，能夠滿足不同類型和層次的學(xué)習(xí)需求。優(yōu)點(diǎn)是評價(jià)方式較為靈活，能夠根據(jù)不同學(xué)校和專業(yè)的需求進(jìn)行個(gè)性化評價(jià)，并且包括在線測試、作業(yè)評價(jià)、課堂互動等，能夠靈活地適應(yīng)不同的學(xué)習(xí)需求和課程要求，并提供數(shù)據(jù)統(tǒng)計(jì)和分析功能，及時(shí)收集并分析學(xué)習(xí)數(shù)據(jù)，為教師和學(xué)生提供反饋和指導(dǎo)。這些平臺也存在數(shù)據(jù)質(zhì)量參差不齊、統(tǒng)計(jì)誤差等問題，需要進(jìn)一步優(yōu)化數(shù)據(jù)采集和統(tǒng)計(jì)的流程，提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，同時(shí)評價(jià)結(jié)果和反饋比較概括和籠統(tǒng)，難以針對不同學(xué)生和課程的具體情況提供個(gè)性化的指導(dǎo)和反饋。根據(jù)上述對第三方評價(jià)機(jī)構(gòu)的綜合分析，本系統(tǒng)設(shè)計(jì)意在將評價(jià)的對象聚焦在學(xué)生、課程及教學(xué)上，作為對于現(xiàn)有評價(jià)體系的有益補(bǔ)充和拓展。同時(shí)針對現(xiàn)有機(jī)構(gòu)及平臺所采集的數(shù)據(jù)，提供數(shù)據(jù)導(dǎo)入的接口，進(jìn)行二次統(tǒng)計(jì)和分析，深挖數(shù)據(jù)價(jià)值。三、系統(tǒng)設(shè)計(jì)（一）指標(biāo)體系設(shè)計(jì)指標(biāo)體系是客觀評價(jià)系統(tǒng)的重要組成部分，它需要涵蓋教育質(zhì)量的各個(gè)方面，包括教學(xué)內(nèi)容、教學(xué)方法、教師水平、學(xué)生能力等。在設(shè)計(jì)指標(biāo)體系時(shí)，需要考慮全面、科學(xué)、客觀、公正等原則，確保評價(jià)結(jié)果的真實(shí)性和可信度。但目前對于評價(jià)維度的設(shè)計(jì)尚未有行業(yè)公認(rèn)的標(biāo)準(zhǔn)，本系統(tǒng)的指標(biāo)體系設(shè)計(jì)為可定制、可維護(hù)的，以適應(yīng)不同場景、不同課程的評價(jià)要求。（二）系統(tǒng)數(shù)據(jù)流程設(shè)計(jì)系統(tǒng)總體的數(shù)據(jù)流程如圖1所示。1.數(shù)據(jù)來源通過用戶錄入、外部接口傳入等手段，采集教育過程中的各種數(shù)據(jù)。目前教學(xué)過程數(shù)據(jù)主要包括：考勤簽到次數(shù)、學(xué)習(xí)視頻完成度、平時(shí)作業(yè)評分、提問次數(shù)、回答次數(shù)、考試成績、第三方評價(jià)等。2.數(shù)據(jù)處理對采集的原始數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化處理、分析等操作，提取有用的信息。這里使用Min-Max標(biāo)準(zhǔn)化的算法進(jìn)行數(shù)據(jù)處理，但有些時(shí)候，我們采集到的數(shù)據(jù)里面，最小值不為零的，人工給予一個(gè)零值作為最小值。另外，在這些原始數(shù)據(jù)中，第三方評語的原始數(shù)據(jù)大多以文字方式呈現(xiàn)，故我們需要利用自然語言處理（NLP）技術(shù)將其感情色彩進(jìn)行分析，從而得出一個(gè)可量化的百分制的分值。標(biāo)準(zhǔn)化后的數(shù)值，將乘以一個(gè)權(quán)重系數(shù)來構(gòu)成學(xué)生的其中一個(gè)指標(biāo)維度，比如學(xué)生的“學(xué)習(xí)積極性”可以由“提問次數(shù)”“回答次數(shù)”分別占50%的權(quán)重來構(gòu)成，具體的權(quán)重設(shè)定，可以視乎每個(gè)課程的需要進(jìn)行調(diào)整。數(shù)據(jù)具有時(shí)效性，隨著時(shí)間的推移，可以看到學(xué)生的能力是否有提升。3.評價(jià)模型根據(jù)設(shè)計(jì)的指標(biāo)體系，建立評價(jià)模型，進(jìn)行客觀評價(jià)。學(xué)生一旦匹配到某個(gè)典型的模型，或者某項(xiàng)能力指標(biāo)偏低，能夠提供預(yù)警和改進(jìn)建議。4.結(jié)果呈現(xiàn)將評價(jià)結(jié)果以圖表、報(bào)告等形式呈現(xiàn)給用戶，方便用戶了解教育質(zhì)量的真實(shí)情況。而對于文字類的第三方評價(jià)數(shù)據(jù)，除了標(biāo)準(zhǔn)化后的數(shù)值以外，還提取評語關(guān)鍵詞，并根據(jù)這些關(guān)鍵詞的出現(xiàn)頻率，分別生成用于描繪學(xué)生個(gè)人畫像和群體畫像的評價(jià)詞云。（三）系統(tǒng)架構(gòu)設(shè)計(jì)1.系統(tǒng)后端設(shè)計(jì)系統(tǒng)服務(wù)后端使用了基于Uni-App的云開發(fā)技術(shù)進(jìn)行開發(fā)，數(shù)據(jù)庫的元結(jié)構(gòu)由一系列的DBSchemajson文件進(jìn)行維護(hù)管理，服務(wù)器的MongoDB數(shù)據(jù)表會根據(jù)設(shè)計(jì)好的DBSchema結(jié)構(gòu)進(jìn)行動態(tài)更新，同時(shí)前端頁面和服務(wù)端都能以同樣的DBSchema標(biāo)準(zhǔn)文件進(jìn)行統(tǒng)一的對象操作。服務(wù)后端使用基于Node.js語法的“云函數(shù)”實(shí)現(xiàn)。2.數(shù)據(jù)庫設(shè)計(jì)本系統(tǒng)底層使用的是阿里云提供的非關(guān)系型數(shù)據(jù)庫MongoDB，系統(tǒng)的幾個(gè)數(shù)據(jù)表之間沒有實(shí)際的外鍵約束，但邏輯上也是一一關(guān)聯(lián)的，具體的數(shù)據(jù)庫設(shè)計(jì)（部分）如圖2所示。3.功能模塊設(shè)計(jì)系統(tǒng)主要分為三個(gè)主要功能模塊：學(xué)生端、AI助教、系統(tǒng)管理后臺。學(xué)生端是面向?qū)W生個(gè)人用戶使用的，能看到學(xué)生自己實(shí)時(shí)的教學(xué)指標(biāo)數(shù)據(jù)，也能參與群體排名，具有激勵(lì)自我成長的功能。AI助教是當(dāng)學(xué)生在學(xué)習(xí)上遇到困難時(shí)，可以在本系統(tǒng)發(fā)起答疑對話。目前其核心數(shù)據(jù)主要來源于兩個(gè)部分：一是利用AI平臺的智能對話UNIT來實(shí)現(xiàn)的AI對話，AI平臺可以根據(jù)需要進(jìn)行替換；二是由教師預(yù)先設(shè)定好知識庫，一旦學(xué)生對話命中預(yù)設(shè)關(guān)鍵字，則會提供相應(yīng)知識內(nèi)容反饋。因目前AI對話在知識庫方面的廣泛性有余，專業(yè)性略顯不足，其不足部分由教師預(yù)設(shè)的知識庫提供，以保證知識的專業(yè)性和準(zhǔn)確性。系統(tǒng)管理后臺是針對每個(gè)不同的數(shù)據(jù)表進(jìn)行數(shù)據(jù)查詢和維護(hù)的入口。4.系統(tǒng)前端及界面設(shè)計(jì)系統(tǒng)界面設(shè)計(jì)遵循大方、美觀、便捷等原則。前端使用基于Vue.js的Uni-App進(jìn)行開發(fā)，代碼簡潔易于維護(hù)。（四）系統(tǒng)關(guān)鍵技術(shù)及特點(diǎn)1.數(shù)據(jù)存儲采用OSS云存儲技術(shù)及Serverless服務(wù)端技術(shù)，存儲教育數(shù)據(jù)和評價(jià)結(jié)果?？梢噪S時(shí)進(jìn)行升降配置，支持大規(guī)模的數(shù)據(jù)處理和分析。具有很好的可維護(hù)性及可拓展性。2.數(shù)據(jù)處理采用大數(shù)據(jù)處理技術(shù)，如Min-MaxNormalization標(biāo)準(zhǔn)化處理等，對數(shù)據(jù)進(jìn)行清洗、預(yù)處理、分析等操作，并使用自然語言處理（NLP）中的感情色彩分析、分詞、關(guān)鍵字提取等技術(shù)。把文字評價(jià)數(shù)據(jù)以量化的方式統(tǒng)計(jì)呈現(xiàn)出來。3.評價(jià)模型根據(jù)設(shè)計(jì)的指標(biāo)體系，初步建立評價(jià)模型，在系統(tǒng)使用過程中，根據(jù)實(shí)際數(shù)據(jù)可進(jìn)行模型的動態(tài)優(yōu)化調(diào)整。理論上該模型經(jīng)過長期調(diào)整后會愈發(fā)趨于客觀公正。4.結(jié)果呈現(xiàn)采用數(shù)據(jù)可視化技術(shù)，如ECharts、詞云等，將評價(jià)結(jié)果以圖表、報(bào)告等形式直觀地呈現(xiàn)給用戶。四、系統(tǒng)實(shí)施成效目前，系統(tǒng)通過數(shù)據(jù)導(dǎo)入的方式，建立了新媒體營銷課程的數(shù)據(jù)，學(xué)生通過本系統(tǒng)，利用雷達(dá)圖能夠?qū)崟r(shí)看到自己能力的優(yōu)劣，如圖3所示。圖3系統(tǒng)個(gè)人能力變遷雷達(dá)圖其中所有的數(shù)據(jù)都可溯源，保證了數(shù)據(jù)的客觀公正。教師通過本系統(tǒng)也能快速掌握學(xué)生個(gè)體乃至群體的學(xué)情，更有利于開展輔導(dǎo)工作。五、總結(jié)本系統(tǒng)基于對第三方評價(jià)體系的現(xiàn)狀分析，以及教師的實(shí)際需求進(jìn)行設(shè)計(jì)和研發(fā)，歷時(shí)一年，不斷整改及加入新功能而形成了一套可進(jìn)行推廣的客觀評價(jià)系統(tǒng)。該系統(tǒng)可以作為超星等在線平臺的有益拓展。第三方評論數(shù)據(jù)可以來自實(shí)習(xí)管理系統(tǒng)，或者直接以本系統(tǒng)作為實(shí)習(xí)評價(jià)系統(tǒng)來使用?？傮w來說，本系統(tǒng)具備數(shù)據(jù)可溯源、評價(jià)標(biāo)準(zhǔn)可調(diào)整、評價(jià)結(jié)果相對客觀等優(yōu)點(diǎn)。但也存在著一些問題和不足，在數(shù)據(jù)標(biāo)準(zhǔn)化批量處理的過程中，云數(shù)據(jù)庫可能會由于網(wǎng)絡(luò)原因出現(xiàn)計(jì)算中斷的情況