網(wǎng)絡(luò)測(cè)評(píng)體系系統(tǒng)的體系結(jié)構(gòu)與功能

1、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的體系結(jié)構(gòu)與功能Structure and Function of Web-based Evaluation System網(wǎng)絡(luò)教學(xué)目前得到了蓬勃的發(fā)展，然而如何有效的保證網(wǎng)絡(luò)教學(xué)的質(zhì)量成為一個(gè)亟需解決的問題，本文首先分析了目前網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的現(xiàn)狀，然后設(shè)計(jì)建構(gòu)了網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的體系結(jié)構(gòu)，提出了通用測(cè)評(píng)系統(tǒng)的六個(gè)模塊，最后對(duì)其中的一些關(guān)鍵模塊和功能進(jìn)行了詳細(xì)論述。關(guān)鍵詞：題庫(kù) 網(wǎng)絡(luò)測(cè)評(píng) 難度 組卷策略1 引言因特網(wǎng)絡(luò)的出現(xiàn)并廣泛普及為遠(yuǎn)程教育的發(fā)展提供了大好的機(jī)會(huì)，網(wǎng)絡(luò)化教學(xué)與學(xué)習(xí)得到飛速發(fā)展，向我們昭示了無限廣闊的應(yīng)用前景。目前，我們國(guó)家批準(zhǔn)了70余所網(wǎng)絡(luò)學(xué)院進(jìn)行招生，但是如何確保網(wǎng)絡(luò)

2、學(xué)院的學(xué)生能夠達(dá)到應(yīng)有的學(xué)習(xí)水平，建立高效的網(wǎng)絡(luò)教學(xué)質(zhì)量保障體系勢(shì)在必行。目前,國(guó)內(nèi)外的很多類似系統(tǒng)還僅僅停留在傳統(tǒng)考核和練習(xí)方式的數(shù)字化和網(wǎng)絡(luò)化上，并沒有真正從全新的網(wǎng)絡(luò)教學(xué)的觀點(diǎn)出發(fā)來進(jìn)行網(wǎng)絡(luò)測(cè)評(píng)，大部分系統(tǒng)不支持多媒體素材和公式符號(hào)，沒有提供對(duì)試題、試卷等資源的批量導(dǎo)入導(dǎo)出，缺少深層次的統(tǒng)計(jì)分析、教學(xué)診斷和教學(xué)形成性評(píng)價(jià)的支持?？偟恼f來，目前我國(guó)的網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的建設(shè)還處于起步階段，已建成的系統(tǒng)的質(zhì)量參差不齊，還沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。2 系統(tǒng)邏輯體系結(jié)構(gòu)本系統(tǒng)的核心是建立一個(gè)基于標(biāo)準(zhǔn)大數(shù)據(jù)量多媒體試題庫(kù)基礎(chǔ)上的網(wǎng)絡(luò)測(cè)評(píng)模式和框架，從邏輯上看主要包括系統(tǒng)工具、標(biāo)準(zhǔn)多媒體試題庫(kù)、組卷策略庫(kù)、規(guī)

3、范試卷庫(kù)和測(cè)試、規(guī)范作業(yè)庫(kù)和自測(cè)以及評(píng)價(jià)分析和數(shù)據(jù)挖掘等六個(gè)子系統(tǒng)，其邏輯結(jié)構(gòu)如下所示：圖1網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)體系結(jié)構(gòu)示意圖如上圖所示，系統(tǒng)工具模塊是一些相對(duì)獨(dú)立的系統(tǒng)管理支持工具的集合，主要包括對(duì)多媒體試題庫(kù)（如：公式符號(hào)編輯工具、媒體控制播放工具）、試題/試卷導(dǎo)入導(dǎo)出、在線測(cè)試、組卷策略等方面的支持。該模塊對(duì)其余模塊提供工具支持，負(fù)責(zé)對(duì)數(shù)據(jù)庫(kù)的所有存取操作，確保數(shù)據(jù)安全和完整。標(biāo)準(zhǔn)多媒體試題庫(kù)模塊對(duì)測(cè)評(píng)過程中一整套的操作提供支持，分為用戶級(jí)和系統(tǒng)級(jí)兩個(gè)層次，根據(jù)所教科目的不同，系統(tǒng)為教師建立用戶級(jí)試題庫(kù)；同時(shí)，用戶可以對(duì)個(gè)人級(jí)試題庫(kù)中試題進(jìn)行開放操作，在經(jīng)過學(xué)科專家用戶的審核后進(jìn)入系統(tǒng)級(jí)試題庫(kù)，

4、在更大范圍內(nèi)實(shí)現(xiàn)共享。組卷策略庫(kù)模塊為生成規(guī)范試卷作業(yè)提供多種策略、向?qū)Ш湍０?，測(cè)量?jī)?nèi)容包括試卷作業(yè)的整體參數(shù)、題型設(shè)置、試卷作業(yè)結(jié)構(gòu)、測(cè)試時(shí)間分配方案、測(cè)試分?jǐn)?shù)分配方案等，并可以根據(jù)測(cè)試目的設(shè)置整個(gè)試卷的難度、區(qū)分度和認(rèn)知分類分配的雙向細(xì)目表。規(guī)范試卷庫(kù)和測(cè)試模塊完成試卷生成、發(fā)放、測(cè)試、監(jiān)考、答案回收、試卷自動(dòng)批改、成績(jī)查詢、教學(xué)輔導(dǎo)等一系列的功能，涉及的關(guān)鍵技術(shù)有組卷算法、監(jiān)考、自動(dòng)化評(píng)改等；支持對(duì)傳統(tǒng)經(jīng)典試卷（例如高考/中考試卷）的導(dǎo)入、導(dǎo)出、提取、統(tǒng)計(jì)、分析等。規(guī)范作業(yè)庫(kù)和自測(cè)模塊完成作業(yè)收集、發(fā)布、提交、批改點(diǎn)評(píng)等作業(yè)管理流程中的所有操作；支持個(gè)人、小組作業(yè)，支持學(xué)生自我測(cè)試、練習(xí)

5、，支持協(xié)作式作業(yè)和協(xié)作式作業(yè)批改； 評(píng)價(jià)分析和數(shù)據(jù)挖掘模塊對(duì)系統(tǒng)資源進(jìn)行優(yōu)化并對(duì)標(biāo)準(zhǔn)試題庫(kù)、策略庫(kù)、規(guī)范試卷庫(kù)、規(guī)范作業(yè)庫(kù)、用戶庫(kù)進(jìn)行統(tǒng)計(jì)分析，并對(duì)系統(tǒng)運(yùn)行而積累的海量數(shù)據(jù)進(jìn)行挖掘，實(shí)現(xiàn)試題屬性的自動(dòng)更新和試題報(bào)警，采用量化和非量化、主觀和客觀相結(jié)合的分析方法，動(dòng)態(tài)生成評(píng)價(jià)報(bào)告，實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)測(cè)評(píng)的要素，使之成為一個(gè)不斷增長(zhǎng)的巨大的知識(shí)庫(kù)系統(tǒng)。3 主要模塊功能3.1 課程知識(shí)點(diǎn)管理工具基于Web的網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)是以課程為依托、以知識(shí)點(diǎn)為大綱的有復(fù)雜內(nèi)在結(jié)構(gòu)的系統(tǒng)，課程內(nèi)容組織的科學(xué)性、有序性直接關(guān)系著系統(tǒng)運(yùn)行的效果。系統(tǒng)以完善的網(wǎng)絡(luò)多媒體試題庫(kù)為基礎(chǔ)，而多媒體試題庫(kù)又是建立在對(duì)具體課程的科學(xué)組織上

6、的。為了適應(yīng)可能會(huì)發(fā)生變化的各學(xué)科的教學(xué)大綱，系統(tǒng)提供了兩種課程組織的方式：（1）對(duì)具有非嚴(yán)謹(jǐn)結(jié)構(gòu)的課程，按照課程的知識(shí)點(diǎn)性質(zhì)進(jìn)行組織。如英語等偏文科性質(zhì)的科目，可以按照詞匯、語法、閱讀、聽力等幾個(gè)方面進(jìn)行分類；（2）對(duì)具有嚴(yán)謹(jǐn)結(jié)構(gòu)的課程，按照章節(jié)體系結(jié)構(gòu)進(jìn)行組織。適合于數(shù)、理、化等理科性學(xué)科，如物理可以按照第一章（序論）、第二章（浮力）等篇章結(jié)構(gòu)進(jìn)行組織。為了適應(yīng)國(guó)家教學(xué)大綱可能變化而產(chǎn)生的問題，系統(tǒng)可對(duì)知識(shí)點(diǎn)進(jìn)行管理（增刪改），并可對(duì)課程、知識(shí)點(diǎn)和多媒體試題之間的關(guān)聯(lián)關(guān)系進(jìn)行管理，對(duì)試題提供動(dòng)態(tài)鏈接功能。3.2 公式符號(hào)的編輯和錄入對(duì)于數(shù)學(xué)、物理、化學(xué)等理科學(xué)科，經(jīng)常要使用各種公式符號(hào)和特

7、定圖形，而目前主流瀏覽器卻并不支持這方面的功能，因此，系統(tǒng)提供了公式符號(hào)編輯和錄入功能。目前網(wǎng)絡(luò)上已有的公式符號(hào)解決方案有圖片表示方式、數(shù)學(xué)標(biāo)記語言和插件方式。圖片表示方式是利用現(xiàn)有工具進(jìn)行圖片編輯，然后轉(zhuǎn)換成圖片，有冗余多、下載慢、有安全隱患等缺陷；數(shù)學(xué)標(biāo)記語言方式是基于數(shù)學(xué)標(biāo)記語言MathML1.0的規(guī)范說明書，用標(biāo)記的形式來定義數(shù)學(xué)表達(dá)式，實(shí)現(xiàn)方便、簡(jiǎn)單，但是顯得冗長(zhǎng)、復(fù)雜而難懂；插件方式是指利用插件擴(kuò)展瀏覽器，使遇到登記的表示公式符號(hào)的數(shù)據(jù)類型時(shí)，就調(diào)用插件進(jìn)行處理，這是目前較好的解決途徑，它簡(jiǎn)單易懂，并且由于使用文本的形式，所以不存在使用圖片方式的缺點(diǎn)。系統(tǒng)采用專用插件的方式，用JA

8、VA語言開發(fā)一個(gè)公式編輯輸入模塊，在需要輸入公式符號(hào)的頁(yè)面上嵌入此模塊即可，主要包括公式符號(hào)編輯器、公式符號(hào)輸入模塊和公式符號(hào)顯示模塊。其中，公式符號(hào)輸入模塊是在需要輸入公式符號(hào)的頁(yè)面包含一個(gè)牽引文件，該文件提供一個(gè)層，層內(nèi)包含一個(gè)基于Java的可視化公式編輯器。編輯界面如下圖所示：圖2 公式符號(hào)編輯器界面編輯完公式以后，JAVA程序自動(dòng)往當(dāng)前焦點(diǎn)文本框內(nèi)追加公式函數(shù)；當(dāng)公式追加完畢并且用戶點(diǎn)擊提交按鈕后通過公式符號(hào)存儲(chǔ)模塊將公式文本經(jīng)過系統(tǒng)特定變換后存儲(chǔ)到數(shù)據(jù)庫(kù)中；在需要顯示公式的頁(yè)面包含一段通用程序，該程序調(diào)用一個(gè)COM組件，用于分析從數(shù)據(jù)庫(kù)中讀出的文本。將特定標(biāo)識(shí)的部分傳入Java Ap

9、plet來處理，形成圖形輸出到頁(yè)面。3.3多媒體信息的存儲(chǔ)顯示和播放控制對(duì)于英語聽力、音樂、影視欣賞等類型的課程，需要實(shí)現(xiàn)視多媒體信息的管理，而目前主流瀏覽器缺少這方面的支持。系統(tǒng)開發(fā)了針對(duì)多媒體信息的錄入、存儲(chǔ)、播放、控制等方面的功能。對(duì)于多媒體信息（圖片、聲音、動(dòng)畫、視頻），系統(tǒng)采用了相對(duì)路徑的存儲(chǔ)方式，一方面在數(shù)據(jù)庫(kù)中存儲(chǔ)多媒體文件的相對(duì)路徑，并分門別類的上載文件到某特定目錄，二者通過程序進(jìn)行鏈接；試題呈現(xiàn)時(shí)，利用系統(tǒng)提供的播放插件，在頁(yè)面上設(shè)置動(dòng)態(tài)指針，隨著用戶的選擇，調(diào)用插件播放相應(yīng)的多媒體文件，由于一次只能播放一個(gè)文件，所以可以只調(diào)用一次插件，形成播放列表即可，由用戶控制播放進(jìn)程，

10、如播放、停止、暫停、快進(jìn)、快退、音軌控制、播放位置控制、聲音大小等。3.4試題和試卷資源的批量導(dǎo)入導(dǎo)出為了在廣域范圍內(nèi)收集和使用試題和試卷資源，以及為用戶提供離線的試題利用工具，系統(tǒng)提供了試題和試卷資源的批量導(dǎo)入導(dǎo)出功能，兼容資源建設(shè)技術(shù)規(guī)范和內(nèi)容包裝規(guī)范。實(shí)現(xiàn)的功能主要有：（1）試題、試卷資源的批量導(dǎo)入導(dǎo)出，可以在廣域范圍內(nèi)收集使用試題和試卷資源；（2）為客戶端提供本地使用試題、試卷資源的工具，如組卷、試題/試卷的管理等，用戶可以提供離線的試題編輯、錄入、組卷、測(cè)試、統(tǒng)計(jì)分析等一系列的功能；（3）建立了服務(wù)器和客戶端通訊的用戶識(shí)別機(jī)制，可以實(shí)現(xiàn)分布式的網(wǎng)絡(luò)測(cè)評(píng)；（4）網(wǎng)絡(luò)FTP傳輸服務(wù)。3.

11、5試卷生成子模塊該模塊主要完成試題到試卷的過渡，用戶通過瀏覽器輸入試卷的屬性參數(shù)，并設(shè)定試卷結(jié)構(gòu)和選擇測(cè)試對(duì)象，選擇組卷策略，系統(tǒng)將根據(jù)這些參數(shù)抽出試題，如果找不到試題，則將采用退避算法，逐漸放寬限制條件，最終抽出最適合參數(shù)要求的試題，組卷流程主要包括六個(gè)步驟，其中前三個(gè)步驟（整體參數(shù)、結(jié)構(gòu)、測(cè)試對(duì)象選擇）可自定義操作順序，其中，整體參數(shù)包括標(biāo)題、描述、總分?jǐn)?shù)、總測(cè)試時(shí)間、有效期等，用戶可以添加定制的整體參數(shù)；試卷結(jié)構(gòu)指試題類型以及各類型的分?jǐn)?shù)、時(shí)間的分配方案；測(cè)試對(duì)象可以是學(xué)生個(gè)體，針對(duì)學(xué)生弱點(diǎn)有效的實(shí)施個(gè)別化教學(xué)，也可以選擇小組團(tuán)體作為測(cè)試對(duì)象，進(jìn)行協(xié)作式學(xué)習(xí)。后三個(gè)步驟依次是試題選擇、試

12、卷預(yù)覽、存盤或打包，其中試題選擇具體體現(xiàn)了試卷的生成策略，主要有查詢方式、自動(dòng)方式、完全手工方式、策略方式等，完成試題選擇后，進(jìn)入預(yù)覽步驟，此時(shí)可對(duì)試題進(jìn)行調(diào)整，如果滿意，則可以選擇將試卷存盤或者向?qū)W生開放。試卷以HTML或者DOC文檔方式呈現(xiàn)。3.6在線測(cè)試和學(xué)生自測(cè)系統(tǒng)對(duì)在線測(cè)試和學(xué)生自測(cè)提供的功能主要有（1）學(xué)員監(jiān)督：可以檢查學(xué)生完成試卷作業(yè)的情況，并為沒有及時(shí)測(cè)試的學(xué)生發(fā)送通知、警告或建議；（2）遠(yuǎn)程監(jiān)考：可遠(yuǎn)程鎖定學(xué)生屏幕和各種輸入設(shè)備，提供測(cè)試時(shí)間倒計(jì)時(shí)控制等；（3）協(xié)作式作業(yè)批改：學(xué)生提交作業(yè)，獲取批改結(jié)果，并根據(jù)教師建議重新提交作業(yè)，幾輪交互后，教師對(duì)作業(yè)做出最后評(píng)價(jià)、定級(jí)；（

13、4）在線測(cè)試：學(xué)生選定測(cè)試試卷，系統(tǒng)呈現(xiàn)試卷并提供測(cè)試控制工具，測(cè)試完畢，系統(tǒng)自動(dòng)提交并收集學(xué)生答案，將測(cè)試結(jié)果存入學(xué)生成績(jī)檔案；（5）學(xué)生自測(cè)：學(xué)生可根據(jù)個(gè)人知識(shí)點(diǎn)缺陷，從課程、知識(shí)點(diǎn)、試題屬性等多角度選擇試題，設(shè)置自測(cè)屬性，進(jìn)行自測(cè)；（6）作業(yè)批改：系統(tǒng)提供作業(yè)批改模板，包括作業(yè)批改的總體評(píng)價(jià)（值得表?yè)P(yáng)的地方、需要改進(jìn)的地方、學(xué)習(xí)建義）、分?jǐn)?shù)、作業(yè)定級(jí)、出錯(cuò)原因類型、教學(xué)建議等；3.7統(tǒng)計(jì)分析和數(shù)據(jù)挖掘網(wǎng)絡(luò)測(cè)評(píng)不應(yīng)該只是管理試題、試卷和測(cè)試的工具，而更應(yīng)該成為一個(gè)可以對(duì)教學(xué)過程進(jìn)行評(píng)價(jià)分析的有力工具。該模塊主要基于現(xiàn)代科學(xué)的評(píng)價(jià)理論和教育信息處理技術(shù)，科學(xué)的分析評(píng)價(jià)對(duì)象、要素，設(shè)立評(píng)價(jià)指標(biāo)

14、，依靠有效的量化和非量化的數(shù)據(jù)采集，從課程知識(shí)點(diǎn)、試題庫(kù)、試卷和作業(yè)、學(xué)生、小組團(tuán)體等幾個(gè)角度進(jìn)行評(píng)估和分析。其中，（1）課程知識(shí)點(diǎn)分析主要指課程資源、試題資源分布狀態(tài)以及數(shù)量、數(shù)據(jù)量、利用率等方面的統(tǒng)計(jì)信息，支持圖文并茂的統(tǒng)計(jì)列表顯示方式；（2）試題庫(kù)分析指通過分析考試成績(jī)及參與考試的樣本，警告出現(xiàn)異常反應(yīng)的試題，以及對(duì)專家估計(jì)的試題初始屬性值進(jìn)行自動(dòng)校正；（3）試卷/作業(yè)分析是指分析某次試卷/作業(yè)的有效性、可信性、平均難度、樣本得分分布等信息。折線圖和直方圖的呈現(xiàn)方式可以直觀地表示出學(xué)生在各個(gè)分?jǐn)?shù)段的分布情況；（4）學(xué)生個(gè)體評(píng)價(jià)分析是指分析學(xué)生歷次測(cè)試成績(jī)及得分、進(jìn)步情況、學(xué)習(xí)障礙、知識(shí)單

15、元的掌握情況等，對(duì)學(xué)生的成績(jī)做出有確定意義的解釋；系統(tǒng)首先將學(xué)生歷次成績(jī)轉(zhuǎn)換為標(biāo)準(zhǔn)分?jǐn)?shù)、百分等級(jí)分?jǐn)?shù)進(jìn)行比較，并按照時(shí)間軸進(jìn)行歷史追蹤，可以非常明顯的看出學(xué)生變化趨勢(shì)。（5）小組團(tuán)體評(píng)價(jià)分析主要針對(duì)個(gè)性小組作業(yè)，對(duì)小組協(xié)作完成作業(yè)的情況進(jìn)行整體評(píng)估，主要包括對(duì)群體集中量和差異量的分析，以群體為樣本建立量表并計(jì)算各學(xué)生在群體中的位置，并根據(jù)系統(tǒng)自動(dòng)記錄的各成員貢獻(xiàn)提供加權(quán)數(shù)據(jù)量，充分體現(xiàn)了基于問題的學(xué)習(xí)方式（PBL）的優(yōu)勢(shì)。數(shù)據(jù)倉(cāng)庫(kù)被定義為一個(gè)面向主題的、集成的、非易失性的且隨時(shí)間變化的數(shù)據(jù)集合，用來支持管理人員的決策。在網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)中，隨著系統(tǒng)的運(yùn)行，大量的原始數(shù)據(jù)不斷積累，其中蘊(yùn)涵了很多教育

16、教學(xué)過程中的實(shí)質(zhì)性問題，所以建立系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，進(jìn)行統(tǒng)計(jì)分析、數(shù)據(jù)挖掘，以發(fā)現(xiàn)改進(jìn)教學(xué)過程中所出現(xiàn)問題的有效途徑。系統(tǒng)提供了基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘功能，主要思路是，首先數(shù)據(jù)庫(kù)中積累了海量的原始數(shù)據(jù)，系統(tǒng)提供了一個(gè)數(shù)據(jù)轉(zhuǎn)換模塊，該模塊可以將原始OLTP數(shù)據(jù)庫(kù)中的數(shù)據(jù)以及來自其他數(shù)據(jù)源的多種數(shù)據(jù)進(jìn)行整合，所有的數(shù)據(jù)合法性驗(yàn)證、數(shù)據(jù)類型和格式的統(tǒng)一、非法數(shù)據(jù)的清洗以及數(shù)據(jù)時(shí)間鍵的加入等業(yè)務(wù)邏輯全部在這個(gè)轉(zhuǎn)換模塊中完成。對(duì)于試卷/作業(yè)原始數(shù)據(jù)的分析，不僅可以得到一些二維表，可以提供切片、鉆取、旋轉(zhuǎn)等多種分析手段，利用OLAP技術(shù)的二維和三維的表現(xiàn)形式，可以提供給用戶明確、直觀的分析結(jié)果，打破了傳統(tǒng)數(shù)據(jù)處

17、理系統(tǒng)中人的思維僅僅局限于二維平面的局限。4 結(jié)論網(wǎng)上教學(xué)是最近幾年才出現(xiàn)的新事物，基于網(wǎng)絡(luò)的測(cè)量評(píng)價(jià)更是剛剛起步。本文所論述的“網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)”主要是在分析類似系統(tǒng)現(xiàn)狀的基礎(chǔ)上設(shè)計(jì)網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的體系結(jié)構(gòu)，提出了通用測(cè)評(píng)系統(tǒng)的六個(gè)模塊，并對(duì)其中的關(guān)鍵模塊和功能進(jìn)行了論述。目前，網(wǎng)絡(luò)測(cè)評(píng)基本上還處于理論階段，在實(shí)踐過程中還需要不斷歸納和總結(jié)、提煉和修訂。參考文獻(xiàn)1 余勝泉，姚顧波，何克抗.通用試題庫(kù)的組卷策略.2 何克抗.建立題庫(kù)的理論.全國(guó)CBE學(xué)會(huì)第七屆學(xué)術(shù)會(huì)議論文集.國(guó)防科技大學(xué)出版社, 1995.11.3 張京彬.網(wǎng)絡(luò)教學(xué)的非量化評(píng)價(jià).現(xiàn)代遠(yuǎn)程教育.2000.10.With the greatly progress of Web-based learning, new questions of how to ensure the quality of this kind