對程序課程的一個可靠的考試題系統(tǒng)的評估中文翻譯

對程序課程的一個可靠的考試系統(tǒng)的評估Torbj?rnJonsson,PouriaLoghmaniandSiminNadjm-TehraniDepartmentofComputerandInformationScienceLink?pingUniversity{torjo,poulo,simin}@ida.liu.se摘要：本文是我們對程序課程的一個可靠的考試系統(tǒng)的經(jīng)驗描述。我們簡要描述這個系統(tǒng)的結構和把這個系統(tǒng)的真實測試狀態(tài)的評估的結果呈現(xiàn)出來。一些細節(jié)因素從網(wǎng)上的學生和測試者中學習，在響應時間和他們親身體驗的影響下，他們所采用的方法和考試形式是否自然性。介紹：像有經(jīng)驗的程序課程教師，我們發(fā)現(xiàn)了使用程序課程傳統(tǒng)考試形式的缺點。學生學程序是通過實驗課的練習，但最后評估他們能力和考試成績的卻是采用紙和筆代替電腦。判斷學生在個人生涯中不會不使用這種模式制作程序，我們考慮到這不是個正確的方法。在****大學的計算機科學系，每年大約有1000名學生在不同的教育性程序下教12門基礎程序課程。這篇文章論述了程序課程在教育上的新的看法，能提供給任何程序語言、不同類型的學生和教育程序。這個想法是基于廣大學生圍繞不同考試形式的個人成績，最有用和有效的反饋選擇考試方式使用的考試形式的可靠性的基礎準則。我們相信能通過把方法的選擇和經(jīng)過估價附加的效率相結合來改善我們學習程序的質(zhì)量。特別的，我們相信它能把考試過程****一些年來，我們在一些試驗性課程對學生們進行了廣泛的計算機輔助考試的測試實驗——對這種類型的考試的一個可靠的考試形式。然而，這種考試形式因為計算機必要環(huán)境的支持不充分并沒有預想的那樣更加廣泛的流傳。去年，所有的學生和測試教師都連接到了一個新開發(fā)的可靠的考試系統(tǒng)（AES）。這個過程，經(jīng)過通信和分級被環(huán)境支持。這篇文章我們描述了這個考試系統(tǒng)和對這個考試系統(tǒng)和其他一些有關的考試**相比較的最初評價。這個課程的問題覆蓋了Ada程序和被第一年和第二年的學生**。在去年我們對AES進行了評估。這個儀器用來評估存在的一系列問題在通過對231個學生3個月和4次考試解決。在第1部分我們描述為什么我們提議考試的種類為編程的路線是最適當?shù)牟⑶遗c一些相關系統(tǒng)比較。第2部分包括考試系統(tǒng)的一個簡要的技術描述，包括它的結構設計。在第3部分我們描述怎么計算機系統(tǒng)，那在網(wǎng)上處理考試過程，必須由在每條特殊路線設定的規(guī)則增添。第4部分在第5部分包括我們的評估方法和由評估結果跟隨。第6部分結束本文。1次考試形式每個考試方法有使它更或較不適當對一個特殊路線設置的具體特征。H？kanOswaldsson在當前考試系統(tǒng)的發(fā)展之前在我們的部門學習了可能的考試形式的范圍的一條典型的編程路線。當考試幾個方式可以被考慮作為有效的手段為改進的學會(即在家任務、口試跟隨設計任務的等等)時，沒有結合需要對于一個summative評估的許多考試類型，以導致學會的不充分反饋。與我們當前教的很大數(shù)量的學生結合，一個理想的考試設置的設計是一項真實地富挑戰(zhàn)性任務。工作在Dawson-Howe旁邊是帶領計算機支持進入編程任務評估和管理的過程。對自動化的考試系統(tǒng)的需要變得恰當。在90年代后期期間以出現(xiàn)距離和生活長學會。例如，在英國的函授大學有企圖到交換學生任務和他們的(隨后)更正由稽查通過MS-Word文件。然而，可利用的報告(即工作在Price和Petre旁邊)在一次網(wǎng)上地道考試集中管理舒適為路線任務和分級，而不是師范反饋。幾位作者近年來報告關于自動評估系統(tǒng)，主要集中系統(tǒng)和學生的結果的技術現(xiàn)狀的介紹根據(jù)分級。當我們分享這些研究小組的志向并且進行相似的研究時，我們的焦點在正式評估怎樣學生察覺考試環(huán)境。另外我們學習了怎么他們是受因素的影響的具體到地道考試，怎么系統(tǒng)性能和稽查的網(wǎng)上行為在學生影響被察覺的裝載和其他這樣方面。學生帳戶老師帳戶檢查考試處理傳訊統(tǒng)計AES設計被劃分成多排：客戶排、中間排(包括一個或更多次級排)和后端排。分成設計入排允許我們選擇適當?shù)募夹g為一個特定情況。多技術可能甚而用于提供同一項服務用不同的情況。例如，HTML頁、JSP頁和獨立應用程序可能所有用于客戶排?？蛻襞?中間排 后端排2AES的技術描述AES使用J2EE平臺開發(fā)。這代表一個唯一標準為實施和部署復雜企業(yè)應用。通過一個開放過程，J2EE被設計符合大范圍企業(yè)應用程序要求，包括發(fā)行具體機制例如傳訊系統(tǒng)、可測量性和模塊化?？蛻舾鶕?jù)模型看法控制器(MVC)應用建筑學，在應用之內(nèi)分離功能的三個分明形式： 模型在應用在數(shù)據(jù)代表數(shù)據(jù)的結構，并且有特殊用途的操作。 看法訪問數(shù)據(jù)從模型并且指定怎么應該提出那數(shù)據(jù)?？捶ㄔ贏ES包括提供看法功能的獨立應用程序?？刂破鞣g對模型的用戶動作并且選擇根據(jù)用戶首選項的適當?shù)目捶?。AES被設計作為一套松散接合的模塊，內(nèi)部緊耦合。編組功能入模塊提供綜合化在合作的類之間，分離偶爾地互相提到的類。模塊設計支持設計目標軟件將是可再用的。每個模塊有定義了模塊的功能要求并且提供地方最新組分也許聯(lián)合的一個接口。AES包括模塊為：圖2.1：AES設計。每一三排在設計的一個具體角色?？蛻襞咆撠煂μ岢鰯?shù)據(jù)對用戶，互動與用戶和溝通與系統(tǒng)的其他排。在這種情況下客戶排是系統(tǒng)的唯一的部分可看見對用戶。AES客戶排包括與其他排聯(lián)絡通過明確定義的接口的主要一個獨立應用程序。根據(jù)JMS的一種針對消息的方法(Java傳訊系統(tǒng))被選擇照料通信在客戶排和中間排之間。中間排負責對所有處理介入的企業(yè)JavaBeans。企業(yè)JavaBeans是延伸服務器執(zhí)行有特殊用途的功能的軟件元件。這些組分和他們的容器之間的接口在企業(yè)JavaBeans規(guī)格被定義。他們包含的容器提供服務給企業(yè)JavaBeans事例，例如控制交易，處理的安全，穿線或者合并和處理堅持，在其他高級系統(tǒng)任務中的其他資源。后端排是系統(tǒng)信息基礎設施。這排包括可能是有用的一個或更多關系數(shù)據(jù)庫管理系統(tǒng)和潛在地其他信息財產(chǎn)，即中央大學路線結果管理系統(tǒng)(LADOK)。EIS排也強制執(zhí)行安全并且提供可測量性。后端排提供映射現(xiàn)有數(shù)據(jù)和軟件的層數(shù)應用資源到AES里設計用一個實施中立方式。系統(tǒng)被分離入五不同功能層數(shù)，中的每一以它自己的責任和它自己的API。這些層數(shù)橫跨三不同排完全被分裂。堅持層數(shù)，例如，提供機制必要永久地保存對象狀態(tài)。它提供基本的CRUD(創(chuàng)造，讀，更新，刪除)服務并且應付對象對關系映射的問題。這導致一個更加靈活和更加可維護的系統(tǒng)，即層數(shù)可以改變沒有作用對其他層數(shù)，只要API依然是恒定。3次考試設定考試系統(tǒng)只是考試過程的一份。第二個部分是設定(規(guī)則)我們有為學生。我們嘗試了幾個設定在一定數(shù)量的歲月期間(使用一個原型為系統(tǒng)5-6年)。3.1第一個設定第一個版本允許學生使用計算機寫節(jié)目而不是寫在紙。我們發(fā)現(xiàn)這個方法是改善，因為我們沒有必須讀“難認”文本，并且遞交的解答可能之后被測試。等級根據(jù)正確地解決的鍛煉的數(shù)量。一個問題與這個集合-是所有仍然分級必須完成，在完成了之后檢查。大多學生在解答等待送直到高潮性檢查。3.2第二個設定我們的意圖將有考試，學生在幾分鐘內(nèi)應該有一個反應從稽查，并且等級被給了學生的地方，當他們離開檢查。我們在幾分鐘內(nèi)也打算提供學生以得到反應的可能性為每鍛煉，因此他們可能改正一種幾乎正確解答。我們今天使用)的第二個設定(根據(jù)正確地解決的鍛煉的數(shù)字和需要的時間解決他們。給一定數(shù)量的最后期限。如果學生想要高等級他或她在一個被預先指定的期限之內(nèi)必須解決一定數(shù)量的鍛煉。當前考試過程跟隨幾步：1. 學生送一個考試要求鍛煉到稽查。2. 稽查能退回以下結果之一。 通過-解答是正確的。 殘缺不全-解答有錯誤，并且必須改正。使新的企圖后是可能的。?出故障-解答是不正確的，并且學生不允許繼續(xù)在這鍛煉工作。3.每考試企圖和結果對期終考試等級將貢獻，并且學生是消息靈通的他/她的當前成績。如果學生在一另外的鍛煉遞交一個新的考試請求他或她可以到達高級。這個考試過程被建立入我們的當前AES，但規(guī)則(期限等)可以為分開的路線被改變。這使系統(tǒng)靈活。期限和分級在這個系統(tǒng)被測試那里的路線是三鍛煉在每檢查，并且不同的成績的要求是： 為等級5(優(yōu)秀)學生必須完成：o 3鍛煉正確在3個小時或o 2鍛煉正確在2個小時 為等級4(非常好)學生必須完成：o 2鍛煉正確在3個小時或o 1鍛煉正確在1.5小時 為等級3(通過)學生必須完成：o 1鍛煉正確在4個小時在檢查期間，上述設定與AES支持一起提供我們機會分級學生。解決了一鍛煉他們到達了的學生是消息靈通的等級。如果他們滿意對那個等級他們可以離開檢查(許多學生在一個到二個小時以后離開，當他們有等級4或5)時。學生問題在普通的計算機輔助的檢查，一定數(shù)量的問題由學生遞交，答復可能或者被分類如個人或如感興趣為所有學生?；槟軟Q定他或她是否將寄發(fā)答復到整體小組學生或到一名具體學生。問題的數(shù)量似乎是相對地恒定的在檢查(大約每5分鐘的2-5個問題期間)。在檢查的起點期間，多數(shù)問題被送，可以解釋用事實學生詢問具體事關于鍛煉，并且那里是更多學生在的開頭部分檢查。提議或認同企圖在普通的計算機輔助的檢查我們有很大數(shù)量的考試請求從學生。我們在表3.1能看我們有一相對地高頻率在期間從30分鐘到3個小時。在那以后，大多學生離開(他們比時間)的3不可能以后得到高級。在最后期限附近我們能看考試嘗試經(jīng)常出現(xiàn)，但不更經(jīng)常。但是，考試請求增量導致更多工作為稽查。這可能導致在響應時間(等待時間的增量為學生)。4個評估方法當前系統(tǒng)的發(fā)展在夏天開始了2001年并且通過冬天2001/2002繼續(xù)了。當我們開始測試這個系統(tǒng)我們想要作為測試例子一條路線與很大數(shù)量的學生。我們的一門基礎課在編程每年有大約270名學生，因此是我們的第一個選擇。大約180這些學生是產(chǎn)業(yè)管理工程學學生，并且休息是技術生物學生。我們的統(tǒng)計根據(jù)他們的第一次考試在這條路線，在2002年3月發(fā)生。我們在這條路線也使用再拿檢查做一項新的研究與新的套問題。這個評估在2002年5月完成。在這二項研究，學生直接地在檢查以后填裝了查詢表。最后的查詢表有二份。第一個部分是主要問題，答復以大方的本體格式。第二個部分包括問題以被稱的答復(等級到五，不同意-同意，更壞-改善)。第一個部分用于三個評估。更加廣泛的查詢表與二份為最后評估僅使用了(即為二最后檢查)。附錄顯示最后的查詢表。查詢表的兩個類型是匿名的，并且查詢表被填裝了，在分級為檢查之后完成。當他們填裝了查詢表，學生已經(jīng)接受了他們的等級。我們相信這在學生邊提供可觀性措施。我們?yōu)闄z查也使用記錄文件從AES得到統(tǒng)計趨向關于等級，性別，反應時間為問題各自認同企圖在其他中(參見第5部分)。5個評估結果不幸地幾乎所有學生沒有早先經(jīng)驗與紙基于編程的考試，因此回復不可能為與那個考試形式的比較使用。然而，我們使用反應詳細學習其他問題(特別地零件與時間有關或注重因素)。首先，在請求送的學生(問題或認同企圖)和時期為反應多頻繁多久是？第二，多么恰當考試系統(tǒng)由學生接受？第三個問題是比較由等級在性別之間。查詢表的反應速度是相當好。我們有四檢查在評估期間以以下反應速度：檢查66個學生(75.7%)檢查4:18答復105個學生(82.8%)檢查3:50答復112個學生(67.8%)檢查2:87答復1:76答復22名學生(81.8%)前三張查詢表做了在第一個考試場合為學生，并且第四你在再拿考試做了，所有學生是學生沒有等級從更加早期的檢查。5.1事件在考試期間事件，問題和考試請求的數(shù)量，延長了4個小時考試會議可以是看的一有趣公尺的。在查詢表被表明的主要消極因素是時間壓力或重音的感覺。17%大方的本體答復有與這個因素的一些連接。從一個技術觀點我們對發(fā)現(xiàn)也感興趣系統(tǒng)的容量是充分的。所以我們在每檢查總結了互作用的數(shù)量發(fā)生。圖5.1：學生事件(問題和考試請求)在檢查期間。在表5.1我們能看問題的數(shù)量是高在的開頭部分考試，但我們有問題事件在整考試時間期間?？荚囌埱蟮臄?shù)量是相對時間。有幾個請求在第一半小時，并且那前二個小時為稽查是繁忙的。請求率相當高，當我們到達期限為等級時(特別是4個小時極限)。從一個技術觀點系統(tǒng)性能在上述裝載之下是充分的。要學習重音的學生經(jīng)驗由于等待時間我們計算等待答復到問題和各自考試請求的認同的平均。We也看極端價值。它結果那為最短的回答的時間是30秒和最長的6分鐘的問題。對應數(shù)字為認同企圖分別為1分鐘和10分鐘?；プ饔玫牡谝粋€類型采取了2分鐘和42秒和第二個類型3分鐘和31秒平均為一特殊檢查。學生反應，從查詢表，在這時間是等待一分鐘或是可接受的二為一個答復在問題和那等待一個結果在考試請求的幾分鐘是順利?；谶@個看法我們認為，等待時間不是一個貢獻的因素到學生體驗的重音。5.2采納由學生學生反應表明了巨大支持為這個考試形式。退回查詢表的94.5%學生更喜歡這個考試形式對傳統(tǒng)紙和鉛筆檢查。許多大方的本體答復提到了考試形式是緊挨一個現(xiàn)實情景并且是正面的關于可能性編寫和測試(94個這樣的評論的一個總數(shù))。在檢查，關于考試形式的定量問題增加到查詢表，1617名學生回答說這個形式是離一個現(xiàn)實情況較近與其他考試形式比較。多數(shù)學生認為自己匿名的