淺談如何建立質量監(jiān)控體系

淺談如何建立質量監(jiān)控體系

質量是自學成才考試（以下簡稱“自學成才”）的生命線，是自我資格證書為社會接受信任的基本保證。如何監(jiān)控及檢測自考質量并建立較完整的質量監(jiān)控體系,是目前自考管理工作中急需解決的重大課題之一。一、提案質量監(jiān)控命題是自考的一個基礎性環(huán)節(jié),命題質量監(jiān)控是整個自考質量監(jiān)控體系的基礎。1.科學的命題計劃各課程的考試大綱是自考命題的基本依據。對命題內容進行監(jiān)控的目標,是使所命的試題符合考試大綱中有關考查目標和考查內容的具體規(guī)定。對自考命題內容進行監(jiān)控的基本方法是,采用“命題雙向細目表”(以下簡稱為細目表,見表1)。它是一種體現考查目標的各細目和考查內容的各細目以及它們之間比例的命題計劃表,這是科學命題的基本標志之一。用科學方法編制的細目表(該表的編制方法可參閱一般的教育測量書籍),是自考命題科學化的標志之一。它有下列作用:(1)明確地回答了該課程的考查目標和考查內容是什么的問題;(2)明確了所要考的基本內容體系與能力層次體系;(3)客觀地體現了各考查細目之間的主次關系或重要性序列,以及試題的覆蓋面;(4)正確地反映了考試的內容效度,即切實按細目表的要求命題,可確保該考試具有良好的內容效度;(5)是該課程考試中建立題庫的基礎,因為建立題庫時首先要按細目表的要求對題目進行分類排序入庫,命題時才有可能按細目表的要求指令使題庫自動成卷。2.針對綜合考查目標,進行“分”評分標準對命題質量進行監(jiān)控的目的,是使所命試題在整體上符合細目表的基本要求,即符合已公布的考試大綱的基本要求。其檢測步驟是:首先,編造1個如表2所示的試題核檢表。它是在表1基礎上略加改造(僅增加“題號”1項)。其次,另外請課程專家或有經驗的教師(不含命題者),根據考查目標及其層次的界定,逐題對各個考查目標在“達到什么考查層次”的問題上作出獨立的評判,在所評判的層次欄記下題分。對考查內容的評判方法亦類似。最后,用表2中每個層次的“題分合計”值除以表1細目表中對應層次的“合計”值,便得到表2中該層次的“吻合率”。如果每個層次的吻合率均在90%以上,則可評價命題質量良好;如均在95%以上,則可評價命題質量為優(yōu)。3.按細目表的要求,科學組卷,按目這也是命題質量監(jiān)控的基本方法。因為建立題庫時,各試題均要按上述細目表的要求,即按考查目標分類細目或考查內容分類細目入庫;用題庫命題時就能夠按細目表的具體要求,指令計算機在題庫中自動組卷。由此而成的試卷不但合乎上述命題細目表的基本要求,而且可確?！翱冀谭蛛x”。二、質量指標及標準在現代社會里,任何一個正式的、鄭重的或負責任的考試都要向社會報告其質量指標。我國從1985年在廣東試行普通高考標準化改革試驗開始,每年均向社會報告自己的考試質量指標。這既可使影響到千家萬戶的普通高考主動接受社會的監(jiān)督,汲取各方面有關改進和提高考試質量的意見,贏得社會的信賴;又可促使普通高考管理機構和命題者十分重視考試質量,并采取各種有效措施不斷提高考試質量。我國的自考必須向普通高考學習,大力開展這方面的研究,制定出一套反映自考特點的考試質量指標及評價標準,改變目前不重視報告自考質量指標的缺陷。筆者認為:根據自考的特點和目標參照性考試的有關理論與方法,并參照我國成人高考的質量指標及標準和普通高校全日制課程統考的質量指標及標準,可制定出自考的質量指標及標準:1.效度。是考試考到了所要考東西的程度。由于自考屬目標參照性考試,故其效度主要指內容效度。上述的細目表中已體現了要考的東西,而上述對命題質量檢測的方法實際上就是檢測內容效度的方法。2.信度。是考試結果可靠性和準確性的指標。在成人高考中整卷信度要求在0.8以上,而在普通高校全日制統考課程中整卷信度一般要求在0.7以上。根據自考與普通高校全日制統考相近的特點,把自考的整卷信度定在0.7以上應是適宜的。3.難度。是反映整卷或試題難易程度的指標(一般用得分率或通過率來表示整卷或試題的難度)。在目標參照性考試中主要關注整卷難度。成人高考的整卷難度一般控制在0.55左右(0.5至0.6之間),普通高校全日制統考課程的整卷難度一般控制在0.70左右(0.65至0.75之間)。根據自考偏于成人高考的特點及鼓勵學生自學的需要,自考的整卷難度可參照成人高考的做法即亦控制在0.60左右應較為適合。4.區(qū)分度。是考試結果區(qū)分不同能力層次考生的程度。在目標參照性考試中主要關注在合格分數線左右的區(qū)分度,即在合格分數線左右的分數段之間(如50分至60分之間)要具有較高的區(qū)分度,以0.35以上為佳。上述是評價自考的質量指標及標準。其中一些量值范圍仍可進一步研究和商榷,但據教育測量有關理論和筆者多年從事各項考試改革研究的實踐,可以肯定,符合上述質量指標及標準的自考質量是良好的。此外,用題庫命題也是考試質量監(jiān)控的基本方法。由于題庫中的試題是經過檢測或等值處理后才入庫的,試題均含有具體的質量參數,因而可按一定的質量指標標準指令計算機組卷,使所命的試題在整體上合乎上述各項指標的要求。三、考試難度的控制措施由于自考是目標參照性考試,而自考生往往以考試合格來證明自己達到課程標準的基本要求,因此課程合格分數線顯得尤為重要。那么如何科學地制定所某門課程的合格分數線呢?上述細目表中的考查目標和考查內容僅屬定性指標,還必須有一個“量”的指標,這個“量”就是各細目的“達成度”。而這個“達成度”與考試的難度密切相關。因為不同的考試難度體現了不同的“達成度”,引發(fā)出不同的考試合格率,因而必須對考試的難度加以控制。不管試題的難或易,均以60分為合格分數線,顯然很不科學。一般而言,考試難度要依據考試的性質而控制在適當的范圍之內。例如,大規(guī)模選撥性考試(如普通高考)的難度一般控制在適中范圍。那么如何把自考的合格分數線定在適當的范圍呢?1.測定難度適當的試卷的標準與所考成績的測試卷對照在每門自考課程中選聘1-2位有經驗的課程專家,其任務是專門審題和把握試卷難度。他們要在已考過的試卷中選1-2份公認為難度適當的試卷作參照,把每次所命的試題與這份參照卷對照,判斷其難度是否相同或很接近。如不相同,則必須作有針對性的修改或調整。這實質上是專家對考試難度作了經驗性控制,也較簡單易行。2.不容易選準效標所謂60分合格,一般是指建立在考試難度適當基礎上的。然而,什么是“難度適當”?不同的人有不同的理解和把握,在具體命題中也不易把握和統一;即使用題庫命題,也由于每年自考生群體的變化和自考生學習水平的波動,在考前也難以準確預測。于是,人們便探討用統計方法來控制或調整考試難度。目前常用的統計控制法有:(1)效標控制法。這種方法是在一個參加某課程考試的群體里事先選定若干個學生作為評判合格與否的標準(這幾個學生及其考試成績就稱為效標)。具體做法是:事先選定幾位被公認為該課程學習處于基本合格和基本不合格之間的學生,考試后計算他們考試分數的平均分(X),那么,這個平均分(X)就是該門課程考試的合格分數線。顯然,效標控制法是從實際出發(fā),把經驗判斷與統計結果結合起來;如果效標選得恰當,則所制定的合格線還是比較準確的。效標法的關鍵是選準效標,尤要注意“基本”這兩個字,即選擇剛好合格和剛好不合格的兩部分學生。其次,要注意從自考群體及教學水平都比較穩(wěn)定的教學點中選擇效標,這可確保效標的有效性。但由于自考課程教學點往往較多且教學水平不一,各人對效標的看法還不大一致,因而也不容易選準效標。(2)標準分控制法。由于多種不定因素的存在,因而考試難度一般在考前較難預測和控制,那么能否能以考后的實際難度為依據來適當調整合格分數線呢?這在統計上卻是不難做到的。假定有同一層次的高校普通班和自考教學班混合在一起,進行同一門課程的考試(它們均屬目標參照性考試);若統一制定一條合格分數線,則有一個明顯的事實是:高校普通班中往往“中下”以上的學生成績?yōu)楹细?而自考班中往往只有少數“中上”以上的學生成績?yōu)楹细?。這是由于他們雖屬同一層次,但入學起點不同、學習基礎也不同所致。這就啟發(fā)我們,在自考生的考試群體里也可把“中上”的位置,作為制是合格分數線的依據,也符合自考課程難度以同層次的高校普通班為基本參照的規(guī)定。根據這一定性描述,在統計上對“中上”具體位置可表述如下:若對正態(tài)分布曲線下的橫軸(即標準分范圍-2.5至+2.5)進行五等分(如圖中所示分成優(yōu)、良、中、可、差),則每等長度為1;“中上”級(對應于圖1中“良”級的位置)在統計上可表述為≥X+0.5S。根據上述分析,自考合格分數線的一般表達式為X+LS,其中L值是據表3中的百分比來選定的標準分;這個百分比正是考試機構在調查研究基礎上制定的所要控制合格人數的大致比例。標準分與合格人數比例(根據正態(tài)分布中百分位與標準分的對應關系確定)的對應可參見表3。在表中可見,若把標準分定得小些(如0.3),則合格人數相對多些(38%);若把標準分定得大些(如0.7),則合格人數相對少些(24%)。表3中的比例是在正態(tài)分布下取得的數據,僅為我們提供一個大致的參照。但只要統一使用表3中的某個標準分(比如0.5)作為合格線,則盡管各科的合格分數相對考試難度而變化,但合格人數的比例則是變化不大的,而且還可以通過計算機來確定合格的學生,減少人為因素干擾,具有客觀性。當考生群體水平相對穩(wěn)定或變化不大時,固定某個L值(如0.5)進行難度控制不失為一個好方法;而當考生群體水平發(fā)生變化時,依據表3調節(jié)L值后,它仍是一個較可行的方法,因而又具有可控性。筆者通過對所抽樣的23門自考(獨立辦班)課程,用固定60分的方法與固定L=0.5的標準分控制法進行比較研究(見表4)。從中發(fā)現:前者中合格人數的比例五花八門、沒有標準、各行其是,最高為97.5%、最低為27.5%;而后