漢字應(yīng)用水平等級及測試大綱研制報告

漢字應(yīng)用水平等級及測試大綱研制報告《漢字應(yīng)用水平等級及測試大綱》研制報告

“漢字應(yīng)用水平測試研究”課題組

提要漢字應(yīng)用水平測試的目的是衡量中等以上受教育程度人群在以規(guī)范漢字為媒介的閱讀或書面表達(dá)等活動中，使用漢字所達(dá)到的水平。這項測試既遵循國家通用語言文字的相關(guān)規(guī)范和標(biāo)準(zhǔn)，也遵循漢語漢字的約定俗成和使用規(guī)律，同時還采用了教育測量學(xué)的理論與方法構(gòu)建測評體系。在確定測試范圍及內(nèi)容、測試形式、評分依據(jù)及標(biāo)準(zhǔn)、分?jǐn)?shù)體系等過程中，廣泛運用了語料庫語言學(xué)、計算語言學(xué)、教育測量學(xué)等理論成果及操作方法，達(dá)到了理論與實踐的有機(jī)結(jié)合。

關(guān)鍵詞

漢字

應(yīng)用水平

等級

測試大綱

研制報告

《漢字應(yīng)用水平等級及測試大綱》是國家語言文字應(yīng)用“十五”科研規(guī)劃重點項目“漢字應(yīng)用水平測試研究”的最終成果，經(jīng)專家鑒定委員會鑒定和國家語言文字工作委員會語言文字規(guī)范（標(biāo)準(zhǔn)）審定委員會審定后，2006年8月28日由中華人民共和國教育部和國家語言文字工作委員會作為語言文字規(guī)范（GF2002—2006）向社會正式發(fā)布，2007年2月1日起試行。該項目由教育部語言文字應(yīng)用管理司和語言文字信息管理司提出，批準(zhǔn)立項時間是2002年11月，項目批準(zhǔn)號WT105-31。項目研制任務(wù)由教育部語言文字應(yīng)用研究所普通話和語言教學(xué)研究室承擔(dān)。該項目是國家語委重點科研項目“漢字應(yīng)用水平等級標(biāo)準(zhǔn)及測試大綱研究”的延續(xù)項目，前一項目屬于調(diào)研性項目，工作重點是了解社會上有關(guān)行業(yè)漢字應(yīng)用的現(xiàn)狀和需求，特別是用于評核相關(guān)人員漢字應(yīng)用水平的需求，為開展課題研究和將來開展測評工作提供依據(jù)和參考。2002年延續(xù)立項后，明確了后續(xù)項目為標(biāo)準(zhǔn)研制項目，主要任務(wù)是在前一項目調(diào)查的基礎(chǔ)上建立一整套科學(xué)的、標(biāo)準(zhǔn)化的測評系統(tǒng)和測量工具，用來衡量有關(guān)行業(yè)從業(yè)人員及高等院校學(xué)生等人群應(yīng)用漢字的能力和水平。研制的主要內(nèi)容包括作為標(biāo)準(zhǔn)頒布的漢字應(yīng)用水平等級、漢字應(yīng)用水平測試大綱，以及作為標(biāo)準(zhǔn)附件的漢字應(yīng)用水平測試字表和作為測評系統(tǒng)輔助部分的漢字應(yīng)用水平測試詞語表、試題、試卷和題庫等。從2002年至2004年，課題組先后三次進(jìn)行了相關(guān)行業(yè)人群和在校大學(xué)生識字情況調(diào)查，涉及的調(diào)查對象主要有新聞出版行業(yè)的編輯、記者，高等院校學(xué)生，中小學(xué)教師等，總計3600余人；然后整理、分析了調(diào)查數(shù)據(jù)；同時還對上述人群進(jìn)行了試題、試卷方面的預(yù)測和試測。調(diào)研的省市有北京、天津、上海、河北、黑龍江、廣東等。科研合作單位先后有廣東教育出版社、山西大學(xué)、北京師范大學(xué)、北京教育學(xué)院等。在研制過程中，課題組還就漢字應(yīng)用水平等級、漢字應(yīng)用水平測試大綱和漢字應(yīng)用水平測試字表反復(fù)征求了海內(nèi)外30多位語言文字學(xué)、語言教學(xué)和教育測量學(xué)等領(lǐng)域?qū)＜业囊庖?，并召開了10余次專家咨詢、研討和評審會。2005年還征求了全國15個地方語委辦的意見。課題組對專家和各地語委辦的意見做了深入、細(xì)致的分析和討論，吸收了其中絕大多數(shù)意見和建議，進(jìn)一步完善了測評系統(tǒng)。下面就《漢字應(yīng)用水平等級及測試大綱》一些主要內(nèi)容的研制情況分別做一點說明。

一、研制《漢字應(yīng)用水平測試字表》《漢字應(yīng)用水平測試字表》（以下簡稱《字表》）是這項課題的重點之一，因為建立測評系統(tǒng)很重要的一點就是測評的內(nèi)容范圍，對這項課題而言，就是確定測試用字的數(shù)量和范圍，以便據(jù)此逐步建立掌握和使用的漢字?jǐn)?shù)量方面，按照相關(guān)人群識字量調(diào)查收集到的平均識字量、集中識字量（眾數(shù)）以及現(xiàn)代漢語真實文本中漢字的使用頻度、分布情況等數(shù)據(jù)，三個等級的參照標(biāo)準(zhǔn)由低到高依次確定為3500-4000、4000-4500和4500-5500個漢字。與此同時，漢字應(yīng)用水平測試并不是識字量的競賽，因此能夠掌握和使用的漢字?jǐn)?shù)量也不是衡量水平高低的唯一參照標(biāo)準(zhǔn)。根據(jù)4000→4500→5500三級字量以及具體的漢字，考察它們在不同類別現(xiàn)代漢語真實文本中的使用頻度、分布情況等數(shù)據(jù)，就可以從一個側(cè)面建立起使用者閱讀、書寫綜合表現(xiàn)的參照標(biāo)準(zhǔn)，因為不同數(shù)量、不同范圍的漢字在不同類別文本中的覆蓋率也是不同的，如果使用者所能駕御的漢字在數(shù)量和范圍方面都是確定的，那么就可以推斷他在應(yīng)對不同類別漢語文獻(xiàn)時可能具有的表現(xiàn)，例如他在閱讀不同類別漢語文獻(xiàn)時，碰到生字的概率肯定是不統(tǒng)一的，而這一點將直接影響到閱讀的順暢性。另外，不同人群在識字量調(diào)查和試測中的表現(xiàn)明顯具有群體性特征，這些特征就可以固化為漢字應(yīng)用水平不同等級的參照標(biāo)準(zhǔn)，例如是否具備了接受不同程度教育的漢字基礎(chǔ)；是否具備了接受某種與漢字應(yīng)用密切相關(guān)的工作任務(wù)的基本條件；在漢字應(yīng)用水平測試中的基本表現(xiàn)，等等。作為漢字應(yīng)用水平的評價體系，漢字應(yīng)用水平等級主要由使用漢字時的規(guī)范性、準(zhǔn)確性目標(biāo)和基于實際調(diào)查、試測數(shù)據(jù)而構(gòu)建的參照標(biāo)準(zhǔn)兩部分組合而成。在漢字應(yīng)用水平等級中，還應(yīng)當(dāng)明確不同等級所對應(yīng)的答對率、導(dǎo)出分?jǐn)?shù)等最基本的測試表現(xiàn)，從而使評價體系與具體的測量工具和測量方法能夠有明確的對應(yīng)關(guān)系。關(guān)于《漢字應(yīng)用水平等級》的具體研制過程，詳見《語言文字應(yīng)用》2004年第1期56-62頁“《漢字應(yīng)用水平等級標(biāo)準(zhǔn)》研制報告”。

三、研制《漢字應(yīng)用水平測試大綱》

研制測試大綱，要解決的問題主要有：測試的目的、性質(zhì)和用途；測試的對象；測試的內(nèi)容范圍和形式；試題類型和試卷構(gòu)成；評分依據(jù)；分?jǐn)?shù)體系，等等。關(guān)于測試目的，有測試本身的目的和由測試影響所及而預(yù)期的目的。前一個目的非常明確，就是通過測試的方法衡量應(yīng)試者在閱讀、書面表達(dá)以及其他與漢字應(yīng)用有關(guān)的活動中，掌握漢字形、音、義以及使用漢字的正確程度和準(zhǔn)確程度。后一個目的指的是測試本身并不是最終目的，而是通過測試提高使用者掌握漢字、應(yīng)用漢字的能力和水平，其重要性更體現(xiàn)在貫徹《中華人民共和國國家通用語言文字法》，提高我國國民的語言文字規(guī)范意識，提倡準(zhǔn)確、健康地使用國家通用語言文字，完善漢字應(yīng)用環(huán)境，弘揚中華文化。就測試本身的目的而言，這是衡量測試效度的最重要依據(jù)。一個測試的有效性如何，關(guān)鍵在于是否實現(xiàn)了測試目的。這個問題主要涉及試題、試卷的質(zhì)量。如果試題的內(nèi)容、形式和試卷的結(jié)構(gòu)能夠反映漢字應(yīng)用的實際情況；試題的難度、鑒別度等指標(biāo)適當(dāng)，拼合試卷的程序規(guī)范，能夠反映出不同能力水平的差異，那么，這樣的測試就達(dá)到了預(yù)期目的。在研制測試大綱過程中，課題組在逐步明確測試目的的同時，圍繞測試內(nèi)容、試題、試卷等相關(guān)問題進(jìn)行了大量的數(shù)據(jù)采集、研究分析等工作，從收集到的數(shù)據(jù)和分析結(jié)果看，試卷的有效性非常顯著。測試的性質(zhì)往往取決于測試的規(guī)模和標(biāo)準(zhǔn)化程度，反過來它也影響測試的規(guī)模和標(biāo)準(zhǔn)化程度。漢字應(yīng)用水平測試是由教育部和國家語委組織研制并組織實施的一項國家級語言類標(biāo)準(zhǔn)化測試。它的信度、效度、施測程序、評分程序、題庫的容量等都要符合和滿足大規(guī)模標(biāo)準(zhǔn)化測試的要求。測試的用途主要涉及預(yù)期的測驗使用者，這里既有個人，也包括團(tuán)體；既包括應(yīng)試者，也包括希望測驗結(jié)果能夠為某種決策提供參考的單位或部門等。為滿足這些潛在的需求，漢字應(yīng)用水平測試須要盡可能準(zhǔn)確、明確地向使用者提供測試結(jié)果，并合理地解釋這些結(jié)果，而且這種解釋必須具有穩(wěn)定性和一致性。

測試對象與測試用途密切相關(guān)，它要解決的主要是誰來參加測試；或者說測試更適用于哪些應(yīng)試者；測試分?jǐn)?shù)和分?jǐn)?shù)解釋能提供什么信息；這些信息能夠用于什么目的，等等。這些問題將直接影響到確定測試內(nèi)容、編制試題、設(shè)定測試時限，等等。漢字應(yīng)用水平測試是一項體現(xiàn)國家語言文字方針政策的舉措，被賦予了衡量并間接提高有關(guān)行業(yè)從業(yè)人員和學(xué)生漢字應(yīng)用水平的功能，因此，測試用途就必須體現(xiàn)這種功能。通過實際調(diào)查與試測，這項測試定位于“適用于公務(wù)員，編輯、記者、校對和文字錄入人員，各級各類學(xué)校教師，文秘及辦公室工作人員，廣告業(yè)從業(yè)人員，中文字幕機(jī)操作人員，高等學(xué)校和?？祁愔械葘W(xué)校學(xué)生以及日常工作與漢字應(yīng)用緊密相關(guān)的其他人員；同時也適用于想要了解自己漢字應(yīng)用水平和能力的其他人士。”這些由測試用途而界定的測試對象，是一種可供操作的界定，而對于測試對象的概括性表述，則應(yīng)當(dāng)具有明確測試對象背景資格的作用，因此，在《漢字應(yīng)用水平等級及測試大綱》中，與此相關(guān)的表述為“本規(guī)范規(guī)定了具有中等以上受教育程度人群使用漢字應(yīng)當(dāng)達(dá)到的水平”。關(guān)于測試形式，漢字應(yīng)用水平測試選擇了集體作答的紙筆測驗，試題卷和答題紙分開，以便機(jī)器閱卷。從將來的發(fā)展趨勢看，計算機(jī)化無紙測驗、計算機(jī)輔助自適應(yīng)測驗、基于網(wǎng)絡(luò)技術(shù)支持的網(wǎng)上測驗等，都是需要進(jìn)一步研究的問題。此外，由于考慮到機(jī)器閱卷，試題類型必須滿足客觀性要求，避免主觀判斷，因此，絕大部分試題都采用了四選一形式的選擇題；另外還有一部分需要閱卷者依據(jù)統(tǒng)一標(biāo)準(zhǔn)判斷的書寫題。另外，根據(jù)漢字應(yīng)用水平測試的目的，試卷構(gòu)成要比較全面地反映應(yīng)試者的漢字應(yīng)用水平，因此，漢字的識別和書寫、漢字形音義各要素的均衡等，都要反映在每一套試卷中。最后還有測試時間，應(yīng)當(dāng)充分考慮獲得信息最大化所需的試題量以及與此相關(guān)的合理時限。關(guān)于評分標(biāo)準(zhǔn)，也就是漢字形音義的正確與否如何判定，這里面存在著兩種情況：一種是國家已經(jīng)頒布了標(biāo)準(zhǔn)或規(guī)范的，比如規(guī)范漢字及其字形；另一種是國家還沒有制定、頒布規(guī)范或標(biāo)準(zhǔn)，而是見于各權(quán)威工具書、并被廣泛認(rèn)可的研究成果，比如除《普通話異讀詞審音表》所涉及的漢字及讀音之外的其他漢字的讀音。課題組最終確定的評分依據(jù)為：字形指漢字的規(guī)范字形，規(guī)范字形的依據(jù)是《現(xiàn)代漢語通用字表》；字音指漢字的普通話讀音，其依據(jù)是《普通話異讀詞審音表》和權(quán)威工具書中漢字的普通話讀音；字義指權(quán)威工具書中漢字在現(xiàn)代漢語中的義項，以及某些字在部分詞語中的特殊用法。依照評分標(biāo)準(zhǔn)判斷應(yīng)試者在每一道試題以及整套試卷上的作答情況，就初步形成了應(yīng)試者在特定試卷上所獲得的原始分?jǐn)?shù)，而對于標(biāo)準(zhǔn)化測試，原始分?jǐn)?shù)并不是足以形成評價的最終分?jǐn)?shù)，因此需要對原始分?jǐn)?shù)按一定規(guī)則進(jìn)行處理，從而產(chǎn)生導(dǎo)出分?jǐn)?shù)。漢字應(yīng)用水平測試采用的導(dǎo)出分?jǐn)?shù)是500分為平均分，滿分為800分。導(dǎo)出分?jǐn)?shù)稱HZC分?jǐn)?shù)。HZC分?jǐn)?shù)是評價應(yīng)試者漢字應(yīng)用水平的主要依據(jù)。此外，考慮到漢字應(yīng)用的現(xiàn)實狀況、常用漢字的數(shù)量及范圍、不同應(yīng)試者個人的語言生活環(huán)境及經(jīng)驗等，為了更切近使用漢字的實際情況，并減少和避免由于個人因素的不確定性對測試結(jié)果產(chǎn)生誤差影響，在用HZC分?jǐn)?shù)確定應(yīng)試者的漢字應(yīng)用水平等級之前，測試大綱又規(guī)定了進(jìn)入等級的標(biāo)準(zhǔn)。這個標(biāo)準(zhǔn)定為：對涉及測試字表甲表范圍的試題，由于所涉及的漢字都是識別率和使用頻率比較高的漢字，作答正確率必須達(dá)到80%（含）以上。滿足此條件后，HZC分?jǐn)?shù)在200分（含）至500分（不含）之間的，漢字應(yīng)用水平評定為三級；HZC分?jǐn)?shù)在500分（含）至600分（不含）之間的，漢字應(yīng)用水平評定為二級；HZC分?jǐn)?shù)達(dá)到600分（含）以上的，漢字應(yīng)用水平評定為一級。這里需要說明的是，80%的作答正確率指的是如果把涉及測試字表甲表的所有內(nèi)容都編制成試題，那么作答正確率應(yīng)當(dāng)達(dá)到80%，但是具體到每一套試卷，都是在全部測試內(nèi)容中進(jìn)行抽樣的結(jié)果，是一個具有一定代表性的樣本，這個樣本與全部測試內(nèi)容的總體存在著一定的對應(yīng)關(guān)系，因此首先要控制不同試卷之間總體質(zhì)量的平衡，其次也要按照每一套試卷的特殊性，對測試結(jié)果進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換的目的是求出每套試卷的作答正確率和總體作答正確率之間的對應(yīng)關(guān)系，確定試卷作答正確率中的哪一點，投射到總體作答正確率中相當(dāng)于80%。所以說80%的作答正確率是一種轉(zhuǎn)換后的結(jié)果。最后，測試大綱還明確了測試的操作流程及備考要點，以便測試的使用者了解這項測試的相關(guān)信息。

四、研制漢字應(yīng)用水平測試詞語表、試題、試卷和題庫等

漢字測試既針對漢字本身的屬性，也針對漢字的使用情況，比如字形問題，既有筆畫、偏旁和結(jié)構(gòu)等方面的對錯問題，也有具體使用中的正誤問題，最明顯的例子就是錯字和別字。因此，衡量人使用漢字的正確程度和準(zhǔn)確程度，既要針對單個的漢字，也要針對具體使用環(huán)境中的用字。課題組根據(jù)測試的目的、性質(zhì)、需求等，同時參照詞頻統(tǒng)計數(shù)據(jù)和若干種權(quán)威工具書，以及一些關(guān)于成語、固定表達(dá)形式等材料，按照規(guī)范性、系統(tǒng)性原則，經(jīng)過反復(fù)篩選、整理，確定了作為漢字使用環(huán)境及試題范圍的參考詞語46000余條，編制成《漢字應(yīng)用水平測試詞語表》列為附錄B（資料性附錄）。除了使用環(huán)境的依托問題，漢字測試的本質(zhì)還是要圍繞漢字本身的形音義等屬性。因此，課題組對漢字的形、音、義做了適用于測試的梳理，比如易錯易混的筆畫、部件、結(jié)構(gòu)及整字，多音字的若干讀音，漢字的現(xiàn)代漢語義項等。以漢字的讀音為例，經(jīng)過反復(fù)討論修改，考核的要點最終落實為由于多音混淆而產(chǎn)生的錯誤，如揣度、提防、屏棄等；常見的讀音錯誤，如緘、訕、熾等；不常用字的讀音錯誤，如秈、膪、莠，等等。在編制試題過程中，課題組逐漸認(rèn)識到，漢字測試具有非常明顯的特殊性，其中最突出的例子是相同類型、同一內(nèi)容范疇的試題，其答案具有可組合性，例如：在詞語中判斷用字是否正確的四選一試題，如果確定在一份試卷中可以容納10個題目，那么40個答案則可組合出91390道試題；而這些試題再以10個一組滿足試卷需求，則會形成一個更可觀的數(shù)量。當(dāng)然，這里面還有兩個問題需要解決：第一，因為有些相同的答案出現(xiàn)在不同的試題中，從而可能導(dǎo)致同一份試卷中出現(xiàn)相同的項目，這就需要有查重的篩選機(jī)制，當(dāng)然這類篩選性程序就涉及到試題的指標(biāo)標(biāo)注、題庫管理及拼卷程序等問題了；第二，這40個答案所有可能的組合雖然能夠生成數(shù)量巨大的試題，但是，對標(biāo)準(zhǔn)化測試來說，每一道試題都是獨立的，在正式使用前都要經(jīng)過試測的檢驗，都需要標(biāo)注相關(guān)的指標(biāo)，以備拼合試卷時使用。為檢驗試題試卷的質(zhì)量，獲取有關(guān)數(shù)據(jù)，課題組先后兩次抽取具有一定代表性的樣本數(shù)千名，進(jìn)行了模擬實測。試測數(shù)據(jù)提供了非常必要的和重要的信息，其中一些主要信息如下：第一，根據(jù)預(yù)期分別代表漢字應(yīng)用水平初、中、高三種程度的受測群體，在識字量調(diào)查（在字表上標(biāo)出認(rèn)識的字）和試測中的表現(xiàn)相關(guān)程度很高，三種人群識字量和試測得分的排序完全一致，調(diào)查結(jié)果進(jìn)一步驗證了此前做過的同類調(diào)查，試測得分組間差異顯著，表明測驗的效度較高；第二，整份試卷難易度適中，總體上稍稍偏低；第三，占總題量93%強(qiáng)的試題，鑒別度參數(shù)在可接受范圍，表明絕大多數(shù)試題具有較好的鑒別作用；第四，選擇判斷試題與書寫試題經(jīng)因素分析，表明所考查的不是同一種能力，這也證實了漢字應(yīng)用的綜合性，要求各項能力均衡發(fā)展，不可偏廢，特別是漢字應(yīng)用水平測試更不能顧此失彼；第五，根據(jù)試題貢獻(xiàn)率指標(biāo)，可以看出題量不必太大，這個結(jié)果與此前一些專家的建議基本吻合，因此，兩次試測題量雖然分別為200和170，但實測題量最終確定為130。實測結(jié)果也為等級標(biāo)準(zhǔn)和應(yīng)試人測驗得分的對應(yīng)關(guān)系提供了重要參考。實測結(jié)果表明：根據(jù)預(yù)期分別代表漢字應(yīng)用水平初、中、高三種程度的受測群體，對占總題量70%涉及測試字表甲表內(nèi)容的試題，按照試題的能力參數(shù)和特征參數(shù)，經(jīng)轉(zhuǎn)換后，作答正確率達(dá)到或超過80%的人分別占該受測人群總體的80.1%、82.5%和84.3%；三種程度的受測群體在這部分測試內(nèi)容上的平均答對率分別為80.5%、81.7%和89.6%。代表漢字應(yīng)用水平初、中程度的受測群體，雖然在平均答對率上差異不顯著，但是所答對的試題質(zhì)量上卻有顯著差異，因此獲得的HZC分?jǐn)?shù)也有顯著差異。實測結(jié)果除了滿足試題、試卷的需求外，對于題庫建設(shè)更具有非常重要的作用，因為根據(jù)實測數(shù)據(jù)，可以量化試題的各項指標(biāo)，而這些指標(biāo)是判斷試題是否可以進(jìn)入題庫的重要依據(jù)，同時也是計算機(jī)生成試卷的必要條件。給試題標(biāo)注各項指標(biāo)，涉及到題庫的管理系統(tǒng)和運行系統(tǒng)。根據(jù)漢字應(yīng)用水平測試的特殊性和題庫建設(shè)的最新研究成果及其發(fā)展趨勢，課題組采用項目反應(yīng)理論（IRT）作試題分析和題庫建設(shè)的基礎(chǔ)；與此同時，題庫還劃分字形、字音、字義和綜合運用幾個部分，構(gòu)建板塊框架，進(jìn)行板塊管理，每一個進(jìn)入題庫的試題都要標(biāo)注所要考查的方面，并且標(biāo)注作為考點的字屬于測試字表中的哪一級，以此滿足試卷各部分按一定比例進(jìn)行拼合的需求；最后，題庫的運行系統(tǒng)中，還要包括查重、篩選的過濾程序，避免考點重復(fù)，尤其是涉及字形判斷、書寫方面的試題，不能在考查其他任何方面的試題中出現(xiàn)。

五、有待進(jìn)一步研究解決的幾個主要問題

從2002年底到現(xiàn)在，漢字應(yīng)用水平測試的主體框架已經(jīng)初現(xiàn)端倪，基本上能夠滿足實測的需求了，課題組感謝各方面的專家和同行在項目進(jìn)行過程中所給予的支持和幫助，并將不斷改進(jìn)和完善測試框架和系統(tǒng)，以滿足社會的需求。在今后幾年時間里，還有一些問題需要繼續(xù)探索和研究。第一是根據(jù)國家語言文字政策、語言文字規(guī)范和標(biāo)準(zhǔn)的發(fā)展對測試的有關(guān)內(nèi)容適時進(jìn)行調(diào)整。第二是適應(yīng)社會語文生活發(fā)展、變化的現(xiàn)實，處理好漢字應(yīng)用水平測試的相關(guān)內(nèi)容。第三是測