國家語委語料庫

國家語委語料庫現(xiàn)代漢語通用平衡語料庫8800萬字語料4500萬字標(biāo)注語料庫(詞語切分詞類標(biāo)注)句法樹庫國家語委語料庫的管理由國家語委授權(quán)語言文字應(yīng)用研究所負(fù)責(zé)國家語委語料庫建設(shè)

1991年12月國家語委語言文字應(yīng)用管理司提出立項建議1992年4月國家語委語言文字應(yīng)用管理司在京組織召開了現(xiàn)代漢語語料庫選材原則專家論證會1993年1月制訂《現(xiàn)代漢語語料庫選材原則》1993年9月召開了現(xiàn)代漢語語料庫選材專家審定會2001年底建成7000萬字的生語料庫2003年底已完成4500萬字語料的詞語切分和詞性標(biāo)注加工現(xiàn)代漢語語料庫的主要用途及選材規(guī)模主要用途語言文字的信息處理語言文字規(guī)范和標(biāo)準(zhǔn)的制定語言文字的學(xué)術(shù)研究語文教育語言文字的社會應(yīng)用選材規(guī)模規(guī)模較大的通用語料庫，其選材字?jǐn)?shù)擬定在5000萬字左右，包括抽樣材料和整篇材料。教材字?jǐn)?shù)另計。選材的分類

依據(jù)材料內(nèi)容，選材大體作如下分類：教材大中小學(xué)教材單作一類，約2000萬字。不計入5000萬字的語料之內(nèi)。人文與社會科學(xué)的語言材料，包括：政法（含哲學(xué)、政治、宗教、法律等）；歷史（含民族等）社會（含社會學(xué)、心理、語言、教育、文藝?yán)碚?、新聞學(xué)、民俗學(xué)等）；經(jīng)濟；藝術(shù)（含音樂、美術(shù)、舞蹈、戲劇等）；文學(xué)（含口語）；軍體；生活（含衣食住行等方面的普及讀物）。自然科學(xué)（含農(nóng)業(yè)、醫(yī)學(xué)、工程與技術(shù)）報刊應(yīng)用文3．選材年限及密度教材類選取現(xiàn)在通用的教材為建庫的語言材料。中小學(xué)課本所選內(nèi)容涉及各個學(xué)科的基本知識，一般為典范的現(xiàn)代漢語作品，具有相當(dāng)?shù)钠占靶?、代表性。人文與社會科學(xué)類以1919年為上限，選取五四以來的語言材料。對五四以來各個歷史時期的語料采取不等密度選用的方式。1919——1925年 鑒于五四時期的白話文仍留有文言痕跡，擬選用少量的對后世影響較大的代表性作品。被選用的作品在行文上要盡量符合現(xiàn)代漢語的規(guī)范。這部分語料擬占人文與社會科學(xué)類的5%。1926——1949年 白話文逐步脫離文言痕跡，現(xiàn)代漢語日趨成熟的時期。這部分語料擬占人文與社會科學(xué)類的15%。1950——1965年 中華人民共和國的成立給社會文化生活帶來巨大變化，新詞新語大量涌現(xiàn)。這部分語料擬占人文與社會科學(xué)類的25%。1966——1976年 文化大革命時期產(chǎn)生的作品，其中許多隨著文革的結(jié)束而僅作為歷史詞語存于現(xiàn)代漢語之中。這部分語料擬占人文與社會科學(xué)類的5%。1977—— 新時期的語料代表了現(xiàn)代漢語的最新發(fā)展。這部分語料擬占人文與社會科學(xué)類的50%。自然科學(xué)（含農(nóng)業(yè)、醫(yī)學(xué)、工程與技術(shù)）類目前比較通用的中、小學(xué)各科教材。目前比較通用的具有通論性質(zhì)的大學(xué)各科基礎(chǔ)必修課程的教材。涉及自然科學(xué)各個門類的科普讀物?，F(xiàn)代漢語語料庫選材字?jǐn)?shù)的分布人文與社會科學(xué)的語言材料占全部5000萬字語料的60%，為3000萬字。這3000萬字在各個學(xué)科的分布見表一。文學(xué)的語言材料占人文與社會科學(xué)類的50%，共1500萬字。這1500萬字在不同體裁、題材的語料的分布見表二。長、中、短篇小說的選取比例大致為：長：中：短=1：2：3語料的通用性原則和描述性原則語料的通用性原則作為通用型語料庫，現(xiàn)代漢語語料庫應(yīng)真實地反映現(xiàn)代漢語在文字、詞匯、語法、語義等方面的全貌?，F(xiàn)代漢語語料庫在語料的選擇上，應(yīng)當(dāng)具有區(qū)別性特征。有別于專業(yè)性。有別于地域性。有別于純口語性。為確保5000萬字語料的質(zhì)量，盡可能地提高所選語料在采字、采詞、采句和采義等方面的涵蓋量，選材不僅要考慮到語料的時間層次、文化層次和社會使用面層次，還應(yīng)采取“抓住中心，其他補充”的方式。時間層次。文化層次。以具有高中文化程度的人能夠閱讀的語料為主，其他文化程度為輔。社會使用面層次。以社會使用面較為廣泛的語料為主，其他語料為輔進行補充；以人文與社會科學(xué)為主，自然科學(xué)為輔；以門類為主，以語體為輔，對門類進行補充。語料的描述性原則從現(xiàn)代漢語語料庫建設(shè)的主要用途出發(fā)，語料應(yīng)在必要的人工干預(yù)的前提下，做描述性選取，以便為語言文字的規(guī)范與科研提供客觀的科學(xué)依據(jù)。為了保證現(xiàn)代漢語的字、詞、句、義在語料中具有合理的出現(xiàn)頻率，語料的選擇應(yīng)在控制比例的前提下，盡量做到采樣廣泛。樣本原則

語言材料的多樣性選用政論性文章、新聞報道、各類文學(xué)藝術(shù)作品、科普讀物、通俗讀物、學(xué)術(shù)專論及各種應(yīng)用文語體等現(xiàn)代漢語作品。語言材料的完整性

2000字以下的文章原則上全篇采用。報紙可采取整篇文章、整版和整張相結(jié)合的方式。語言材料的遍歷性選材要注意各學(xué)科，各學(xué)科分支，各行各業(yè)，以及社會生活各個領(lǐng)域的語言文字應(yīng)用的代表性。語料抽樣抽樣的數(shù)量與方式書籍抽樣數(shù)量一般占全書字?jǐn)?shù)的3——5%，字?jǐn)?shù)最多不超過10000字。樣本容量2000字，允許±500字的伸縮。報紙采用整版（4版或8版）選用的方式。不同的報紙選用不同的月份，以免內(nèi)容重復(fù)。報紙上的廣告、啟事等歸在應(yīng)用文類，不在報刊類語料的統(tǒng)計之列?？锩勘究锷纤x的總字?jǐn)?shù)原則上不超過5000字。樣本容量2000字，允許±500字的伸縮。對同一版面的不同文章，按從上至下、從左到右的順序選取。一個樣本必為同一作者的同一篇文章，限字?jǐn)?shù)不限樣本數(shù)（報刊除外）。每個樣本之中必為連續(xù)的語料內(nèi)容。應(yīng)用文（包括廣告、說明書等）2000字以內(nèi)的應(yīng)用文宜整篇選用。對于篇幅較長的應(yīng)用文，所選樣本的容量為2000字，允許±500字的伸縮。補充以上有關(guān)選材年限及密度的規(guī)定是著眼于科學(xué)的整體發(fā)展而制定的。各個學(xué)科的發(fā)展在不同的年代并不是齊頭并進的，可根據(jù)具體情況適當(dāng)調(diào)整依年限分布的比例、字?jǐn)?shù)。調(diào)整的理由、調(diào)整后的比例和字?jǐn)?shù)當(dāng)詳細(xì)說明，并作為附件收于清單之后。大學(xué)教材門類以國家規(guī)定的大學(xué)基礎(chǔ)必修課為準(zhǔn)。避免選取文言色彩較重的篇章作語料，例如魯迅等作家的作品不宜用作語料。避免選取詩歌作語料；剔除篇章中詩歌形式的內(nèi)容。設(shè)計樣本分布表一：人文與社會科學(xué)類科

目比

例字?jǐn)?shù)1919-19251926-19491950-19651966-19761977-5%15%25%5%50%哲學(xué)8.3%25012.537.562.512.5125歷史8.3%25012.537.562.512.5125社會8.3%25012.537.562.512.5125經(jīng)濟8.3%25012.537.562.512.5125藝術(shù)8.3%25012.537.562.512.5125文學(xué)50%15007522537575750其他8.3%25012.537.562.512.5125設(shè)計樣本分布表二：文學(xué)類（含口語）體題裁材比例1919-19251926-19491950-19651966-19761977-5%15%25%5%50%小說30%45022.567.5112.522.5225散文（雜文）20%30015457515150傳記10%1501522.537.51575報告文學(xué)10%150

50

100科幻10%150

50

100口語20%300154575151501993年1月制訂《現(xiàn)代漢語語料庫選材原則》具體選材任務(wù)分別由中國社會科學(xué)院語言所、北京師范大學(xué)中文系和中國人民大學(xué)中文系三個課題組承擔(dān)。選材工作自1992年底開始，按照通用性、描述性、實用性等原則系統(tǒng)地抽樣選擇了1919-1992年的現(xiàn)代漢語語言材料7000萬字，由人文與社會科學(xué)、自然科學(xué)及綜合三個大類約40個小類組成。1.人文與社會科學(xué)類劃分為8個大類和30個小類：（1）政法：哲學(xué)、政治、宗教、法律；（2）歷史：歷史、考古、民族；（3）社會：社會學(xué)、心理、語言文字、教育、文藝?yán)碚摗⑿侣?、民俗；?）經(jīng)濟：工業(yè)經(jīng)濟、農(nóng)業(yè)經(jīng)濟、政治經(jīng)濟、財貿(mào)經(jīng)濟；（5）藝術(shù)：音樂、美術(shù)、舞蹈、戲??；（6）文學(xué)：小說、散文、傳記、報告文學(xué)、科幻、口語；（7）軍體：軍事、體育；（8）生活。2.自然科學(xué)劃分為6類：數(shù)理、生化、天文地理、海洋氣象、農(nóng)林、醫(yī)藥衛(wèi)生。3.綜合類語料由應(yīng)用文和難于歸類的其他語料兩部分組成。應(yīng)用文使用很廣泛，主要涉及以下6類：（1）行政公文：請示、報告、批復(fù)、命令、指示、布告、紀(jì)要、通知等；（2）章程法規(guī)：章程、條例、細(xì)則、制度、公約、辦法、法律條文等；（3）司法文書：訴訟、辯護詞、控告信、委托書等；（4）商業(yè)文告：說明、廣告、調(diào)查報告、經(jīng)濟合同等；（5）禮儀辭令：歡迎詞、賀電、訃告、唁電、慰問信、祝酒詞等；（6）實用文書：請假條、檢討、申請書、請愿書等。語料來源包括教材、報紙、綜合性刊物、專業(yè)刊物、圖書等。每個樣本的容量為2000字左右，書籍的抽樣字?jǐn)?shù)一般占全書總字?jǐn)?shù)的3-5%，最多不超過10000字；每本刊物上所選的總字?jǐn)?shù)原則上不超過5000字。各類語料所占比例如下：

人文與社會科學(xué)類語料占語料總量的59.6%，自然科學(xué)類語料占語料總量的17.24%，綜合類語料占語料總量的9.36%，取材于報紙的語料，難于劃分門類和語體，因此單獨計算，報紙語料占語料總量的13.79%。另外，取材于教材的語料總量有2000萬字，已經(jīng)按學(xué)科計入各類語料。當(dāng)前語料庫樣本分布-類別當(dāng)前語料庫樣本分布-