常用語(yǔ)料庫(kù)軟件的應(yīng)用上海暑期語(yǔ)料庫(kù)研討會(huì)

1、雙語(yǔ)語(yǔ)料庫(kù) 常用建庫(kù)及檢索軟件的應(yīng)用常用建庫(kù)及檢索軟件的應(yīng)用上海交大語(yǔ)料庫(kù)翻譯學(xué)暑期講習(xí)班7.11-12, 2012CONTENTSn語(yǔ)料庫(kù)的基本特征n語(yǔ)料抽樣：理論與抽樣操作n語(yǔ)料文本的基本處理：主要處理方式和實(shí)現(xiàn)方式n雙語(yǔ)語(yǔ)料的對(duì)齊：方式和方法n語(yǔ)料檢索：基本檢索和高級(jí)檢索(普通、正則和term list)n雙語(yǔ)語(yǔ)料檢索：基本檢索和高級(jí)檢索n語(yǔ)料數(shù)據(jù)后續(xù)處理：z-score; log-likelihood; factor analysis; correlation; keynessn微型教學(xué)語(yǔ)料庫(kù)的創(chuàng)建和使用n翻譯課堂教學(xué)用雙語(yǔ)語(yǔ)料的制作和應(yīng)用語(yǔ)料庫(kù)的基本特征-1nComputer-rea

2、dable: txt, xml, html, doc, pdfnConsistency: nhis mother; his mother; hisnmothernAnnotation: n我們_r; 我們/r; 我們; 我們nHeader: n有關(guān)文本的元信息，涉及文本的作者、文體、出版時(shí)間等nChineseEnglishMeiGuoShiWeiYeChou13GShangwuyinshuguan1929B23052n相對(duì)完整的語(yǔ)料文件范本語(yǔ)料庫(kù)的基本特征-2n語(yǔ)料庫(kù)可以視為結(jié)構(gòu)合理的語(yǔ)料文件的集合。往往以數(shù)據(jù)庫(kù)形式存在（如文件夾）。這是語(yǔ)料庫(kù)建庫(kù)工作中最重要的部分，也是最耗時(shí)費(fèi)力的部分。n語(yǔ)

3、料數(shù)據(jù)庫(kù)建成之后，就可以從庫(kù)中提取信息，稱(chēng)為檢索。檢索效果高低要看能否充分運(yùn)用檢索手段，但最終依賴(lài)語(yǔ)料庫(kù)本身能提供多少可能性。n檢索結(jié)果的處理需要技巧，事關(guān)處理的質(zhì)量和效率。語(yǔ)料抽樣：理論與抽樣操作n有代表性、結(jié)構(gòu)合理的語(yǔ)料文本集合，但不是任意搜集的文本數(shù)據(jù)庫(kù)，也不是越大越好，而是“finite-sized body of machine-readable text”，語(yǔ)料庫(kù)通常有抽樣框架。一般說(shuō)來(lái)，處于研究的需要，語(yǔ)料宜盡量平衡，這樣就不能照單全收，需要考慮從中抽取一部分。抽取多少，如何抽取，這個(gè)問(wèn)題可以說(shuō)眾說(shuō)紛紜。nBrown/LOB：分層抽樣，大小一致；分層抽樣如文學(xué)中小說(shuō)占35%，散文

4、占8%，戲劇占2%。2nd generation corpora: The Corpus di Italiano Scritto nBNC：大小不一（max：40，000 words）；25%/75%（lit./inf.）nENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 19751995n抽樣字?jǐn)?shù)及分配 語(yǔ)料取樣計(jì)算語(yǔ)料文本的基本處理：主要處理方

5、式-1n語(yǔ)料的最常用存儲(chǔ)方式是純文本，純文本顧名思義就是只有文字，不支持任何其他字符格式，如粗體、斜體、下劃線(xiàn)、表格框，等等。語(yǔ)料以這種方式存儲(chǔ)占用空間極小，且?guī)缀跛袡z索軟件都支持。n將語(yǔ)料以這種方式存儲(chǔ)只是檢索的操作，更重要的是讓存儲(chǔ)的文本內(nèi)容規(guī)范，格式盡量一致，而且沒(méi)有亂碼，不必要的空格和軟回車(chē)、硬回車(chē)，等等文本噪音。要做到這些，就需要對(duì)語(yǔ)料進(jìn)行按部就班的處理。使用Microsoft Word可以對(duì)文本進(jìn)行處理。語(yǔ)料文本的基本處理：主要處理方式-2nWord中的替換、Macro的使用n其他語(yǔ)料文本處理工具的使用（Editplus）語(yǔ)料文本的基本處理：主要處理方式-3n規(guī)范語(yǔ)料文件的生成：

6、無(wú)噪音、符合預(yù)期的加工規(guī)范（標(biāo)記充分）。nHeadern|nPOSn存儲(chǔ)格式（txt|xml）n輔助軟件的使用：通常會(huì)包含包含文本除噪程序的headadder，txtmarker。其實(shí)除噪是執(zhí)行一些替換性的操作（see next slide）語(yǔ)料文本的基本處理：主要處理方式-4n$line=s/sn/n/g; #matching and replacing alln$line=s/(.)n/$1 /g; #matching and replacing alln$line=s/rn/#/g; #matching and replacing alln$line=s/*/g; #matching a

7、nd replacing alln$line=s/s*$/g; #matching and replacing alln$line=s/s0,/s/g; #matching and replacing alln$line=s/sn/n/g; #matching and replacing alln$line=s/Zn/#/g; #matching and replacing alln$line=s/ +/ /g; #replace more whitespaces with just onen$line=s/s+(#2,)/$1/g; #matching and replacing all語(yǔ)料

8、文本的基本處理：主要處理方式-5n添加metadata后的語(yǔ)料樣態(tài)語(yǔ)料文本的基本處理：主要處理方式-6雙語(yǔ)語(yǔ)料的對(duì)齊：方式和方法-1n對(duì)齊就是源文和譯文對(duì)應(yīng)。翻譯語(yǔ)料的主要特征是對(duì)齊。n對(duì)齊的語(yǔ)言層級(jí)：n段對(duì)齊n句對(duì)齊n段對(duì)齊中的句對(duì)齊n對(duì)齊方式不同，與創(chuàng)建語(yǔ)料庫(kù)的目的有關(guān)。比如，如果僅僅用于輔助翻譯，就可以采用句對(duì)齊。而要用于翻譯研究，就需要考慮段落層面的語(yǔ)言使用信息，如銜接、話(huà)語(yǔ)標(biāo)記等。對(duì)齊軟件有很多，CAT類(lèi)軟件、Paraconc、專(zhuān)門(mén)軟件。雙語(yǔ)語(yǔ)料的對(duì)齊：方式和方法-2n初始對(duì)應(yīng)：源語(yǔ)、目標(biāo)語(yǔ)文本段對(duì)齊，word下完成校對(duì)。這一步最重要。nParaconc可以考慮添加s標(biāo)記。n對(duì)齊：軟

9、件對(duì)齊。如aligner，paraconc；Trados，dejavu，bitext2tmx。前兩者提供段對(duì)齊和句對(duì)齊；后三個(gè)軟件一般只提供句對(duì)齊。語(yǔ)料賦碼nAnnotation, 就是加標(biāo)簽（tagging）.n標(biāo)注的分類(lèi)：自動(dòng)標(biāo)注、人工標(biāo)注；詞性-句法標(biāo)注、功能標(biāo)注；標(biāo)注標(biāo)記_、/、。n人工標(biāo)注主要是指功能性標(biāo)注，如語(yǔ)義標(biāo)注、翻譯手段的標(biāo)注，以及為滿(mǎn)足特定研究目的進(jìn)行的附碼如話(huà)輪、間接、直接言語(yǔ)行為，等等。從一定意義上說(shuō)，人工標(biāo)注涉及更深語(yǔ)言層面，標(biāo)注充分對(duì)于研究自然更有意義。n自動(dòng)標(biāo)注主要包含詞性標(biāo)注和句法標(biāo)注，可以通過(guò)軟件來(lái)實(shí)現(xiàn)。語(yǔ)料編碼、存儲(chǔ)格式n使用text文本時(shí)，缺省編碼為ANS

10、I。用于WordSmith用的語(yǔ)料文本一般應(yīng)為unicode。許多軟件如Antconc等支持utf-8編碼，這種編碼各種語(yǔ)言通用，最不易出現(xiàn)亂碼。實(shí)現(xiàn)方式：txt文本，另存為，“編碼”對(duì)話(huà)框中選擇utf-8即可。n存儲(chǔ)方式n語(yǔ)料數(shù)據(jù)文件最好能在不同的檢索程序上通用，甚至可以在一些現(xiàn)成的管理程序如excel上執(zhí)行數(shù)據(jù)信息的計(jì)算，分析和管理。要實(shí)現(xiàn)這樣的功能，簡(jiǎn)單存儲(chǔ)為txt文本顯然不能滿(mǎn)足以上要求。這時(shí)就需要一種比較完整地?cái)?shù)據(jù)存儲(chǔ)方式xml。n可擴(kuò)展標(biāo)記語(yǔ)言 (Extensible Markup Language) 可以用來(lái)標(biāo)記電子文件，標(biāo)記后的文件有結(jié)構(gòu)性的標(biāo)記語(yǔ)言。既然標(biāo)記數(shù)據(jù)就可以通過(guò)標(biāo)記

11、定義數(shù)據(jù)的類(lèi)型，而且標(biāo)記可以根據(jù)我們自己的需要自行定義，合乎語(yǔ)法就行。Xml生成語(yǔ)料檢索：基本檢索和高級(jí)檢索-1n檢索與語(yǔ)言使用的范疇、特征n曲折變化：move, moves, moving, movedn派生：move, movementn詞性：move(v.), wove(n.)； in, at, on, over, upon, fromn人稱(chēng)：I, me, we, usn短語(yǔ)、組合能產(chǎn)：a lot of, a part of, a cup of, a piece ofn結(jié)構(gòu)能產(chǎn)：give me a book; send his father a messagen V NP NP ; V

12、NP NPn語(yǔ)言使用的特征決定了檢索不太可能是token，許多情況下要檢索到type，或者需要詞性線(xiàn)索。語(yǔ)料檢索：基本檢索和高級(jí)檢索-2n檢索語(yǔ)種數(shù)量n主要的單語(yǔ)檢索軟件：Wordsmith， Monoconc，Antconcn雙語(yǔ)檢索：Paraconc， CAT，自行設(shè)計(jì)的檢索軟件（歷時(shí)語(yǔ)料檢索）n基本檢索n以Antconc為例實(shí)施檢索。基本檢索包含token檢索和wild card檢索，檢索前先要熟悉語(yǔ)料的存儲(chǔ)方式。n高級(jí)檢索nAntconc中的單語(yǔ)高級(jí)檢索：正則表達(dá)式檢索，使用正則表達(dá)式的term list檢索。雙語(yǔ)語(yǔ)料檢索：基本檢索和高級(jí)檢索nParaconc中的雙語(yǔ)高級(jí)檢索：正則表達(dá)

13、式檢索n滿(mǎn)足某些研究需要的正則表達(dá)式檢索：歷時(shí)語(yǔ)料庫(kù)檢索平臺(tái) omegaT檢索語(yǔ)料檢索小結(jié)n正則表達(dá)式的檢索功能有些使用通配符也能做到，但有些則是通配符檢索無(wú)法實(shí)現(xiàn)的。實(shí)際檢索時(shí)發(fā)現(xiàn)，在詞匯層面，漢語(yǔ)的疊詞以及隔詞重復(fù)的精確檢索只能使用正則表達(dá)式，使用通配符也能勉強(qiáng)檢索，但無(wú)法精確檢索；在句子層面，正則表達(dá)式能使準(zhǔn)確的句段長(zhǎng)度檢索和嚴(yán)格的句段內(nèi)部結(jié)構(gòu)檢索成為可能。n正則表達(dá)式的使用看上去有些繁瑣，但只要肯花點(diǎn)時(shí)間熟悉元字符的意義，使用起來(lái)也比較方便，它還有助于提高檢索的準(zhǔn)確性和效率，進(jìn)而提高語(yǔ)言研究的質(zhì)量。語(yǔ)料數(shù)據(jù)的后續(xù)處理-1n語(yǔ)料檢索的目的是發(fā)現(xiàn)問(wèn)題，而語(yǔ)料庫(kù)檢索發(fā)現(xiàn)的問(wèn)題主要表現(xiàn)在頻次、

14、頻率上。語(yǔ)料庫(kù)的這一長(zhǎng)處必須充分發(fā)揮，才稱(chēng)之為語(yǔ)料庫(kù)語(yǔ)言研究。n頻次、頻率典型表達(dá)為數(shù)字，處理數(shù)字問(wèn)題關(guān)系到研究結(jié)論的可信度，需要使用一些處理方法，常用的處理方法有：n頻率對(duì)比：特定的詞、詞叢、詞性賦碼串；使用WS或Antconc中keyness工具對(duì)比詞表、詞叢表n搭配強(qiáng)度計(jì)算：Z-scoren頻率差異顯著性計(jì)算：log-likelihood計(jì)算n一般說(shuō)來(lái)，詞表對(duì)比的結(jié)果可以重新標(biāo)注用于分類(lèi)處理語(yǔ)料數(shù)據(jù)的后續(xù)處理-2n重復(fù)詞項(xiàng)計(jì)算nFacotor analysis (SPSS)nCorrelation analysis (SPSS)平行語(yǔ)料庫(kù)輔助翻譯應(yīng)用n基本思路：已有翻譯為參照，為當(dāng)下翻譯提供參考；建立術(shù)語(yǔ)庫(kù)，使術(shù)語(yǔ)統(tǒng)一成為可能。nCAT的主體部分是TM和Term DatabasenCAT軟件：Trados，Deja vu，雅信，（免費(fèi)）OmegaTnTrados商業(yè)使用最為