香港中文大學(xué)圖書(shū)館系統(tǒng)University Library System

1、香港中文大學(xué)圖書(shū)館系統(tǒng)University Library SystemThe Chinese University of Hong Kong香港香港 Innovative 用戶協(xié)會(huì)重訂用戶協(xié)會(huì)重訂單一碼與單一碼與CCCII/EACC對(duì)應(yīng)表對(duì)應(yīng)表 第五屆中國(guó)第五屆中國(guó)INNOPAC用戶協(xié)會(huì)年會(huì)用戶協(xié)會(huì)年會(huì), 2004年11月9-10日 上海華東師范大學(xué)上海華東師范大學(xué)何以業(yè)何以業(yè)2004年11月9日 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)2鳴謝鳴謝重

2、訂工作由 香港Innovative用戶協(xié)會(huì) (Hong Kong Innovative Users Group) 下的單一碼計(jì)劃工作小組 (HKIUG Working Group on Unicode Project) 負(fù)責(zé)。 小組成員館的代表為：林紀(jì)達(dá)先生 (香港科技大學(xué))黃秉杰先生 (香港城市大學(xué))陳偉明先生 (香港大學(xué))何以業(yè) (香港中文大學(xué))以下的報(bào)告內(nèi)容取材自黃秉杰先生與我在2003年12月第4屆 Hong Kong Innovative Users Group Meeting 中的報(bào)告.hk/meetings/am2003/presentatio

3、ns/philip_ho_yee_ip.ppt University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)3報(bào)告梗概報(bào)告梗概1.背景2.難題3.目標(biāo)與方法4.工序5.對(duì) Innovatives 的要求6.尚未解決的問(wèn)題7.用戶注意事項(xiàng)8.將來(lái) University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)41. 背景背景 漢字編碼字符集漢字編碼字符集

4、多種字符集支援中日韓字(CJK)資料來(lái)源: 林紀(jì)達(dá), “Overview of Chinese Character Encoding”, .hk/seminar/unicode/kt_lam_files/frame.htm字符集名稱 (character sets)流行范圍GB (國(guó)標(biāo))中國(guó)BIG5 (大五碼)香港，臺(tái)灣等地CCCII (Chinese Character Code for Information Interchange 中文信息交換碼)圖書(shū)館EACC (East Asian Character Code 東亞字碼)美國(guó)國(guó)會(huì)圖書(shū)館字碼

5、標(biāo)準(zhǔn) (MARC 21 standard) /marc/specifications/specchareacc.htmlUnicode (單一碼)電腦操作系統(tǒng)廣泛采用，e.g.：Windows 2000, XP University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)51. 背景背景 字符集支援范圍字符集支援范圍字符數(shù)碼點(diǎn)版本發(fā)布支援繁簡(jiǎn)連結(jié)特質(zhì)BIG513,05314,7581984繁體無(wú)GB 1803027,0001.6百萬(wàn)200

6、0繁簡(jiǎn)無(wú)CCCII75,684830,5841980繁簡(jiǎn)有EACC15,728830,5841983繁簡(jiǎn)有Unicode82,2701.1百萬(wàn)2000 (v. 3) 繁簡(jiǎn)無(wú) University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)61. 背景背景 (代代) 碼點(diǎn)碼點(diǎn) (code point)同一個(gè)字形，在不同字符集會(huì)使用不同的碼點(diǎn)字符集 余 的碼點(diǎn) 備考BIG5A745GB 180305164CCCII213131276076餘 216076 後4碼連結(jié):余杭餘杭EA

7、CC276076餘 216076 後4碼連結(jié):余杭餘杭Unicode4F59 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)71. 背景 內(nèi)存代碼 (internal code) Innopac 以 EACC/CCCII 形式存儲(chǔ) CJK 字符 Innopac 內(nèi)存代碼不是 Unicode100 1 余秋雨100 1 276076214f29215f51 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大

8、學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)81. 背景 對(duì)應(yīng)表 (mapping table) Innopac 用對(duì)應(yīng)表把內(nèi)存代碼在客戶端與系統(tǒng)之間往來(lái)轉(zhuǎn)換接口(界面)客戶端編碼Innopac內(nèi)存代碼Telnet BIG5WebPAC BIG5BIG5 (大五碼)EACC/CCCIIMilleniumWebPAC UTF-8UTF-8 (單一碼)EACC/CCCII University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)92.

9、難題 (一)復(fù)數(shù)對(duì)應(yīng)難題 1UTF-8對(duì)應(yīng)表 (diac.utf8) 中, 有多個(gè)內(nèi)存代碼對(duì)應(yīng)同一個(gè)客戶端編碼查詢用的代碼不一定是所期望的代碼對(duì)應(yīng)次序各館不同，Z39.50查找結(jié)果不定UTF-8表中 臺(tái) 的復(fù)數(shù)變換EACC - 內(nèi)存代碼Unicode - 客戶端編碼字義283b7d53F0檯的簡(jiǎn)體27605d53F0颱的簡(jiǎn)體21353853F0臺(tái) 本身是正字27542b53F0臺(tái)的簡(jiǎn)體 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)102. 難題 (二)EA

10、CC 與 CCCII 重疊難題 2EACC 與 CCCII 用碼不同， 各館內(nèi)存不一，資料交換帶來(lái)麻煩。EACC/CCCIIBIG5UTF-8 備考余213131 (CCCII)A7454F59獨(dú)立代碼，不與 餘 216076 連結(jié)276076 (EACC)A7454F59與 餘 216076 連結(jié) University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)112. 難題 (三)錯(cuò)誤與缺漏難題 3 UTF8 (Release 2002 Phrase 3) 中有小毛病 錯(cuò)

11、誤 27615F U+53CB 友 該對(duì)應(yīng) U+53D1 發(fā) 缺漏 缺 213F30 U+3007 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)122. 難題 (四)選取不一致難題 4BIG5 和 UTF-8 產(chǎn)生的復(fù)數(shù)對(duì)應(yīng)不一致，香港 Innovative 用戶協(xié)會(huì)決定進(jìn)行此單一碼計(jì)劃：BIG5客戶端 對(duì)應(yīng)表選前一個(gè)對(duì)應(yīng)碼UTF8客戶端 對(duì)應(yīng)表選后頭一個(gè)對(duì)應(yīng)碼 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港

12、中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)132. 難題 (四)選取不一致 (續(xù)) 才 的對(duì)應(yīng)BIG5 (WebPAC 或 Telnet) 對(duì)應(yīng)表選前一個(gè)對(duì)應(yīng)碼內(nèi)存BIG5213f7bA47EBIG5選前一個(gè)28736dA47EUTF-8 (WebPAC 或Millennium) 對(duì)應(yīng)表選后一個(gè)對(duì)應(yīng)碼內(nèi)存UTF-8213f7b624D28736d624D UTF-8選后一個(gè) University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日

13、, 何以業(yè)143. 目標(biāo)與方法 . 香港中文大學(xué)于2003年7月舉行了討論會(huì): .hk/seminar/unicode/單一碼計(jì)劃工作小組 (HKIUG Working Group on Unicode Project) 亦于同年7月成立目標(biāo)1.解決 BIG5 和 UTF-8 選取不一致的難題2.決定對(duì)應(yīng)表中的那些應(yīng)是 一對(duì)一 或是 多對(duì)一3.決定對(duì)應(yīng)表 應(yīng)否只用 純粹 EACC 或是 EACC+CCCII4.清除錯(cuò)誤與缺漏5.為將來(lái)以單一碼為內(nèi)存的資料庫(kù)做好準(zhǔn)備 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館

14、系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)153. 目標(biāo)與方法 (續(xù)) 單一碼計(jì)劃工作小組研究后提出如下方案： 不再修訂 BIG5 對(duì)應(yīng)表 (因?yàn)? 字符集字量少; 只支援繁體字; 復(fù)數(shù)對(duì)應(yīng)太多. 等等) 建議重訂一張新的 UTF-8 對(duì)應(yīng)表 (diac.utf8)EACCUnicode 以美國(guó)國(guó)會(huì)圖書(shū)館MARC 21為標(biāo)準(zhǔn)尾4碼相同者，容許復(fù)數(shù)對(duì)應(yīng)；尾4碼不同者，需決定優(yōu)先選取者；例： 臺(tái) (見(jiàn) 2. 難題1)EACC 與 CCCII 重疊時(shí)，刪除CCCII將館內(nèi)以該CCCII為內(nèi)碼的資料轉(zhuǎn)換為對(duì)應(yīng)的 EACC對(duì)應(yīng)表需包括 純粹CCCI

15、I以照顧不常用字 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)164. 工序 建成 diac.utf8.hkiug 以下部分直接摘用黃秉杰先生在2003年12月第4屆 Hong Kong Innovative Users Group Meeting報(bào)告內(nèi)的Procedures 部分參見(jiàn)：.hk/meetings/am2003/presentations/philip_ho_yee_ip.pptdiac.utf8.hkiu

16、gcreated diac.utf8.hkiugdiac.utf8LC EACC22717EACC/CCCII Subtracted 66 Substitutes for Missing (U+3013)15673EACC7044 pureCCCII+Remapped 287 PUASelected preferences in multi-mapping linked and unlinked casesCorrected LC mappingsprepared list for CCCII to EACC data conversionSubtracted 955 with EACC eq

17、uivalent15739 EACC merged7999 CCCII extracted source from LCMerged tables from LCs EACC to UCS/Unicode Mappings/marc/specifications/specchareacc.html Included pure CCCII from UTF-8 table (Rel 2002 Phase 3)CCCII with no EACC equivalents (pure CCCII)e.g.217455 坓22483E 洣7,044Added to n

18、ew tableCCCII with EACC equivalentse.g.213131 (CCCII) 余276076 (EACC) 余955Excluded from new table.Sent to III for data conversionsource from diac.utf8re-mapped PUARe-mapped 297 Private User Area (PUA) to suggested alternatesSelected preference in multiple mapping EACCMultiple mappingExample# of cases

19、Enhanced indexing?Labeled asPreferenceLinkedsame lower order bytes4B3178 倩213178 倩160(320 char)Yesmulti-mapping linkednot matterUnlinkeddifferent lower order bytes283B7D 臺(tái)27605D 臺(tái)213538 臺(tái)27542B 臺(tái)49(108 char)Nomulti-mapping unlinkedselected case by case (based on HKUST study on word frequency & meani

20、ng)selected preferenceLinked cases: HKIUG preference indicatedselected preference (cont)Selected preference in EACC multiple mapping linkedUnlinked cases: HKIUG preference indicatedselected preference (cont)Selected preference in EACC multiple mapping unlinkedUpdated LC mappings Referenced from othe

21、r sourcesUnihanOCLCUSMARC Character Set for Chinese, Japanese, Korean (printed) Examples:273C67LC mapped to U+E9D8Remapped to U+5E72 (干)4B3C2bLC mapped to U+E9C7Remapped to U+67C3 (柃)updated LC mappingCCCII with EACC Equivalents- for data conversionCCCIIEACClist for conversionPrepared list for data

22、conversion University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)265. 對(duì)對(duì) Innovatives 的要求的要求 .交給交給Innovatives 的的 付項(xiàng)付項(xiàng)1. diac.utf8.hkiug 是 HKIUG 設(shè)定的 EACC/CCCIIUTF-8 對(duì)應(yīng)表EACC 15,673純粹CCCII 7,044合共22,7172. hasEACC.txt CCCII 重疊 EACC 表 (955)3. 單一碼計(jì)劃工作小組的報(bào)告Innovatives 可

23、做的工作可做的工作 (IUG CN可參照實(shí)行可參照實(shí)行)1.為各館的 Innopac 安裝 diac.utf8.hkiug 2.依照 hasEACC.txt 所示, 把圖書(shū)館資料庫(kù)內(nèi)的 CCCII 轉(zhuǎn)換成對(duì)應(yīng)的 EACC (各館可自行轉(zhuǎn)換) University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)276. 尚未解決的問(wèn)題尚未解決的問(wèn)題 LC的錯(cuò)誤美國(guó)國(guó)會(huì)圖書(shū)館 (LC) MARC 21 標(biāo)準(zhǔn)中有一個(gè)錯(cuò)誤 ： 23355CLC MARC21 標(biāo)準(zhǔn)23355C U+86C

24、3蛃USMARC character set for Chinese, Japanese, Korean.Washington, D.C. : Library of Congress, 1986.23355C豣 U+8C63 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)287. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字復(fù)數(shù)對(duì)應(yīng) ： 歷 U+5386請(qǐng)參考香港科技大學(xué)的復(fù)數(shù)對(duì)應(yīng)選擇表: lc-multi-eacc.xls歷21462A歷27462A設(shè)定為優(yōu)先對(duì)

25、應(yīng)歷的簡(jiǎn)體274349設(shè)定為非優(yōu)先對(duì)應(yīng)曆的簡(jiǎn)體曆214349 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)297. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字(續(xù)1)數(shù)據(jù)正確性書(shū)名: 歷法內(nèi)存代碼 備考數(shù)據(jù)正確 ?以字符輸入: 歷27462A與 歷 21462A連結(jié)索引錯(cuò)誤若以代碼輸入: 274349274349與 曆 214349連結(jié)索引正確* 可用附加追尋項(xiàng)，以字符輸入：歷27462A與 歷 21462A連結(jié)索引 University Library Sy

26、stem, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)307. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字(續(xù)2)Millenium editor 暫依 UTF-8 對(duì)應(yīng)表在儲(chǔ)存目錄時(shí)修改內(nèi)碼。這會(huì)使數(shù)據(jù)不正確。此為 Millennium 的軟件缺點(diǎn)，由于目錄從 server 交到 client，在 client 重存時(shí)，內(nèi)存代碼會(huì)依對(duì)應(yīng)表的優(yōu)先對(duì)應(yīng)的規(guī)定來(lái)改碼。如果只是修改 item, checkin, order, global update 等，由于不會(huì)在 client 重存 bib 目錄，內(nèi)存代碼不會(huì)改

27、變。內(nèi)存代碼數(shù)據(jù)正確 ?Telnet 以代碼輸入: 274349274349 正確Millennium中, 不做任何修改，儲(chǔ)存后, 在Telnet 中檢看:27462A 錯(cuò)誤 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)317. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字(續(xù)3)Innovatives 打算在 Sliver version 中修正軟件缺點(diǎn)。非優(yōu)先對(duì)應(yīng)的內(nèi)存代碼，會(huì)在Millenium editor 以字符顯示，而且不會(huì)在重存目錄時(shí)修改內(nèi)碼。內(nèi)存

28、代碼數(shù)據(jù)正確 ?Telnet 以代碼輸入: 274349274349Millennium中, 不作任何修改，儲(chǔ)存后還保留並顯示為:274349 正確 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)327. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字(續(xù)4)暫時(shí)可用 Anzio-Win 作 Telnet client1. 設(shè)定可參考香港中文大學(xué)圖書(shū)館網(wǎng)頁(yè): .hk/cataw/Internet/System_DIY.pdf2. 上述網(wǎng)頁(yè)提到的 CCCII.UNI , 香港中文大學(xué)愿意提供。3. 但 ANZIO-Win 有缺點(diǎn)：CCCII.UNI 為 1 EACC 1 Unicode. 非優(yōu)先對(duì)應(yīng)者，一概不用 University Library System, CUHK 香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港中文大學(xué)大學(xué)圖書(shū)館系統(tǒng)香港 Innopac 用戶協(xié)會(huì)重訂. 2004年11月9日, 何以業(yè)337. 用戶注意事項(xiàng)用戶注意事項(xiàng) 復(fù)數(shù)對(duì)應(yīng)選字(續(xù)5)EACCdiac.utf8.hkiug 資料Webopac / Millennium 顯示Anzio-Win