JAVA及相關(guān)字符集編碼問題研究

1、JAVA及相關(guān)字符集編碼問題研究關(guān)于JAVA學(xué)習(xí)者們，或多或少都會遇到這樣的問題：編碼基本知識，java，系統(tǒng)軟件，url，工具軟件等。下面本文將針對以上幾點(diǎn)問題進(jìn)行描述討論，我們就以“中文”兩個字為例來說明，查找相關(guān)資料可知“中文”的GB2312編碼是“d6d0 cec4”，為Unicode編碼為"4e2d 6587"，UTF編碼就是"e4b8ad e69687"。（注意，“中文”這兩個字沒有iso8859-1編碼，但可以用iso8859-1編碼來"表示"）。一、編碼基本知識：最早的編碼是iso8859-1，和ascii編碼相似。但

2、為了方便表示各種各樣的語言，逐漸出現(xiàn)了很多標(biāo)準(zhǔn)編碼，重要的有如下幾個:1. iso8859-1屬于單字節(jié)編碼，最多能表示的字符范圍是0-255，應(yīng)用于英文系列。比如，字母a的編碼為0x61=97。很明顯，iso8859-1編碼表示的字符范圍很窄，無法表示中文字符。但是，由于是單字節(jié)編碼，和計算機(jī)最基礎(chǔ)的表示單位一致，所以很多時候，仍舊使用iso8859-1編碼來表示。而且在很多協(xié)議上，默認(rèn)使用該編碼。比如，雖然"中文"兩個字不存在iso8859-1編碼，以gb2312編碼為例，應(yīng)該是"d6d0 cec4"兩個字符，使用iso8859-1編碼的時候則將它拆

3、開為4個字節(jié)來表示："d6 d0 ce c4"（事實上，在進(jìn)行存儲的時候，也是以字節(jié)為單位處理的）。而如果是UTF編碼，則是6個字節(jié)"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎(chǔ)。2. GB2312/GBK這就是漢子的國標(biāo)碼，專門用來表示漢字，是雙字節(jié)編碼，而英文字母和iso8859-1一致（兼容iso8859-1編碼）。其中g(shù)bk編碼能夠用來同時表示繁體字和簡體字，而gb2312只能表示簡體字，gbk是兼容gb2312編碼的。3. unicode這是最統(tǒng)一的編碼，可以用來表示所有語言的字符，而且是定長雙字節(jié)（也有四

4、字節(jié)的）編碼，包括英文字母在內(nèi)。所以可以說它是不兼容iso8859-1編碼的，也不兼容任何編碼。不過，相對于iso8859-1編碼來說，uniocode編碼只是在前面增加了一個0字節(jié)，比如字母a為"00 61"。需要說明的是，定長編碼便于計算機(jī)處理（注意GB2312/GBK不是定長編碼），而unicode又可以用來表示所有字符，所以在很多軟件內(nèi)部是使用unicode編碼來處理的，比如java。4. UTF考慮到unicode編碼不兼容iso8859-1編碼，而且容易占用更多的空間：因為對于英文字母，unicode也需要兩個字節(jié)來表示。所以unicode不便于傳輸和存儲。因此

5、而產(chǎn)生了utf編碼，utf編碼兼容iso8859-1編碼，同時也可以用來表示所有語言的字符，不過，utf編碼是不定長編碼，每一個字符的長度從1-6個字節(jié)不等。另外，utf編碼自帶簡單的校驗功能。一般來講，英文字母都是用一個字節(jié)表示，而漢字使用三個字節(jié)。注意，雖然說utf是為了使用更少的空間而使用的，但那只是相對于unicode編碼來說，如果已經(jīng)知道是漢字，則使用GB2312/GBK無疑是最節(jié)省的。不過另一方面，值得說明的是，雖然utf編碼對漢字使用3個字節(jié)，但即使對于漢字網(wǎng)頁，utf編碼也會比unicode編碼節(jié)省，因為網(wǎng)頁中包含了很多的英文字符。二、java對字符的處理在編寫java應(yīng)用程序

6、中，會有多處涉及到字符集編碼，有些地方需要進(jìn)行正確的設(shè)置，有些地方需要進(jìn)行一定程度的處理。1. getBytes(charset)這是java字符串處理的一個標(biāo)準(zhǔn)函數(shù)，其作用是將字符串所表示的字符按照charset編碼，并以字節(jié)方式表示。注意字符串在java內(nèi)存中總是按unicode編碼存儲的。比如"中文"，正常情況下（即沒有錯誤的時候）存儲為"4e2d 6587"，如果charset為"gbk"，則被編碼為"d6d0 cec4"，然后返回字節(jié)"d6 d0 ce c4"。如果charset為&q

7、uot;utf8"則最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1"，則由于無法編碼，最后返回 "3f 3f"（注： "3f 3f"是兩個問號）。2. new String(charset)這是java字符串處理的另一個標(biāo)準(zhǔn)函數(shù)，和上一個函數(shù)的作用相反，將字節(jié)數(shù)組按照charset編碼進(jìn)行組合識別，最后轉(zhuǎn)換為unicode存儲。參考上述getBytes的例子，"gbk" 和"utf8"都可以得出正確的結(jié)果"4e2d 6587&qu

8、ot;，但iso8859-1最后變成了"003f 003f"（兩個問號）。因為utf8可以用來表示/編碼所有字符，所以new String( str.getBytes( "utf8" ), "utf8" ) = str，即完全可逆。3. setCharacterEncoding()該函數(shù)用來設(shè)置http請求或者相應(yīng)的編碼。對于request，是指提交內(nèi)容的編碼，指定后可以通過getParameter()則直接獲得正確的字符串，如果不指定，則默認(rèn)使用iso8859-1編碼，需要進(jìn)一步處理。參見下述"表單輸入"。值得注意的是在執(zhí)行setCharacterEncoding()之前，不能執(zhí)行任何