談談Python編碼問題和Unicode

1、談談Python編碼問題和Unicodetaochunhuatencentoutline Unicode基礎知識 Python的str和unicode Json編碼工具 實例Unicode Ascii時代 7位，最高位是校驗位 MBCS時代（多字節(jié)字符集） 中文CP963，GBK，GB2312，BIG5 Unicode Unicode16，Unicode32題外話：存在與表示 Big Endian & Little Endian SPARK, x86, ARM Host Byte Order & Network Byte Order htonl, ntohl, htons, n

2、tohs Object Persistence & Serialize MFC, java serialiable interface and persistence api, protobuf Unicode & UTF, UCS Several mechanisms have been specified for implementing Unicode.unicode & utf unicode unicode16, unicode32 Unicode Transformation Format (UTF) UTF16(Big/Little Endian) UTF

3、32(Big/Little Endian) UTF8 變長方案 思考？為什么是變長的？如何實現(xiàn)？Python str & unicode str對象 存儲ascii字符串，以及二進制數(shù)據(jù) unicode對象 存儲unicode字符串，采用的是utf16或utf32 str用來存儲各種utf數(shù)據(jù)，包括gbk等 可以認為：unicode對象是理想的unicode，str是丑陋的現(xiàn)實(各種utf)str與unicode的轉(zhuǎn)化使用時機 拇指定律 IO時用str e.g. network, file read write 內(nèi)部處理時用unicode json encode, string pro

4、cess 例子1.從外部讀入時它是str2.轉(zhuǎn)為unicode進行必要處理3.再轉(zhuǎn)為str輸出demo 體驗demo.pyimport json 我懂了上面說的，為什么json還是搞不定？ 嗯，因為json幫你encode,decode了一些東西 需要仔細閱讀json模塊的文檔 json.dumps(obj, ensure_ascii,encoding.) obj python數(shù)據(jù)結(jié)構(gòu): dic, list . ensure_ascii = True(default) dumps返回一個str ensure_ascii = False dumps返回一個unicode！我們可以進一步對它enc

5、ode encoding 在obj進行轉(zhuǎn)化之前，所有obj中的str會轉(zhuǎn)為unicode，即str.decode(encoding) 默認情況： str - unicode - json(unicode) - str一個默認處理 json.dumps(d, encoding=gbk) 它返回一個str str - unicode - json(unicode) - str str-unicode的decode在 encoding參數(shù)控制 json(unicode) - str 這里的encoding是默認控制的！ 這個默認控制不是encode，而是直接把unicode轉(zhuǎn)義為ascii編碼，這個ascii碼的內(nèi)容是unicode！ 這里應該是個utf8，這個過程是個硬編碼:見lib中encode.py證據(jù) 老白干酒 utf8 : 0 x8001 0 x767D 0 x5E72 0 x9152 gbk : 0 xC0CF 0 xB0D7 0 xB8C9 0 xBEC6JSON本身的規(guī)范和實現(xiàn) 有了以上知識，我們還有可能搞不定特定需求：比如，請給我弄個GKB的字符串！ JSON規(guī)范定義string必須