非結(jié)構(gòu)化數(shù)據(jù)存儲解決方案

1、1 .非結(jié)構(gòu)化數(shù)據(jù)存儲非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)文件存取統(tǒng)一接匚HadoopHDFSHBase在上圖中，描述了非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)的基本組成部分，其中：1 .文件存取統(tǒng)一接口，封裝了對數(shù)據(jù)中心所以非結(jié)構(gòu)化數(shù)據(jù)的讀寫操作接口。2. HadoopHDFS負(fù)責(zé)對大文件的存儲，以HDFS:為文件協(xié)議標(biāo)準(zhǔn)3. HBase通過維護(hù)一張文件表完成對小文件的存儲，以HBase:為文件協(xié)議標(biāo)識1.1 文件存取統(tǒng)一接口1.1.1 文件存儲接口對文件進(jìn)行存儲前，接口根據(jù)文件的大小和HDFS文件分塊的配置大小進(jìn)行比較，當(dāng)文件超過設(shè)定大小時(shí)，接口認(rèn)為該文件是大文件，直接分配到HDFS文件存儲接口進(jìn)行寫入；否則當(dāng)文件小與塊大小

2、時(shí)，根據(jù)系統(tǒng)維護(hù)的Hbase小文件存儲通用存儲表進(jìn)行存儲管理。文件存儲接口周和療件在儲播口發(fā)幅由建工El M存陞持二口方一牛乎行健去直ies麻部明。藏陰友計(jì)用據(jù)世禹Ji性生成皿f赤儡路柱.生財(cái)仲臉嬲m1B轆贏哀悻茗粗文件該Jr丁 .匚 1T. -J, rr1_t r返回必/存儲躇往L返回交并存情路程pE-u-Tr'*"=1 .對直接存儲到HDFS的文件，則文件路徑以HDFS為中心存儲文件協(xié)議頭，文件路徑則根據(jù)該文件的業(yè)務(wù)屬性做完文件的路徑，文件名稱保留原有名稱，例如：HDFS:/aaa/bbb.zip2 .對通過Hbase管理的小文件，則文件路徑以HBASE為中心存儲文件協(xié)議

3、頭，文件路徑不需要分文件夾，直接以文件的唯一標(biāo)識標(biāo)識即可，例如：HBASE:/uuid1.1.2文件讀取接口文件讀取時(shí)，通過識別URL ,確定文件的存儲方式，然后找到對應(yīng)的存儲接口獲取文件。文件讀即接口發(fā)起舂;讀里文件(XBASE：/八bbbrA識別文件存儲方式苣助丁律返回文件調(diào)回文件1.1 HadoopHDFS存儲接口完成大文件的存儲與讀取接口操作O1.2 Hbase存儲接口文件通用存儲表結(jié)構(gòu):管理表文件唯一標(biāo)識varohar(32)<pk>支佯存儲方式varchar(1)文件名稱varchar(200)文件大小number(18)文件二進(jìn)制流binary表存在兩個(gè)列簇，defa

4、ult列簇負(fù)責(zé)存儲基礎(chǔ)屬性信息，用一個(gè)單獨(dú)的列簇存儲圖片內(nèi)容。HBase是采用面向列的存儲模型，按列簇來存儲和處理數(shù)據(jù)，即同一列簇的數(shù)據(jù)會連續(xù)存儲。HBase在存儲每個(gè)列簇時(shí)，會以Key-Value的方式來存儲每行單元格(Cell)中的數(shù)據(jù)，形成若干數(shù)據(jù)塊，然后把數(shù)據(jù)塊保存到HFile中，最后把HFile保存到后臺的HDFS上。由于用單元格(Cell)存儲圖片小文件的內(nèi)容，上述存儲數(shù)據(jù)的過程實(shí)際上隱含了把圖片小文件打包的過程。默認(rèn)情況下，HBase數(shù)據(jù)塊限制為64KB。由于圖片內(nèi)容作為單元格(Cell)的值保存，其大小受制于數(shù)據(jù)塊的大小。在應(yīng)用中需根據(jù)最大圖片大小對HBase數(shù)據(jù)塊大小進(jìn)行修改。具體修改方法是在表創(chuàng)建時(shí),分列簇指定，具體配置如下圖：用HColumnD