非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)解決方案

1、1 .非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)文件存取統(tǒng)一接口HadoooHDFSHBase在上圖中，描述了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)的基本組成部分，其中：1. 文件存取統(tǒng)一接口，封裝了對(duì)數(shù)據(jù)中心所以非結(jié)構(gòu)化數(shù)據(jù)的讀寫操作接口。2. HadoopHDFS負(fù)責(zé)對(duì)大文件的存儲(chǔ)，以HDFS:為文件協(xié)議標(biāo)準(zhǔn)3. HBase通過維護(hù)一張文件表完成小文件的存儲(chǔ)，以HBase：為文件協(xié)議標(biāo)識(shí)1.1 文件存取統(tǒng)一接口1.1.1 文件存儲(chǔ)接口對(duì)文件進(jìn)行存儲(chǔ)前，接口根據(jù)文件的大小和HDFS文件分塊的配置大小進(jìn)行比較，當(dāng)文件超過設(shè)定大小時(shí)，接口認(rèn)為該文件是大文件，直接分配到HDFS文件存儲(chǔ)接口進(jìn)行寫入；否則當(dāng)文件小與塊大小時(shí)

2、，根據(jù)系統(tǒng)維護(hù)的Hbase小文件存儲(chǔ)通用存儲(chǔ)表進(jìn)行存儲(chǔ)管理。文件存低接口時(shí)序國IIBzfc存嘴稀口發(fā)牽苜判斷文午的存慚式大文件相提讓分.屬性生成通監(jiān)存儲(chǔ)儲(chǔ)法一士成存儲(chǔ)路徑，保存文件返回通”存楠路徑卜文件生蕨件嚏一標(biāo)識(shí)卬保存標(biāo)詛，文件名稱、文件流返回Hba存儲(chǔ)路役Lzr排叫件存幅接.對(duì)直接存儲(chǔ)到HDFS的文件，則文件路徑以HDFS為中心存儲(chǔ)文件協(xié)議頭，文件路徑則根據(jù)該文件的業(yè)務(wù)屬性做完文件的路徑，文件名稱保留原有名稱，例如：HDFS:/aaa/bbb.zip.對(duì)通過Hbase管理的小文件，則文件路徑以HBASE為中心存儲(chǔ)文件協(xié)議頭，文件路徑不需要分文件夾，直接以文件的唯一標(biāo)識(shí)標(biāo)識(shí)即可，例如：HB

3、ASE:/uuid1.1.2文件讀取接口文件讀取時(shí)，通過識(shí)別URL,確定文件的存儲(chǔ)方式，然后找到對(duì)應(yīng)的存儲(chǔ)接口獲取文件。5加脂存儲(chǔ)掩口讀取文件00蛉E：/s5Ahrip)應(yīng)蔽件存儲(chǔ)方式二I讀取文件返回文件文件讀取接口返回文件HadoopHDFS存儲(chǔ)接口完成大文件的存儲(chǔ)與讀取接口操作。Hbase存儲(chǔ)接口文件通用存儲(chǔ)表結(jié)構(gòu)：Hbas已文件統(tǒng)一管理表文“土唯一標(biāo)識(shí)yarchar(32)<uk>文件存儲(chǔ)方式varchar(l)文件名稱varchar(200)文件大小口皿ber(18)文件二進(jìn)制流binary表存在兩個(gè)列簇，default列簇負(fù)責(zé)存儲(chǔ)基礎(chǔ)屬性信息，用一個(gè)單獨(dú)的列簇存儲(chǔ)圖片內(nèi)容

4、。HBase是采用面向列的存儲(chǔ)模型，按列簇來存儲(chǔ)和處理數(shù)據(jù)，即同一列簇的數(shù)據(jù)會(huì)連續(xù)存儲(chǔ)。HBase在存儲(chǔ)每個(gè)列簇時(shí)，會(huì)以Key-Value的方式來存儲(chǔ)每行單元格(Cell)中的數(shù)據(jù)，形成若干數(shù)據(jù)塊，然后把數(shù)據(jù)塊保存到HFile中，最后把HFile保存到后臺(tái)的HDFS上。由于用單元格(Cell)存儲(chǔ)圖片小文件的內(nèi)容，上述存儲(chǔ)數(shù)據(jù)的過程實(shí)際上隱含了把圖片小文件打包的過程。默認(rèn)情況下，HBase數(shù)據(jù)塊PM制為64KR由于圖片內(nèi)容作為單元格(Cell)的值保存，其大小受制于數(shù)據(jù)塊的大小。在應(yīng)用中需根據(jù)最大圖片大小對(duì)HBase數(shù)據(jù)塊大小進(jìn)行修改。具體修改方法是在表創(chuàng)建時(shí)，用HColumnDescriptor指定數(shù)據(jù)塊大小，可分列簇指定，具體配置如下圖：(NAMEFAMILIES->(NAME'