大數(shù)據(jù)1代碼與hadoop

1、北風(fēng)網(wǎng)項目培訓(xùn)講師：RobbyHadoopHbase中數(shù)據(jù)存儲方式按RowKey的字典順序TableRegionRegionRegionRegionRegion ServersRegion ServerRegion ServerRegion ServerRegion Server字典順序特點：擁有相同“前綴”的數(shù)據(jù)，會存儲在相鄰區(qū)域aababcbbababccacabHTable = HRegion = HStoreTableRegionRegion ServerHRegionRegionRegionRegionHStoreMemStoreStoreFileStoreFileStoreFile

2、HStoreMemStoreStoreFileStoreFileHStoreMemStoreStoreFileHStore是怎樣工作的?HStoreMemStoreStoreFileStoreFileStoreFile向表中寫入數(shù)據(jù)的過程：首先寫入MemStore，同時寫入HLog但MemStore到達一定大小的時候，MemStore會flush成一個StoreFile（HFile文件）但StoreFile的數(shù)量達到一定閥值，會觸發(fā)compact，將多個StoreFile合并成1個StoreFile當(dāng)單個StoreFile達到一定大小的時候，會觸發(fā)split，將當(dāng)前的Region拆分成2個Re

3、gion，并且分發(fā)到不同的Region Server上HStore是怎樣工作的?HFile的存儲格式Data Block是HBase I/O的基本單元，每個Data塊除了開頭的Magic以外就是一個個KeyValue對拼接而成KeyValue的存儲格式開始是兩個固定長度的數(shù)值，分別表示Key的長度和Value的長度。緊接著是Key，開始是固定長度的數(shù)值，表示RowKey的長度，緊接著是 RowKey，然后是固定長度的數(shù)值，表示Family的長度，然后是Family，接著是Qualifier，然后是兩個固定長度的數(shù)值，表示Time Stamp和Key Type（Put/Delete）。Value

4、部分沒有這么復(fù)雜的結(jié)構(gòu)，就是純粹的二進制數(shù)據(jù)了。對于任意一個cell，都需要存儲rowkey, column family, column qualifier目前已經(jīng)完成的功能Struts2 + Jsp + bootstrap開發(fā)環(huán)境搭建HBase Interface創(chuàng)建了用戶管理相關(guān)的表創(chuàng)建新用戶驗證用戶名和密碼界面部分（JSP+Struts2 Actions）用戶注冊，登陸和注銷接下來將要實現(xiàn)的功能用戶關(guān)注和微博投遞表結(jié)構(gòu)的設(shè)計Hbase接口的實現(xiàn)JSP和Action的實現(xiàn)用戶關(guān)注 表（1）tab_followtab_followedrowkeyname:useriduseridusern

5、amerowkeyuseriduserid_followed_useriduserid發(fā)送微博tab_posttab_inboxrowkeyPost:usernamePost:contentPost:tspostidxxxxxxxxxrowkeypostiduserid+postidpostid基于短信話單的應(yīng)用話單入庫多線程入庫使用Protocol Buffer話單查詢Ajax技術(shù)話單統(tǒng)計在Hbase中使用MapReduceMapReduce LocalityData NodeData NodeRegion ServerMapData NodeRegion ServerData NodeRegion ServerNameNodeHive Data TypesTypeSize(byte)TINYINT 1 SMALLINT 2INT