HC第一章大數(shù)據(jù)概述

修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC1209201OceanStor9000V100R001V2.0開發(fā)/優(yōu)化者時間審核人開發(fā)類型（新開發(fā)/優(yōu)化）張博2013-09-20羅慶超/余雷新開發(fā)本頁不打印HC1209201

第一章大數(shù)據(jù)概述目標(biāo)學(xué)完本課程后，您將能夠:描述大數(shù)據(jù)產(chǎn)生、概念和特征；理解大數(shù)據(jù)對IT的需求和促進因素了解大數(shù)據(jù)方案。目漏錄大演數(shù)鳴據(jù)上產(chǎn)央生未與弱特噸點大既數(shù)牽據(jù)銅對I成T的紛需終求僑與珠促諒進大息數(shù)蠻據(jù)遙解擔(dān)決雁方蚊案I巴T戴發(fā)暑展午時酒代輕的堤數(shù)更據(jù)厭變手遷BigDataCloudBYODMedia&EntertainmentVirtualizationSDS2020年全球數(shù)據(jù)總量40ZB（Gartner）

海舌量梅數(shù)帆據(jù)終產(chǎn)龜生2015年，數(shù)據(jù)將達(dá)到8ZB，數(shù)據(jù)價值$169億每天2.5億張照片每天2.88萬小時視頻一部3D電影1P以上一個平安城市200P每天6.3百萬訂單每天5千萬條消息全球每秒2.9百萬郵件每天處理24P數(shù)據(jù)D執(zhí)A叫T悅A海顯量天數(shù)枕據(jù)囑的俗管喜理健難喝題數(shù)據(jù)全周期管理Efficiency效率PB級的非結(jié)構(gòu)化數(shù)據(jù)和TB級的結(jié)構(gòu)化數(shù)據(jù)Store存儲海量數(shù)據(jù)如何實現(xiàn)快速的查找Search檢索數(shù)鍛據(jù)刻類例型移柔動險商作務(wù)C數(shù)R吊M數(shù)胞據(jù)計的劃機圍會事捆務(wù)客件戶銷葵售層訂崇單事尊物即貼時殲消瘦息需剪求庫宋存大巧數(shù)酬據(jù)銷盯售包訂平單事哀物移眨動狂商董務(wù)需另求大態(tài)數(shù)悟據(jù)C支R嚷M數(shù)冒據(jù)客炕戶計蜂劃事皺務(wù)結(jié)錘構(gòu)內(nèi)化拘數(shù)長據(jù)牧與講非腥結(jié)簽構(gòu)溉化亞數(shù)宏據(jù)互聯(lián)網(wǎng)：Google,百度Facebook,Twitter,新浪….數(shù)據(jù)以非結(jié)構(gòu)化處理為主在企業(yè)大數(shù)據(jù)中，仍然是以結(jié)構(gòu)化數(shù)據(jù)處理為主平均1個P數(shù)據(jù)中非結(jié)構(gòu)化為主（原生互聯(lián)網(wǎng)公司）結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化~35%~27%用戶行為軌跡（個體）UserProfile內(nèi)容（ITEM，圖像、視頻、文本)數(shù)據(jù)21個歷史詳單查詢社交網(wǎng)絡(luò)數(shù)據(jù)（群體）WebPage&Log~23%~5%~10%結(jié)構(gòu)化為主（電信運營商）~15%~3%~12%網(wǎng)絡(luò)XDR(探針俘獲后，含歷史）計費CDR(含歷史）主數(shù)據(jù)（三戶+訂購+接觸等含歷史）分析匯總數(shù)據(jù)（含歷史）CUBE和統(tǒng)一視圖~7%互聯(lián)網(wǎng)WebPage&Log(含歷史）~13%社交網(wǎng)絡(luò)數(shù)據(jù)~18%~25%內(nèi)容（圖像、視頻、文本)數(shù)據(jù)~7%Hadoop和分布式文件系統(tǒng)數(shù)據(jù)庫解割構(gòu)念大覺數(shù)光據(jù)大鵝數(shù)翻據(jù)戀特濕征ValueVolumeVariety海量的數(shù)據(jù)規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模增長，IDC預(yù)計到2020年全球數(shù)據(jù)量將達(dá)到40ZBVelocity快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系實時分析而非事后分析，低延時并發(fā)訪問，是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著多樣的數(shù)據(jù)類型文件、電子郵件和視頻等非結(jié)構(gòu)化信息約占未來十年數(shù)據(jù)產(chǎn)生量的90%巨大的數(shù)據(jù)價值對未來、行為模式等的預(yù)測分析，一部數(shù)小時的視頻，可能有用的數(shù)據(jù)只有一兩秒大數(shù)據(jù)四大特征目嗎錄大昆數(shù)文據(jù)盾產(chǎn)靈生繳與析特傷點大摧數(shù)鞠據(jù)他對I粒T的槍需緩求征和核促綁進大含數(shù)緒據(jù)其解券決榮方凈案數(shù)懇據(jù)擇應(yīng)姐用傻中堤的拜性慘能煙與酒容市量存儲性能要求

（每秒對象數(shù)）應(yīng)用數(shù)據(jù)存儲

（例如，電子郵件、虛擬機/啟動、Sharepoint*）大型關(guān)系數(shù)據(jù)庫

（例如，NoSQL、非ACID）內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）企業(yè)數(shù)據(jù)庫

（OLTP、OLAP）小規(guī)模隨機大規(guī)模順序GigabytesTerabytesPetabytesExabytes高性能

存儲容量

存儲融合

存儲服務(wù)器

備份與歸檔（服務(wù)器與客戶端）大型對象存儲

（例如，照片/視頻）大型分析工具

（例如，Hadoop*/HDFS）高性能計算

（例如，pNFS、Luster*）大銀數(shù)捐據(jù)箏對牛技剃術(shù)旗要川求對應(yīng)挑戰(zhàn)數(shù)銜據(jù)底挖撒掘貼、磁商些業(yè)舒智束能垃、寺數(shù)訓(xùn)據(jù)淘搜畢索關(guān)鍵技術(shù)V爽o耳l愈u沖m蠢e海大量V刷e頁l真o怠c拐i盯t礙y快足速V除a主l輩u絞e價砌值V肺a竹r炮i晃e撫t(yī)佛y多謙樣莊性并犬行嚷計始算惕（峽批落量真計救算步、放流鹽計設(shè)算具）非能結(jié)托構(gòu)沒化邁：處分朗布牢式查文宋件/對爛象字系聚統(tǒng)半泄結(jié)緩構(gòu)否化罰：N孝o慘S粱Q故L數(shù)脹據(jù)既庫結(jié)面構(gòu)岡化沖：背分毛布鏟式媽數(shù)認(rèn)據(jù)立庫異尚構(gòu)反數(shù)艘據(jù)嫩融鎖合E故T遮L過引程啊優(yōu)蔽化大嗽數(shù)并據(jù)粱分句析咱技轉(zhuǎn)術(shù)大固數(shù)角據(jù)貿(mào)存卸儲迷技作術(shù)數(shù)據(jù)處理數(shù)據(jù)存儲數(shù)據(jù)采集數(shù)據(jù)源物聯(lián)網(wǎng)、企業(yè)、社交化網(wǎng)絡(luò)……數(shù)據(jù)分析應(yīng)用及展現(xiàn)數(shù)剃據(jù)凡可誘視萄化大鑼數(shù)思據(jù)貧對置I凈T蜻系嶼統(tǒng)壯要姓求單恐機集悲群N跡A甚S單舅機G形E巧F分CF內(nèi)C關(guān)說系襪型炮數(shù)宗據(jù)疏庫1聯(lián)0通G捉E雹F終C需I傭B分熊布細(xì)式擇數(shù)旦據(jù)昆庫非向關(guān)喘系涉型冒數(shù)斑據(jù)笨庫雙它控褲陣福列1當(dāng)0塔G障E腳S攪A球S知I率B橫采向霧擴駛展塊錯級店虛構(gòu)擬咳化橫么向阻擴飼展分怕布孫式梳文訓(xùn)件壞系閑統(tǒng)計獵算響瓶撕頸存企儲柜瓶丟頸網(wǎng)掛絡(luò)手瓶裳頸數(shù)克據(jù)掉庫銀瓶悼頸應(yīng)衰用浮獨惑占狐主值機多滴應(yīng)讓用削共蹈享水大磚規(guī)脈模述資襪源導(dǎo)池大割數(shù)級據(jù)耽推皂動拍I顆T槳架諸構(gòu)棕演蕩進剃（汗一跑）OSOSOSApp1App2Appn小型機/服務(wù)器…CloudOSApp1App2Appn云基礎(chǔ)設(shè)施資源池…I卵T基轟礎(chǔ)刪設(shè)亮施諒架轟構(gòu)葉從零以熔計它算棚為雕中抹心以漿數(shù)貌據(jù)級為僅中駐心大頑數(shù)呢?fù)?jù)百推獎動財I短T敞架故構(gòu)舒演艙進清（戴二積）大惕規(guī)喪模債并靠行鞏處巨理持勻久殖化漆內(nèi)繡存inputoutput大侵?jǐn)?shù)柴據(jù)聾對隸存只儲亞技芹術(shù)胖促俘進寨（僻一杜）StorageNodeStorageNodeStorageNode數(shù)測據(jù)桶保懼護數(shù)鏟據(jù)朵管凳理數(shù)究據(jù)務(wù)流抽動JDBC/ODBCNFS/CIFS/HDFSISCSIR搶e摩s呀t快潛照遠(yuǎn)區(qū)程犁復(fù)車制E織C動他態(tài)饑分駝層策德略晃驅(qū)湊動歸畢檔/節(jié)汁能/鵲W具o嶼r婆m重蓮刪瘡、企壓稈縮快乖速模搜交索燒和愿分尤類臂檢紅索特鞏性接撈口存選儲亦池1（否租豪戶A）存富儲令池2（帆租英戶B）ABB何2B依1A余2CR全驗局鈔命篩名絞空暖間基堆礎(chǔ)缸架查構(gòu)A輝1大富數(shù)傾據(jù)巴對全存悼儲菌技逼術(shù)姜促寒進粗（沖二蛾）更高效的網(wǎng)絡(luò)傳輸更快的處理存儲介質(zhì)處理器的升級硬件卸載10GEEthernetRoCE，ToEInfinibandRDMAPCIeFCoESSD非易失性內(nèi)存（NVDIMM）MRAM指令加速大撲數(shù)霞據(jù)浙應(yīng)嫩對鏈技益術(shù)惰發(fā)抽展主趨馬勢2中0曲1斯12句0鞋1拼x2住0點1己32永0蔬1聽5生?；罨ㄖ謇頇C帖器歌人報挪表陜儀義表蓋盤廣軌告推至薦精屢準(zhǔn)賓營漏銷R賤D狀B唇M燒SN白O乞S拖Q緩L爽D陸B(tài)M缸P蒜P壩D表B以棚客餐戶勺畫糟像另為仔基悲礎(chǔ)閉的質(zhì)業(yè)曾務(wù)分軌布壺式頂內(nèi)墊存申計編算熊技減術(shù)H返P小廚型拳機I盜B君M小飲型如機X鑒8扛6機街架濫服研務(wù)雀器刀第片貍服民務(wù)劃器統(tǒng)府計段分濃析O埋L獸A過P分轟析預(yù)相測吃分淡析數(shù)旬據(jù)倉應(yīng)噴用儲發(fā)玻展蠶趨架勢數(shù)趕據(jù)癥智鳳能發(fā)光展聚趨紹勢存似儲削計曉算發(fā)斧展象趨甚勢硬叢件發(fā)魚展息趨悲勢目藥錄大斃數(shù)熄據(jù)腥產(chǎn)飯生例與吊特煮點大圍數(shù)宵據(jù)器對I托T的矛需財求料和購促婚進大凈數(shù)票據(jù)磁解嬸決炊方見案大贊數(shù)置據(jù)濫存姨儲枕解頑決銳方曉案Scale-outNAS存儲Scale-outDBScale-outBackup分析備份數(shù)據(jù)全生命周期管理NFS/CIFS存儲VTL/LTFS備份XDBC/SQL分析ABCScale-out文件系統(tǒng)OceanStor9000分布式存儲通用服務(wù)器網(wǎng)絡(luò)（交換機，路由器）存儲節(jié)點ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackupHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3CloudOS計算存儲網(wǎng)絡(luò)數(shù)據(jù)庫橫向擴展（硬件擴展）塊虛擬化豐富的增值軟件及對外接口集群虛擬化10GESASIB橫向擴展（硬件+文件系統(tǒng)），文件虛擬化,豐富的增值軟件及對外接口10GESASIB非關(guān)系型數(shù)據(jù)庫分布式數(shù)據(jù)庫互呀聯(lián)若網(wǎng)隔大舊數(shù)縮慧據(jù)俘解膠決乖方哄案坡-原H栽A勤D權(quán)O沸O早P分析平臺MapReduce分布式并行處理架構(gòu)Hbase非關(guān)系型數(shù)據(jù)庫HDFS-分布式文件系統(tǒng)H蝦a飼d甘o次o極p亞大宴數(shù)摩據(jù)拒分融析總炕結(jié)大正數(shù)豪據(jù)鼻產(chǎn)繼生肥與朋特國點大摩數(shù)睬據(jù)姓對I黎T的績需解求永和乓促