三、大數據存儲技術課件

三、大數據存儲技術-1-相關概念與相關技術概覽數據結構：結構化數據與非結構化數據數據庫數據模型：關系型數據庫與非關系型數據庫數據處理特性：OLTP與OLAP數據一致性：強一致性與最終一致性數據存儲方式：行式存儲與列式存儲數據庫存儲與處理架構：SMP與MPP數據存儲架構：傳統(tǒng)分布式文件與新型分布式文件數據處理架構：基于并行計算的分布式數據處理技術（MapReduce）-2-數據的結構—結構化、非結構化、半結構化數據結構化數據和非結構化數據都是客觀存在，大數據技術需要涵蓋兩者-3-對比項結構化數據非結構化數據半非結構化數據定義有數據結構描述信息的數據不方便用固定結構來表現的數據介于完全結構化數據和完全無結構的數據之間的數據結構與內容的關系先有結構、再有數據只有數據，沒有結構先有數據，再有結構示例各類表格圖形、圖像、音頻、視頻信息HTML文檔，它一般是自描述的，數據的結構和內容混在一起數據庫數據模型—關系型數據庫與非關系型數據庫在大數據技術中"非關系型"數據庫技術是必不可少的，但關系數據庫也是不可或缺的-4-對比項關系型數據庫非關系型數據庫定義創(chuàng)建在關系模型基礎上，借助于集合代數等數學概念和方法來處理數據庫中的數據關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成沒有標準定義包括：表存儲數據庫、鍵值存儲數據庫、面向文檔的數據庫等接口語言SQL（StructuredQueryLanguage，結構化查詢語言），對數據庫中的數據進行查詢、操作和管理無統(tǒng)一標準包括：各自定義的API、類SQL、MR等典型案例Oracel、DB2、Sybase、SQLServer、Mysql、Postgresql等新型的MPPRDB（Greenplum）也屬于關系型數據庫Hbase、MongoDB、Redis數據處理特性—OLTP與OLAPOLTP以業(yè)務操作型為主，OLAP以業(yè)務分析性為主，兩者對技術的要求很難兼顧-5-比較項聯(lián)機事務處理OLTP（On-LineTransactionProcessing）聯(lián)機分析處理OLAP（On-LineAnalyticalProcessing）基本類型業(yè)務操作型業(yè)務分析型數據特性對一條記錄數據會多次修改，支持大量并發(fā)用戶添加和修改數據數據寫入后基本不再修改，能較好地支持大量并發(fā)用戶進行大數據量查詢技術特性確保數據的一致性確保事務的完整性數據讀寫實時性高支持多維數據以及對多維數據的復雜分析大數據量數據量GB-TB級TB-PB級典型示例銀行業(yè)務系統(tǒng)/數據庫各類決策分析系統(tǒng)/數據庫數據一致性：強一致性與最終一致性強一致性和最終一致性都是指客戶端向數據庫系統(tǒng)寫入數據后，數據庫系統(tǒng)能夠提供的數據一致性的表現-6-對比項強一致性（即時一致性）最終一致性弱一致性場景定義假定三個進程A、B、C是互相獨立的，且都在對存儲系統(tǒng)進行讀寫操作數據一致性表現A寫入數據到存儲系統(tǒng)后，存儲系統(tǒng)能夠保證后續(xù)任何時刻發(fā)起讀操作的B、C可以讀到A寫入的數據A寫入數據到存儲系統(tǒng)后，經過一定時間，或者在某個特定操作后，B、C最終會讀到A寫入的數據A寫入數據到存儲系統(tǒng)后，存儲系統(tǒng)不能夠保證后續(xù)發(fā)起讀操作的B、C可以讀到A寫入的數據示例OLTP需要強一致性OLAP需最終一致性絕大多數應用不能夠容忍弱一致性數據存儲方式—行式存儲與列式存儲-7-傳統(tǒng)關系型數據庫主要采用行存儲模式，海量數據的高效存儲和訪問要求引發(fā)了從行存儲模式向列存儲模式的轉變行存儲用戶生日聊天記錄日均在線時長用戶11981-10-3Xxxxyyyy...2用戶21990-5-15Mmnnn…3.7用戶11981-10-3Xxxxyyyy...2用戶21990-5-15Mmnnn…3.7列存儲用戶11981-10-3用戶21990-5-15用戶1Xxxxyyyy..用戶2Mmnnn..用戶12用戶23.7行存儲列存儲存儲一行中各列一起存放，單行集中存儲一行中各列獨立存放，單列集中存儲索引效率海量數據索引既占用大量空間，且索引效率會隨著數據增長越來越低基于列自動索引，海量數據查詢效率高，不產生額外存儲空間效率同一行不同列數據類型不同，壓縮效率低空值列依然占據空間列同數據類型，壓縮效率高空值不占空間I/O查某列必須讀出整行，I/O負荷高、速度慢只需讀出某列數據，I/O低速度快結構表結構改變影響很大可隨時動態(tài)增加列適用場景數據寫入后需要修改和刪除，基于行的反復查詢，多用于OLTP數據庫批量數據一次寫入和基于少量列的反復查詢，多用于OLAP數據庫樣例數據表數據庫存儲與處理架構—SMP與MPP在數據量急劇膨脹的背景下，數據庫處理要求超出了單機或SMP架構能力范圍，最高配置小型機也無法滿足，所以在大數據技術中，MPP架構（計算分布+存儲分布）架構成為主流-8-計算分布,存儲集中DBServ共享磁盤DBServDBServDBServ網絡SAN/FC計算集中,存儲集中DBServ磁盤計算分布,存儲分布DBServDBServDBServDBServ高速通信網絡磁盤磁盤磁盤磁盤Master如：Oracle傳統(tǒng)

單機數據庫如：OracleRAC小型機+共享盤陣如：Greenplum、HbaseX86+本地硬盤傳統(tǒng)單機數據庫SMP架構數據庫MPP架構數據庫對稱多處理，SymmetricalMulti-Processing有兩臺以上的服務器，各主機之間共享總線結構，共享數據存儲磁盤節(jié)點數有限制，主要通過提高節(jié)點配置來提高整體處理能力，擴展能力有限對共享磁盤的訪問可能成為瓶頸SMP大規(guī)模并行處理，MassivelyParallelProcessing多個松耦合處理單元組成，數據存在本機磁盤上通過增加服務器數量提高系統(tǒng)處理能力，理論上可無限擴展，目技術可實現上千個節(jié)點互聯(lián)對軟件體系要求較高，需要通過軟件層來調度和平衡各個節(jié)點的負載和并行處理過程MPP數據存儲架構：傳統(tǒng)分布式文件與新型分布式文件-9-傳統(tǒng)分布式文件系統(tǒng)也可以適應海量數據增長，但是由于數據計算與存儲是分離的，隨數據量的增長，網絡帶寬形成瓶頸。新型分布式文件系統(tǒng)采用數據計算與存儲綁定的新策略，可有效應對海量數據增長X86PC集群數據存儲：磁盤陣列數據存儲與計算合一數據計算：

數據服務器數據靠網絡傳輸本機硬盤本機硬盤本機硬盤本機硬盤計算模式擁有成本盤陣負責存儲，數據服務器負責計算，彼此靠網絡連接，計算效率受網絡帶寬影響PC機自行負責存儲和計算，數據與計算綁定，不受網絡帶寬影響專用設備價格昂貴，維護費用高通用PC，價格低廉，維護方便存儲模式磁盤陣列存儲由每臺PC機自帶硬盤組成容錯模式不能容忍盤陣設備出問題，靠RAID容錯個別硬盤故障容許PC節(jié)點故障，通過多個文件副本保證數據完整性數據存儲與計算分離新型分布式文件系統(tǒng)—HadoopHDFS-10-HadoopHDFS是新型分布式文件系統(tǒng)的典型代表，提供高可靠、高擴展、高吞吐能力的海量文件數據存儲元數據節(jié)點Namenode文件名，文件塊，文件塊所在數據節(jié)點，…文件元數據123數據節(jié)點Datanode數據節(jié)點Datanode數據節(jié)點Datanode數據節(jié)點Datanode先讀取文件元數據，知道文件在哪后讀取各個文件塊管理文件分布存儲優(yōu)點支持任意超大文件存儲；硬件節(jié)點可不斷擴展，低成本存儲對上層應用屏蔽分布式部署結構，提供統(tǒng)一的文件系統(tǒng)訪問接口，感覺就是一個大硬盤；應用無需知道文件具體存放位置，使用簡單；文件分塊存儲（1塊缺省64MB)，不同塊可分布在不同機器節(jié)點上，通過元數據記錄文件塊位置；應用順序讀取各個塊系統(tǒng)設計為高容錯性，允許廉價PC故障；每塊文件數據在不同機器節(jié)點上保存3份；這種備份的另一個好處是可方便不同應用就近讀取，提高訪問效率缺點適合大數據文件保存和分析，不適合小文件，由于分布存儲需要從不同節(jié)點讀取數據，效率反而沒有集中存儲高；一次寫入多次讀取，不支持文件修改是最基礎的大數據技術，基于文件系統(tǒng)層面提供文件訪問能力，不如數據庫技術強大，但也是海量數據庫技術的底層依托文件系統(tǒng)接口完全不同于傳統(tǒng)文件系統(tǒng)，應用需要重新開發(fā)上層應用YahooAmazon

Facebook

Ebay淘寶

百度

中國移動飛信中國移動大云行業(yè)應用技術特點基于并行計算的分布式數據處理技術(MapReduce)MapReduce是解決海量數據處理的并行編程環(huán)境-11-TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(ReduceTask)TaskTracker(ReduceTask)中間結果中間結果中間結果輸出數據輸出數據JobTracker用戶程序(JobClient)提交作業(yè)任務調度任務調度狀態(tài)監(jiān)控狀態(tài)監(jiān)控123MapReduce技術特性自動并行化：系統(tǒng)自動進行作業(yè)并行化處理自動可靠處理：系統(tǒng)自動處理節(jié)點/任務的故障檢測和恢復靈活擴展：節(jié)點可以靈活加入和退出，系統(tǒng)自動感知節(jié)點狀態(tài)并進行處理高性能：計算任務將被調度至數據所在的節(jié)點，減少網絡開銷，提升執(zhí)行性能MapReduce各類新興數據庫面向文檔的數據庫—MongoDB基于內存的鍵值存儲數據庫—Redis分布式MPP架構/列存儲數據庫—HBase分布式MPP架構/支持列存/關系型數據庫—Greenplum-12-面向文檔的數據庫—技術原理-13-傳統(tǒng)數據庫只適合存儲結構化數據，對于海量非結構化、半結構化數據則顯得無能為力；面向文檔數據庫技術則填補了這一空白傳統(tǒng)做法面向文檔數據庫關系數據庫視頻/圖像/音頻文件復雜數據放在關系數據庫，低價值大文件放在文件系統(tǒng)，彼此分離存儲和訪問數據庫的記錄就是文檔，涵蓋各種數據類型，數據統(tǒng)一管理和訪問數據庫可分布式部署，對外提供統(tǒng)一視圖數據庫

二維表

行數據庫

集合

文檔技術特點分布式存儲所有數據保存在文件中文件中所有數據基于結構化描述語言組織，支持各種數據類型，包括大型對象（視頻/音頻等）支持多種類似SQL的數據檢索方式適用場景網站數據存儲大尺寸低價值數據多類型混雜的數據存儲面向文檔的數據庫—MongoDB-14-MongoDB是面向文檔數據庫典型代表，視覺中國網站采用MongoDB替換原有關系數據庫mysql，實現對各類數據的統(tǒng)一管理和應用DB在數據處理量上升一倍的情況下，硬件資源利用率反而下降20%數據讀取速度，從400ms減少為60ms，效率提升6倍數據文件，從200G降到了70個G結構化數據與非結構化圖片數據實現一體化處理Schema自由，大大提升開發(fā)效率實現動態(tài)集群，添加新機器無需中斷業(yè)務應用效果關系數據庫用戶信息表MongoDB用戶信息文檔用戶ID用戶名…地址地址地址個人站點個人站點個人站點創(chuàng)意圖片創(chuàng)意圖片創(chuàng)意圖片用戶信息分多表存儲表關聯(lián)查詢圖片文件另外存儲，自行處理用戶數據集中在一個文檔中數據與圖片文件一體化存儲用戶數據內容任意擴展創(chuàng)意圖片基于內存的鍵值存儲數據庫—技術原理-15-由于傳統(tǒng)關系型數據庫主要采用二維表硬盤存儲方式，難以滿足海量數據高速大并發(fā)讀寫的需要，基于鍵值的分布式存儲技術應運而生并得到廣泛應用關系數據庫WEB應用服務器磁盤陣列關系數據庫互聯(lián)網用戶鍵值存儲數據庫WEB應用服務器互聯(lián)網用戶X86集群存儲介質數據結構獲取方式硬盤，讀寫速度慢內存，讀寫速度快二維表，不支持復雜數據結構鍵值，值類型支持復雜數據結構SQL，支持復雜查詢應用程序編程接口API，不支持復雜查詢技術特點以內存為主要存儲區(qū)域，讀寫速度最快，硬盤用于周期性備份鍵值（KEY-VALUE)結構，基于KEY實現分區(qū)存儲，從而支持分布式部署，提高并發(fā)訪問能力VALUE支持鏈、集合等復雜數據結構，便于程序直接使用，減少處理環(huán)節(jié)適合海量數據實時大批量簡單讀寫存儲模式磁盤陣列集中存儲支持X86分布式部署KEY1VALUE1KEY2VALUE2KEY-nVALUE-n數據在內存中存儲和處理基于內存的鍵值存儲數據庫—Redis-16-鍵值存儲技術的典型產品是Redis,由Vmware公司研發(fā)并提供開源，國內最大的應用是新浪微博，有200多臺物理機運行RedisRedis服務器內存Redis服務器內存Redis服務器內存Redis服務器內存讀取應用服務器寫入寫入寫入寫入新浪微博需要為千萬級用戶實時快速計算并刷新關注、粉絲、微博的計數，并對用戶及時通知新消息等，采用Redis使所有操作都在多臺機器的內存中并發(fā)進行，讀寫效率提升至少15倍以上分布式MPP架構/列存儲數據庫—HBase-17-HadoopHBase是分布式MPP架構、列式存儲數據庫的典型代表數據節(jié)點數據節(jié)點數據節(jié)點Hadoop分布式文件系統(tǒng)HBase分布式數據庫海量數據表（例：用戶行為分析）數據分區(qū)，并發(fā)讀寫，根據數據量增長自動橫向擴展分區(qū)用戶名A-D用戶名E-H用戶名W-Z表分區(qū)表分區(qū)表分區(qū)數據物理存儲位置透明，采取主備方式確保可靠存儲，可動態(tài)增加數據節(jié)點機器大數據量PB級分布式并發(fā)處理效率高易擴展、動態(tài)伸縮適用于廉價設備集群適合基于列的讀操作，不適合基于行的寫操作不適合關系模型數據組織模式Hbase特點YahooAmazonFacebookEbay淘寶百度中國移動飛信行業(yè)應用X86PC服務器X86PC服務器X86PC服務器分布式MPP架構/支持列存/關系型數據庫—Greenplum-18-EMC公司的商業(yè)產品GreenPlum是一個基于分布式文件存儲、MPP分布式處理架構的數據庫，同時支持行存與列存，并且仍然保持了關系數據模型外部數據源并行裝載或導出Segment節(jié)點執(zhí)行查詢計劃及數據庫存儲管理網絡互聯(lián)Master節(jié)點生成查詢計劃并派發(fā)匯總執(zhí)行結果SQL語句巨人網絡征途游戲后臺采用GreenPlum作為用戶行為分析手段，比原有系統(tǒng)完整應用提高80倍效率，單筆查詢提高120倍主要客戶包括：NASDAQ、FOX、巨人網絡、阿里巴巴、中信銀行、淘寶等分布式MPP數據倉庫代表產品特性比較-19-產品名稱應用場景接口方式擴展能力X86平臺LinuxGreenplumOLAP/OLTP標準SQL最大支持達萬個節(jié)點支持支持TeradataOLAP標準SQL（SQL-92）可達4096節(jié)點，最大數據量超過100PB支持支持netezzaOLAP標準SQL1~10臺一體機，可管理PB級數據量，新一代產品會更高不支持，僅支持專有一體機硬件支持infobrightOLAP標準SQL具備較強并行擴展能力支持支持ExadataOLAP/OLTP標準SQL支持多機擴展?jié)M足大數據量管理需求支持，但性能劣于專有一體機硬件支持大數據方案與應用案例Hadoop項目群Hadoop+MPPRDB混搭架構信令監(jiān)測系統(tǒng)數據存儲架構優(yōu)化方案飛信系統(tǒng)好友智能推薦方案BOSS系統(tǒng)WAP話單清洗/轉換/匯總/分析-20-Hadoop項目發(fā)展歷程2002年：Nutch項目啟動，用于互聯(lián)網網頁的抓取和搜索2003年：Google披露GFS，2004則實現了NutchDistributedFilesytem(NDFS)2004年：GoogleMapReduce發(fā)布，2005年則實現了NutchMapReduce并移植到NDFS上2006年2月：Hadoop成為一個獨立的項目，同時DougCutting加入Yahoo！2008年1月：Hadoop成為Apache的頂級項目2008年4月：Hadoop集群在Sortbenchmark中獲得第一名（910臺服務器，排序1TB數據，209秒)-21-Hadoop起源于DougCutting的ApacheNutch項目，是Apache資助的一個頂級開源項目，Hadoop不僅僅是一個產品，更是一套生態(tài)系統(tǒng)Hadoop項目組成Hadoop核心子項目HDFS：是一個分布式文件系統(tǒng)HBase：是一個基于HDFS、列存儲數據庫，提供海量數據存儲能力MapReduce：是一個編程環(huán)境，提供并行處理框架，用于對HBase和HDFS的訪問Hive：提供類似SQL的查詢語言，通過MapReduce完成計算，實現對HBase的訪問-22-；案例：“Hadoop+MPPRDB”混搭架構在Hadoop+MPPRDB架構中Hadoop負責非結構化數據或簡單結構數據的存儲和處理Hadoop同時負責原始數據的抽取、轉換、加載和輕度匯總等計算任務MPPRDB負責深度分析、復雜查詢以及多變的自助分析應用等混搭架構的代表廠商有HP的Vertica產品EMC的產品等-23-混搭架構對結構化數據復雜處理會更有優(yōu)勢，同時也能獲得很好的性價比案例：信令監(jiān)測系統(tǒng)數據存儲架構優(yōu)化方案世紀鼎利公司江蘇Mc口信令監(jiān)測系統(tǒng)數據存儲架構方案-24-采集數據存儲原始采集數據以二進制文件格式存儲，保存7天。存儲軟件為我司自開發(fā)的分布式存儲軟件DataComb。信令解碼處理信令解碼、CDR合成、IF1和IF2等幾個處理模塊需要高性能計算，計算模塊自動分配到x86集群中，通過DBus（我司自開發(fā)的數據總線）進行自動負載均衡CDR數據存儲CDR保存60天，存儲于分布式數據庫中（hbase，開源的第三方軟件），并通過MDP（我司自開發(fā)的分布式處理軟件）實現快速查詢。應用預處理通過分布式數據挖掘軟件(hive，開源的第三方軟件)，對CDR進行數據挖掘，產生各種KPI和專題應用數據。應用環(huán)境采用關系型數據庫軟件(SybaseIQ，商業(yè)軟件)對KPI和專題數據進行存儲和高速查詢。通過Web應用容器(WebSphere，商業(yè)軟件）發(fā)布B/S應用；采用.Net開發(fā)C/S應用，主要用于網絡優(yōu)化中。與傳統(tǒng)信令監(jiān)測數據存儲方案相比，核心變化是將數據量最大、數據結構相對單一的CDR數據從傳統(tǒng)數據庫遷移到分布式數據庫中，從而實現全部應用部署在X86主機群上案例：中國移動飛信系統(tǒng)—業(yè)務場景-25-中國移動飛信系統(tǒng)面臨海量用戶行為數據深度挖掘需求，迫切需要新手段好友智能推薦基于用戶行為分析進行用戶好友推薦同好友但是彼此不是好友同IP但是彼此不是好友同群組但是彼此不是好友同校但彼此不是好友相互通話但彼此不是好友……?數據處理要求需要對存在關聯(lián)的兩兩用戶數據進行分析管理，飛信活躍用戶數已達到8000萬以上，有關系的用戶兩兩組合的數量級至少在10億條以上，且隨著用戶基數增長而呈指數級增長，需要海量數據處理能力用戶上線后，系統(tǒng)需要快速提取智能推薦建議發(fā)給用戶，需要在海量數據中快速查詢檢索數據的能力好友圈子有重疊彼此還不是好友案例：中國移動飛信系統(tǒng)—技術方案-26-采用Hadoop平臺進行海量數據存儲和深度挖掘，取得初步成效飛信用戶行為日志WAP業(yè)務記錄BOSS話單……MAP/REDUCE分布式計算智能推薦上層界面基于API/HIVE快速查詢用戶推薦信息好友表：ROWKEY：用戶A,用戶BCOLUMN：二人共有朋友清單，二人彼此推薦指數和推薦時所關聯(lián)朋友的推薦指數其他表：同IP\同校\相互通話\同群組好友表分為200個區(qū)，被7個regionserver管理，按照用戶UID分段目前共部署30個節(jié)點，服務器HPDL385，48G內存

、2C16核、各節(jié)點自帶10TB硬盤共300TB,支持橫向擴展，后續(xù)將擴容到80個節(jié)點好友表已累計24.6億條數據系統(tǒng)每天處理新增數據、每周、月、季度做全量數據分析上層應用查詢第一次訪問效率0.2s，第二次及以后0.05s以內硬件不是一步到位，中間做過一次在線動態(tài)擴容，方便高效軟件也不是一步到位，邊做邊增加應用內容，表模式支持動態(tài)變化分布式存儲，入庫很快，400MB/s吞吐能力總體擁有成本低，包括硬件、軟件和數據庫維護優(yōu)化服務應用效果大數據表案例：BOSS系統(tǒng)WAP話單清洗/轉換/匯總/分析-27-硬件環(huán)境：

12節(jié)點集群,1臺主機作namenode和jobtracker,11臺主機作datanode和tasktracker采用Hadoop平臺對WAP實時話單進行清洗轉換、匯總和分析數據入庫：每天800G日志，45億條記錄，并行入庫時間1小時（處理能力200-300MB/s）URL解析：4-6小時（20萬條/s）網頁抓取(后期穩(wěn)定運行階段）：時間待定（100Mb獨占帶寬，400個網頁/s）網頁分類：4-6小時（5萬條/s）URL標簽匹配：12-15小時（8萬條/s）匯總：6臺PCServer，輸入27億G，輸出8億G，用時20分鐘應用效果大數據領域“去小型機化”趨勢明顯大數據領域去小型機化趨勢已十分明顯，“X86+本地硬盤”方案替代“小型機+盤陣”已經相對成熟，在可靠性上毫不遜色，在可擴展性、性能和價格上有絕對優(yōu)勢，網管系統(tǒng)也要積極跟進“去小型機化”趨勢-28-小型機+盤陣集中存儲，集中計算，數據遠離計算，計算時需進行傳輸數據，性能較差X86+本地硬盤分散存儲，并行計算，數據靠近計算，性能好處理性能小型機+盤陣具有很強的可靠性，是許多關鍵性業(yè)務采用此方案的原因X86+本地硬盤大數據技術設計之初就將軟硬件故障作為常態(tài)進行考慮如Hadoop系統(tǒng)可以容忍單個磁盤出錯以及整機出錯可靠性小型機+盤陣主要是縱向擴展，即提高主機配置，是有限的X86+本地硬盤橫向擴展簡單，成本低可擴展性網管數據存儲與處理方式遷移建議從數據量大小、是否結構化數據、事務性強弱、實時性高低、數據關