基于OLAP的大數(shù)據(jù)系統(tǒng)建設(shè)

1、OLAP系統(tǒng)建設(shè)AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來工作OLAP前端展示OLAP后端查詢 需求 查詢IT168網(wǎng)站在4月1日到4月12日期間的各地域訪問情況 SQL SELECT province, SUM(pv) FROM StatsTable WHEREsite=IT168 AND date BETWEEN “2014-04-01” AND“2014-04-12” GROUP BY province兩類需求場景 報(bào)表場景查詢模式可預(yù)知，查詢維度組合有限查詢QPS高（ 1萬次/秒 ）、毫秒延時(shí)SLA高，7*24小時(shí)不間斷服務(wù)面向百萬網(wǎng)站主、百萬廣告主 多維分析場景查詢模式不可

2、預(yù)知，任意維度組合查詢QPS低（10次/秒）、分鐘級別延時(shí)SLA不高，可工作時(shí)間提供服務(wù)面向內(nèi)部分析人員、決策人員OLAP需求位置報(bào)告報(bào)表多維分析Adhoc查詢數(shù)據(jù)挖掘從上往下:1. 分析維度從少到多2. 計(jì)算復(fù)雜度從低到高3. 從以人為主轉(zhuǎn)為以機(jī)器為主4. 用戶專業(yè)程度越來越高，越來越少OLTPOLAP用戶普通用戶用戶量大決策人員，高級管理人員用戶量小功能日常操作處理簡單的事務(wù)，事務(wù)驅(qū)動分析決策復(fù)雜的查詢，分析驅(qū)動DB設(shè)計(jì)面向應(yīng)用面向主題數(shù)據(jù)最新的，細(xì)節(jié)的，二維的歷史的，聚合的，多維的數(shù)據(jù)大小數(shù)GB數(shù)百TB查詢更新讀/寫數(shù)十條記錄讀上億條記錄OLTP vs OLAPAgendaOLAP需求系

3、統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來工作數(shù)據(jù)倉庫OLAP系統(tǒng)預(yù)處理+傳輸ETL處理日志收集和清洗OLAP在大數(shù)據(jù)體系位置OLAP前端系統(tǒng)OLAP后端系統(tǒng)OLAP系統(tǒng)發(fā)起查詢，展示圖表、曲線分析業(yè)務(wù)多維建模如商業(yè)版BIEE如定制的Web系統(tǒng)OLAP后端系統(tǒng)定位 提供百T級別Cube的存儲與高效查詢服務(wù) 響應(yīng)報(bào)表與多維分析需求AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來工作系統(tǒng)挑戰(zhàn) 多維分析: rollup, drill-down, slicing和dicing 維度任意組合數(shù)據(jù)量巨大，交互式響應(yīng)系統(tǒng)挑戰(zhàn)每日十T級別數(shù)據(jù)，如何快速導(dǎo)入？如何提供SQL查詢？經(jīng)常加表、改表、刪表，應(yīng)對？經(jīng)常數(shù)據(jù)出錯(cuò)，如

4、何恢復(fù)？磁盤經(jīng)常出現(xiàn)故障，怎么辦？AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來工作系統(tǒng)架構(gòu)元數(shù)據(jù)管理數(shù)據(jù)導(dǎo)入查詢層（SQL接口）存儲層存儲模型細(xì)節(jié) 數(shù)據(jù)塊存儲 每個(gè)塊含256行 塊內(nèi)部列存儲 塊整體壓縮 稀疏索引 索引常駐內(nèi)存 每個(gè)塊對應(yīng)一個(gè)索引項(xiàng)數(shù)據(jù)塊索引文件site=IT168date=20140401系統(tǒng)特點(diǎn)和性能 核心特點(diǎn)： 大規(guī)模并行處理MPP查詢引擎 行列混合存儲引擎 減少掃描量物化視圖索引列式存儲壓縮 性能： 100節(jié)點(diǎn)，單機(jī) CPU 12核 ，內(nèi)存64G， SAS硬盤 2T，1GB網(wǎng)卡 低并發(fā)大查詢 ：最大掃描速度100GB/s，單個(gè)查詢響應(yīng)時(shí)間：毫秒小時(shí)，數(shù)據(jù)壓縮比1:41:10 高并發(fā)小查詢：最大并發(fā)100,000qpsAgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來工作未來