基于OLAP的大數(shù)據(jù)系統(tǒng)建設(shè)

1、OLAP系統(tǒng)建設(shè)AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來(lái)工作OLAP前端展示OLAP后端查詢(xún) 需求 查詢(xún)IT168網(wǎng)站在4月1日到4月12日期間的各地域訪(fǎng)問(wèn)情況 SQL SELECT province, SUM(pv) FROM StatsTable WHEREsite=IT168 AND date BETWEEN “2014-04-01” AND“2014-04-12” GROUP BY province兩類(lèi)需求場(chǎng)景 報(bào)表場(chǎng)景查詢(xún)模式可預(yù)知，查詢(xún)維度組合有限查詢(xún)QPS高（ 1萬(wàn)次/秒 ）、毫秒延時(shí)SLA高，7*24小時(shí)不間斷服務(wù)面向百萬(wàn)網(wǎng)站主、百萬(wàn)廣告主 多維分析場(chǎng)景查詢(xún)模式不可

2、預(yù)知，任意維度組合查詢(xún)QPS低（10次/秒）、分鐘級(jí)別延時(shí)SLA不高，可工作時(shí)間提供服務(wù)面向內(nèi)部分析人員、決策人員OLAP需求位置報(bào)告報(bào)表多維分析Adhoc查詢(xún)數(shù)據(jù)挖掘從上往下:1. 分析維度從少到多2. 計(jì)算復(fù)雜度從低到高3. 從以人為主轉(zhuǎn)為以機(jī)器為主4. 用戶(hù)專(zhuān)業(yè)程度越來(lái)越高，越來(lái)越少OLTPOLAP用戶(hù)普通用戶(hù)用戶(hù)量大決策人員，高級(jí)管理人員用戶(hù)量小功能日常操作處理簡(jiǎn)單的事務(wù)，事務(wù)驅(qū)動(dòng)分析決策復(fù)雜的查詢(xún)，分析驅(qū)動(dòng)DB設(shè)計(jì)面向應(yīng)用面向主題數(shù)據(jù)最新的，細(xì)節(jié)的，二維的歷史的，聚合的，多維的數(shù)據(jù)大小數(shù)GB數(shù)百TB查詢(xún)更新讀/寫(xiě)數(shù)十條記錄讀上億條記錄OLTP vs OLAPAgendaOLAP需求系

3、統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來(lái)工作數(shù)據(jù)倉(cāng)庫(kù)OLAP系統(tǒng)預(yù)處理+傳輸ETL處理日志收集和清洗OLAP在大數(shù)據(jù)體系位置OLAP前端系統(tǒng)OLAP后端系統(tǒng)OLAP系統(tǒng)發(fā)起查詢(xún)，展示圖表、曲線(xiàn)分析業(yè)務(wù)多維建模如商業(yè)版BIEE如定制的Web系統(tǒng)OLAP后端系統(tǒng)定位 提供百T級(jí)別Cube的存儲(chǔ)與高效查詢(xún)服務(wù) 響應(yīng)報(bào)表與多維分析需求AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來(lái)工作系統(tǒng)挑戰(zhàn) 多維分析: rollup, drill-down, slicing和dicing 維度任意組合數(shù)據(jù)量巨大，交互式響應(yīng)系統(tǒng)挑戰(zhàn)每日十T級(jí)別數(shù)據(jù)，如何快速導(dǎo)入？如何提供SQL查詢(xún)？經(jīng)常加表、改表、刪表，應(yīng)對(duì)？經(jīng)常數(shù)據(jù)出錯(cuò)，如

4、何恢復(fù)？磁盤(pán)經(jīng)常出現(xiàn)故障，怎么辦？AgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來(lái)工作系統(tǒng)架構(gòu)元數(shù)據(jù)管理數(shù)據(jù)導(dǎo)入查詢(xún)層（SQL接口）存儲(chǔ)層存儲(chǔ)模型細(xì)節(jié) 數(shù)據(jù)塊存儲(chǔ) 每個(gè)塊含256行 塊內(nèi)部列存儲(chǔ) 塊整體壓縮 稀疏索引 索引常駐內(nèi)存 每個(gè)塊對(duì)應(yīng)一個(gè)索引項(xiàng)數(shù)據(jù)塊索引文件site=IT168date=20140401系統(tǒng)特點(diǎn)和性能 核心特點(diǎn)： 大規(guī)模并行處理MPP查詢(xún)引擎 行列混合存儲(chǔ)引擎 減少掃描量物化視圖索引列式存儲(chǔ)壓縮 性能： 100節(jié)點(diǎn)，單機(jī) CPU 12核 ，內(nèi)存64G， SAS硬盤(pán) 2T，1GB網(wǎng)卡 低并發(fā)大查詢(xún) ：最大掃描速度100GB/s，單個(gè)查詢(xún)響應(yīng)時(shí)間：毫秒小時(shí)，數(shù)據(jù)壓縮比1:41:10 高并發(fā)小查詢(xún)：最大并發(fā)100,000qpsAgendaOLAP需求系統(tǒng)定位系統(tǒng)挑戰(zhàn)系統(tǒng)架構(gòu)未來(lái)工作未來(lái)