利用數(shù)據(jù)網(wǎng)關(guān)實(shí)現(xiàn)跨庫(kù)查詢

1、利用數(shù)據(jù)網(wǎng)關(guān)實(shí)現(xiàn)跨庫(kù)查詢一個(gè)案例多維分析工具生產(chǎn)庫(kù)OLAP服務(wù)器OLAP服務(wù)的弊端消耗存儲(chǔ)空間舉個(gè)例子總共10個(gè)維度每個(gè)維度有100個(gè)不同取值可能的組合：(100+1)簡(jiǎn)化為：100 = 10OLAP服務(wù)的弊端消耗存儲(chǔ)空間建設(shè)成本高浪費(fèi)系統(tǒng)資源實(shí)時(shí)性差缺乏靈活性分析能力不足替換方案多維分析工具生產(chǎn)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)容多維分析工具生產(chǎn)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)不斷擴(kuò)容多維分析工具生產(chǎn)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)HotWarmCold數(shù)據(jù)分層?數(shù)據(jù)網(wǎng)關(guān)HotWarmCold可編程數(shù)據(jù)網(wǎng)關(guān)潤(rùn)乾集算器多維分析工具生產(chǎn)庫(kù)歷史庫(kù)歷史庫(kù)SQL接口集算器集算器數(shù)據(jù)網(wǎng)關(guān)原理JDBC標(biāo) 準(zhǔn)接 口路由腳本生產(chǎn)庫(kù)歷史庫(kù)標(biāo)準(zhǔn)SQL本地執(zhí)行數(shù)據(jù)網(wǎng)關(guān)路由腳本示例

2、為什么需要可編程？SQL方言SQL翻譯SQL翻譯標(biāo)準(zhǔn)SQL數(shù)據(jù)網(wǎng)關(guān)價(jià)值數(shù)據(jù)網(wǎng)關(guān)集算器在前臺(tái)應(yīng)用和后臺(tái)數(shù) 據(jù)源之間形成數(shù)據(jù)計(jì)算網(wǎng)關(guān)解耦多維分析前臺(tái)和后臺(tái)解耦和單一接口為前臺(tái)多維分析工具 提供簡(jiǎn)單的單一SQL 接口統(tǒng)一視圖為多種多個(gè)前端工具提供數(shù) 據(jù)源，保持?jǐn)?shù)據(jù)一致封裝封裝數(shù)據(jù)結(jié)構(gòu)細(xì)節(jié)，后臺(tái)改變不影響前臺(tái)復(fù)雜架構(gòu)支持后臺(tái)數(shù)據(jù)庫(kù)異構(gòu)、 分庫(kù)等復(fù)雜架構(gòu)輕量級(jí)數(shù)據(jù)集市標(biāo)準(zhǔn)接口集算器提供標(biāo)準(zhǔn)SQL和JDBC、ODBC、HTTP接口列式存儲(chǔ)列式有序壓縮存儲(chǔ)，性能優(yōu) 異SPLSPL語(yǔ)言創(chuàng)新數(shù)據(jù)處理語(yǔ)言SPL，提升 數(shù)據(jù)計(jì)算開發(fā)和執(zhí)行效率數(shù)據(jù)壓縮壓縮存儲(chǔ)，快速解壓，減小 在硬盤上占用的空間，讀取 更快速。集算器

3、組表維字段有序數(shù)據(jù)按照鍵值有序存放，常用條件過(guò)濾計(jì)算不依賴索引也能保證 高性能。復(fù)合數(shù)據(jù)類型主子表同維對(duì)齊，支持集合數(shù)據(jù)類型。數(shù)據(jù)修改支持?jǐn)?shù)據(jù)修改，提供回滾機(jī)制SQL性能優(yōu)化語(yǔ)法優(yōu)化多維分析工具推拽會(huì)產(chǎn)生性能不高的SQL，例如直接在明細(xì)查詢的SQL外面加上一層count來(lái)統(tǒng)計(jì)結(jié)果 總條數(shù)select count(1) from (select f1,f2,f3,f4f30 from table1 where f1=1 and 1=1 )集算器自動(dòng)優(yōu)化策略：select count(1) from (select f1 from table1 where f1=1)算法優(yōu)化select top

4、10 f1,f2 from table1 order by f1集算器采用小結(jié)果集比較的方式實(shí)現(xiàn)，無(wú)須大排序， 只遍歷一邊數(shù)據(jù)即可得到需要的結(jié)果并行查詢集算器支持并行查詢select /*+ parallel (4) */ * from ORDERS where AMOUNT100集算器集群敏捷集群節(jié)點(diǎn)服務(wù)器是獨(dú)立進(jìn)程，復(fù)制之后即可運(yùn) 行，橫向擴(kuò)展更敏捷?？筛鶕?jù)并發(fā)量、數(shù) 據(jù)量快速增減節(jié)點(diǎn)數(shù)量。高可用性集群具備容錯(cuò)機(jī)制，在節(jié)點(diǎn)失效時(shí)繼續(xù)完成 計(jì)算任務(wù)。高性能大并發(fā)訪問(wèn)分給多機(jī)處理，負(fù)載均衡；單個(gè) 大任務(wù)拆分成小任務(wù)，多機(jī)并行計(jì)算。案例效果案例環(huán)境說(shuō)明核心業(yè)務(wù)系統(tǒng)，AS400批量業(yè)務(wù)處理，48節(jié)點(diǎn)GP集群 多維分析前端，某多維分析工具路由規(guī)則集算器將高頻熱點(diǎn)數(shù)據(jù)前置： 最近三天和最近十二個(gè)月月末最 后一天數(shù)據(jù)性能表現(xiàn)50并發(fā)，熱數(shù)據(jù)查詢響應(yīng)時(shí)間5秒高頻熱點(diǎn)高頻熱點(diǎn)數(shù)據(jù)前置，冷數(shù)據(jù)后置， 同時(shí)實(shí)現(xiàn)跨冷熱數(shù)據(jù)查詢鉆取明細(xì)統(tǒng)計(jì)數(shù)據(jù)前置，明細(xì)數(shù)據(jù)后置，同 時(shí)實(shí)現(xiàn)鉆取明細(xì)應(yīng)用場(chǎng)景復(fù)雜業(yè)務(wù)查詢?cè)诙鄠€(gè)獨(dú)立業(yè)務(wù)系統(tǒng)之間實(shí)現(xiàn)復(fù)雜的數(shù) 據(jù)計(jì)算路由規(guī)則，提升性能的同時(shí)保證 全量查詢數(shù)據(jù)分層存儲(chǔ)數(shù)據(jù)分層存儲(chǔ)，高頻熱點(diǎn)數(shù)據(jù)前置，冷 數(shù)據(jù)