庫外計(jì)算提升數(shù)據(jù)庫應(yīng)用品質(zhì)

1、庫外計(jì)算提升數(shù)據(jù)庫應(yīng)用品質(zhì)技術(shù)創(chuàng)新，變革未來目 錄潤乾集算器存儲(chǔ)過程、冗余中間表、多樣性數(shù)據(jù)執(zhí)行路徑、并行取數(shù)、跨庫集群庫外計(jì)算引擎減輕數(shù)據(jù)庫負(fù)擔(dān)提高數(shù)據(jù)庫性能淺談數(shù)據(jù)中心面向（半）結(jié)構(gòu)化數(shù)據(jù)計(jì)算的程序設(shè)計(jì)語言提供豐富的計(jì)算類庫，支持多線程并行 數(shù)據(jù)庫外的計(jì)算引擎庫外計(jì)算計(jì)算是數(shù)據(jù)庫的重要任務(wù)數(shù)據(jù)庫的封閉性庫外計(jì)算引擎存儲(chǔ)過程的目的數(shù)據(jù)整理報(bào)表查詢存儲(chǔ)過程的問題應(yīng)用內(nèi)與應(yīng)用間耦合安全性與易管理性庫外計(jì)算替代存儲(chǔ)過程存儲(chǔ)過程存儲(chǔ)過程應(yīng)用程序庫外計(jì)算中間表的由來運(yùn)算復(fù)雜或數(shù)據(jù)量大 再次計(jì)算的能力中間表的問題數(shù)量眾多占用數(shù)據(jù)庫資源 線性結(jié)構(gòu)導(dǎo)致管理困難庫外計(jì)算將中間數(shù)據(jù)外置計(jì)算不依賴于數(shù)據(jù)庫，其它能

2、力不需要 綁定應(yīng)用、樹狀結(jié)構(gòu)、易于管理冗余中間表中間表應(yīng)用程序庫外文件數(shù)據(jù)庫外計(jì)算多樣性數(shù)據(jù)普遍存在txt,csv,xlsx nosql,hadoop json,xml直接計(jì)算多樣性數(shù)據(jù)不需要建設(shè)專門的數(shù)據(jù)庫及轉(zhuǎn)入工作 結(jié)構(gòu)簡單、實(shí)時(shí)性更好多樣性數(shù)據(jù)數(shù)據(jù)庫計(jì)算引擎TXTCSVXLSXnosqlh a d o o p缺乏庫外計(jì)算能力擾亂ETL過程ETL？ELT？LET？加大數(shù)據(jù)庫負(fù)擔(dān)庫外計(jì)算實(shí)現(xiàn)合理的ETLETL輔助外部文件LET數(shù)據(jù)庫ETL復(fù)雜SQL的執(zhí)行路徑難以控制庫外計(jì)算優(yōu)化SQL執(zhí)行路徑自由控制執(zhí)行步驟部分運(yùn)算移至庫外進(jìn)行執(zhí)行路徑JDBC性能瓶頸計(jì)算引擎多線程取數(shù)ABC1fork 4=connect(db)/分4線程2=B1.queryx(“select * from T where part=?”,A1)/分別取每一段3=A1.conj()/合并結(jié)果并行取數(shù)異構(gòu)數(shù)據(jù)庫集群跨庫集群多數(shù)據(jù)庫集群集算器線程1線程2線程3SQL結(jié)果SQL結(jié)果SQL結(jié)果匯總結(jié)果T+0問題交易一致性要求關(guān)系數(shù)據(jù)庫 歷史與當(dāng)期同庫，數(shù)據(jù)量太大歷史與當(dāng)期異庫，跨庫計(jì)算困難庫外計(jì)算實(shí)現(xiàn)并行跨庫計(jì)算歷史數(shù)據(jù)還可文件化T+0查詢報(bào)表歷史當(dāng)期定期轉(zhuǎn)出并行計(jì)算引擎數(shù)據(jù)中心的特征與要求數(shù)據(jù)庫群多樣性數(shù)據(jù)源 服務(wù)式接口 訪問受控?cái)?shù)據(jù)脫敏數(shù)據(jù)中心庫外計(jì)算引擎實(shí)現(xiàn)數(shù)據(jù)庫中心訪問層計(jì)算能力編程能力集成能力數(shù)據(jù)中心結(jié)構(gòu)數(shù) 據(jù)