2022云棲大會(huì)：云原生數(shù)據(jù)倉庫-加速業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)價(jià)值化

MaximizetheValueofData阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部OLAP產(chǎn)品部負(fù)責(zé)人阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部OLAP產(chǎn)品經(jīng)理團(tuán)隊(duì)負(fù)責(zé)人01規(guī)模爆炸性增長01規(guī)模爆炸性增長03處理實(shí)時(shí)化實(shí)時(shí)敏捷作為TOP5需求的企業(yè)占比04處理智能化規(guī)模實(shí)時(shí)智能0202數(shù)據(jù)格式多樣化非結(jié)構(gòu)化數(shù)據(jù)占比非結(jié)構(gòu)化數(shù)據(jù)年增速IDC&Gartner數(shù)據(jù)源企業(yè)應(yīng)用分析/輸出數(shù)據(jù)共享數(shù)據(jù)科學(xué)抽取/傳輸存儲(chǔ)消費(fèi)端數(shù)據(jù)倉庫看板報(bào)表數(shù)據(jù)集市數(shù)據(jù)源企業(yè)應(yīng)用分析/輸出數(shù)據(jù)共享數(shù)據(jù)科學(xué)抽取/傳輸存儲(chǔ)消費(fèi)端數(shù)據(jù)倉庫看板報(bào)表數(shù)據(jù)集市即席分析備份歸檔加工加工/轉(zhuǎn)換數(shù)據(jù)源企業(yè)應(yīng)用加工/轉(zhuǎn)換抽取/傳輸消費(fèi)端看板報(bào)表即席分析實(shí)時(shí)數(shù)據(jù)源企業(yè)應(yīng)用加工/轉(zhuǎn)換抽取/傳輸消費(fèi)端看板報(bào)表即席分析實(shí)時(shí)強(qiáng)一致存儲(chǔ)存儲(chǔ)分析/輸出高性能高性能一體化一體化1、計(jì)算存儲(chǔ)分離，計(jì)算支持分時(shí)彈性計(jì)算層支持按小時(shí)設(shè)置計(jì)算資源彈性擴(kuò)容規(guī)則，解決1、計(jì)算存儲(chǔ)分離，計(jì)算支持分時(shí)彈性計(jì)算層支持按小時(shí)設(shè)置計(jì)算資源彈性擴(kuò)容規(guī)則，解決資源峰谷需求問題，降低計(jì)算資源成本256核上午09:00上午12:00穩(wěn)定計(jì)算任務(wù)重要、穩(wěn)定計(jì)算任務(wù)不受臨時(shí)和異常任務(wù)影響保證業(yè)務(wù)穩(wěn)定運(yùn)行最高節(jié)省數(shù)據(jù)分析90%TCO，毫秒級(jí)更新，亞秒級(jí)洞察，打破湖倉孤島，數(shù)據(jù)庫的易用，大數(shù)據(jù)的規(guī)模。22、存儲(chǔ)冷熱分層，支持智能自適應(yīng)分層冷數(shù)據(jù)存儲(chǔ)在便宜的HDD介質(zhì)上，節(jié)約存儲(chǔ)成本冷數(shù)據(jù)層冷數(shù)據(jù)層4、計(jì)算混合負(fù)載調(diào)度，支持離在線一體實(shí)時(shí)分析+離線計(jì)算能力雙劍合璧，打破湖倉孤島資源一體化降低資源成本，體驗(yàn)一體化增加開發(fā)效率全流程傳統(tǒng)數(shù)倉升級(jí)方案4、計(jì)算混合負(fù)載調(diào)度，支持離在線一體實(shí)時(shí)分析+離線計(jì)算能力雙劍合璧，打破湖倉孤島資源一體化降低資源成本，體驗(yàn)一體化增加開發(fā)效率全流程傳統(tǒng)數(shù)倉升級(jí)方案TD)最高節(jié)省數(shù)據(jù)分析90%TCO，毫秒級(jí)更新，亞秒級(jí)洞察，打破湖倉孤島，數(shù)據(jù)庫的易用，大數(shù)據(jù)的規(guī)模。55、計(jì)算按需啟停，降低閑置資源浪費(fèi)停，實(shí)現(xiàn)秒級(jí)計(jì)費(fèi)，且按真實(shí)資源使用時(shí)長進(jìn)行收費(fèi)實(shí)例運(yùn)行實(shí)例運(yùn)行資源調(diào)度Serverless資源查詢感知空閑資源釋放秒級(jí)付費(fèi)企業(yè)級(jí)數(shù)據(jù)安全行級(jí)安全策略全新數(shù)據(jù)加密算法密碼存儲(chǔ)加密dep1dep1資源調(diào)度Serverless資源查詢感知空閑資源釋放秒級(jí)付費(fèi)企業(yè)級(jí)數(shù)據(jù)安全行級(jí)安全策略全新數(shù)據(jù)加密算法密碼存儲(chǔ)加密dep1dep1dep1企業(yè)級(jí)分析能力企業(yè)級(jí)分析能力高性能行列混存引擎高性能行列混存引擎存儲(chǔ)過程存儲(chǔ)過程Function支持豐富場景化分析能力豐富場景化分析能力存儲(chǔ)分析/輸出加工/轉(zhuǎn)換消費(fèi)端看板報(bào)表存儲(chǔ)分析/輸出加工/轉(zhuǎn)換消費(fèi)端看板報(bào)表數(shù)據(jù)源數(shù)據(jù)源企業(yè)應(yīng)用抽取/傳輸鏈路割裂鏈路割裂加工/轉(zhuǎn)換存儲(chǔ)分析/輸出數(shù)據(jù)源企業(yè)應(yīng)用加工/轉(zhuǎn)換存儲(chǔ)分析/輸出數(shù)據(jù)源企業(yè)應(yīng)用處理/分析一體化簡單易用、實(shí)時(shí)敏捷、性價(jià)比高、少量或無數(shù)據(jù)拷貝抽取抽取/傳輸消費(fèi)端消費(fèi)端即席分析數(shù)據(jù)湖的規(guī)模，數(shù)據(jù)庫的體驗(yàn)，數(shù)據(jù)處理+數(shù)據(jù)分析一體化11數(shù)據(jù)一體化無需煩惱一致性和時(shí)效性00度靈活彈性彈得好彈得起彈得快降低資源成本30%+22444個(gè)統(tǒng)一統(tǒng)一計(jì)費(fèi)單位統(tǒng)一數(shù)據(jù)管道統(tǒng)一數(shù)據(jù)管理統(tǒng)一數(shù)據(jù)訪問提升開發(fā)效率30%+一份數(shù)據(jù)在線分析?一份數(shù)據(jù)在線分析?一份全量數(shù)據(jù)，數(shù)據(jù)不拷貝/不冗余，提高數(shù)據(jù)一致性和時(shí)效性?低成本存儲(chǔ)：全量數(shù)據(jù)存成本～0.1元/G/月?隔離性好：離線處理不經(jīng)過EIU，不干擾在線分析業(yè)務(wù)?實(shí)時(shí)性：數(shù)據(jù)存在EIU中，提供行級(jí)實(shí)時(shí)增刪改能力?高性能：構(gòu)建多級(jí)索引，支持計(jì)算下推的分時(shí)彈性分時(shí)彈性適合在線分析業(yè)務(wù)按需彈性按需彈性適合離線處理/機(jī)器學(xué)習(xí)庫存秒級(jí)秒級(jí)彈性保障彈性資源交付率超源庫存供給能力處理能力秒級(jí)彈性擴(kuò)過緩存加速等技術(shù)在線分析場景離線處理場景在線分析場景離線處理場景調(diào)度粒度為整個(gè)查詢所有任務(wù)，計(jì)算過程中pipeline流式計(jì)算采用BSP計(jì)算架構(gòu)，通分批調(diào)度，滿足有限資源下大數(shù)據(jù)量計(jì)算，支持計(jì)算數(shù)據(jù)落盤開源引擎SparkSpark采用BSP計(jì)算架構(gòu)，通分批調(diào)度離線處理/機(jī)器學(xué)習(xí)場景優(yōu)勢(shì)切換利用利用率高超時(shí)的MPP模式查詢，自動(dòng)切換BSP模式執(zhí)行一份資源，支持夜晚T-1析，錯(cuò)峰提升資源利用率第三方Engine第三方Engine據(jù)統(tǒng)一元數(shù)據(jù)/權(quán)限據(jù)StorageStorageAPI（Read/Write）ShardnShard3Shard2Shard1低成本ShardnShard3Shard2Shard1低成本批量更新ShardnShard3Shard2Shard1Shard1Shard1Shard3Shard2ShardShardn外部存儲(chǔ)外部存儲(chǔ)鄉(xiāng)parquet統(tǒng)一統(tǒng)一元數(shù)據(jù)統(tǒng)一統(tǒng)一API統(tǒng)一元數(shù)據(jù)和權(quán)限，打破數(shù)據(jù)孤島，更全面地分析一套基于Arrow的讀寫API，便于Spark、讀寫性能可提升10倍新零售/電商游戲金融新零售/電商游戲金融汽車/制造汽車/制造/數(shù)據(jù)中臺(tái)傳統(tǒng)數(shù)倉升級(jí)最佳實(shí)踐，打造數(shù)據(jù)驅(qū)動(dòng)新引擎?zhèn)鹘y(tǒng)數(shù)倉升級(jí)最佳實(shí)踐，打造數(shù)據(jù)驅(qū)動(dòng)新引擎成本下降50%整體性能提升100%以上平穩(wěn)遷移25000多個(gè)任務(wù)波克城市：萬億級(jí)游