Apache Doris助力企業(yè)實現(xiàn)數(shù)據(jù)智能化應用

趙書賢啟高科技聯(lián)創(chuàng)&方案架構師01關于啟高科技02零售業(yè)數(shù)據(jù)特征03基于ApacheDoris+啟數(shù)道的數(shù)據(jù)平臺分享嘉賓–上海啟高信息科技有限公司趙書賢聯(lián)合創(chuàng)始人&方案架構師超過18年企業(yè)大數(shù)據(jù)BI咨詢規(guī)劃與實施落地經驗，為超過百家大中型企業(yè)提供大數(shù)據(jù)BI咨詢實施服務，對零售、制造行業(yè)有豐富經驗，對SAPBW/HANA、大數(shù)據(jù)各組件、數(shù)據(jù)開發(fā)平臺均擁有豐富實踐經驗。啟高科技，企業(yè)數(shù)據(jù)領域的持久伙伴與堅強后盾2個行業(yè)聚焦零售、制造行業(yè)2個行業(yè)聚焦零售、制造行業(yè)總部上海虹橋輻射全國1個產品啟數(shù)道DataOps平臺專注于大數(shù)據(jù)BI產品與實施專注于大數(shù)據(jù)BI產品與實施服務50+家客戶近三年服務的企業(yè)讓數(shù)據(jù)成為驅動力榮譽與資質證書100+名顧問技術團隊規(guī)模服務客戶服務客戶啟高科技陪跑企業(yè)數(shù)據(jù)價值化全過程數(shù)據(jù)價值化方法論數(shù)據(jù)價值化方法論前期采集與整理保障與安全應用和創(chuàng)新人才與組織前期采集與整理保障與安全應用和創(chuàng)新人才與組織明確數(shù)據(jù)價值化建立完善的數(shù)據(jù)采運用數(shù)據(jù)分析和挖掘技術，將數(shù)據(jù)應用于不同場加強數(shù)據(jù)保障和合規(guī)通過人才培養(yǎng)和組織變的目標、現(xiàn)狀、線路圖集和整理機制，確保數(shù)據(jù)的準確性、完整性和及時性。對數(shù)據(jù)進行深度挖掘和分析，發(fā)掘出潛在價值，并為業(yè)務決策提供依據(jù)。景和業(yè)務領域，開展數(shù)據(jù)驅動的業(yè)務創(chuàng)新和變革，推動企業(yè)發(fā)管理，確保數(shù)據(jù)安全和合法使用，避免因數(shù)據(jù)泄露等問題帶來的風險革，建設具備數(shù)據(jù)思維和能力的團隊，推動企業(yè)實現(xiàn)從傳統(tǒng)到數(shù)字化轉型啟高科技服務內容啟高科技服務內容指標體系數(shù)字大屏指標體系數(shù)字大屏報表權限管控數(shù)據(jù)API數(shù)據(jù)脫敏數(shù)據(jù)人才培養(yǎng)數(shù)據(jù)文化workshop數(shù)據(jù)治理落地數(shù)據(jù)平臺建設數(shù)據(jù)資產管理數(shù)據(jù)戰(zhàn)略咨詢數(shù)據(jù)治理咨詢數(shù)據(jù)應用規(guī)劃門店提效電商提效成本監(jiān)控……預測維修車間無紙化車間目視化質量優(yōu)化……深耕行業(yè)，專注企業(yè)數(shù)據(jù)深加工，聚焦數(shù)據(jù)模型行業(yè)數(shù)據(jù)模型客戶獨特數(shù)據(jù)模型啟高行業(yè)數(shù)據(jù)資產模型客戶的客戶獨特數(shù)據(jù)模型啟高行業(yè)數(shù)據(jù)資產模型客戶的數(shù)據(jù)資產客戶的數(shù)據(jù)兼顧企業(yè)特點門檻要求低、快速匹配企業(yè)業(yè)務流程紡織服裝企業(yè)全方位數(shù)字化轉型，消除牛鞭效應商品商品牛鞭效應（BullwhipEffect）是指在供應鏈中，較小的需求變化或波動逐漸放大，從而在上游供應鏈環(huán)節(jié)引發(fā)更大的波動和不穩(wěn)定現(xiàn)象。DRPOMSCRMDRPOMSCRM服裝企業(yè)數(shù)字化轉型過程的困境場景復雜場景復雜、響應要求高數(shù)據(jù)量龐大、數(shù)據(jù)多元且最復雜O2OSRMSRMERPPLMPOS商城Wechat電商平臺WMSERPPLMPOS商城Wechat電商平臺WMSMES……沉淀多年的信息商品多樣化渠道多元化商品多樣化渠道多元化經營鏈路長經營鏈路長柔性快返柔性快返多品牌矩陣多品牌矩陣流量分配流量分配DTCDTC千變萬化的商業(yè)模式充分利用大數(shù)據(jù)將供需實時連結在一起，實現(xiàn)全鏈路拉通終端需求驅動大數(shù)據(jù)技術掌握終端需求，并以需求為始點進行研產銷存全鏈路經營活動效率提升全鏈路信息互聯(lián)互通，實現(xiàn)信息的高效傳遞，避免長鞭效應協(xié)同作業(yè)訂單跟蹤，實現(xiàn)全環(huán)節(jié)協(xié)協(xié)同能力精準定位借助大數(shù)據(jù)AI技術，實現(xiàn)人貨場的精準定位?需求預測、快速迭代、終端與工廠制造端聯(lián)動，減少了鏈條中的無用環(huán)節(jié)，將高質量的流行商品快速交付給了客戶；?通過算法從海量數(shù)據(jù)中挖掘時尚趨勢，將數(shù)據(jù)反饋給龐大的設計和打板團隊進行后續(xù)生產；數(shù)據(jù)中臺管理庫存、生產能力數(shù)據(jù)，直接連結工廠車間與客戶；借助強大的數(shù)據(jù)和算法支持，實現(xiàn)快速增長供應鏈信息系統(tǒng)服裝生產工廠車間品牌商信供應鏈信息系統(tǒng)服裝生產工廠車間品牌商信息系統(tǒng)線下門店電商平臺全鏈路數(shù)據(jù)拉通，實時反饋數(shù)字大屏固定大表移動看板數(shù)據(jù)應用（可視化應用）計算引擎計算任務計算任務新零售ERP數(shù)據(jù)管道（實時）/定時任務ODSFlinkCDCDataX2Kafka指標歸因智能補貨（業(yè)務場景應用）ODSApacheDoris/SelectDB數(shù)據(jù)存儲存數(shù)字大屏固定大表移動看板數(shù)據(jù)應用（可視化應用）計算引擎計算任務計算任務新零售ERP數(shù)據(jù)管道（實時）/定時任務ODSFlinkCDCDataX2Kafka指標歸因智能補貨（業(yè)務場景應用）ODSApacheDoris/SelectDB數(shù)據(jù)存儲查詢引擎應用層分析權限數(shù)據(jù)服務API啟數(shù)道大數(shù)據(jù)管理平臺啟數(shù)道大數(shù)據(jù)管理平臺Doris作為企業(yè)大數(shù)據(jù)存儲查詢引擎的幾大亮點數(shù)據(jù)寫入效率數(shù)據(jù)寫入效率1.支持多種方式的高效寫入，尤其是StreamLoad性能非常高2.單表導入性能，在并發(fā)數(shù)為1，單次導入數(shù)據(jù)量達到10MB，導入吞吐量能達到160MB/秒，或者10W行/s。數(shù)據(jù)查詢效率數(shù)據(jù)查詢效率1.Doris的一些特性，如分區(qū)分桶，數(shù)據(jù)模型，物化視圖，優(yōu)化器等提升查詢效率2.高并發(fā)數(shù)據(jù)更改能力（隨機寫）1.Doris提供的UniqueKey數(shù)據(jù)模型，根據(jù)key列，修改value列。數(shù)據(jù)拉取能力（增量數(shù)據(jù)流）1.Doris2.1版本之前，默認使用Merge_on_read機制2.Doris2.1版本開始，默認使用Merge_on_write機制：在更新數(shù)據(jù)時，完成所有數(shù)據(jù)合并的工作，以便提高查詢性能Doris在零售行業(yè)數(shù)據(jù)應用適用場景Doris是一款分布式查詢數(shù)據(jù)庫，在擁有較高的查詢性能的同時能夠保持數(shù)據(jù)一致性、并支持Join及標準SQL，簡單運維等特性，適合集數(shù)據(jù)倉庫與數(shù)據(jù)查詢于一體的應用場景。邏輯計算邏輯計算適用場景實時計算適用場景實時計算視圖計算?Doris提供同步/異步導入，對所有導入提供原子性保證，通過Label機制保證對應數(shù)據(jù)最多被導入一次?Doris可以實現(xiàn)類似財務分攤等強一致性的計算邏輯，支持標準SQL操作?Doris支持視圖預計算，可默認以視圖方式實現(xiàn)邏輯?面對變化較頻繁的場景，可以通過Doris視圖方式實現(xiàn)，不用重新上數(shù)，每次修改代碼后可直接查詢視圖結果，提升響應效率?結合視圖計算，可以通過Flink將數(shù)據(jù)進入到Doris，然后在Doris視圖中寫加工邏輯，以達到實時場景?即：業(yè)務數(shù)據(jù)只有一次接入過程，然后就是視圖計算了啟高科技打造的覆蓋全鏈路的大數(shù)據(jù)服務平臺：啟數(shù)道與BI可視化、數(shù)據(jù)產品集成與BI可視化、數(shù)據(jù)產品集成治理及服務發(fā)布架構開放屏蔽大數(shù)據(jù)架構復雜性實施簡單加速數(shù)據(jù)中臺實施部署架構開放屏蔽大數(shù)據(jù)架構復雜性實施簡單加速數(shù)據(jù)中臺實施部署組件化可拖拽式數(shù)據(jù)應用數(shù)據(jù)對象數(shù)據(jù)源數(shù)據(jù)對象數(shù)據(jù)源數(shù)據(jù)開發(fā)數(shù)據(jù)建模數(shù)據(jù)開發(fā)數(shù)據(jù)建模調度管理數(shù)據(jù)開發(fā)任務編排數(shù)據(jù)質量數(shù)據(jù)API數(shù)據(jù)門戶調度管理數(shù)據(jù)開發(fā)任務編排數(shù)據(jù)質量指標管理指標管理數(shù)據(jù)資產數(shù)據(jù)標準數(shù)據(jù)資產數(shù)據(jù)標準數(shù)據(jù)血緣數(shù)據(jù)治理元數(shù)據(jù)數(shù)據(jù)血緣數(shù)據(jù)治理元數(shù)據(jù)訓練集API定義訓練集API定義數(shù)據(jù)標簽API監(jiān)控智能場景自服務極