2022年度中國(guó)數(shù)智融合發(fā)展洞察

1、中國(guó)數(shù)智融合發(fā)展洞察摘要VUCA時(shí)代，市場(chǎng)變化加速。企業(yè)需要更加敏捷而準(zhǔn)確的數(shù)智化決策，這些決策應(yīng)當(dāng)是分鐘級(jí)的而非 天級(jí)的，應(yīng)當(dāng)是基于全量數(shù)據(jù)的而非局部數(shù)據(jù)的，應(yīng)當(dāng)是基于準(zhǔn)確數(shù)據(jù)的而非基于“臟數(shù)據(jù)”的，應(yīng) 當(dāng)是業(yè)務(wù)人員和數(shù)據(jù)分析人員任意發(fā)起的而非是通過(guò)復(fù)雜流程和多部門(mén)配合才能實(shí)現(xiàn)的。傳統(tǒng)的數(shù)倉(cāng)或者湖倉(cāng)分離架構(gòu)讓數(shù)智融合和企業(yè)敏捷決策變得困難：數(shù)據(jù)孤島存在，決策無(wú)法基于全 量數(shù)據(jù)；數(shù)據(jù)來(lái)回流轉(zhuǎn)，成本高、周期長(zhǎng)、時(shí)效差。基于存儲(chǔ)-緩存-計(jì)算分離，湖-倉(cāng)-AI數(shù)據(jù)統(tǒng)一元 數(shù)據(jù)管理的Serverless，可在數(shù)據(jù)量、成本、效率、敏捷方面取得最優(yōu)解。開(kāi)源為數(shù)智生態(tài)貢獻(xiàn)重要力量，但這不預(yù)示所有企業(yè)需通過(guò)開(kāi)

2、源產(chǎn)品自建數(shù)智平臺(tái)。實(shí)際上，大多 企業(yè)聚焦自己核心業(yè)務(wù)，選擇性能穩(wěn)定、無(wú)須運(yùn)維、數(shù)智融合、端到端自動(dòng)化與智能化的商業(yè)化數(shù) 智平臺(tái)，ROI會(huì)更高。當(dāng)然，平臺(tái)應(yīng)與主流開(kāi)源產(chǎn)品具有良好繼承性，如此，更加靈活開(kāi)放，企業(yè) 的IT人才補(bǔ)給成本也更低。2中國(guó)數(shù)智融合發(fā)展背景31企業(yè)數(shù)智融合的痛點(diǎn)及應(yīng)對(duì)2數(shù)智融合典型實(shí)踐3數(shù)據(jù)量和非結(jié)構(gòu)化數(shù)據(jù)占比上升統(tǒng)一管理，統(tǒng)一查詢使用，成為新的挑戰(zhàn)全球數(shù)據(jù)量以59%以上的年增長(zhǎng)率快速增長(zhǎng)，其中80%是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，中國(guó)數(shù)據(jù)量的上升較全球更為迅速。 數(shù)據(jù)量和非結(jié)構(gòu)化數(shù)據(jù)的上升，使得基于對(duì)象存儲(chǔ)的數(shù)據(jù)湖越來(lái)越為普及。此時(shí)，如何使用統(tǒng)一管理，統(tǒng)一查詢使用，成 為新的挑

3、戰(zhàn)。來(lái)源：中國(guó)電信招股說(shuō)明書(shū)，艾瑞咨詢研究院整理及繪制。2015-2030年中國(guó)數(shù)據(jù)量規(guī)模及全球占比企業(yè)長(zhǎng)期以來(lái)，受技術(shù)影響， 對(duì)結(jié)構(gòu)化數(shù)據(jù)的利用率均高 于對(duì)非結(jié)構(gòu)化數(shù)據(jù)的利用率。 但實(shí)際上，非結(jié)構(gòu)化數(shù)據(jù)的 體量與其包含的信息量都更 多，是企業(yè)未得到充分利用 的寶貴資產(chǎn)。結(jié)構(gòu)化 數(shù)據(jù), 70%據(jù), 30%3124917523.2%23.6%27.8%28.8%20152020中國(guó)年數(shù)據(jù)量（ZB）2025e2030e中國(guó)年數(shù)據(jù)量全球占比（%）僅占20%，其余80%都是以文 件、語(yǔ)音、圖片等形式存在的 非結(jié)構(gòu)化數(shù)據(jù)。且非結(jié)構(gòu)化數(shù) 據(jù)的增速遠(yuǎn)遠(yuǎn)高于結(jié)構(gòu)化數(shù)據(jù)， 隨著時(shí)間的推移,非結(jié)構(gòu)化數(shù)據(jù) 所占的比

4、例將會(huì)越來(lái)越高。非結(jié)構(gòu)化 非結(jié)構(gòu)化數(shù)4數(shù)據(jù), 80%企業(yè)內(nèi)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)占比及使用情況結(jié)構(gòu)化 數(shù)據(jù),在企業(yè)的數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)20%數(shù)據(jù)多源異構(gòu)成為常態(tài)數(shù)據(jù)從“匯聚才可被用”到“鏈接即可被用”在傳統(tǒng)數(shù)倉(cāng)中，多源數(shù)據(jù)經(jīng)ETL過(guò)程并集中入倉(cāng)，方可被使用。該方式有許多不足：第一，因有復(fù)雜的ETL過(guò)程及大量數(shù) 據(jù)的傳輸，數(shù)據(jù)實(shí)時(shí)性難以保障，因此分析常必須T+1才可完成；第二，數(shù)據(jù)的全量存儲(chǔ)和存儲(chǔ)成本之間難以取舍，因此 必須提前抉擇保留哪些數(shù)據(jù)，隨著數(shù)據(jù)種類(lèi)的逐漸增多，這很難做到；第三，對(duì)于異常值的下鉆、回溯等，無(wú)法回溯到最 為原始的數(shù)據(jù)。隨著應(yīng)用場(chǎng)景的增多，數(shù)據(jù)庫(kù)的種類(lèi)也逐漸豐富，如更適應(yīng)物

5、聯(lián)網(wǎng)場(chǎng)景的時(shí)序數(shù)據(jù)庫(kù)、更適應(yīng)知識(shí)譜圖應(yīng) 用的圖數(shù)據(jù)庫(kù)，等等。綜上，多源異構(gòu)、分布存儲(chǔ)、現(xiàn)用現(xiàn)傳、統(tǒng)一查詢與應(yīng)用的架構(gòu)，逐漸被敏捷型企業(yè)認(rèn)可。數(shù)據(jù)倉(cāng)庫(kù)vs數(shù)據(jù)湖vs湖倉(cāng)一體數(shù)據(jù)庫(kù)的多源性BI報(bào)表結(jié)構(gòu)化/半 結(jié)構(gòu)化數(shù)據(jù)ETL數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)化/半 結(jié)構(gòu)化/非 結(jié)構(gòu)化數(shù)據(jù)數(shù) 據(jù) 處 理BI報(bào)表數(shù)據(jù)湖數(shù)倉(cāng)集群 數(shù)湖集群統(tǒng)一資源池計(jì)算層存儲(chǔ)層計(jì)算層存儲(chǔ)層存算分離，彈性擴(kuò)展接口BI報(bào)表數(shù)據(jù)倉(cāng)庫(kù)vs湖倉(cāng)一體數(shù)據(jù)湖vs湖倉(cāng)一體“湖倉(cāng)一體”作為數(shù)據(jù)處理統(tǒng) 一底座，提供實(shí)時(shí)處理多引擎、 多數(shù)據(jù)類(lèi)型能力，避免數(shù)據(jù)移 動(dòng)建模，降低數(shù)據(jù)處理的成本?！昂}(cāng)一體”彌補(bǔ)Hadoop下 數(shù)據(jù)湖實(shí)時(shí)數(shù)據(jù)處理的缺失， 降低事后數(shù)據(jù)治理

6、難度，提升 了大數(shù)據(jù)應(yīng)用性能。公有云1公有云2私有云虛擬機(jī)物理機(jī)OracleDB2達(dá)夢(mèng)開(kāi)源Open GaussMySQLPostgre SQL部署性能容量資源管理 監(jiān)控巡檢高可用關(guān)系型安全性非關(guān)系型Reids一站式數(shù)據(jù)庫(kù)管理5大數(shù)據(jù)的5V價(jià)值有待進(jìn)一步釋放來(lái)源：艾瑞咨詢研究院根據(jù)公開(kāi)資料整理。大數(shù)據(jù)5V特征TB級(jí)記錄/日志事務(wù)表&文件可從平臺(tái)性工具入手，進(jìn)而解決思維和技能的問(wèn)題大數(shù)據(jù)產(chǎn)業(yè)作為以數(shù)據(jù)生成、采集、存儲(chǔ)、加工、分析、服務(wù)為主的戰(zhàn)略性新興產(chǎn)業(yè)，提供全鏈條技術(shù)、工具和平臺(tái)，孕 育數(shù)據(jù)要素市場(chǎng)主體，深度參與數(shù)據(jù)要素全生命周期活動(dòng)，是激活數(shù)據(jù)要素潛能的關(guān)鍵支撐，是數(shù)據(jù)要素市場(chǎng)培育的重要 內(nèi)容

7、。目前，大數(shù)據(jù)產(chǎn)業(yè)仍存在數(shù)據(jù)壁壘突出、碎片化問(wèn)題嚴(yán)重等瓶頸約束，大數(shù)據(jù)容量大、類(lèi)型多、速度快、精度準(zhǔn)、 價(jià)值高的5V特性未能得到充分釋放。這其中既有思維、技能的要素，又有工具的要素，三者也并非割裂存在，一般來(lái)說(shuō)， 性能穩(wěn)定、簡(jiǎn)單易用的全鏈條平臺(tái)工具有助于消除思維的“不敢”和技能的“不會(huì)”，化解掉5V特性釋放的原始阻力，使 得大數(shù)據(jù)更加普適化。大數(shù)據(jù)5V特性速度（Velocity）數(shù)量（Volume）批處理實(shí)時(shí)多進(jìn)程數(shù)據(jù)流價(jià)值（Value)統(tǒng)計(jì)學(xué)事件性相關(guān)性假設(shè)性種類(lèi)（Variety）結(jié)構(gòu)化非結(jié)構(gòu)化多因素概率性真實(shí)性（Veracity）6可信性真?zhèn)涡詠?lái)源&信譽(yù)有效性可審計(jì)性云原生：從微服務(wù)走向S

8、erverless來(lái)源：華為serverless核心技術(shù)與實(shí)踐，艾瑞咨詢研究院整理及繪制。來(lái)源： 華為serverless核心技術(shù)與實(shí)踐 ，艾瑞咨詢研究院整理及繪制。 微服務(wù)開(kāi)發(fā)/DevOpsKubernetes集群DevOps虛擬機(jī)基礎(chǔ)設(shè)施運(yùn)維團(tuán)隊(duì)計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)云供應(yīng)商從PaaS到FaaS，基礎(chǔ)設(shè)施被更深層次地托管和“屏蔽”當(dāng)前，微服務(wù)的生態(tài)和實(shí)踐已經(jīng)比較成熟，其設(shè)計(jì)方法、開(kāi)發(fā)框架、CI/CD工具、基礎(chǔ)設(shè)施管理工具等，都可以幫助企業(yè) 順利實(shí)施，然而其仍有許多不足：（1）粒度仍然比較大。（2）開(kāi)發(fā)仍有較高門(mén)檻。（3）微服務(wù)基礎(chǔ)設(shè)施管理、高可用 和彈性仍然很難保證。（4）基礎(chǔ)設(shè)施的成本依然較高

9、。而Serverless中，開(kāi)發(fā)者不再需要將時(shí)間和資源花費(fèi)在服務(wù)器調(diào) 配、維護(hù)、更新、擴(kuò)展和容量規(guī)劃上，這些任務(wù)都由平臺(tái)處理，開(kāi)發(fā)者只需要專(zhuān)注于編寫(xiě)應(yīng)用程序的業(yè)務(wù)邏輯。如果再結(jié) 合低零代碼，則 “編寫(xiě)應(yīng)用程序”的難度也大為降低，企業(yè)內(nèi)的技術(shù)人員更加貼近業(yè)務(wù)。微服務(wù)中，大量運(yùn)維仍未被托管典型的serverless架構(gòu)HTTP請(qǐng)求API網(wǎng)關(guān) 消息列隊(duì)定時(shí)器IoT觸發(fā)器事件FaaS 控制器事件異步/同步函數(shù)實(shí)例 容器FaaS平臺(tái)函數(shù)編程模型def handler(event,context)event context云存儲(chǔ)身份認(rèn)證消息隊(duì)列.7消息隊(duì)列API網(wǎng)關(guān)BaaS平臺(tái)人工智能：需要大規(guī)模準(zhǔn)確數(shù)據(jù)

10、哺育數(shù) 據(jù) 治 理 的 需 求 傳 導(dǎo)人工智能應(yīng)用引發(fā)數(shù)據(jù)治理需求企業(yè)在部署AI應(yīng)用時(shí)，數(shù)據(jù)資源的優(yōu)劣極大程度決定了AI應(yīng)用的落地效果。因此，為推進(jìn)AI應(yīng)用的高質(zhì)量落地，開(kāi)展針對(duì) 性的數(shù)據(jù)治理工作為首要且必要的環(huán)節(jié)。而對(duì)于企業(yè)本身已搭建的傳統(tǒng)數(shù)據(jù)治理體系，目前多停留在對(duì)于結(jié)構(gòu)性數(shù)據(jù)的治 理優(yōu)化，在數(shù)據(jù)質(zhì)量、數(shù)據(jù)字段豐富度、數(shù)據(jù)分布和數(shù)據(jù)實(shí)時(shí)性等維度尚難滿足AI應(yīng)用對(duì)數(shù)據(jù)的高質(zhì)量要求。為保證AI應(yīng) 用的高質(zhì)效落地，企業(yè)仍需進(jìn)行面向人工智能應(yīng)用的二次數(shù)據(jù)治理工作。AI應(yīng)用對(duì)數(shù)據(jù)治理需求AI應(yīng)用的數(shù)據(jù)要求基于AI應(yīng)用的數(shù)據(jù)治理需求接入實(shí)時(shí)性數(shù)據(jù)AI模型需納入實(shí)時(shí)數(shù)據(jù)，構(gòu)建批流一 體的數(shù)據(jù)聚合計(jì)算模式

11、數(shù)據(jù)融合&質(zhì)量?jī)?yōu)化多個(gè)數(shù)據(jù)源下的數(shù)據(jù) 內(nèi)容不一致等問(wèn)題； 缺失值、缺失字段； 錯(cuò)誤值、異常樣本；特征工程融合結(jié)構(gòu)化數(shù)據(jù)、半結(jié) 構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù) 據(jù)，進(jìn)行以AI應(yīng)用為目 的特征工程接入多源異構(gòu)數(shù)據(jù)源挖掘企業(yè)內(nèi)外部信息，納入結(jié)構(gòu)化數(shù)據(jù)、 半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，提升與 AI模型相關(guān)的數(shù)據(jù)積累。數(shù)據(jù)訓(xùn)練規(guī)模 擴(kuò)張，數(shù)據(jù)類(lèi)型異構(gòu)，數(shù)據(jù)噪聲指數(shù)級(jí) 增加，對(duì)此建立針對(duì)性的數(shù)據(jù)治理體系數(shù)據(jù)規(guī)模傳統(tǒng)數(shù)據(jù)治理多以人為面向?qū)ο螅谟邢迶?shù)據(jù)容量進(jìn)行聚 合類(lèi)信息展示，AI可接納數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于人所接納的數(shù)據(jù)量 和信息量，且可用高質(zhì)量數(shù)據(jù)越多，模型質(zhì)量和準(zhǔn)確性越好。數(shù)據(jù)類(lèi)型AI應(yīng)用，尤其是知識(shí)圖譜搭建，需要大量

12、半結(jié)構(gòu)化和非結(jié)構(gòu) 化數(shù)據(jù)支持來(lái)開(kāi)展工作。因此AI應(yīng)用在結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)上， 將半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)納入數(shù)據(jù)源并支持上層分析應(yīng)用。數(shù)據(jù)質(zhì)量AI模型對(duì)數(shù)據(jù)高度敏感，其質(zhì)量?jī)?yōu)劣極大程度影響AI模型的 應(yīng)用效果， 因此AI 數(shù)據(jù)源需極力規(guī)避“ garbage in ， garbage out”的問(wèn)題發(fā)生，多維度的質(zhì)量檢查成為必修課。數(shù)據(jù)實(shí)時(shí)性AI模型對(duì)實(shí)時(shí)性要求高，大部分應(yīng)用需基于實(shí)時(shí)數(shù)據(jù)實(shí)現(xiàn)分 析、推薦和預(yù)警等目的，支持AI應(yīng)用的數(shù)據(jù)源更強(qiáng)調(diào)具備實(shí) 時(shí)性接入能力。8業(yè)務(wù)敏捷需要IT架構(gòu)“去過(guò)程化”通過(guò)抽象解耦、水平擴(kuò)展、自動(dòng)化與智能化實(shí)現(xiàn)去過(guò)程化VUCA時(shí)代，市場(chǎng)變化加速，通過(guò)數(shù)據(jù)來(lái)分析和決策的需求

13、，也有了更高的不確定性。當(dāng)這些需求提出，通過(guò)一套復(fù)雜的 IT流程和漫長(zhǎng)的等待，變得不再現(xiàn)實(shí)，IT架構(gòu)的去過(guò)程化變得極為重要。去過(guò)程化是指減少或完全去掉原始數(shù)據(jù)/原子能 力與業(yè)務(wù)需求之間的中間數(shù)據(jù)/步驟，或使中間數(shù)據(jù)/步驟無(wú)須人為干預(yù)，自動(dòng)化、智能化完成。其可實(shí)現(xiàn)架構(gòu)的簡(jiǎn)單化、 扁平化，同時(shí)可對(duì)業(yè)務(wù)需求實(shí)時(shí)響應(yīng)，以進(jìn)一步實(shí)現(xiàn)敏捷和創(chuàng)新。架構(gòu)一開(kāi)始就放棄“精細(xì)梳理方可使用”以及“梳理完 成千萬(wàn)別動(dòng)”思想 ，用全量原始數(shù)據(jù)保障讀時(shí)模式，有助于打破“僵”與“亂”的悖論，使得企業(yè)用更少的“能量” 便 可以維持?jǐn)?shù)字化系統(tǒng)的持續(xù)運(yùn)行。去過(guò)程化四大支撐原始非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)處理原子能力數(shù)據(jù)模型低/無(wú)代碼應(yīng)

14、用人用數(shù)/產(chǎn)數(shù)物聯(lián)網(wǎng)應(yīng)用設(shè)備用數(shù)/產(chǎn)數(shù)敏捷BI人看數(shù)/用數(shù)智能的 計(jì)算層/處理層統(tǒng)一的 數(shù)據(jù)層/存儲(chǔ)層低代碼/無(wú)代碼 敏捷BIGraphQL/JsonAPI-統(tǒng)一查詢語(yǔ)言 統(tǒng)一接口統(tǒng)一角色與權(quán)限-微服務(wù) 泛化模型 智能決策-冷熱溫?cái)?shù)據(jù)分層 RDMA存算分離對(duì)象存儲(chǔ)/數(shù)據(jù)湖 數(shù)據(jù)倉(cāng)庫(kù)湖倉(cāng)一體抽象與解耦將IT架構(gòu)抽象成存儲(chǔ)、處理、應(yīng)用三層，處理層 又拆分成原子能力和數(shù)據(jù)模型，當(dāng)不確定的需求 來(lái)臨，現(xiàn)將數(shù)據(jù)、能力、展現(xiàn)與應(yīng)用形式進(jìn)行組 合進(jìn)行處理。穩(wěn)定且可水平擴(kuò)展的基礎(chǔ)設(shè)施應(yīng)用的敏來(lái)自于基礎(chǔ)的穩(wěn)，上層的簡(jiǎn)來(lái)自于底層 的繁，基礎(chǔ)設(shè)施穩(wěn)定性更加重要。高性能計(jì)算與網(wǎng)絡(luò)存算分離和讀時(shí)模式往往存在更多的重復(fù)數(shù)

15、據(jù)傳 輸與計(jì)算，對(duì)網(wǎng)絡(luò)和計(jì)算要求更高。自動(dòng)化與智能化通過(guò)智能化完成基礎(chǔ)性能優(yōu)化，降低硬件壓力或 硬件成本；通過(guò)智能化完成部分過(guò)程的自動(dòng)化， 從而屏蔽“人”視角下的該過(guò)程。9去過(guò)程化分層示例相關(guān)標(biāo)簽敏捷的 展現(xiàn)交互層/應(yīng)用層1102數(shù)智融合典型實(shí)踐3企業(yè)數(shù)智融合的痛點(diǎn)及應(yīng)對(duì)中國(guó)數(shù)智融合發(fā)展背景痛點(diǎn)一：數(shù)據(jù)量-成本-效率難以兼得不可能三角需要更高維的技術(shù)去打破在傳統(tǒng)架構(gòu)中，數(shù)據(jù)量、存儲(chǔ)成本和計(jì)算效率是一組不可能三角。如果不考慮數(shù)據(jù)量和數(shù)據(jù)類(lèi)型，那么一個(gè)傳統(tǒng)的數(shù)倉(cāng)或 者單體的DBMS即可滿足；不考慮計(jì)算效率，那么基于HDFS或者公有云對(duì)象存儲(chǔ)即可滿足，當(dāng)下價(jià)格僅約0.1元/G/月， 并持續(xù)下降，歸檔

16、存儲(chǔ)等價(jià)格更低；不考慮存儲(chǔ)成本，可使用非易失性存儲(chǔ)，其擁有一般硬盤(pán)的無(wú)限容量和斷電保護(hù)特性， 卻有接近于內(nèi)存的性能。傳統(tǒng)架構(gòu)下數(shù)據(jù)量、存儲(chǔ)成本和計(jì)算效率的不可能三角存儲(chǔ)成本11數(shù)據(jù)量對(duì)象存 儲(chǔ)計(jì)算效率數(shù)倉(cāng)SCM？應(yīng)對(duì)一：存儲(chǔ)-緩存-計(jì)算三層分離以內(nèi)存為中心的架構(gòu)，在大數(shù)據(jù)量下降低成本、保持性能為了使數(shù)據(jù)充分共享，降低均攤成本且打破數(shù)據(jù)孤島，存算分離架構(gòu)產(chǎn)生，存儲(chǔ)和計(jì)算各自彈性伸縮，按需使用。但此時(shí)，因存儲(chǔ)拉遠(yuǎn)，IO成為瓶頸，性能有所下降，因此需要緩存層來(lái)存儲(chǔ)高IO的熱數(shù)據(jù)，并最終形成以內(nèi)存為中心的架構(gòu)。從必要性看，以計(jì)算為中心架構(gòu)已經(jīng)無(wú)法適應(yīng)當(dāng)前數(shù)據(jù)生態(tài)發(fā)展：數(shù)據(jù)方面，大數(shù)據(jù)、人工智能等以數(shù)據(jù)

17、為中心的工作負(fù) 載快速發(fā)展；云方面，數(shù)據(jù)湖存算分離架構(gòu)存儲(chǔ)訪問(wèn)性能低，不支持實(shí)時(shí)分析。從可行性看，介質(zhì)、網(wǎng)絡(luò)、協(xié)議的高速發(fā) 展驅(qū)動(dòng)架構(gòu)轉(zhuǎn)型：SCM填補(bǔ)了內(nèi)存縱向擴(kuò)展的介質(zhì)空白；緩存一致性標(biāo)準(zhǔn)的爭(zhēng)奪進(jìn)入白熱化；高速內(nèi)存直連協(xié)議及技術(shù)（如華為1520，InfiniBand，Converged Ethernet）使得內(nèi)存的遠(yuǎn)程直接訪問(wèn)不再是障礙。以內(nèi)存為中心的系統(tǒng)架構(gòu)示意圖以內(nèi)存為中心的架構(gòu)技術(shù)優(yōu)勢(shì)存儲(chǔ)池磁盤(pán)磁盤(pán)計(jì)算（內(nèi)存中心架構(gòu)）CPUCPUCPU緩存緩存緩存RDMA，加載/存儲(chǔ)內(nèi)存內(nèi)存內(nèi)存核心價(jià)值與技術(shù)優(yōu)勢(shì)12性能：內(nèi)存密集型和分布式應(yīng)用減少數(shù)據(jù)搬運(yùn)/拷貝、提升性能HPE以內(nèi)存為中心系統(tǒng)提升Sp

18、ark性能15倍HPE分布式圖計(jì)算場(chǎng)景性能提升128倍MemVerge分級(jí)大內(nèi)存提升深度學(xué)習(xí)性能20倍成本：內(nèi)存池化和升級(jí)內(nèi)存池化提升內(nèi)存資源利用率通過(guò)更低成本的SCM獲得大容量?jī)?nèi)存擴(kuò)展能力故障解耦合：CPU和內(nèi)存的故障不相互影響彈性增強(qiáng)：CPU和內(nèi)存可獨(dú)立擴(kuò)縮容痛點(diǎn)二：倉(cāng)-湖-AI數(shù)據(jù)形成新孤島數(shù)倉(cāng)數(shù)據(jù)湖AI數(shù)據(jù)隔離數(shù)倉(cāng)數(shù)據(jù)湖AI數(shù)據(jù)網(wǎng)絡(luò)成本 時(shí)間成本要么隔離，要么遷移，均無(wú)法適應(yīng)全量、敏捷、低成本需求數(shù)據(jù)分析和AI分析經(jīng)過(guò)多年的發(fā)展，出現(xiàn)了很多面向不同任務(wù)的專(zhuān)用數(shù)據(jù)系統(tǒng)：數(shù)倉(cāng)系統(tǒng)處理結(jié)構(gòu)化數(shù)據(jù)，規(guī)模不夠大； 基于對(duì)象存儲(chǔ)的大數(shù)據(jù)系統(tǒng)處理海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；AI系統(tǒng)一般是數(shù)據(jù)存儲(chǔ)在本地。

19、這些專(zhuān)用系統(tǒng)要么無(wú)法打通， 形成新的數(shù)據(jù)孤島，要么不同業(yè)務(wù)的開(kāi)發(fā)要遷移數(shù)據(jù)，耗費(fèi)存儲(chǔ)和網(wǎng)絡(luò)資源，數(shù)據(jù)準(zhǔn)備慢、等待周期長(zhǎng)，且面臨后期數(shù)據(jù) 不一致的風(fēng)險(xiǎn)，發(fā)現(xiàn)異常時(shí)數(shù)據(jù)的下鉆、溯源等也相對(duì)困難，無(wú)法適應(yīng)市場(chǎng)環(huán)境快速變化下敏捷數(shù)據(jù)分析的需求。數(shù)倉(cāng)、數(shù)據(jù)湖和AI數(shù)據(jù)形成新的數(shù)據(jù)孤島數(shù)據(jù)遷移導(dǎo)致副本增多、資源浪費(fèi)、管理困難13應(yīng)對(duì)二：統(tǒng)一元數(shù)據(jù)到中心節(jié)點(diǎn)基于數(shù)據(jù)庫(kù)的數(shù)倉(cāng)關(guān)系型非關(guān)系型圖型時(shí)序型數(shù)據(jù)湖14基于Hadoop HDFS的基于公有云對(duì)象存儲(chǔ)的Master節(jié)點(diǎn)：統(tǒng)一元數(shù)據(jù)(目錄/數(shù)據(jù)權(quán)限/事務(wù)一致性/多版本管理）AI數(shù)據(jù)大數(shù)據(jù)任務(wù)機(jī)器學(xué)習(xí)任務(wù)其他應(yīng)用和任務(wù)Master-Slave架構(gòu)，以集中管理代

20、替集中存儲(chǔ)把數(shù)倉(cāng)、數(shù)據(jù)湖、AI數(shù)據(jù)的目錄、數(shù)據(jù)權(quán)限、事務(wù)一致性、多版本管理等能力都統(tǒng)一到一個(gè)中心點(diǎn)，依賴于這個(gè)中心點(diǎn)來(lái) 訪問(wèn)數(shù)據(jù)，這樣數(shù)據(jù)的利用就不會(huì)被孤立的系統(tǒng)束縛。這種分布式存儲(chǔ)，統(tǒng)一管理的Master-Slave架構(gòu)，類(lèi)似于計(jì)算領(lǐng) 域的Mapreduce。這種方式：首先，可以打破數(shù)據(jù)孤島、讓一份數(shù)據(jù)在多個(gè)引擎間自由共享，例如同一個(gè)表格可以被不 同的分析工具做分析，既可以跑數(shù)倉(cāng)任務(wù)，也可以做大數(shù)據(jù)和機(jī)器學(xué)習(xí)任務(wù)，不同的用戶角色不管用什么工具訪問(wèn)數(shù)據(jù)， 都有一致的權(quán)限，一致的事務(wù)控制；其次，可以避免數(shù)據(jù)來(lái)回遷移而造成資源的浪費(fèi)；再次，任何環(huán)節(jié)都可以看到自己權(quán) 限下的全量數(shù)據(jù)，例如ML工程師可

21、以利用整個(gè)數(shù)據(jù)湖的數(shù)據(jù)做特征訓(xùn)練；最后，所有模型均基于唯一事實(shí)來(lái)源（原始數(shù) 據(jù)），避免不同團(tuán)隊(duì)基于不同數(shù)據(jù)分析造成結(jié)果不一致，且一旦發(fā)現(xiàn)異?？梢员憬莸叵裸@、回溯。統(tǒng)一元數(shù)據(jù)示意圖痛點(diǎn)三：開(kāi)源產(chǎn)品豐富，但開(kāi)發(fā)運(yùn)維難開(kāi)發(fā)成本高，運(yùn)維成本高，技術(shù)與時(shí)俱進(jìn)難，風(fēng)險(xiǎn)大盡管在云、數(shù)、智體系下，開(kāi)源產(chǎn)品極為豐富，但企業(yè)安全、穩(wěn)定地駕馭，TCO并不低。在開(kāi)發(fā)上，企業(yè)一般需花費(fèi)20- 1000人力年的時(shí)間，不能滿足業(yè)務(wù)敏捷性；在運(yùn)維上，人工運(yùn)維，事后補(bǔ)救，宕機(jī)頻繁，耗時(shí)耗力；在技術(shù)更新上，開(kāi) 發(fā)人員難以與時(shí)俱進(jìn)，資源浪費(fèi)嚴(yán)重；在IT風(fēng)險(xiǎn)上，企業(yè)將面對(duì)IT團(tuán)隊(duì)自身的風(fēng)險(xiǎn)（復(fù)雜架構(gòu)下，團(tuán)隊(duì)離職無(wú)人接手）以 及開(kāi)源產(chǎn)

22、品的漏洞風(fēng)險(xiǎn)（如log4j4漏洞事件），還可能面對(duì)因經(jīng)驗(yàn)不足選型錯(cuò)誤的風(fēng)險(xiǎn)；在體驗(yàn)上，因產(chǎn)品自產(chǎn)自用，復(fù) 用率低，技術(shù)團(tuán)隊(duì)一般只保障基礎(chǔ)需求，對(duì)于降低業(yè)務(wù)人員使用難度、提升使用體驗(yàn)的附加性需求響應(yīng)度低。并且，這些 基礎(chǔ)的開(kāi)發(fā)、運(yùn)維等，與企業(yè)核心業(yè)務(wù)常無(wú)必然聯(lián)系，并不會(huì)帶來(lái)企業(yè)核心競(jìng)爭(zhēng)力的提升，導(dǎo)致企業(yè)數(shù)智化的ROI較低。企業(yè)利用開(kāi)源產(chǎn)品自行搭建數(shù)智平臺(tái)面臨的困難開(kāi)發(fā)花費(fèi)20-1000人力 年時(shí)間，不能滿足 業(yè)務(wù)敏捷性15運(yùn)維人工運(yùn)維 事后補(bǔ)救 宕機(jī)頻繁 耗時(shí)耗力技術(shù)更新開(kāi)發(fā)人員難以 與時(shí)俱進(jìn)，資 源浪費(fèi)嚴(yán)重IT風(fēng)險(xiǎn)IT團(tuán)隊(duì)自身風(fēng)險(xiǎn)； 開(kāi)源產(chǎn)品漏洞風(fēng)險(xiǎn)； 經(jīng)驗(yàn)不足選型錯(cuò)誤 風(fēng)險(xiǎn)體驗(yàn)產(chǎn)品復(fù)用率低；

23、 只保障基礎(chǔ)需求， 附加性需求響應(yīng) 度低應(yīng)對(duì)三：DataOps和MLOps融合ServerlessLowcodeNocodeSaaS享受成熟產(chǎn)品的紅利，兼顧與開(kāi)源產(chǎn)品的繼承和包容性企業(yè)在數(shù)智化選型中，應(yīng)首先明確自身的核心競(jìng)爭(zhēng)力和能力邊界，摒棄“重即好”思想，以更加輕盈的Serverless、 Lowcode/Nocode、SaaS等方式享受社會(huì)分工和先進(jìn)技術(shù)的紅利。以數(shù)智融合為例，拋開(kāi)IaaS層，企業(yè)自研還需掌握 Kubernetes+Docker生態(tài)、Java+Hadoop生態(tài)、Python+Pytorch/Tensorflow生態(tài)、SQL生態(tài)即便成功對(duì)接，往往 也離好用、敏捷相去甚遠(yuǎn)，最終

24、往往只形成指標(biāo)長(zhǎng)期不變的靜態(tài)報(bào)表。而與此同時(shí)，業(yè)界已存在較為領(lǐng)先的一站式數(shù)智平 臺(tái)，讓數(shù)據(jù)工程師甚至業(yè)務(wù)人員以簡(jiǎn)單、熟悉的工具/語(yǔ)言，甚至拖拉拽即可在全域數(shù)據(jù)內(nèi)使用預(yù)置AI算法，打通大數(shù)據(jù) 和人工智能，使得DataOps和MLOps融合，使數(shù)據(jù)和模型的開(kāi)發(fā)成本大為降低，周期大為縮短。企業(yè)選擇基于開(kāi)源產(chǎn)品自研，不少時(shí)候是出于一種怕被“綁架”的防御心態(tài)，以化解供應(yīng)商倒閉或漲價(jià)等風(fēng)險(xiǎn)。為此，企 業(yè)可從供應(yīng)商綜合實(shí)力，與開(kāi)源產(chǎn)品的包容度和繼承性等方面綜合考慮，做到可組可分，靈活裝配。將大數(shù)據(jù)和人工智能打通的DataOps和MLOps簡(jiǎn)單、易用、全局能力調(diào)用靈活裝配產(chǎn)品與開(kāi)源產(chǎn)品包容度產(chǎn)品與開(kāi)源產(chǎn)品繼承

25、性供應(yīng)商綜合實(shí)力實(shí)現(xiàn)可組可 分，抵抗供 應(yīng)商倒閉或 漲價(jià)等風(fēng)險(xiǎn)16痛點(diǎn)四：數(shù)據(jù)準(zhǔn)備工作復(fù)雜低效來(lái)源： Data-preparation-labeling-for-ai-2020, Cognilytica.數(shù)據(jù)長(zhǎng)生命周期決定了其復(fù)雜性數(shù)據(jù)質(zhì)量至關(guān)重要，錯(cuò)誤數(shù)據(jù)致使企業(yè)做出錯(cuò)誤決策。數(shù)據(jù)的生成、采集、存儲(chǔ)、加工、分析、服務(wù)、安全、應(yīng)用長(zhǎng)生命 周期，使得數(shù)據(jù)的準(zhǔn)備工作復(fù)雜、低效。例如，數(shù)據(jù)工程師開(kāi)發(fā)大量的ETL任務(wù)，依賴大量算力資源，運(yùn)行成本高，作業(yè) 管理復(fù)雜，時(shí)間周期長(zhǎng)，而此時(shí)數(shù)據(jù)分析師和AI開(kāi)發(fā)者都需要等待ETL任務(wù)執(zhí)行完，才能做相應(yīng)的分析工作和建模工作。 Cognilytica調(diào)研顯示，機(jī)器學(xué)

26、習(xí)中，超過(guò)80%的時(shí)間都用于數(shù)據(jù)的準(zhǔn)備，預(yù)示著大量的數(shù)據(jù)工作其實(shí)與企業(yè)的經(jīng)營(yíng)目標(biāo) 并不相關(guān)，只是不得以而為之。并且，當(dāng)任務(wù)不能便捷地執(zhí)行和即時(shí)的反饋，偏業(yè)務(wù)側(cè)的數(shù)據(jù)分析師常主動(dòng)放棄“不太重 要的”需求和對(duì)數(shù)據(jù)的深入探索。顯然，這些都不符合企業(yè)數(shù)智化轉(zhuǎn)型的真正目標(biāo)。機(jī)器學(xué)習(xí)中數(shù)據(jù)準(zhǔn)備工作的時(shí)間分配數(shù)據(jù)清洗, 25%17數(shù)據(jù)標(biāo)簽, 25%數(shù)據(jù)增強(qiáng), 15%模型訓(xùn)練, 10%數(shù)據(jù)集, 10%算法優(yōu)化, 3%數(shù)據(jù)識(shí)別, 5%模型調(diào)優(yōu), 5%模型運(yùn)行, 2%應(yīng)對(duì)四：端到端的自動(dòng)化與智能化低零代碼實(shí)現(xiàn)自動(dòng)化，AI反哺數(shù)據(jù)實(shí)現(xiàn)智能化實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的敏捷化和去過(guò)程化，需要在整個(gè)數(shù)據(jù)鏈條的端到端實(shí)現(xiàn)自動(dòng)化和智能化

27、。自動(dòng)化一般用低/零代碼實(shí)現(xiàn)： 一方面可以屏蔽軟硬件差異和復(fù)雜的底層技術(shù)，以便于理解的拖拉拽和少量代碼，來(lái)降低使用門(mén)檻；另一方面，可以基于 規(guī)則，配置自動(dòng)化的工作流，以ifttt的方式減少重復(fù)工作量。智能化是指基于半監(jiān)督或無(wú)監(jiān)督的學(xué)習(xí)，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)管理 中的規(guī)則，在Data4AI的同時(shí)，實(shí)現(xiàn)AI4Data，目前人工智能已經(jīng)用于數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、數(shù)據(jù)建模、數(shù)據(jù)安全與訪問(wèn) 控制、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)洞察等多個(gè)場(chǎng)景中。另外，低/零代碼常和人工智能結(jié)合使用：將人工智能的統(tǒng)計(jì)意義上的規(guī)則， 融入到低/零代碼的邏輯化的流程中。人工智能在數(shù)據(jù)管理中的應(yīng)用（AI4Data）主數(shù)據(jù)管理數(shù)據(jù)安全基于機(jī)器學(xué)習(xí)，確定數(shù)據(jù)

28、閾 值。對(duì)完整性、規(guī)范性、一致性、 準(zhǔn)確性、唯一性、時(shí)效性進(jìn) 行檢查。臟數(shù)據(jù)自動(dòng)識(shí)別訂正。數(shù)據(jù)質(zhì)量檢查元數(shù)據(jù)管理利用聚類(lèi)和知識(shí)圖譜確定實(shí)體間關(guān)系。利用知識(shí)圖譜等進(jìn)行數(shù)據(jù)血緣分析。人工智能幫助企業(yè)識(shí)別主數(shù)據(jù)。人工智能幫助定義和 維護(hù)數(shù)據(jù)匹配規(guī)則。人工智能實(shí)現(xiàn)對(duì)非結(jié) 構(gòu)化數(shù)據(jù)的采集和關(guān) 鍵信息的提取。人工智能幫助維護(hù)元數(shù)據(jù)。人工智能幫助實(shí)現(xiàn)元數(shù)據(jù)的整合。隱私級(jí)自動(dòng)標(biāo)注。數(shù)據(jù)傳輸監(jiān)控。數(shù)據(jù)模型管理1811923中國(guó)數(shù)智融合發(fā)展背景企業(yè)數(shù)智融合的痛點(diǎn)及應(yīng)對(duì)數(shù)智融合典型實(shí)踐華為云DataArts+ModelArts來(lái)源：華為云，艾瑞咨詢研究院整理及繪制來(lái)源：華為云，艾瑞咨詢研究院整理及繪制獨(dú)家創(chuàng)新架構(gòu)：

29、兼顧成本與性能，實(shí)現(xiàn)統(tǒng)一管理、一數(shù)多用， 數(shù)智融合實(shí)現(xiàn)敏捷用數(shù)，全流程實(shí)現(xiàn)自動(dòng)化與智能化華為云通過(guò)DataArts和ModelArts融合架構(gòu)，打通了大數(shù)據(jù)和人工智能。統(tǒng)一了元數(shù)據(jù) ，使得一數(shù)多用，打破數(shù)據(jù)孤島，同時(shí)避免數(shù)據(jù)來(lái)回遷移。存儲(chǔ)-緩存-內(nèi)存三層分離，兼顧存儲(chǔ)成本和計(jì)算性能。DataQps和MLOps結(jié)合 ，讓企業(yè)不同部 門(mén)、不同角色可以以擅長(zhǎng)的方式敏捷用數(shù)。低零代碼和人工智能反哺數(shù)據(jù)（AI4Data） , 使得全流程實(shí)現(xiàn)自動(dòng)化與智能化。華為云數(shù)智融合平臺(tái)創(chuàng)新架構(gòu)華為云數(shù)智融合平臺(tái)核心價(jià)值核心痛點(diǎn)核心價(jià)值數(shù)據(jù)持有 成本高， 業(yè)務(wù)響應(yīng) 不及時(shí)數(shù)據(jù)系統(tǒng) 不互通， 數(shù)據(jù)孤島 現(xiàn)象嚴(yán)重?cái)?shù)據(jù)使用

30、 仍有門(mén)檻 高、碎片 化等技術(shù) 瓶頸約束DataOps統(tǒng)一元數(shù)和MLOps據(jù)，架構(gòu)融合，不簡(jiǎn)單，一同角色各數(shù)多用用所長(zhǎng)，各取所需數(shù)據(jù)治理 難度大、 耗時(shí)長(zhǎng)， 最終效果 不佳全流程的 自動(dòng)化和 智能化， 讓繁重的 數(shù)據(jù)治理 變得簡(jiǎn)單三層分離， 兼顧成本 與性能表格20OBS數(shù)據(jù)湖存儲(chǔ)數(shù)據(jù)集模型統(tǒng)一目錄DataArts LakeFormation數(shù)倉(cāng)、數(shù)據(jù)湖、AI的元數(shù)據(jù)統(tǒng)一管理統(tǒng)一權(quán)限統(tǒng)一事務(wù)統(tǒng)一索引DataArts生產(chǎn)線數(shù)據(jù)集成數(shù)據(jù)架構(gòu)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù) 質(zhì)量數(shù)據(jù)目錄數(shù)據(jù)服務(wù)數(shù)據(jù)安全MRSDLIDWSSQL中嵌入推HadoopServerless數(shù)據(jù)倉(cāng)庫(kù)理，提供預(yù)測(cè)生態(tài)數(shù)據(jù)數(shù)據(jù)分析型分析分析數(shù)據(jù)標(biāo)注

31、ModelArts生產(chǎn)線數(shù)據(jù)處理模型訓(xùn)練模型評(píng)估應(yīng)用生成應(yīng)用評(píng)估推理部署服務(wù)檢測(cè)數(shù)據(jù)校驗(yàn)特征計(jì)算模型訓(xùn)練（MA內(nèi)置算法）模型編譯SQL中嵌入訓(xùn) 練，入庫(kù)觸發(fā) AI生產(chǎn)線華為云DataArts+ModelArts軟硬融合，行業(yè)實(shí)踐經(jīng)驗(yàn)和開(kāi)源生態(tài)結(jié)合另外，華為云在軟硬融合、行業(yè)實(shí)踐經(jīng)驗(yàn)和開(kāi)源生態(tài)方面，也具有一定優(yōu)勢(shì)：在軟硬融合方面，華為云對(duì)計(jì)算、存儲(chǔ)和網(wǎng) 絡(luò)的底層技術(shù)更為擅長(zhǎng)，例如，在內(nèi)存池化的關(guān)鍵技術(shù)之一RDMA的專(zhuān)利申請(qǐng)數(shù)量上，華為具有明顯優(yōu)勢(shì)。在行業(yè)實(shí)踐 經(jīng)驗(yàn)上，華為云一直秉承“一切皆服務(wù)”的原則，深扎行業(yè)，在互聯(lián)網(wǎng)和傳統(tǒng)政企方面均積攢了大量實(shí)踐經(jīng)驗(yàn)，并把這些 經(jīng)驗(yàn)返回、沉淀到產(chǎn)品中。在開(kāi)源

32、生態(tài)方面，華為云在Hadoop和Spark社區(qū)中貢獻(xiàn)度均較高，這使得華為云對(duì)這些開(kāi)源 產(chǎn)品在安全、穩(wěn)定性等方面有著更深的技術(shù)理解，同時(shí)使得DataArts對(duì)這些開(kāi)源產(chǎn)品的主流版本的兼容性更好。來(lái)源：華為云，艾瑞咨詢研究院整理及繪制。來(lái)源： 智慧芽專(zhuān)利數(shù)據(jù)庫(kù)，艾瑞咨詢研究院整理及繪制。 118225321213922211919華為亞馬遜阿里浪潮騰訊新華三百度海量數(shù)據(jù)7218765.55.5554.54.5ClouderaHuaweiIntelYahooincSalesforceMicrosoftDuboceXiamoiWandouNttdata華為在開(kāi)源社區(qū)的貢獻(xiàn)度高性能RDMA網(wǎng)卡技術(shù)專(zhuān)利數(shù)

33、量2015-2021.04 Hadoop社區(qū)貢獻(xiàn)全球No.2，國(guó)內(nèi)No.1821432.52.521.81.51DatabricksClounderaIntelHuaweiIBMNtt DataAppierMeituanHotmailAlpinedata282015-2021.04 Spark社區(qū)貢獻(xiàn)全球No.4，國(guó)內(nèi)No.1IT服務(wù)業(yè)（1/2）IT咨詢前期：包括需求定義、產(chǎn)品選型、方案設(shè)計(jì)、落地 培訓(xùn)等咨詢服務(wù)。IT培訓(xùn)運(yùn)維升級(jí)后期：基礎(chǔ)架構(gòu)及軟硬件產(chǎn)品的維護(hù)和升級(jí)迭代；數(shù)據(jù)處理等面向業(yè)務(wù)的 IT運(yùn)營(yíng)服務(wù)。運(yùn)維管理定制開(kāi)發(fā)系統(tǒng)集成部署交付 中期：根據(jù)客戶需求提供二次開(kāi)發(fā)、集成、測(cè)試等 具體的

34、實(shí)施服務(wù)。22數(shù)智融合助力IT服務(wù)商降本增效提質(zhì)IT服務(wù)行業(yè)范圍較廣，包括前期的IT咨詢與培訓(xùn)，中期的定制開(kāi)發(fā)、系統(tǒng)集成、部署實(shí)施，后期的IT運(yùn)維升級(jí)、IT運(yùn)營(yíng)管 理，以及貫穿全程的IT安全保障等。對(duì)于IT服務(wù)企業(yè)而言，隨著業(yè)務(wù)量增長(zhǎng)，普遍面臨“數(shù)據(jù)基數(shù)龐大，搬遷上云 難”“數(shù)據(jù)持有成本高”“數(shù)據(jù)治理不佳，形成數(shù)據(jù)孤島”“產(chǎn)品開(kāi)發(fā)技術(shù)門(mén)檻高，運(yùn)維成本高，存在安全隱患”“數(shù)據(jù) 準(zhǔn)備工作復(fù)雜，難以聚焦業(yè)務(wù)本身”等問(wèn)題。數(shù)智融合下的存算分離、元數(shù)據(jù)統(tǒng)一、DataOps 和 MLOps融合、端到端 的自動(dòng)化與智能化等創(chuàng)新技術(shù)，幫助開(kāi)發(fā)人員實(shí)現(xiàn)所想即所得，助力IT服務(wù)企業(yè)實(shí)現(xiàn)降本增效、業(yè)務(wù)創(chuàng)新、提升客戶

35、滿意 度，從而在產(chǎn)業(yè)發(fā)展轉(zhuǎn)折點(diǎn)抓住市場(chǎng)機(jī)會(huì)，實(shí)現(xiàn)企業(yè)品牌質(zhì)的飛躍。IT服務(wù)業(yè)環(huán)節(jié)IT服務(wù)業(yè)發(fā)展痛點(diǎn)vs數(shù)智融合1. 數(shù)據(jù)體量大，存儲(chǔ)成本高，算力要求高，運(yùn)維開(kāi)銷(xiāo)大“存儲(chǔ)+緩存+計(jì)算”三層分離架構(gòu)提供存算性能的彈性伸縮和按 需使用，通過(guò)serverless模式實(shí)現(xiàn)秒級(jí)彈性擴(kuò)縮容和管理運(yùn)維全托 管，滿足IT服務(wù)業(yè)存算性能的同時(shí)降低運(yùn)維開(kāi)銷(xiāo)。2. 數(shù)據(jù)治理不佳，數(shù)據(jù)在系統(tǒng)間流轉(zhuǎn)不暢，形成數(shù)據(jù)孤島人工智能算法模型應(yīng)用到數(shù)據(jù)全生命周期治理，通過(guò)對(duì)元數(shù)據(jù)的 統(tǒng)一管理，解決傳統(tǒng)數(shù)據(jù)分析和AI模型之間“數(shù)據(jù)搬家”的問(wèn)題， 實(shí)現(xiàn)數(shù)據(jù)在不同引擎間的自由流動(dòng)，消除數(shù)據(jù)孤島。3. 產(chǎn)品開(kāi)發(fā)門(mén)檻高，數(shù)據(jù)準(zhǔn)備耗時(shí)長(zhǎng)，難以

36、聚焦業(yè)務(wù)本身低/無(wú)代碼的集成開(kāi)發(fā)平臺(tái)，為使用者屏蔽底層技術(shù)，同時(shí)將AI能 力植入到數(shù)據(jù)開(kāi)發(fā)過(guò)程，將能力服務(wù)化、技術(shù)組件化，通過(guò)分層 解耦和復(fù)用，即插即用，敏捷交付，降低開(kāi)發(fā)與運(yùn)維成本。IT服務(wù)業(yè)（2/2）來(lái)源：夢(mèng)餉集團(tuán)，艾瑞咨詢研究院整理及繪制。數(shù)智融合在IT服務(wù)企業(yè)的落地夢(mèng)餉集團(tuán)定位于新電商基礎(chǔ)設(shè)施提供商，提供基于SaaS店鋪工具外加一體化商品與服務(wù)結(jié)合的供應(yīng)鏈解決方案，旗下餉 店以去中心化的品牌特賣(mài)平臺(tái)，擁有超百萬(wàn)店主，月交易總額達(dá)10億人民幣；愛(ài)庫(kù)存提供國(guó)際化庫(kù)存交易供應(yīng)鏈平臺(tái)。 隨著業(yè)務(wù)增長(zhǎng)，公司遇到“云遷移難，數(shù)據(jù)持有成本高、數(shù)據(jù)治理差、產(chǎn)品開(kāi)發(fā)門(mén)檻高，開(kāi)發(fā)周期長(zhǎng)且后期運(yùn)維成本高 “

37、等難題。依托華為云在行業(yè)市場(chǎng)的云遷移經(jīng)驗(yàn)和豐富的服務(wù)和工具，實(shí)現(xiàn)高效、穩(wěn)定、可靠的云遷移；通過(guò)存算分離技 術(shù)，實(shí)現(xiàn)秒級(jí)彈性擴(kuò)縮容，降低用數(shù)成本；通過(guò)端到端的自動(dòng)化和智能化，將AI算法模型應(yīng)用到數(shù)據(jù)全生命周期治理，為 AI開(kāi)發(fā)提供高質(zhì)量數(shù)據(jù)；通過(guò)DataOps 和 MLOps融合，使大數(shù)據(jù)開(kāi)發(fā)和AI開(kāi)發(fā)協(xié)同，降低開(kāi)發(fā)門(mén)檻，聚焦業(yè)務(wù)本身。 華為云一體化解決方案為夢(mèng)餉集團(tuán)帶來(lái)“資源高效”、“應(yīng)用敏捷”、“業(yè)務(wù)智能”、“安全可信”等多方面的智能升級(jí)。云原生數(shù)據(jù)智能一體化解決方案實(shí)時(shí)分析50%Severless 秒 級(jí)擴(kuò)容縮TCO 下降存算分離資源利用率：70%OBS流批交互一體 100萬(wàn)QPSDLID

38、WSCSSModelArts數(shù)據(jù)管理 專(zhuān)題分析 挖掘建模 實(shí)時(shí)報(bào)表瀏覽軌跡活動(dòng)預(yù)測(cè)推薦排序爆發(fā)式成長(zhǎng)秒殺大促擁海量數(shù)據(jù)長(zhǎng)持?jǐn)?shù)據(jù)自主數(shù)據(jù)開(kāi)發(fā)容器化改造自主創(chuàng)新引流聚數(shù)促銷(xiāo)量穩(wěn)流量在業(yè)務(wù)無(wú)感知下，優(yōu)化性能，降低延時(shí)數(shù)據(jù)分析支撐從報(bào)表統(tǒng)計(jì)到實(shí)時(shí)可預(yù)測(cè)降低存儲(chǔ)、計(jì)算、運(yùn)維成本，降低開(kāi)發(fā)門(mén)檻企業(yè)需求解決方案基于MySQL內(nèi)核優(yōu)化進(jìn)行優(yōu)化改進(jìn)云原生容器化改造和lakehouse存算分離AI能力調(diào)用，AI開(kāi)發(fā)與數(shù)據(jù)開(kāi)發(fā)協(xié)同實(shí)現(xiàn)價(jià)值23QPS吞吐量提升1倍，時(shí)延降低約33%TCO下降30%，實(shí)時(shí)分析能力提升近50%運(yùn)維效率提升50%網(wǎng)約車(chē)行業(yè)（1/2）車(chē)輛供應(yīng)商上游：車(chē)輛及技術(shù)供應(yīng)商。技術(shù)供應(yīng)商第三方網(wǎng)約車(chē)平

39、臺(tái)中游：網(wǎng)約車(chē)服務(wù)商。網(wǎng)約快車(chē)網(wǎng)約專(zhuān)車(chē)網(wǎng)約出租24下游：應(yīng)用場(chǎng)景聚合網(wǎng)約車(chē)平臺(tái)網(wǎng)約拼車(chē)業(yè)務(wù)模式靈活創(chuàng)新，數(shù)智融合賦能網(wǎng)約車(chē)行業(yè)個(gè)性化開(kāi)發(fā)網(wǎng)約車(chē)經(jīng)營(yíng)服務(wù)依托互聯(lián)網(wǎng)技術(shù)構(gòu)建服務(wù)平臺(tái)，整合供需信息，匹配最優(yōu)的車(chē)輛和駕駛員，提供預(yù)約出租汽車(chē)服務(wù)。網(wǎng)約 車(chē)產(chǎn)業(yè)鏈包括上游車(chē)輛及技術(shù)服務(wù)供應(yīng)商，中游網(wǎng)約車(chē)服務(wù)商以及下游應(yīng)用場(chǎng)景。受?chē)?guó)家政策鼓勵(lì)，中國(guó)獲許的網(wǎng)約車(chē)平 臺(tái)數(shù)量從2020年底的214家增長(zhǎng)至2022年3月底的267家，未來(lái)市場(chǎng)空間廣闊。作為互聯(lián)網(wǎng)時(shí)代產(chǎn)物，網(wǎng)約車(chē)行業(yè)與車(chē)聯(lián) 網(wǎng)、大數(shù)據(jù)等密不可分，面臨數(shù)據(jù)安全、客戶需求、數(shù)據(jù)打通、應(yīng)用創(chuàng)新等層面的眾多挑戰(zhàn)。存算分離技術(shù)提供性能的彈 性伸縮，滿足用車(chē)高峰

40、的算力高并發(fā)，統(tǒng)一元數(shù)據(jù)打破大數(shù)據(jù)、數(shù)倉(cāng)、AI的“數(shù)據(jù)孤島”，增強(qiáng)網(wǎng)約車(chē)企業(yè)數(shù)據(jù)洞察， DataOps 與 MLOps的融合降低開(kāi)發(fā)技術(shù)門(mén)檻，方便企業(yè)開(kāi)發(fā)人員聚焦業(yè)務(wù)創(chuàng)新，敏捷交付。網(wǎng)約車(chē)行業(yè)產(chǎn)業(yè)鏈網(wǎng)約車(chē)行業(yè)發(fā)展痛點(diǎn)vs數(shù)智融合1. 傳統(tǒng)數(shù)倉(cāng)存算彈性不足，難以應(yīng)對(duì)高峰期高并發(fā)需求網(wǎng)約車(chē)服務(wù)場(chǎng)景先天具備波峰波谷特性，除資源利用率要求外， 還具有實(shí)時(shí)性和長(zhǎng)時(shí)執(zhí)行的要求。數(shù)智融合下的”存儲(chǔ)+緩存+計(jì) 算”三層分離具備彈性伸縮、持續(xù)服務(wù)和節(jié)省成本等優(yōu)勢(shì)，與網(wǎng) 約車(chē)行業(yè)場(chǎng)景需求天然契合。2. 多平臺(tái)數(shù)據(jù)難以打通復(fù)用，“數(shù)據(jù)孤島”現(xiàn)象嚴(yán)重網(wǎng)約車(chē)行業(yè)是車(chē)聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術(shù)的融合產(chǎn)物。 具備強(qiáng)互聯(lián)

41、網(wǎng)和大數(shù)據(jù)屬性，網(wǎng)約車(chē)企業(yè)運(yùn)營(yíng)需對(duì)接多個(gè)數(shù)據(jù)平 臺(tái)，數(shù)據(jù)難以連接互動(dòng)造成“數(shù)據(jù)孤島”。數(shù)智融合統(tǒng)一元數(shù)據(jù)， 讓數(shù)據(jù)在多個(gè)引擎間流動(dòng)共享，充分發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值。3. 業(yè)務(wù)模式創(chuàng)新多樣，多源數(shù)據(jù)、技術(shù)等導(dǎo)致系統(tǒng)“熵增”為提升市場(chǎng)競(jìng)爭(zhēng)力和市占率，網(wǎng)約車(chē)行業(yè)下游應(yīng)用場(chǎng)景不斷推陳 出新，業(yè)務(wù)模式的創(chuàng)新多樣必然導(dǎo)致數(shù)據(jù)體系的“熵增”。數(shù)智 融合下的DataOps 與 MLOps深度融合，數(shù)據(jù)工程師可使用熟悉 的工具調(diào)用AI能力，協(xié)同數(shù)據(jù)開(kāi)發(fā)與AI開(kāi)發(fā)，支撐行業(yè)業(yè)務(wù)模式 的不斷創(chuàng)新。網(wǎng)約車(chē)行業(yè)（2/2）數(shù)智融合在網(wǎng)約車(chē)企業(yè)的落地T3出行是南京領(lǐng)行科技股份有限公司打造的智慧出行生態(tài)平臺(tái)，公司以“科技引領(lǐng) 愉悅

42、出行”為使命，致力于成為能夠 為用戶提供“安全、便捷、品質(zhì)”出行服務(wù)的科技創(chuàng)新型企業(yè)。截止2022年7月，T3出行登陸全國(guó)91個(gè)城市，累計(jì)注冊(cè) 用戶超1億，單日訂單峰值破300萬(wàn)單。隨著業(yè)務(wù)擴(kuò)張和用戶數(shù)量增加，T3出行原系統(tǒng)在支撐海量數(shù)據(jù)和提供出行服務(wù)方 面出現(xiàn)“傳統(tǒng)數(shù)倉(cāng)難以解決“長(zhǎng)尾支付”、“AI架構(gòu)無(wú)法為行車(chē)安全提供支撐”、“存算一體架構(gòu)無(wú)法應(yīng)付訂單峰值” 等問(wèn)題。為滿足業(yè)務(wù)發(fā)展，提供安全高效的出行服務(wù)，T3出行不斷對(duì)出行產(chǎn)品迭代更新，而華為云數(shù)智融合產(chǎn)品在這段 升級(jí)之旅中發(fā)揮了巨大作用。來(lái)源：T3出行，艾瑞咨詢研究院整理及繪制。來(lái)源：T3出行，艾瑞咨詢研究院整理及繪制。HudiOBST3

43、出行+華為云智能數(shù)據(jù)湖MRS湖倉(cāng)一體（對(duì)象儲(chǔ)存+數(shù)據(jù)湖格式+存算分離）RedisHBaseMongoDBElasticsearchKafka服務(wù)層數(shù)據(jù)層ClickHousePrestoKylinPandasPytorchYARNKyuubiSparkBI域AI域計(jì)算層痛點(diǎn)三：業(yè)務(wù)不停機(jī)，系統(tǒng)持續(xù)平穩(wěn)運(yùn)行25華為云通過(guò)RDS適配canal能力，結(jié)合DRS高可靠和自動(dòng)化運(yùn)維能力，大大提高數(shù)據(jù)訂閱穩(wěn)定性。痛點(diǎn)一：數(shù)據(jù)庫(kù)種類(lèi)多，遷移難度大華為云DRS支持其他云、本地IDC、ECS自建數(shù)據(jù)庫(kù)等 不同平臺(tái)之間的遷移，支持60+類(lèi)不同的數(shù)據(jù)庫(kù)鏈路， 充分滿足T3出行的不同數(shù)據(jù)庫(kù)遷移需求。華為云DRS針對(duì)不同實(shí)例，通過(guò)優(yōu)化參數(shù)、同步方式和 架構(gòu)，并結(jié)合其特有的限流能力，確保遷移期間源端業(yè) 務(wù)正常平穩(wěn)運(yùn)行，成功在指定時(shí)間內(nèi)完成全量數(shù)據(jù)同步。痛點(diǎn)二：時(shí)間緊任務(wù)重，要在30h內(nèi)完成T3出行+華為云DRS數(shù)據(jù)遷移解決方案 社交網(wǎng)絡(luò)