2022年中國數(shù)智融合發(fā)展洞察

中國數(shù)智融合發(fā)展洞察摘要艾瑞咨詢VUCA時代，市場變化加速。企業(yè)需要更加敏捷而準(zhǔn)確的數(shù)智化決策，這些決策應(yīng)當(dāng)是分鐘級的天級的，應(yīng)當(dāng)是基于全量數(shù)據(jù)的而非局部數(shù)據(jù)的，應(yīng)當(dāng)是基于準(zhǔn)確數(shù)據(jù)的而非基于“臟數(shù)傳統(tǒng)的數(shù)倉或者湖倉分離架構(gòu)讓數(shù)智融合和企業(yè)敏捷決策變得困難：數(shù)據(jù)孤島存在，決策量數(shù)據(jù)；數(shù)據(jù)來回流轉(zhuǎn)，成本高、周期長、時效差?；诖鎯?緩存-計算分離，湖-倉-AI數(shù)據(jù)統(tǒng)一元開源為數(shù)智生態(tài)貢獻(xiàn)重要力量，但這不預(yù)示所有企業(yè)需通過開源產(chǎn)品自建數(shù)智平臺。企業(yè)聚焦自己核心業(yè)務(wù)，選擇性能穩(wěn)定、無須運維、數(shù)智融合、端到端自動化與智能化的商智平臺，ROI會更高。當(dāng)然，平臺應(yīng)與主流開源產(chǎn)品具有良好繼承性，如此，更加靈?2022.7iResearchInc.艾瑞咨詢數(shù)智融合典型實踐數(shù)智融合典型實踐3全球數(shù)據(jù)量以59%以上的年增長率快速增長，其中80%是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，中國數(shù)據(jù)量的上升較全球更為迅速。2015-2030年中國數(shù)據(jù)量規(guī)模及全球占比企業(yè)內(nèi)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)占比及使用情況320152020對結(jié)構(gòu)化數(shù)據(jù)的利用率均高于對非結(jié)構(gòu)化數(shù)據(jù)的利用率。但實際上，非結(jié)構(gòu)化數(shù)據(jù)的體量與其包含的信息量都更多，是企業(yè)未得到充分利用在企業(yè)的數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)件、語音、圖片等形式存在的非結(jié)構(gòu)化數(shù)據(jù)。且非結(jié)構(gòu)化數(shù)據(jù)的增速遠(yuǎn)遠(yuǎn)高于結(jié)構(gòu)化數(shù)據(jù)，隨著時間的推移,非結(jié)構(gòu)化數(shù)據(jù)來源：中國電信招股說明書，艾瑞咨詢研究院整理及繪制。?2022.7iResearchInc.?2022.7i數(shù)據(jù)多源異構(gòu)成為常態(tài)艾瑞咨詢數(shù)據(jù)從“匯聚才可被用”到“鏈接即可被用”結(jié)構(gòu)化/非結(jié)構(gòu)化/非 存儲層存儲層 數(shù)據(jù)湖實時數(shù)據(jù)處理的缺失，數(shù)據(jù)湖實時數(shù)據(jù)處理的缺失，多數(shù)據(jù)類型能力，避免數(shù)據(jù)移?2022.7iResearchInc.t部署資源管理監(jiān)控巡檢t部署?2022.7iResearchInc.5?2022.7iResearchInc.大數(shù)據(jù)的5V價值有待進(jìn)一步釋放艾瑞咨詢大數(shù)據(jù)產(chǎn)業(yè)作為以數(shù)據(jù)生成、采集、存儲、加工、分析、服務(wù)為主的戰(zhàn)略性新興產(chǎn)業(yè)，提供全鏈條技術(shù)、工具性能穩(wěn)定、簡單易用的全鏈條平臺工具有助于消除思維的“不敢”和技能的“不會”，化解掉5V特性釋放的原速度（Velocity）種類（Variety）種類（Variety）真實性（Veracity）真實性（Veracity）云原生：從微服務(wù)走向Serverless艾瑞咨詢。?2022.7iResearchInc.defhandler(event,contedefhandler(event,conte?2022.7iResearchInc.7人工智能：需要大規(guī)模準(zhǔn)確數(shù)據(jù)哺育艾瑞咨詢 化數(shù)據(jù)支持來開展工作。因此AI應(yīng)用在結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)上，將半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)納入數(shù)據(jù)源并支持上層分析應(yīng)用。AI模型對數(shù)據(jù)高度敏感，其質(zhì)量優(yōu)劣極大程度影響AI模型的應(yīng)用效果，因此AI數(shù)據(jù)源需極力規(guī)避“garbagein，AI模型對實時性要求高，大部分應(yīng)用需基于實時數(shù)據(jù)實現(xiàn)分 AI模型相關(guān)的數(shù)據(jù)積累。數(shù)據(jù)訓(xùn)練規(guī)模多個數(shù)據(jù)源下的數(shù)據(jù)內(nèi)容不一致等問題；缺失值、缺失字段；錯誤值、異常樣本；?2022.7iResearchInc.業(yè)務(wù)敏捷需要IT架構(gòu)“去過程化”艾瑞咨詢IT流程和漫長的等待，變得不再現(xiàn)實，IT架構(gòu)的去過程化變得極為重要。去過程化是指減少或完全去掉原始數(shù)據(jù)/原子能將IT架構(gòu)抽象成存儲、處理、應(yīng)用三層，處理層數(shù)據(jù)模型處理4—原子能力原始非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)------------------------?2022.7iResearchInc.艾瑞咨詢數(shù)智融合典型實踐數(shù)智融合典型實踐3?2022.7iResearchInc.艾瑞咨詢傳統(tǒng)架構(gòu)下數(shù)據(jù)量、存儲成本和計算效率的儲?艾瑞咨詢展驅(qū)動架構(gòu)轉(zhuǎn)型：SCM填補了內(nèi)存縱向擴展的介質(zhì)空白；緩存一致性標(biāo)準(zhǔn)的爭奪進(jìn)入白熱化；高速內(nèi)存直連協(xié)議及技術(shù)計算（內(nèi)存中心架構(gòu)）計算（內(nèi)存中心架構(gòu)） 內(nèi)存密集型和分布式應(yīng)用減少數(shù)據(jù)搬運/拷貝、提來源：艾瑞咨詢研究院自主研究及繪制。?2022.7iResearchInc.痛點二：倉-湖-AI數(shù)據(jù)形成新孤島艾瑞咨詢來源：艾瑞咨詢研究院自主研究及繪制。?2022.7iResearchInc.?2022.7iResearchInc.應(yīng)對二：統(tǒng)一元數(shù)據(jù)到中心節(jié)點艾瑞咨詢訪問數(shù)據(jù)，這樣數(shù)據(jù)的利用就不會被孤立的系統(tǒng)束縛。這種分布式存儲，統(tǒng)一管理的MasMaster節(jié)點：統(tǒng)一元數(shù)據(jù)(目錄/數(shù)據(jù)權(quán)限/事務(wù)一致性/多版本管理）Master節(jié)點：統(tǒng)一元數(shù)據(jù)(目錄/數(shù)據(jù)權(quán)限/事務(wù)一致性/多版本管理）?2022.7iResearchInc.痛點三：開源產(chǎn)品豐富，但開發(fā)運維難艾瑞咨詢開發(fā)運維IT風(fēng)險IT團隊自身風(fēng)險；開源產(chǎn)品漏洞風(fēng)險；應(yīng)對三：DataOps和MLOps融合艾瑞咨詢企業(yè)在數(shù)智化選型中，應(yīng)首先明確自身的核心競爭力和能力邊界，摒棄“重即好”思想，以更加輕盈的Serverless、Lowcode/Nocode、SaaS等方式享受社會分工和先進(jìn)技術(shù)的紅利。以數(shù)智融合為例，拋開IaaS層，企業(yè)自研還需掌握 .. ?2022.7iResearchInc.痛點四：數(shù)據(jù)準(zhǔn)備工作復(fù)雜低效艾瑞咨詢算法優(yōu)化,3%數(shù)據(jù)清洗,25%數(shù)據(jù)清洗,25%數(shù)據(jù)標(biāo)簽,25%來源：Data-preparation-labeling-for-ai-?2022.7iResearchInc.應(yīng)對四：端到端的自動化與智能化艾瑞咨詢實現(xiàn)數(shù)據(jù)應(yīng)用的敏捷化和去過程化，需要在整個數(shù)據(jù)鏈條的端到端實現(xiàn)自動化和智能化。自動化一般用低/零代碼實現(xiàn)：控制、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)洞察等多個場景中。另外，低/零代碼常和人工智能結(jié)合使用：將人工智能的統(tǒng)計意義上的規(guī)則，??基于機器學(xué)習(xí)，確定數(shù)據(jù)閾?利用聚類和知識圖譜?利用聚類和知識圖譜?利用知識圖譜等進(jìn)行?人工智能幫助企業(yè)識?人工智能幫助企業(yè)識?人工智能幫助定義和??人工智能實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的采集和關(guān)?人工智能幫助維護(hù)元?人工智能幫助實現(xiàn)元?2022.7iResearchInc.艾瑞咨詢數(shù)智融合典型實踐數(shù)智融合典型實踐3華為云DataArts+ModelArts艾瑞咨詢獨家創(chuàng)新架構(gòu)：兼顧成本與性能，實現(xiàn)統(tǒng)一管理、一數(shù)多用，華為云通過DataArts和ModelArts融難度大、耗時長，不互通，難度大、耗時長，不互通，置算法）置算法）智能化，簡單，一融合，不同角色各用所長，各取所需來源：華為云，艾瑞咨詢研究院整理及繪制來源：華為云，艾瑞咨詢研?2022.7iResearchInc.www.iresearch.c華為云DataArts+ModelArts艾瑞咨詢絡(luò)的底層技術(shù)更為擅長，例如，在內(nèi)存池化的關(guān)鍵技術(shù)之一RDMA的專利申請數(shù)量上，華為具有明顯優(yōu)勢。在行業(yè)實踐經(jīng)驗返回、沉淀到產(chǎn)品中。在開源生態(tài)方面，華為云在Hadoo843843華為亞馬遜阿里浪潮騰訊新華三百度海量數(shù)據(jù)華為亞馬遜阿里浪潮騰訊新華三百度海量數(shù)據(jù)來源：華為云，艾瑞咨詢研究院整理及繪制。來源：智慧芽專利數(shù)據(jù)庫，艾瑞咨。?2022.7iResearchInc.艾瑞咨詢理，以及貫穿全程的IT安全保障等。對于IT服務(wù)企業(yè)而言，隨著業(yè)務(wù)量增長，普遍面臨“數(shù)據(jù)基數(shù)龐大，搬遷上云準(zhǔn)備工作復(fù)雜，難以聚焦業(yè)務(wù)本身”等問題。數(shù)智融合下的存算分離、元數(shù)據(jù)統(tǒng)一、DataOps和MLOp“存儲+緩存+計算”三層分離架構(gòu)提供存算性能的彈性伸縮和按需使用，通過serverless模式實現(xiàn)秒級彈性擴縮“存儲+緩存+計算”三層分離架構(gòu)提供存算性能的彈性伸縮和按需使用，通過serverless模式實現(xiàn)秒級彈性擴縮人工智能算法模型應(yīng)用到數(shù)據(jù)全生命周期治理，通過對元數(shù)據(jù)的統(tǒng)一管理，解決傳統(tǒng)數(shù)據(jù)分析和AI模型之間“數(shù)據(jù)搬家”的問題，力植入到數(shù)據(jù)開發(fā)過程，將能力服務(wù)化、技術(shù)組件化，通過分層前期：包括需求定義、產(chǎn)品選型、方案設(shè)計、落地中期：根據(jù)客戶需求提供二次開發(fā)、集成、測試等后期：基礎(chǔ)架構(gòu)及軟硬件產(chǎn)品的維護(hù)和升級迭代；數(shù)據(jù)處理等面向業(yè)務(wù)的IT運營服務(wù)。來源：艾瑞咨詢研究院自主研究及繪制。?2022.7iResearchInc.艾瑞咨詢夢餉集團定位于新電商基礎(chǔ)設(shè)施提供商，提供基于SaaS店鋪工具外加一體化商品與服務(wù)結(jié)合的供應(yīng)鏈解決方案，旗下餉店以去中心化的品牌特賣平臺，擁有超百萬店主，月交易總額達(dá)10億人民幣；愛庫存提供國際化庫存交易隨著業(yè)務(wù)增長，公司遇到“云遷移難，數(shù)據(jù)持有成本高、數(shù)據(jù)治理差、產(chǎn)品開發(fā)門檻高，開發(fā)周期長且后期運維成本高華為云一體化解決方案為夢餉集團帶來“資源高效”、“應(yīng)用敏捷”、“業(yè)務(wù)智能”、“安全可信”等多方面的智能升級。 促銷量 活動預(yù)測大促數(shù)據(jù)管理專題分析挖掘建模實時 促銷量 活動預(yù)測大促數(shù)據(jù)管理專題分析挖掘建模實時!實時分析50%?2022.7iResearchInc.艾瑞咨詢性伸縮，滿足用車高峰的算力高并發(fā)，統(tǒng)一元數(shù)據(jù)打破大數(shù)據(jù)、數(shù)倉、AI的“網(wǎng)約車服務(wù)場景先天具備波峰波谷特性，除資源利用率要求外，還具有實時性和長時執(zhí)行的要求。數(shù)智融合下的”存儲+緩存+計算網(wǎng)約車服務(wù)場景先天具備波峰波谷特性，除資源利用率要求外，還具有實時性和長時執(zhí)行的要求。數(shù)智融合下的”存儲+緩存+計算”三層分離具備彈性伸縮、持續(xù)服務(wù)和節(jié)省成本等優(yōu)勢，與網(wǎng)網(wǎng)約車行業(yè)是車聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術(shù)的融合產(chǎn)物。具備強互聯(lián)網(wǎng)和大數(shù)據(jù)屬性，網(wǎng)約車企業(yè)運營需對接多個數(shù)據(jù)平臺，數(shù)據(jù)難以連接互動造成“數(shù)據(jù)孤島”。數(shù)智融合統(tǒng)一元數(shù)據(jù)，3.業(yè)務(wù)模式創(chuàng)新多樣，多源數(shù)據(jù)、技術(shù)等導(dǎo)致系統(tǒng)“熵增”為提升市場競爭力和市占率，網(wǎng)約車行業(yè)下游應(yīng)用場景不斷推陳出新，業(yè)務(wù)模式的創(chuàng)新多樣必然導(dǎo)致數(shù)據(jù)體系的“熵增”。數(shù)智上游：中游：下游：的工具調(diào)用AI能力，協(xié)同數(shù)據(jù)開發(fā)與AI開發(fā)，支撐行業(yè)業(yè)務(wù)模式來源：艾瑞咨詢研究院自主研究及繪制。?2022.7iResearchInc.艾瑞咨詢?yōu)橛脩籼峁鞍踩?、便捷、品質(zhì)”出行服務(wù)的科技創(chuàng)新型企業(yè)。截止2022年7月，T3出行登陸全國91個城市，累計注冊用戶超1億，單日訂單峰值破300萬單。隨著業(yè)務(wù)擴張和用戶數(shù)量增加，T3出行原系統(tǒng)在支面出現(xiàn)“傳統(tǒng)數(shù)倉難以解決“長尾支付””、“AI架構(gòu)無法為行車安全提供支撐”、“存算一體架構(gòu)無法應(yīng)付訂單峰值”等問題。為滿足業(yè)務(wù)發(fā)展，提供安全高效的出行服務(wù)，T3出行不斷對出行產(chǎn)品迭代更新，而華為云數(shù)智融合產(chǎn)品在這段湖倉一體（對象儲存+數(shù)據(jù)湖格式+存算分離）AI域 數(shù)據(jù)層華為云DRS支持其他云、本地IDC、ECS自建數(shù)據(jù)庫等華為云DRS針對不同實例，通過優(yōu)化參數(shù)、同步方式和來源：T3出行，艾瑞咨詢研究院整理及繪制。?2022.7iResearchInc. 艾瑞咨詢社交網(wǎng)絡(luò)源于互聯(lián)網(wǎng)服務(wù)，為擁有相同興趣與活動的用戶提供各種聯(lián)系、交流的交互通路。目前中國社交網(wǎng)絡(luò)行業(yè)基于5G通信、人工智能、虛擬現(xiàn)實等先進(jìn)技術(shù)，為用戶提供沉浸式的社區(qū)服務(wù)。隨著行業(yè)的內(nèi)容生態(tài)向興趣化和垂直化方向數(shù)據(jù)全生命周期治理、產(chǎn)品的低門檻敏捷開發(fā)等先進(jìn)技術(shù)，滿足了社交網(wǎng)絡(luò)行業(yè)對于如VR虛擬社交等可預(yù)見的新型社交 “存儲+緩存+計算”三層分離架構(gòu)提供存算性能的彈性伸縮和按需使用，通過serverless模式實現(xiàn)秒級彈性擴縮社交網(wǎng)絡(luò)行業(yè)數(shù)據(jù)類型豐富，形式多樣，多源異構(gòu)現(xiàn)象普遍，數(shù)所需，將AI能力植入到數(shù)據(jù)開發(fā)過程，將能力服務(wù)化、技術(shù)組件來源：艾瑞咨詢研究院自主研究及繪制。?2022.7iResearchInc.