企業(yè)數字化轉型暨大數據可視化總體方案架構與應用藍圖解決方案

企業(yè)數字化轉型暨大數據可視化總體方案架構與應用藍圖解決方案整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行2023年01方案背景概述03成功案例介紹02解決方案概述技術的發(fā)展的讓我們進入了DT時代隨著互聯(lián)網、移動互聯(lián)網以及物聯(lián)網、云計算、大數據、人工智能等技術的快速發(fā)展，人類文明正在步入一個嶄新的時代：DT時代。在DT時代，社會的發(fā)展將以數據為核心和內在驅動力，以云計算、大數據為導向的技術革新也將成為社會發(fā)展的重要引擎。在DT時代，傳統(tǒng)工業(yè)模式會被顛覆，商業(yè)也會朝著定制化方向發(fā)展，在保證效率的同時優(yōu)化供需，有效節(jié)約成本，提高勞動生產率。數據處理能力越來越強數據種類與量越來越大智能DT時代這個世界正在不斷被數據化具備挖掘應用數據價值能力技術發(fā)展與應用數據將成為組織最重要、最有價值的資產DT時代企業(yè)實施大數據的關鍵點DT時代的到來，對于傳統(tǒng)產業(yè)的推動和促進將是前所未見的，傳統(tǒng)產業(yè)也將因DT時代的到來而煥發(fā)出新的生機和活力。1找準大數據規(guī)劃切入點2強化高管團隊大數據領導力3設計合理的大數據架構4搭建有效的大數據團隊5用制度和文化來保障大數據的實施當前企業(yè)數據管理與應用的總體現(xiàn)狀當前數據管理與應用模式財務財務相關數據統(tǒng)計系統(tǒng)報表OAOA相關數據統(tǒng)計系統(tǒng)報表生產生產相關數據統(tǒng)計系統(tǒng)報表供應鏈供應鏈相關數據統(tǒng)計系統(tǒng)報表銷售…銷售相關數據統(tǒng)計系統(tǒng)報表孤島式數據管理統(tǒng)計型數據應用各個系統(tǒng)單獨建立，相互之間的數據沒有打通，形成一個個數據孤島，相關數據與信息無法進行共享。數據孤島目前對各系統(tǒng)數據主要是做了基本業(yè)務數據統(tǒng)計，沒有深入的分析應用。淺度應用目前管理和決策人員經常需要登到各個系統(tǒng)進行相關數據查詢，非常麻煩。效率低下由于對各系統(tǒng)數據只進行了淺度的應用，導致很多歷史數據資源及數據的應用價值在過程中逐步流失掉了。資產流失當前企業(yè)的數據管理與應用需要向規(guī)?；⒓谢?、標準化和智能化發(fā)展企業(yè)對大數據平臺建設的核心需求與目標融合企業(yè)內各大平臺數據資源，建設統(tǒng)一的數據管理與應用平臺，實現(xiàn)對數據資產的集中保管與增值應用。逐步整合企業(yè)內各業(yè)務與管理平臺的數據，形成集中管控的數據資源庫，并深度挖掘數據價值，為企業(yè)生產經營和決策分析提供支撐，讓數據賦能業(yè)務。目標建立統(tǒng)一數據平臺集成現(xiàn)有OA、財務、生產、供應鏈、銷售等系統(tǒng)數據，建立統(tǒng)一入口的數據應用平臺。01數據資源共享打通各核心系統(tǒng)的數據、打破數據孤島，進行數據匯聚，實現(xiàn)信息共享。整理制作郎豐利151902數據應用分析實現(xiàn)OA、財務、供應鏈、生產、銷售、客戶相關的營運與管理分析。03數據治理與挖掘數據治理通過改進決策、縮減成本、降低風險等方式，將價值回饋于業(yè)務；數據挖掘能為生產經營和決策分析提供量化支持。04需求01方案背景概述03成功案例介紹02解決方案概述總體方案架構與應用藍圖大數據管理與應用平臺AI圖譜技術大數據云計算數據整合可視化數據展示功能設計應用發(fā)布需求分析應用展示模型設計輔助決策價值挖掘數據智能經營分析數據采集數據存儲數據計算數據倉庫數據建模計算模型數據源關聯(lián)業(yè)務目標表單樣式計算任務調度機器學習數據應用推送業(yè)務經理主管經理決策人員集團領導OA供應鏈財務生產銷售…整合數據資源連接各類人員數據應用集市實現(xiàn)數據資產的保管與增值讓數據賦能業(yè)務總體平臺架構大數據平臺大數據基礎平臺大數據存儲HDFSHive基礎數據庫數據存儲服務實時計算離線計算流式計算數據計算服務專業(yè)詞庫基礎詞庫數據算法數據服務API調度引擎數據挖掘服務機器學習數據總線-訪問層/APIKEY任務調度監(jiān)控數據總線-采集平臺用戶行為分析用戶畫像URL標簽LBS分析行為標簽業(yè)務經營分析感知分析業(yè)務分析區(qū)域分析語義解析大數據應用數據可視化展現(xiàn)數據智能應用智能推薦智能營銷智能客服自動作業(yè)業(yè)務支撐輔助決策數據洞察數據智能源數據OAERPMES實時數據流非結構化數據…SCM/CRM平臺應用與功能架構源數據OA財務生產供應鏈銷售…數據采集、匯聚數據采集、匯聚分層分域控制配置表業(yè)務流水訂購實例賬務……基礎數據層維表公共層1公共層2公共層3……公共模型層業(yè)務分析收入分析賬務分析效益分析……報表維表主題1主題2主題3……主題模型層數據倉庫綜合視圖交叉分析標簽庫指標庫監(jiān)控預警運營平臺……潛客挖掘業(yè)務預測業(yè)務風險評估客戶價值評估商/行業(yè)報告數據挖掘……匯聚數據資源整合多個來源的數據，實現(xiàn)數據的集中、交叉、融合分析，形成專業(yè)的業(yè)務、商業(yè)分析體系。降低運營風險發(fā)現(xiàn)，跟蹤，處理，驗證閉環(huán)預警分析機制，有效規(guī)避風險，保障業(yè)務穩(wěn)定性。經營決策支持通過高質量的數據分析，輔助企業(yè)管理人員進行高效的市場、管理決策。挖掘數據價值通過對各業(yè)務系統(tǒng)數據融合建模分析可視化呈現(xiàn)，輔助運營管理人員進行高效的運營管理、指導業(yè)務市場發(fā)展。大數據平臺技術架構數據平臺數據采集能力開放內置專為大規(guī)模數據處理而設計的快速、通用的計算引擎，為企業(yè)注入強大的數據處理能力將主要優(yōu)勢、劣勢、機會和威脅等依照矩陣形式排列，然后把各種因素相互匹配起來加以分析，從中得出一系列決策性的結論。應用多種數據應用分析方法論，為企業(yè)提供數據分析咨詢服務，真正讓數據為業(yè)務賦能數據分析方法PEST方法論SWOT方法論用戶行為方法論5W2H方法論邏輯樹方法論用“邏輯樹”探究因果關系，歸納現(xiàn)象，找出“問題到底在哪里”。何因（Why））、何事(What)、何人(Who)、何時(When)、何地(Where)、如何做(How)、何價(Howmuch)，這就構成了5W2H分析法的總框架。PEST分析是應用于宏觀環(huán)境的分析，P是政治(politics)，E是經濟(economy)，S是社會(society)，T是技術(technology)。利用用戶使用行為理論，梳理各關鍵指標之間的邏輯關系，構建符合公司實際業(yè)務的網站分析指標體系。支持多種數據統(tǒng)計與分析方式，助力企業(yè)實現(xiàn)對數據的深度分析與價值挖掘統(tǒng)計分析方法描述統(tǒng)計相關分析方差分析回歸分析聚類分析貝葉斯判別分析主成分與因子分析時間序列分析決策樹隨機森林Logistic回歸分析隱馬爾科夫模型……大數據標簽匯聚能力大數據標簽基于用戶互聯(lián)網信息及用戶行為綜合特征，互聯(lián)網知識圖譜以及地理空間關聯(lián)特征，進行融合匯聚和深度挖掘關聯(lián)分析，形成多維標簽體系，從用戶屬性類標簽和事件類標簽中進行挖掘應用，實現(xiàn)數據價值最大化。旨在建造更專業(yè)更精準的標簽體系，為客戶實現(xiàn)數據價值最大化，推動標簽在企業(yè)內外的應用中發(fā)揮價值。除了數據監(jiān)控、精準營銷方面外，結合數據挖掘算法與主流的機器學習框架TensorFlow，在自然語言、圖像識別、知識圖譜等方面可以挖掘非結構化數據，形成高效、靈活的商業(yè)應用?；诖髷祿撕瀰R聚能力構建多維、一體化的標簽體系，全面支撐數據各類商業(yè)應用屬性標簽事件標簽靜態(tài)穩(wěn)定標簽短期時序事件和專題事件車輛屬性：品牌、型號、出廠年份、行駛公里數。線路屬性：線路起點、線路終點、時刻表、車輛數、班次。駕駛員屬性：性別、年齡、駕齡、行駛證類別。車輛行駛情況：行駛時間，是否晚點。停靠情況：車輛進場時間，車輛出廠時間駕駛員駕駛情況：當天駕駛時長、上班時間違章事件：車輛違章、車輛事故。保養(yǎng)事件：保養(yǎng)記錄、維修記錄。專題事件：節(jié)假日、特定事件等關鍵事件。建立多層級實體模型，模型覆蓋車輛、線路、駕駛員、停車場等實體。建立多維標簽覆蓋從靜態(tài)屬性到動態(tài)行為標簽。從無到有，打造出一套連接線上線下的時間序列，滿足應用要求。動態(tài)行為標簽…………算法模型數據分析商業(yè)應用內置近百個機器學習模型，可適配多元、復雜的數據分析與應用場景大數據一站式預測綜合畫像機器學習行為預測近百個機器學習模型適配多元場景（聚類、時間序列、協(xié)同過濾、神經網絡算法等算法組合）數據中心畫像中心+AI中心智能運營平臺商業(yè)建議效果跟蹤客流量預測+故障分類車輛資源配置優(yōu)化+停車場配置優(yōu)化行為畫像基本畫像互聯(lián)網行為數據采集企業(yè)業(yè)務數據采集OA物流車輛WEBAPPWechat循環(huán)優(yōu)化效果循環(huán)優(yōu)化模型預警監(jiān)控配置優(yōu)化基于先進數據可視化技術為用戶提供直觀、高效、豐富的數據應用服務豐富的組件配置，完美適應視覺與分析的要求，滿足大眾對數據可視化的交互體驗。拖拽式的開發(fā)模式，所見即所得，保證快速響應客戶需求。組件化的迭代開發(fā)模式，保持產品的持久生命力。根據估算，配置一個完整的可視化大屏，比傳統(tǒng)模式至少節(jié)約70%的人力成本，80%的時間成本。郎豐利整理制作01方案背景概述03成功案例介紹02解決方案概述某移動運營商業(yè)務運營分析平臺·項目概述通信市場經過多年發(fā)展，已經進入“零和”博弈時代，同行間份額競爭異常激烈。在這個背景下，大力拓展政企市場，發(fā)揮增收主力軍作用;集團領導在公司生產經營分析會上提出要推進融智，綜合運用大數據，打造“智慧中臺”，實現(xiàn)數據快速賦能。某移動運營公司、經過十多年的建設與發(fā)展，某移動運營商已建成一個覆蓋范圍廣、通信質量高、業(yè)務品種豐富、服務水平一流的移動通信網絡，擁有多個品牌。提升智慧經營水平，拓展大數據和人工智能應用場;對內強化在市場領域的應用，打造政企客戶甄別、融合營銷等大數據精準模型，提高生產經營效率和智能化水平?；贖G大數據平臺，定制一套涵蓋企業(yè)數據匯聚、數據存儲、分析挖掘、報表呈現(xiàn)的系統(tǒng);融合智能化決策輔助、一體化數據賦能、創(chuàng)新型客戶拓展三個部分的智慧運營體系，形成政企業(yè)務運營的“智慧中臺”。提供全方位分析能力，輔助產品進一步優(yōu)化。提供全自動精準營銷流程，助力擴大產品客戶規(guī)模。提升業(yè)務健康度和客戶滿意度，促進產品量質并重發(fā)展。項目背景項目目標解決方案項目價值某移動運營商業(yè)務運營分析平臺·總體方案平臺定位于打造融合智能化決策輔助、一體化數據賦能、創(chuàng)新型客戶拓展三個部分的智慧運營體系，形成業(yè)務運營的“智慧中臺”。智能化決策輔助一體化數據賦能創(chuàng)新型客戶拓展智能化決策輔助構建標準數據流程，輔助政企業(yè)務決策

HG大數據平臺創(chuàng)新型客戶拓展結合大數據建模與人工智能技術，挖掘各行業(yè)、各產品的潛在客戶，助力政企業(yè)務發(fā)展一體化數據賦能融合上下游系統(tǒng)，向下整合各域數據；向上打通數據營銷，支撐政企業(yè)務銷售某移動運營商政企運營分析平臺·系統(tǒng)架構數據接入層爬蟲平臺B域M域O域數據模型層市場條線應用層1基礎數據層2公共模型層3主題模型層4應用模型層政企條線數據條線個人屬性社會屬性客戶標簽企業(yè)信息社交關系行為偏好征信服務…報表模型大數據商業(yè)智能數據應用潛客挖掘精準營銷商業(yè)決策數據查詢數據分析自助分析工具…風險預估智聯(lián)招聘、百度百科……綜合視圖交叉分析

運營平臺標簽指標庫自定義報表監(jiān)控預警…報表報表系統(tǒng)清單……各專業(yè)系統(tǒng)智能運營平臺：是一個數據整合平臺，不僅提供豐富的數據呈現(xiàn)，還提供了數據融合、交叉分析、自動化運營等功能，大大提升數據運營水平；大數據商業(yè)智能：旨在提供更精準、更全面的標簽能力，在精準營銷、服務提升、風險預估、決策支持等方面發(fā)揮數據價值。某移動運營商業(yè)務運營分析平臺·核心應用平臺依托經分倉庫匯聚產品發(fā)展、健康度評估、效益評估、運行質量與服務支撐等多維度、多視圖運營數據，重點聚焦全面分析、數據整合、全面監(jiān)控、目標營銷、優(yōu)化服務五大運營能力。實現(xiàn)視圖化全方位產品運營分析。1.全面分析，深化運營指標體系建立、全方位運營視圖展示、精細化運營顆粒度、實時動態(tài)運營數據監(jiān)控、綜合運營分析模型六方面入手，開展全面運營分析;2、數據整合，加速賦能實現(xiàn)系統(tǒng)標準API接口服務能力，在對接CRM、ESOP、WMS等系統(tǒng)的基礎上，進一步通過標準化接口能力，與營銷管理平臺、集客保障系統(tǒng)、大數據平臺、業(yè)務平臺等系統(tǒng)對接、交互；3、全面監(jiān)控，降低風險圍繞端到端流程、業(yè)務發(fā)展流程、業(yè)務運營流程三項流程，實施全程流程運營數據監(jiān)控4、目標營銷，拓展市場圍繞對接營銷管理平臺，通過健康度、效益等運營視圖結果的輸送以及營銷目標客戶標簽的輸送，助力營銷拓展；5、優(yōu)化服務，提升滿意度通過對客戶服務流程進行監(jiān)控，結合客戶行為、投訴處理匯總等信息，對客戶進行分級，挖掘各產品后臺重點保障支撐的需求，實現(xiàn)精準化，提升服務溢價服務；某移動運營商業(yè)務運營分析平臺·應用場景客戶價值評級模型應用差異化營銷策略標題品牌營銷組合營銷渠道營銷差異化營銷使運營商抓住大客戶需求提供符合目標用戶期望的服務客戶的實際和預期價值準確地切入市場服務營銷售后售前售中服務支撐響應、資源勘察時限業(yè)務開通時限和要求故障處理、信息通告、日常維護等分級服務標準場景應用注冊資金員工規(guī)模成立年限身份開戶年限收入年限業(yè)務結構粘性欠費,壞賬信用累計通信信息化收入累計整體收入累計1+3i收入累計接入專線收入收入集團客戶價值評估違規(guī)次數風險聚類邏輯回歸特征選取算法支撐某移動運營商業(yè)務運營分析平臺·系統(tǒng)應用某移動運營商業(yè)務運營分析平臺·項目收益五大突破營銷目標更明確運營速度更高效數據質量更精準運營流程更專業(yè)業(yè)務發(fā)展更安全集客部產品市場部產品監(jiān)控業(yè)務流程實時監(jiān)控業(yè)務情況全面統(tǒng)計強化信息安全管理服務完善了服務分級服務感知顯性化分析產品深度運營分析加速產品優(yōu)化迭代營銷提升了精確化營銷運營管理某有線運營商終端數據分析平臺·項目概述某有線運營商的TVOS系統(tǒng)高清智能機頂盒已達到600萬臺，機頂盒每天產生的日志多達1T包括性能指標、用戶行為、終端系統(tǒng)運行日志等；目前現(xiàn)網缺乏對機頂盒日志的有效收集，沒有一個統(tǒng)一的日志分析平臺來監(jiān)控日常業(yè)務。某有線運營商網絡有限公司經營著全球最大的有線電視城域網--整個A市的有線電視網絡資源，擁有帶寬、用戶資源、光纖資源和規(guī)模運營的優(yōu)勢。打造多維度的終端數據分析能力，實現(xiàn)對網絡運維、市場規(guī)劃、設備運維等多種業(yè)務的有效支撐；實現(xiàn)對各類終端異常的感知和預測、對于區(qū)域性網絡故障預測，輔助市場決策。采用flume、datax進行數據采集；Hadoop+spark進行數據存儲分析；sparkml進行機器學習算法實現(xiàn)。對機頂盒的網絡、性能、信號等方面進行實時檢測，在用戶報修之前完成預警和兼修，減少工單報障，提升企業(yè)形象；對機頂盒各項指標進行數據分析為領導的決策提供數據依據。項目背景項目目標解決方案項目價值某有線運營商終端數據分析平臺·總體方案基于大數據平臺為某有線運營商搭建了終端數據分析平臺，注入了多維度的數據分析能力，實現(xiàn)了對網絡運維、市場規(guī)劃、設備運維等多種業(yè)務的有效支撐。整個系統(tǒng)分為數據清洗層、數據整合處理層、數據展現(xiàn)層，層次間分工清晰。數據清洗層提供了分析使用的基礎數據，該層的存在解耦了分析平臺和采集平臺的耦合關系，大大簡化了分析中的格式化數據操作；數據處理層使用spark大數據內存處理平臺由于其使用內存的特性使得整個分析耗時較短；數據展現(xiàn)層使用傳統(tǒng)的JDBC+mysbtis+mysql的方式；業(yè)務實現(xiàn)腳本之間使用ooize調度平臺對