垂直業(yè)務(wù)大數(shù)據(jù)--數(shù)據(jù)預(yù)測服務(wù)課件

1、主要問題改進思路實施路線案例與核心問題分析業(yè)務(wù)背景 垂直領(lǐng)域業(yè)務(wù)大數(shù)據(jù) 預(yù)測服務(wù)場景的思考垂直領(lǐng)域業(yè)務(wù)大數(shù)據(jù)？指的是符合如下條件的場景：采集頻率高：重復實時采集業(yè)務(wù)運行數(shù)據(jù)數(shù)據(jù)量大：有規(guī)模，至少幾萬個樣例多維度：可以采集到多個方面的相關(guān)數(shù)據(jù)，便于分析和特征提取舉例：數(shù)據(jù)中心的運維，公安的監(jiān)控設(shè)備，能源企業(yè)的管線維護3背景與趨勢標配市場趨勢云計算SaaS數(shù)據(jù)與分析爆發(fā)型需求High Demand基本預(yù)測式服務(wù)實時處理業(yè)務(wù)網(wǎng)絡(luò)化采集AI /深度學習PLCMachine IntegrationSensors(ERP)各種業(yè)務(wù)監(jiān)控的背景（以中石油管道業(yè)務(wù)為例）大型管輸 SCADA 系統(tǒng)拓撲圖（來自網(wǎng)絡(luò)

2、）通過智能儀表，光纜及衛(wèi)星通信鏈路，實現(xiàn)大型管網(wǎng)數(shù)據(jù)采集與監(jiān)控在此基礎(chǔ)上，實現(xiàn)運輸跟蹤，管道診斷，設(shè)備狀態(tài)查詢，設(shè)備能耗查詢等監(jiān)控應(yīng)用已搭建海量數(shù)據(jù)的統(tǒng)一數(shù)據(jù)平臺，實現(xiàn)基礎(chǔ)層面的數(shù)據(jù)存儲，查詢支持積累了大量歷史數(shù)據(jù)，并具備大量實時動態(tài)數(shù)據(jù)獲取的能力主要問題SCADA所在計算機網(wǎng)絡(luò)系統(tǒng)的運維管理應(yīng)用集成程度和智能化程度不足更多的依賴于實時數(shù)據(jù)進行故障發(fā)現(xiàn)及處理，缺乏對歷史數(shù)據(jù)集的分析，缺乏在此基礎(chǔ)上實現(xiàn)的事件預(yù)警和預(yù)測沒有將管道運行數(shù)據(jù)與相關(guān)的空間地理，氣候信息等結(jié)合起來進行集成分析，導致許多歷史數(shù)據(jù)記錄缺乏可參考性IT 架構(gòu)方面數(shù)據(jù)應(yīng)用方面改進思路：實現(xiàn)事件預(yù)警123321根據(jù)歷史數(shù)據(jù)進行模型

3、匹配實時數(shù)據(jù)不匹配已有模型則提出預(yù)警定位預(yù)警因素由專家進行分析確認故障后進行維修并記錄滿足報警條件觸發(fā)故障報警采集實時數(shù)據(jù)設(shè)置報警條件數(shù)據(jù)分析（主動）傳統(tǒng)做法（被動）運行數(shù)據(jù)超出閾值，產(chǎn)生故障報警運行數(shù)據(jù)未超出閾值，不產(chǎn)生故障報警改進思路：實現(xiàn)事件預(yù)警報警閾值傳統(tǒng)做法：可能較晚發(fā)現(xiàn)故障但運行數(shù)據(jù)偏離預(yù)測模型，產(chǎn)生事件預(yù)警故障報警事件預(yù)警事件預(yù)警數(shù)據(jù)分析：可能較早預(yù)測故障風險預(yù)測模型擬合趨勢改進思路：實現(xiàn)數(shù)據(jù)集成天氣數(shù)據(jù)地理數(shù)據(jù)地圖數(shù)據(jù)地形數(shù)據(jù)社會數(shù)據(jù)溫度數(shù)據(jù)降雨數(shù)據(jù)來源：公共數(shù)據(jù)，中國氣象數(shù)據(jù)網(wǎng)，彩云天氣等來源：各種社會開放式數(shù)據(jù)，已有集成數(shù)據(jù)等業(yè)務(wù)數(shù)據(jù)各種業(yè)務(wù)采集設(shè)備數(shù)據(jù)中繼應(yīng)用接入數(shù)據(jù)集成

4、包裝加工過濾分解應(yīng)用接入應(yīng)用接入重組應(yīng)用接入數(shù)據(jù)訓練數(shù)據(jù)預(yù)警提供支持改進思路：數(shù)據(jù)迭代訓練歷史數(shù)據(jù)實時數(shù)據(jù)聚類聚類聚類分段分段分段分段抽樣訓練改進模型初始預(yù)測模型抽樣訓練抽樣訓練抽樣訓練模擬預(yù)測改進模型改進模型改進模型模擬預(yù)測模擬預(yù)測模擬預(yù)測對比對比對比對比事件預(yù)警事件預(yù)警事件預(yù)警發(fā)現(xiàn)差異參考案例（森林火災(zāi)預(yù)防）傳統(tǒng)做法：實時火情監(jiān)控，無差別撲滅火源缺點：被動處理導致火情無序發(fā)生，救火資源難以優(yōu)化調(diào)度數(shù)據(jù)分析：預(yù)測火源產(chǎn)生位置及蔓延范圍優(yōu)點：針對高風險林區(qū)提前砍伐處理，消除隱患有規(guī)律地調(diào)度防火資源火情一旦蔓延救援成本和災(zāi)害損失都難以估量需要提前扼殺隱患森林火災(zāi)的數(shù)據(jù)集成與數(shù)據(jù)分布森林火情天氣因

5、素工業(yè)分布居住分布地質(zhì)因素生物活動森林火情的發(fā)生與多種外部因素相關(guān)，包括自然因素以及人類生產(chǎn)活動因素數(shù)據(jù)分析的難點在于如何發(fā)掘外部數(shù)據(jù)和森林火情之間的內(nèi)在聯(lián)系森林火災(zāi)的預(yù)測數(shù)據(jù)訓練外部數(shù)據(jù)采集入庫測控數(shù)據(jù)數(shù)據(jù)訓練數(shù)據(jù)預(yù)警森林初始分布林木生長速率自燃概率林木死亡速率預(yù)測參數(shù)無火情火情失控執(zhí)行砍伐作業(yè)以消除風險點高風險點預(yù)測（可視化模擬）建議單個周期縮短至 3 - 6 個月，滾動迭代式進行實施路線規(guī)劃確立總體思路確立實施框架確定場景收集存量數(shù)據(jù)確定數(shù)據(jù)源評估數(shù)據(jù)質(zhì)量IT 合規(guī)要求技術(shù)選型部署業(yè)務(wù)優(yōu)化部署新的業(yè)務(wù)反饋與改進溝通，培訓與變更控制溝通，培訓與變更控制14小結(jié)：預(yù)測式服務(wù)的思路：形成一個更

6、大的循環(huán) CollectSenseAnalyze行動干預(yù)各種傳感器, RFID, PLC集成各種方式的數(shù)據(jù)采集預(yù)測式分析, 深度學習技術(shù)采集感知分析告警, 移動化, 提示主動阻斷式服務(wù)預(yù)測式服務(wù)復雜場景處理（快速識別關(guān)鍵要素）自動化的報表與趨勢匯報場景這里是否有我們的機會呢智能服務(wù)的場景目標如何真正做到場景驅(qū)動從“model to data”模式（即先設(shè)定思路，再灌數(shù)據(jù)，單向過程）到“data to model”模式（即先探索數(shù)據(jù)，提煉思路后，形成循環(huán)）場景的關(guān)鍵問題與瓶頸可迭代性（可持續(xù)性）問題：其實很難以理論、提前的構(gòu)思來設(shè)定其思路；我們研究者當下的見解，其實由于各方面的數(shù)據(jù)量過大、過于瑣碎，個體其實有非常大的局限性與不明確（實際上混沌）的限制；可迭代性（可持續(xù)性）問題，對于機器來說，具有天然的優(yōu)勢，但對于人來說，則太過于困難了，原因可能在于人們可能難以在復雜的模式中保持較低的“耗散”，往往很快就耗散完了動力，難以為繼了。而機器（如AlphaGo）則有一個天然的優(yōu)勢，可以對枯燥的事情持續(xù)億萬遍。機器的缺點在于原來的攝入角度太少，信息不完整，受到極大的限制，降低了可用性大數(shù)據(jù)關(guān)于場景的思