智能建造概論-裝配式建筑工程技術(shù)專42課件講解

智能建造概論裝配式建筑工程技術(shù)專業(yè)教學(xué)資源庫(kù)功能模塊層模塊六—智能運(yùn)維主講人：在智能運(yùn)維（AIOps）平臺(tái)落地的實(shí)踐中，算法和數(shù)據(jù)的融合，第一步是數(shù)據(jù)的采集和匯聚，通過(guò)前文介紹的關(guān)鍵技術(shù)，我們已經(jīng)獲得了質(zhì)量標(biāo)準(zhǔn)歸一化的、經(jīng)過(guò)了提取和轉(zhuǎn)換的、時(shí)間/空間/業(yè)務(wù)維度標(biāo)記清楚的數(shù)據(jù)，需要補(bǔ)充的是數(shù)據(jù)預(yù)處理相關(guān)的核心要點(diǎn)。功能模塊在數(shù)據(jù)挖掘中，海量原始數(shù)據(jù)中存在大量不完整(有缺失值)、不一致或有異常的數(shù)據(jù)，嚴(yán)重影響到數(shù)據(jù)挖掘建模的執(zhí)行效率，甚至可能導(dǎo)致挖掘結(jié)果的偏差。數(shù)據(jù)預(yù)處理的目的是提高數(shù)據(jù)質(zhì)量，從而提升數(shù)據(jù)挖掘的質(zhì)量。方法包括數(shù)據(jù)清洗、數(shù)據(jù)集成和轉(zhuǎn)換，以及數(shù)據(jù)歸約。1、數(shù)據(jù)預(yù)處理通過(guò)數(shù)據(jù)預(yù)處理，可以去掉數(shù)據(jù)中的噪音，糾正不一致；數(shù)據(jù)集成將數(shù)據(jù)由多個(gè)源合并成一致的數(shù)據(jù)存儲(chǔ)，如數(shù)據(jù)倉(cāng)儲(chǔ)或數(shù)據(jù)立方；數(shù)據(jù)變換(如規(guī)范化)也可以使用，例如規(guī)范化可以改進(jìn)涉及距離度量的挖掘算法的精度和有效性；數(shù)據(jù)規(guī)約可以通過(guò)合并、刪除冗余特征或聚類來(lái)壓縮數(shù)據(jù)。這些數(shù)據(jù)處理技術(shù)在數(shù)據(jù)挖掘之前使用，可以大大提高數(shù)據(jù)挖掘模式的質(zhì)量，降低實(shí)際挖掘所需要的時(shí)間。1、數(shù)據(jù)預(yù)處理需要注意，有些算法對(duì)異常值非常敏感。任何依賴均值/方差的算法都對(duì)離群值敏感，因?yàn)檫@些統(tǒng)計(jì)量受極值的影響極大。另一方面，一些算法對(duì)離群點(diǎn)具有更強(qiáng)的魯棒性。數(shù)據(jù)分析中的描述性統(tǒng)計(jì)分析認(rèn)為：當(dāng)我們面對(duì)大量信息的時(shí)候，經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)越多，事實(shí)越模糊的情況，因此我們需要對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)化，描述統(tǒng)計(jì)學(xué)就是用幾個(gè)關(guān)鍵的數(shù)字來(lái)描述數(shù)據(jù)集的整體情況。1、數(shù)據(jù)預(yù)處理在智能運(yùn)維（AIOps）算法分析系統(tǒng)中，不同算法對(duì)應(yīng)不同的適配場(chǎng)景，需要根據(jù)數(shù)據(jù)特征模式來(lái)選擇合適的算法應(yīng)用。如指標(biāo)異常算法的應(yīng)用：針對(duì)周期穩(wěn)定的數(shù)據(jù)，我們采取動(dòng)態(tài)極限的模型；針對(duì)周期不穩(wěn)定的數(shù)據(jù)，采用頻域分析的模型；針對(duì)穩(wěn)定的數(shù)據(jù)采用極限閾值判斷的模型。通過(guò)模型選擇的算法，對(duì)于相同的數(shù)據(jù)的模型進(jìn)行適配，達(dá)到最優(yōu)的效果。2、算法工程集成因此，想要以開(kāi)箱即用的方式、采用某種標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法直接應(yīng)用，而不考慮業(yè)務(wù)特征，通常并不可行。2、算法工程集成我們需要首先考慮該組業(yè)務(wù)指標(biāo)間的關(guān)聯(lián)性，如果有應(yīng)用或系統(tǒng)間的調(diào)用鏈或調(diào)用拓?fù)涔﹨⒖迹@是最好不過(guò)的。如果沒(méi)有調(diào)用鏈或拓?fù)洌瑒t需要先根據(jù)已知可能的業(yè)務(wù)相關(guān)性，進(jìn)行曲線波動(dòng)關(guān)聯(lián)、回歸分析等算法分析，獲得極限閾值嘗試得到因果匹配，通過(guò)一系列的事件歸集得到相關(guān)性，再對(duì)每一次反饋進(jìn)行適應(yīng)，嘗試自動(dòng)匹配更為準(zhǔn)確的算法和參數(shù)，才可能達(dá)到期望的異常檢測(cè)目標(biāo)。2、算法工程集成智能運(yùn)維的工程化過(guò)程，是一個(gè)算法、算力與數(shù)據(jù)相結(jié)合，平臺(tái)自身與業(yè)務(wù)系統(tǒng)反饋相結(jié)合的復(fù)雜過(guò)程。在與業(yè)務(wù)場(chǎng)景結(jié)合的前提下，靈活的算