《工業(yè)互聯(lián)網(wǎng)技術(shù)導(dǎo)論》 課件 第五章 工業(yè)大數(shù)據(jù)

第5章

工業(yè)大數(shù)據(jù)大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)人類利用數(shù)據(jù)的歷史非常悠久，最早可以追溯到數(shù)字發(fā)明時期，不同文明均掌握了利用數(shù)字記錄和管理生產(chǎn)生活的能力數(shù)據(jù)作為一種經(jīng)濟(jì)資源和生產(chǎn)要素，是人工智能等新興技術(shù)發(fā)展的動力，沒有海量的數(shù)據(jù)積累和應(yīng)用場景，人工智能很難沖破瓶頸快速發(fā)展在制度、技術(shù)和經(jīng)濟(jì)發(fā)展的交織作用下，數(shù)據(jù)完成了從數(shù)字到資產(chǎn)的轉(zhuǎn)變，在這個過程中數(shù)據(jù)的規(guī)模、價值和影響不斷擴(kuò)大大數(shù)據(jù)傳輸挖掘應(yīng)用相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預(yù)測分析有價值的數(shù)據(jù)大數(shù)據(jù)處理技術(shù)在具體的應(yīng)用方面，可以為國家支柱企業(yè)的數(shù)據(jù)分析和處理提供技術(shù)和平臺支持，為企業(yè)進(jìn)行數(shù)據(jù)分析、處理、挖掘，提取出重要的信息和知識大數(shù)據(jù)技術(shù)

數(shù)據(jù)采集區(qū)別于小數(shù)據(jù)采集，大數(shù)據(jù)采集不再僅僅使用問卷調(diào)查、信息系統(tǒng)的數(shù)據(jù)庫取得結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)的來源有很多，主要包括使用網(wǎng)絡(luò)爬蟲獲取的網(wǎng)頁文本數(shù)據(jù)、使用日志收集器收集的日志數(shù)據(jù)、從關(guān)系型數(shù)據(jù)庫中獲得的數(shù)據(jù)和由傳感器收集到的時空數(shù)據(jù)數(shù)據(jù)存儲如今大數(shù)據(jù)的火熱，帶來的第一道障礙就是關(guān)于大數(shù)據(jù)存儲的問題。大數(shù)據(jù)因?yàn)橐?guī)模大、類型多樣、新增速度快，所以在存儲和計算上，都需要技術(shù)支持目前常見的大數(shù)據(jù)存儲方式主要有分布式存儲、NoSQL數(shù)據(jù)庫和云數(shù)據(jù)庫三種。數(shù)據(jù)清洗在大數(shù)據(jù)時代，數(shù)據(jù)清洗通常是指把“臟數(shù)據(jù)”徹底洗掉，所謂“臟數(shù)據(jù)”是指不完整、不規(guī)范、不準(zhǔn)確的數(shù)據(jù)，只有通過數(shù)據(jù)清洗才能從根本上提高數(shù)據(jù)質(zhì)量。在數(shù)據(jù)清洗定義中包含兩個重要的概念：原始數(shù)據(jù)和干凈數(shù)據(jù)。（1）原始數(shù)據(jù)是來自數(shù)據(jù)源的數(shù)據(jù)，一般作為數(shù)據(jù)清洗的輸入數(shù)據(jù)。由于原始數(shù)據(jù)的來源紛雜，因此不適合直接進(jìn)行分析。值得注意的是：對于未清洗的數(shù)據(jù)集，無論嘗試什么類型的算法，都無法獲得準(zhǔn)確的結(jié)果。（2）干凈數(shù)據(jù)也稱目標(biāo)數(shù)據(jù)，即為符合數(shù)據(jù)倉庫或上層應(yīng)用邏輯規(guī)格的數(shù)據(jù)，也是數(shù)據(jù)清洗過程的結(jié)果數(shù)據(jù)。數(shù)據(jù)計算面向大數(shù)據(jù)處理的數(shù)據(jù)查詢、統(tǒng)計、分析、挖掘等需求，促生了大數(shù)據(jù)計算的不同計算模式，整體上人們把大數(shù)據(jù)計算分為離線批處理計算、實(shí)時交互計算和流計算三種。數(shù)據(jù)分析與挖掘大數(shù)據(jù)分析是通常是指對規(guī)模巨大的數(shù)據(jù)進(jìn)行分析，其目的是提取海量數(shù)據(jù)中的有價值的內(nèi)容，找出內(nèi)在的規(guī)律，從而幫助人們做出最正確的決策。數(shù)據(jù)可視化由于對海量的數(shù)據(jù)做出有意義的理解非常困難，而許多大數(shù)據(jù)集中又包含了有價值的數(shù)據(jù)，因此數(shù)據(jù)可視化已成為決策者的重要方法數(shù)據(jù)治理數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一數(shù)據(jù)、從具有很少或沒有組織流程到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)管控、從數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個過程。數(shù)據(jù)治理能夠有效幫助企業(yè)利用數(shù)據(jù)建立全面的評估體系，實(shí)現(xiàn)業(yè)務(wù)增長；通過數(shù)據(jù)優(yōu)化產(chǎn)品，提升運(yùn)營效率，真正實(shí)現(xiàn)數(shù)據(jù)系統(tǒng)賦能業(yè)務(wù)系統(tǒng)，提升以客戶為中心的數(shù)字化體驗(yàn)?zāi)芰?，?shí)現(xiàn)生意的增長。國家標(biāo)準(zhǔn)GB/T34960的數(shù)據(jù)治理框架。該數(shù)據(jù)治理框架比較符合我國企業(yè)和政府的組織現(xiàn)狀，更加全面地和精煉地描述了數(shù)據(jù)治理的工作內(nèi)容，包含頂層設(shè)計、數(shù)據(jù)治理環(huán)境、數(shù)據(jù)治理域和數(shù)據(jù)治理過程。工業(yè)大數(shù)據(jù)

工業(yè)大數(shù)據(jù)即難以通過傳統(tǒng)的分析工具進(jìn)行有效分析的工業(yè)數(shù)據(jù)的集合，具備明顯的大數(shù)據(jù)的容量大、數(shù)據(jù)類型多、數(shù)據(jù)價值高、數(shù)據(jù)更新快的特性工業(yè)大數(shù)據(jù)推動互聯(lián)網(wǎng)由以服務(wù)個人用戶消費(fèi)為主向服務(wù)生產(chǎn)性應(yīng)用為主，由此導(dǎo)致產(chǎn)業(yè)模式、制造模式和商業(yè)模式的重塑工業(yè)大數(shù)據(jù)與大數(shù)據(jù)的關(guān)系工業(yè)大數(shù)據(jù)應(yīng)用是基于工業(yè)數(shù)據(jù)，運(yùn)用先進(jìn)的大數(shù)據(jù)相關(guān)思維、工具、方法，貫穿于工業(yè)的設(shè)計、工藝、生產(chǎn)、管理、服務(wù)等各個環(huán)節(jié)，使工業(yè)系統(tǒng)、工業(yè)產(chǎn)品具備描述、診斷、預(yù)測、決策、控制等智能化功能模式和結(jié)果使用大數(shù)據(jù)技術(shù)對工業(yè)生產(chǎn)進(jìn)行優(yōu)化工業(yè)大數(shù)據(jù)在智能制造中有著廣泛的應(yīng)用前景，在產(chǎn)品市場需求獲取、產(chǎn)品研發(fā)、制造、運(yùn)行、服務(wù)直至報廢回收的產(chǎn)品全生命周期過程中，工業(yè)大數(shù)據(jù)在智能化設(shè)計、智能化生產(chǎn)、網(wǎng)絡(luò)化協(xié)同制造、智能化服務(wù)、個性化定制等場景都發(fā)揮出巨大的作用工業(yè)大數(shù)據(jù)與工業(yè)互聯(lián)網(wǎng)1）基于數(shù)字孿生的智慧研發(fā)場景應(yīng)用2）基于柔性生產(chǎn)的大規(guī)模個性化定制場景3）基于產(chǎn)品全生命周期管理的設(shè)備預(yù)測管理工業(yè)大數(shù)據(jù)參考架構(gòu)工業(yè)大數(shù)據(jù)參考架構(gòu)以工業(yè)過程的業(yè)務(wù)需求為導(dǎo)向，基于工業(yè)系統(tǒng)的業(yè)務(wù)架構(gòu)，規(guī)劃工業(yè)大數(shù)據(jù)的數(shù)據(jù)、技術(shù)和應(yīng)用（平臺）架構(gòu)，以搭建面向多業(yè)務(wù)領(lǐng)域、貫通多組織和應(yīng)用層次的工業(yè)大數(shù)據(jù)IT架構(gòu)工業(yè)大數(shù)據(jù)的應(yīng)用工業(yè)大數(shù)據(jù)是提升工業(yè)生產(chǎn)效率，降低能耗，轉(zhuǎn)變高耗能、低效率、勞動密集的粗放型生產(chǎn)面貌的必要手段大數(shù)據(jù)也是實(shí)現(xiàn)工業(yè)企業(yè)從制造向服務(wù)轉(zhuǎn)型的關(guān)鍵支撐技術(shù)工業(yè)大數(shù)據(jù)處理過程工業(yè)大數(shù)據(jù)采集不論智能制造發(fā)展到何種程度，數(shù)據(jù)采集都是生產(chǎn)中最實(shí)際最高頻的需求，也是工業(yè)4.0的先決條件工業(yè)大數(shù)據(jù)的現(xiàn)場數(shù)據(jù)采集。該方式屬于物聯(lián)網(wǎng)終端傳感器系統(tǒng)的一種，通過裝在機(jī)器上的無線模塊，采集指定機(jī)器PLC工作信息，上傳到主機(jī)，主機(jī)處理數(shù)據(jù)后上傳到云服務(wù)器。用戶可在手機(jī)、平板、電腦上查看機(jī)器工作信息，并可以有限度地設(shè)置機(jī)器工作參數(shù)。工業(yè)大數(shù)據(jù)預(yù)處理在工業(yè)數(shù)據(jù)分析之前，需要采用一定的數(shù)據(jù)預(yù)處理技術(shù)，如消除數(shù)據(jù)中的噪聲、糾正數(shù)據(jù)的不一致、刪除異常值等，來提高模型魯棒性數(shù)據(jù)異常處理異常值也叫作離群值，通常是指采集數(shù)據(jù)時可能因?yàn)榧夹g(shù)或物理原因，數(shù)據(jù)取值超過數(shù)據(jù)值域范圍。處理離群值，首先要識別離群值。目前對于異常值的檢測可以通過分析統(tǒng)計數(shù)據(jù)的散度情況，即數(shù)據(jù)變異指標(biāo)，來對數(shù)據(jù)的總體特征有更進(jìn)一步的了解數(shù)據(jù)缺失處理現(xiàn)實(shí)世界的數(shù)據(jù)大多都是不完整的，工業(yè)大數(shù)據(jù)更是如此缺失數(shù)據(jù)在機(jī)器學(xué)習(xí)應(yīng)用中是比較棘手的問題。首先，不能簡單地忽略數(shù)據(jù)集中缺失的數(shù)據(jù)值，而是必須以合理的理由處理這類數(shù)據(jù)工業(yè)大數(shù)據(jù)建模DIKW模型DIKW模型是一個關(guān)于數(shù)據(jù)（Data）、信息（Information）、知識（Knowledge）、智慧（Wisdom）的模型DIKW模型中提及的數(shù)據(jù)、信息、知識及智慧，它們之間的轉(zhuǎn)化依賴于人們個人的經(jīng)驗(yàn)、創(chuàng)造力和對內(nèi)容的理解程度。數(shù)據(jù)：某個觀測站觀測到某日的最高氣溫是35℃，這就是一個數(shù)據(jù)。信息：綜合整月、全年乃至更長時段的氣溫數(shù)據(jù)，便能得到這個站點(diǎn)的氣溫序列，這就是信息。知識：基于某城市多個觀測站的常年觀測資料，人們就能夠判斷當(dāng)?shù)氐臍夂驐l件如何，就形成了知識。智慧：如果人們能夠?qū)χR進(jìn)行進(jìn)一步挖掘分析，利用它提煉出正確的決策，就進(jìn)一步提升到了智慧。系統(tǒng)通過傳感器采集到實(shí)時的溫度，再把該數(shù)據(jù)與其他數(shù)據(jù)關(guān)聯(lián)(比如批次、條碼、機(jī)臺、原料、產(chǎn)品質(zhì)量等級等)，同時可以計算生產(chǎn)過程中溫度點(diǎn)的各種統(tǒng)計值，這些信息既可以根據(jù)已知的知識（工藝要求）進(jìn)行過程控制，也可以進(jìn)行相關(guān)性分析歸納出模型。知識工程知識是指人類認(rèn)識的成果或結(jié)晶。知識工程的研究方向是專家知識的獲取、表達(dá)和推理過程的系統(tǒng)方法。工業(yè)領(lǐng)域的知識按照其屬性可以分為隱性知識、顯性知以及工業(yè)大數(shù)據(jù)三大類，并通過知識之間互相作用、互相轉(zhuǎn)化，應(yīng)用到企業(yè)創(chuàng)新業(yè)務(wù)活動中。工業(yè)建模數(shù)據(jù)建模的本質(zhì)，是根據(jù)一部分能夠獲得的數(shù)據(jù)獲得另一部分不統(tǒng)一直接獲得的數(shù)據(jù)。對于復(fù)雜的工業(yè)建模過程，充分利用知識領(lǐng)域是成功的前提。不過需要注意的是：在工業(yè)領(lǐng)域，由于應(yīng)用場景的不同以及數(shù)據(jù)采集條件的不斷變化，模型的誤差可能會變得很大，而這些變化會對人們的建模過程產(chǎn)生深刻的影響。工業(yè)大數(shù)據(jù)的參考模型CRISP-DMCRISP-DM模型是歐盟起草的跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(Cross-IndustryStandardProcessforDataMining)的簡稱。這個標(biāo)準(zhǔn)以數(shù)據(jù)為中心，將相關(guān)工作分成業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、驗(yàn)證與評估、實(shí)施與運(yùn)行等六個基本的步驟工業(yè)大數(shù)據(jù)建模應(yīng)用由于工業(yè)生產(chǎn)過程中本身受到各種機(jī)理約束條件的限制，利用歷史過程數(shù)據(jù)定義問題邊界往往達(dá)不到工業(yè)的生產(chǎn)要求因此，人們往往需要采用數(shù)據(jù)驅(qū)動+模型驅(qū)動+場景部署的多輪驅(qū)動方式，實(shí)現(xiàn)數(shù)據(jù)和機(jī)理的深度融合，去解決實(shí)際的工業(yè)問題。圖顯示了數(shù)控車床壽命預(yù)測模型，該模型設(shè)備部件為主軸，設(shè)備名稱為數(shù)控車床，通過建立模型來預(yù)測其壽命，并通過可視化圖表來顯示工業(yè)大數(shù)據(jù)分析工業(yè)大數(shù)據(jù)分析是利用統(tǒng)計學(xué)分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、信號處理技術(shù)等技術(shù)手段，結(jié)合業(yè)務(wù)知識對工業(yè)過程中產(chǎn)生的數(shù)據(jù)進(jìn)行處理、計算、分析并提取其中有價值的信息、規(guī)律的過程。作為智能制造的核心環(huán)節(jié)，工業(yè)大數(shù)據(jù)分析已經(jīng)被多數(shù)的制造企業(yè)所認(rèn)知并接受。工業(yè)大數(shù)據(jù)分析常見的類型可分為描述類、診斷類、預(yù)測類、決策類以及控制類等。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)，通俗地講就是讓機(jī)器來實(shí)現(xiàn)學(xué)習(xí)的過程，讓機(jī)器擁有學(xué)習(xí)的能力，從而改善系統(tǒng)自身的性能。在機(jī)器學(xué)習(xí)中，首先要輸入大量數(shù)據(jù)，并根據(jù)需要來訓(xùn)練模型，再對訓(xùn)練后的模型進(jìn)行應(yīng)用，以判斷其算法的準(zhǔn)確性在當(dāng)前的大數(shù)據(jù)時代，數(shù)據(jù)分析和機(jī)器學(xué)習(xí)在流程工業(yè)中得到了越來越廣泛的應(yīng)用，這些方法滲透到流程工業(yè)的各個層次，這既包括在過程監(jiān)控和軟測量等底層控制回路中的應(yīng)用，也包括最優(yōu)控制和頂層決策等應(yīng)用。特征工程特征是建立在原始數(shù)據(jù)基礎(chǔ)之上的特定表示，是一個單獨(dú)的可測量的屬性，通常由數(shù)據(jù)集中的列表述。圖顯示了特征工程的重要性，在工業(yè)大數(shù)據(jù)中一個好的解決方案來源于對業(yè)務(wù)的深入理解和對數(shù)據(jù)的細(xì)致分析。工業(yè)大數(shù)據(jù)分析的常見算法1）聚類分析聚類分析是指對一批沒有標(biāo)出類別的樣本(可以看作是數(shù)據(jù)框其中的一行數(shù)據(jù))，按照樣本之間的相似程度進(jìn)行分類，將相似的歸為一類，不相似的歸為另一類的過程。在工業(yè)生產(chǎn)中，聚類算法往往應(yīng)用于工藝優(yōu)化，比如對車間生產(chǎn)歷史數(shù)據(jù)的聚類分析，得到工藝參數(shù)與產(chǎn)品質(zhì)量、能耗水平的影響關(guān)系，從而提升制造水平。2）降維算法在互聯(lián)網(wǎng)大數(shù)據(jù)場景下，人們經(jīng)常需要面對高維數(shù)據(jù)，在對這些數(shù)據(jù)做分析和可視化的時候，人們通常會面對高維這個障礙。數(shù)據(jù)降維，一方面可以解決“維數(shù)災(zāi)難”，緩解“信息豐富、知識貧乏”現(xiàn)狀，降低復(fù)雜度；另一方面可以更好地認(rèn)識和理解數(shù)據(jù)。3）SVM支持向量機(jī)（SupportVectorMachine，SVM）是一種支持線性分類和非線性分類的二元分類算法。在工業(yè)生產(chǎn)中，可以通過訓(xùn)練和操作支持向量機(jī)，分析產(chǎn)品內(nèi)部缺陷檢測的性能。4）決策樹算法決策樹學(xué)習(xí)是應(yīng)用最廣的歸納推理算法之一，它是一種逼近離散值函數(shù)的方法，對噪聲數(shù)據(jù)有很好的健壯性且能夠?qū)W習(xí)析取表達(dá)式一個典型的決策樹實(shí)例如圖所示。決策樹算法可以應(yīng)用在很多領(lǐng)域內(nèi)，如根據(jù)地理位置預(yù)測產(chǎn)品的需求量、根據(jù)疾病分類患者、根據(jù)起因分類設(shè)備故障、根據(jù)拖欠支付的可能性分類貸款申請。對于這些問題，核心任務(wù)都是要把樣例分類到各可能的離散值對應(yīng)的類別中，因此這些問題經(jīng)常被稱為分類問題。5）關(guān)聯(lián)規(guī)則算法關(guān)聯(lián)規(guī)則算法常用來描述數(shù)據(jù)之間的相關(guān)關(guān)系的描述型模式，挖掘關(guān)聯(lián)規(guī)則的算法和聚類算法類似，屬于無監(jiān)督學(xué)習(xí)的方法。關(guān)聯(lián)規(guī)則的定義是：兩個不相交的非空集合X、Y，如果由X->Y，就說X->Y是一條關(guān)聯(lián)規(guī)則。其中X表示的是兩個互斥事件，X稱為前因(antecedent)，Y稱為后果(consequent)，上述關(guān)聯(lián)規(guī)則表示X會導(dǎo)致Y。隨著關(guān)聯(lián)規(guī)則挖掘技術(shù)的不斷進(jìn)步，關(guān)聯(lián)規(guī)則已經(jīng)在各行各業(yè)中廣泛應(yīng)用，例如國內(nèi)外的知名電商、銀行的理財服務(wù)都從關(guān)聯(lián)規(guī)則算法中受益。6）樸素貝葉斯算法貝葉斯算法是統(tǒng)計模型決策中的一個基本方法，其基本思想是已知條件概率密度參數(shù)表達(dá)式和先驗(yàn)概率，利用貝葉斯公式轉(zhuǎn)換成后驗(yàn)概率，再根據(jù)后驗(yàn)概率大小進(jìn)行決策分類。樸素貝葉斯主要用于分類問題，比如新聞分類、文本分類、病人分類、郵件分類等。例如在企業(yè)中如果已經(jīng)收集了大量垃圾郵件和非垃圾郵件，則可以使用樸素貝葉斯算法來過濾垃圾郵件。此外，在工廠生產(chǎn)中還可以使用并行高斯分布樸素貝葉斯分類算法來處理大規(guī)模連續(xù)型數(shù)據(jù)。工業(yè)大數(shù)據(jù)可視化通過增加數(shù)據(jù)可視化使用，企業(yè)能夠發(fā)現(xiàn)他們追求的價值。例如，通過三維可視化技術(shù)將整個工廠環(huán)境和生產(chǎn)設(shè)備進(jìn)行三維呈現(xiàn)，對整個生產(chǎn)過程進(jìn)行虛擬仿真工業(yè)大數(shù)據(jù)治理

大數(shù)據(jù)治理可以為業(yè)務(wù)提供持續(xù)的、可度量的價值。工業(yè)界IBM數(shù)據(jù)治理委員會給數(shù)據(jù)治理的定義如下：數(shù)據(jù)治理是一組流程，用來改變組織行為，利用和保護(hù)企業(yè)數(shù)據(jù)，將其作為一種戰(zhàn)略資產(chǎn)。數(shù)據(jù)治理是專注于將數(shù)據(jù)作為企業(yè)的商業(yè)資產(chǎn)進(jìn)行應(yīng)用和管理的一套管理機(jī)制，它能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織的數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)廣泛共享工業(yè)大數(shù)據(jù)戰(zhàn)略工業(yè)大數(shù)據(jù)治理工業(yè)大數(shù)據(jù)治理架構(gòu)工業(yè)大數(shù)據(jù)治理核心內(nèi)容1）主數(shù)據(jù)主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，它是具有高業(yè)務(wù)價值的、可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個異構(gòu)的應(yīng)用