智慧工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺建設(shè)方案

智慧工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺建設(shè)方案2019背景介紹調(diào)查分析平臺建設(shè)云平臺總體架構(gòu)大數(shù)據(jù)平臺介紹大數(shù)據(jù)平臺應(yīng)用模型算法介紹Contents目錄為什么有工業(yè)4.0？實(shí)體物理世界和虛擬網(wǎng)絡(luò)世界融合工業(yè)4.020世紀(jì)70年代興起的信息化工業(yè)3.020世紀(jì)初電氣化和自動化工業(yè)2.0實(shí)體18世紀(jì)機(jī)械制造設(shè)備的引入工業(yè)1.0工業(yè)4.0、中國制造2025工信部長苗圩在講到德國工業(yè)4.0與中國制造2025時，曾這樣概括：如出一轍、異曲同工、殊途同歸。因此，兩者表述不同，但內(nèi)涵基本一致工業(yè)4.0工業(yè)4.0由德國提出，主要指提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價值流程中整合客戶及商業(yè)伙伴。其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)。中國制造2025堅(jiān)持“創(chuàng)新驅(qū)動、質(zhì)量為先、綠色發(fā)展、結(jié)構(gòu)優(yōu)化、人才為本”的基本方針，堅(jiān)持“市場主導(dǎo)、政府引導(dǎo)，立足當(dāng)前、著眼長遠(yuǎn)，整體推進(jìn)、重點(diǎn)突破，自主發(fā)展、開放合作”的基本原則。什么是大數(shù)據(jù)？所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過高速獲取數(shù)據(jù)并對其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價值的信息。從大量數(shù)據(jù)中挖掘高價值知識是各界對于大數(shù)據(jù)的一個共識。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)。——Google首席經(jīng)濟(jì)學(xué)家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個細(xì)節(jié)相融合，對企業(yè)產(chǎn)生新的價值。工業(yè)大數(shù)據(jù)分析及應(yīng)用的三個階段時間第一階段1990-2000第二階段2000-2010第三階段2010～至今核心技術(shù)遠(yuǎn)程監(jiān)控、數(shù)據(jù)采集和管理大數(shù)據(jù)中心和數(shù)據(jù)分析軟件數(shù)據(jù)分析平臺與高級數(shù)據(jù)分析工具問題對象／價值以產(chǎn)品為核心的狀態(tài)監(jiān)控，問題發(fā)生后的及時處理，幫助用戶避免故障造成的損失以使用為核心的信息服務(wù)，通過及時維修和預(yù)測型維護(hù)避免故障發(fā)生的風(fēng)險以用戶為中心的平臺式服務(wù)，實(shí)現(xiàn)了以社區(qū)為基礎(chǔ)的用戶主導(dǎo)的服務(wù)生態(tài)體系商業(yè)模式產(chǎn)品為主的附加服務(wù)產(chǎn)品租賃體系和長期服務(wù)合同按需的個性化自服務(wù)模式，分享經(jīng)濟(jì)代表性企業(yè)和技術(shù)產(chǎn)品GMOnStarTM阿爾斯通TrackTracerTMGEPredix

平臺大數(shù)據(jù)特征：量（Volume）、速度（Velocity）、多樣性（Variety）、真實(shí)性（Veracity）工業(yè)大數(shù)據(jù)特征：大數(shù)據(jù)特征＋可見性（Visibility）、價值（Value）互聯(lián)網(wǎng)大數(shù)據(jù)與工業(yè)大數(shù)據(jù)的對比分析互聯(lián)網(wǎng)大數(shù)據(jù)工業(yè)大數(shù)據(jù)數(shù)據(jù)量需求大量樣本數(shù)盡可能全面地使用樣本數(shù)據(jù)質(zhì)量要求較低較高，需要對數(shù)據(jù)質(zhì)量進(jìn)行預(yù)判和修復(fù)對數(shù)據(jù)屬性意義的解讀不考慮屬性的意義，只分析統(tǒng)計(jì)顯著性強(qiáng)調(diào)特征之間地物理關(guān)聯(lián)分析手段以統(tǒng)計(jì)分析為主，通過挖掘樣本中各個屬性之間的相關(guān)性進(jìn)行預(yù)測具有一定邏輯地流水線式數(shù)據(jù)流分析手段。強(qiáng)調(diào)跨學(xué)科技術(shù)的融合，包括數(shù)學(xué)、物理、機(jī)器學(xué)習(xí)、控制、人工智能等分析結(jié)果準(zhǔn)確性要求較低較高工業(yè)大數(shù)據(jù)待解決問題（3B）：隱匿性（BelowSurface）；碎片化（Broken）；低質(zhì)性（BadQuality）工業(yè)大數(shù)據(jù)應(yīng)用背景介紹調(diào)查分析平臺建設(shè)云平臺總體架構(gòu)大數(shù)據(jù)平臺介紹大數(shù)據(jù)平臺應(yīng)用模型算法介紹Contents目錄工業(yè)大數(shù)據(jù)的核心是機(jī)器數(shù)據(jù)機(jī)器大數(shù)據(jù)的特點(diǎn)工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)的關(guān)系工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)+=企業(yè)發(fā)展動力通過工業(yè)互聯(lián)網(wǎng)將來自于傳感器發(fā)出的信息匯總，然后基于大數(shù)據(jù)平臺，根據(jù)相應(yīng)的指標(biāo)、規(guī)則予以過濾、分析，可以提煉出對企業(yè)有價值的信息。大數(shù)據(jù)可以對指定信息進(jìn)行歸納總結(jié)，形成某種規(guī)律性的認(rèn)識，最終提煉為對企業(yè)和個人有用的新信息，幫助他們進(jìn)行更好的決策。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用提升產(chǎn)品智能化產(chǎn)品的智能化是把傳感器、處理器、存儲器、通信模塊、傳輸系統(tǒng)融入到各種產(chǎn)品中，使得產(chǎn)品具備動態(tài)存儲、感知和通信能力，實(shí)現(xiàn)產(chǎn)品的可追溯、可識別、可定位。目前互聯(lián)網(wǎng)汽車、工程機(jī)械、智能家電等是產(chǎn)品智能化的熱點(diǎn)領(lǐng)域。深入拓展行業(yè)應(yīng)用工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)通過網(wǎng)絡(luò)與企業(yè)管理平臺連接，企業(yè)管理平臺可以運(yùn)用無線網(wǎng)絡(luò)、視頻遠(yuǎn)程故障診斷等信息服務(wù)系統(tǒng)，遠(yuǎn)程監(jiān)控設(shè)備的運(yùn)轉(zhuǎn)情況，并基于工業(yè)大數(shù)據(jù)實(shí)現(xiàn)故障預(yù)警，有針對性地提供維修等服務(wù)，實(shí)現(xiàn)“服務(wù)型制造”。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)全要素全要素就是說產(chǎn)品數(shù)據(jù)的完整性,它攜帶了全部的尺寸、工藝、制造、售后使用的信息。01全方位關(guān)注產(chǎn)品設(shè)計(jì)、制造、采購、使用等上下游信息。03全過程數(shù)據(jù)的設(shè)計(jì)和使用，必須要考慮跨越不同的設(shè)計(jì)、制造階段。02全融合萬物互聯(lián)意識，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。04大數(shù)據(jù)對企業(yè)的應(yīng)用價值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動，營銷實(shí)時，以業(yè)務(wù)效率提升為標(biāo)志。提升業(yè)務(wù)效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務(wù)支持，實(shí)時的決策和預(yù)測能力提升整體經(jīng)營管理水平。增強(qiáng)管理水平數(shù)據(jù)開放服務(wù)、租售數(shù)據(jù)、廣告等新業(yè)務(wù).創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗(yàn)、個性化商品推薦、LBS位置營銷、面向客戶個體的深度洞察提升客戶體驗(yàn)以技術(shù)驅(qū)動為標(biāo)志，內(nèi)存計(jì)算、MPP、CEP…分而治之的分布式計(jì)算讓運(yùn)營商實(shí)時高效決策….技術(shù)高效、低成本挖掘工業(yè)大數(shù)據(jù)價值的核心技術(shù)——CPS

分析手段工藝、效率和產(chǎn)能商業(yè)模式內(nèi)核數(shù)據(jù)和知識建模智能設(shè)備平臺基礎(chǔ)測量材料設(shè)備維護(hù)6M6CCPS定義:從實(shí)體空間的對象、環(huán)境、活動中進(jìn)行大數(shù)據(jù)的采集、儲存、建模、分析、挖掘、評估、預(yù)測、優(yōu)化、協(xié)同，并與對象的設(shè)計(jì)、測試和運(yùn)行性能表征相結(jié)合，產(chǎn)生與實(shí)體空間深度融合、實(shí)時交互、互相耦合、互相更新的網(wǎng)絡(luò)空間；進(jìn)而，通過自感知、自記憶、自認(rèn)知、自決策、自重構(gòu)和智能支持促進(jìn)工業(yè)資產(chǎn)的全面智能化.工業(yè)大數(shù)據(jù)云平臺實(shí)現(xiàn)路徑擴(kuò)展性增量式的、幾乎無限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活性靈活可動態(tài)改變的數(shù)據(jù)模型擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制一致性不要使用分布式事務(wù)處理大數(shù)據(jù)處理的需求和特點(diǎn)背景介紹調(diào)查分析平臺建設(shè)云平臺總體架構(gòu)大數(shù)據(jù)平臺介紹大數(shù)據(jù)平臺應(yīng)用模型算法介紹Contents目錄工業(yè)大數(shù)據(jù)云平臺建設(shè)終極目標(biāo)IaaS：提供基本的計(jì)算、網(wǎng)絡(luò)和存儲資源。PaaS：中間層，提供對行業(yè)業(yè)務(wù)應(yīng)用的支持。SaaS：向用戶交付最終業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務(wù)層：包含了應(yīng)用的后臺程序，數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實(shí)現(xiàn)業(yè)務(wù)能力的元素。PaaS服務(wù)層：將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問。平臺核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務(wù)云平臺總體架構(gòu)—22

—

面向一般數(shù)據(jù)中心典型的應(yīng)用場景，提供對混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實(shí)踐。以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進(jìn)行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺作為典型服務(wù)組件整合到云平臺中進(jìn)行統(tǒng)一管理，以適應(yīng)未來應(yīng)用對大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程。云平臺總體架構(gòu)介紹工業(yè)大數(shù)據(jù)平臺--數(shù)據(jù)業(yè)務(wù)邏輯背景介紹調(diào)查分析平臺建設(shè)云平臺總體架構(gòu)大數(shù)據(jù)平臺介紹大數(shù)據(jù)平臺應(yīng)用模型算法介紹Contents目錄準(zhǔn)實(shí)時采集批量采集Hadoop平臺MPP，基于X86平臺主數(shù)據(jù)倉庫分布式數(shù)據(jù)庫基于X86平臺數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營銷智能運(yùn)營物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫（MPP）：存儲加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉庫（與MPP合設(shè)）：存儲指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺：負(fù)責(zé)存儲海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫應(yīng)用層大數(shù)據(jù)平臺目標(biāo)架構(gòu)及定位數(shù)據(jù)分級存儲原則數(shù)據(jù)融合與分級存儲實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫按響應(yīng)及時性內(nèi)存數(shù)據(jù)庫數(shù)據(jù)生命周期中在線數(shù)據(jù)對高性能存儲的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲的遷移，是分級存儲管理的一條主線。同時兼顧考慮其他分級原則，共同作用影響數(shù)據(jù)遷移機(jī)制。基于生命周期基于訪問壓力基于業(yè)務(wù)用途基于物理屬性分級原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉庫的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計(jì)算與存儲壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉庫主數(shù)據(jù)倉庫2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫大數(shù)據(jù)平臺：

數(shù)據(jù)分級存儲工業(yè)大數(shù)據(jù)平臺--技術(shù)架構(gòu)源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫。基礎(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉庫。Hadoop平臺主數(shù)據(jù)倉庫報(bào)表數(shù)據(jù)標(biāo)簽庫客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫分布式數(shù)據(jù)庫MPP數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。7精細(xì)化營銷其他應(yīng)用1其他應(yīng)用2指標(biāo)數(shù)據(jù)大數(shù)據(jù)平臺：

數(shù)據(jù)處理流程數(shù)據(jù)采集--設(shè)備數(shù)據(jù)數(shù)據(jù)采集--實(shí)時數(shù)據(jù)接入處理數(shù)據(jù)采集--批量數(shù)據(jù)接入處理交互式查詢實(shí)時在線處理實(shí)時流處理

批處理基于spark和hadoop的計(jì)算模型，同時支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案批處理應(yīng)用（分鐘級別~小時級別）OLTP/在線事務(wù)處理應(yīng)用（毫秒~秒級別）OLAP/在線交互式分析應(yīng)用（秒級別）實(shí)時流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案通常的時間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場景政府各部門數(shù)據(jù)證券交易銀行保險企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析通常的時間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來源多、高并發(fā)、數(shù)據(jù)處理量達(dá)分析結(jié)果快速響應(yīng)典型應(yīng)用場景社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測高并發(fā)查詢按主鍵毫秒級檢索按多維度秒級檢索按照關(guān)鍵字秒級檢索交互式查詢實(shí)時在線處理HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯性可在x86平臺上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲，節(jié)省存儲空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個集群服務(wù)器中Hadoop平臺提供了海量數(shù)據(jù)的分布式存儲與處理的框架。基于服務(wù)器本地的計(jì)算與存儲資源，Hadoop集群可以