智能制造-惠普產線大數(shù)據(jù)解決方案分享 完整版

智能制造——惠普產線大數(shù)據(jù)解決方案分享數(shù)字宇宙爆炸式膨脹，機器數(shù)據(jù)占比40%機器數(shù)據(jù)是數(shù)據(jù)增長的主要貢獻者–其預期到2020年會有15倍的增長（占整個數(shù)據(jù)量的40%）2020

40ZBIDC最新預計2020年數(shù)據(jù)量會達到40ZB遠遠超過其之前預計的5ZB20052010201220158.5ZB2.8ZB1.2ZB0.1ZB到2020年中國產生的數(shù)據(jù)比例會占到全世界的22%U.S.

32%WesternEurope

19%China

13%India4%restoftheworld32%22%by202040%

by2020當前數(shù)據(jù)分布一個工廠產線上的各種系統(tǒng)每天產生大量的數(shù)據(jù)（約150GB，等同于20億行），現(xiàn)有數(shù)據(jù)總量約為30TB，卻無法及時有效的對這些數(shù)據(jù)進行分析利用。由于未能有效利用數(shù)據(jù)而發(fā)現(xiàn)問題，過去曾有一個質量事故導致了數(shù)百萬美元的損失。歷史系統(tǒng)的問題7天

生成需要的報表臨時查詢和事后追溯超過了Oracle/SQLServer存儲能力只能處理保存部分數(shù)據(jù)數(shù)據(jù)量太大而無法有效分析不易擴展昂貴的軟件費用速度可擴展性費用面臨問題實時解決方案架構RedisVertica歷史查詢數(shù)據(jù)產生和傳輸BrokerBrokerBroker…Kafka消息樞紐ApacheStorm流式計算實時展現(xiàn)存儲與展現(xiàn)預測分析基于開源方案的可擴展性海量數(shù)據(jù)實時監(jiān)控和分析系統(tǒng)Kafka:分布式消息系統(tǒng)Storm:分布式流式計算系統(tǒng)，被稱為實時的HadoopRedis:內存數(shù)據(jù)庫Vertica:HP列存儲分析引擎海量歷史數(shù)據(jù)處理很多公司都建立了數(shù)據(jù)倉庫/數(shù)據(jù)集市/存檔中心等，積累了大量寶貴的信息，有待有效挖掘利用。實時數(shù)據(jù)也需要累積后進行綜合分析案例（CPK/PPK指數(shù)分析）發(fā)現(xiàn)質量問題，時間就是金錢。前期一個小問題的遺漏可能導致后期產品返工，召回，廢棄等一系列問題。盡可能早的發(fā)現(xiàn)問題極為重要。分析預測ModelVerticaVerticaAnalyticsStandaloneVerticaClusterRServer(RStudio,Shiny)JDBCDataLoadStorm/SparkStreamingData實時處理離線分析DistributedR異常檢測時間序列預測故障預測…Real-time技術架構時間序列預測案例

總體系統(tǒng)設計及時有效的利用產線數(shù)據(jù)資源：產線實時監(jiān)控，海量數(shù)據(jù)分析利用數(shù)據(jù)預測質量問題以降低風險從定期設備檢修維護到按需維護來提高良率，并減少無謂產線停工檢修造成的損失從7天到2秒從臨時查詢和事后追溯到實時分析從處理部分數(shù)據(jù)及有條件保存到全部數(shù)據(jù)處理并保存所用核心技術組件均為分布式并有高擴展性從傳統(tǒng)數(shù)據(jù)庫產品和商業(yè)消息系統(tǒng)組件到開源產品和HP自有產品數(shù)據(jù)處理和可視化展現(xiàn)速度(Speed)解決方案可擴展性(Scalability)所用技術成本Spending解決方案的商業(yè)價值和技術優(yōu)勢《2014智