大數(shù)據的應用

1、企業(yè)在大數(shù)據使用上的問題 前段時間參加了公司的一次培訓，關于精益化管理以及6西格瑪 管 理，在6西格瑪管理中有一個比較關鍵的詞：“大數(shù)據”。這個詞在現(xiàn) 在已經不算是一個新詞匯了，從科研角度講，自2015年起關于大數(shù)據 的文章開始爆發(fā)性的增長，大數(shù)據這個詞也是在那時被更多的人所熟 知，然而直到如今。可以利用大數(shù)據來把企業(yè)的制度完善或開發(fā)新方向 的企業(yè)仍然只是占有極少數(shù)。也就是說基于大數(shù)據進行分析發(fā)展仍然還 需要很長的路要走。 大數(shù)據是在大量數(shù)據的環(huán)境下進行的，嚴格來說，大數(shù)據更像一 種策略而非技術，核心概念為比以往有效的多的方式來管理海量的數(shù)據 并從中提取價值。大數(shù)據具有復雜性、海量化 低密度快

2、速生產等特 點。而它的這些特點也決定的對它研究的方向以及出現(xiàn)的問題，目前的 大數(shù)據分析有如下的問題：一個是數(shù)據量過大，從TB到PB EB級。一個是數(shù)據分析時的數(shù)據可用性、數(shù)據建模、資源調度、專 業(yè)工 具分析匱乏、數(shù)據來源等問題。而對于一個企業(yè)來說，數(shù)據來源 數(shù)據 建模以及有合適的分析工具是一個企業(yè)想要利用大數(shù)據進行分析的幾個 需要重視的問題。 數(shù)據的來源通常包括以下幾種數(shù)據：交易數(shù)據、移動通信數(shù)據、人 為數(shù)據、機器和傳感器數(shù)據、互聯(lián)網上的開放數(shù)據來源。這些數(shù)據中的 一部分的獲取是一個很難的問題，尤其是在中國，許多的數(shù)據都并不開 放，有些即便開放但也不具體 不準確。無法通過這些數(shù)據進 行有效的分

3、析。許多的文章關于大數(shù)據都是基于對未來大數(shù)據的看好 以 及理論上的分析，很難進行更為細致的研究也許也有這方面的原因。 我公司目前能夠較為準確的獲取的約占一半左右，隨著公司自動化程 度 的加深，機器和傳感器的數(shù)據也更容易獲取，但仍有很多數(shù)據很難獲 得。 數(shù)據建模同樣是發(fā)展的一個重大約束，大數(shù)據分析不同于其它，有 著固定的模式，每一個模型基本上只能使用于開發(fā)它的職業(yè)， 比如 比較成功的在便利店通過數(shù)據發(fā)現(xiàn)的規(guī)律：買尿布的男士通常會順帶著 買啤酒，而這個關系便是通過研究客戶每次購買的物品發(fā)現(xiàn)的一種關 系，之后將這兩個商品放在一起增加了啤酒的銷量。 這是比較早期的使 用大數(shù)據比較成功的一個案例，通過積

4、累客每位用戶購買產品的種類發(fā) 現(xiàn)的一些很意外的關系從而達到增加銷量的成果，但這種研究 方法也僅適用于對于便利店的研究。所以要找到適合自身的模型是很困 難的一件事。對于我公司而言，比如通過客戶的數(shù)據分析來完善銷售服 務，通過機器和傳感器的大量數(shù)據進行分析來優(yōu)化生產流程，對 故障設備產生的原因進行數(shù)據分析找到根源問題，以減少故障率。這 些都是有可能通過大數(shù)據分析進行優(yōu)化的，但同樣都需要專業(yè)的分析模 型，才能更好的利用大數(shù)據。 而合適的分析工具將對上述的問題提供一個很好的解決辦法， 但 就目前發(fā)展而言，專業(yè)的分析工具仍然處于發(fā)展狀態(tài)，還未成熟，目前 有SPSS SAS MapReduce等為大數(shù)據服務的軟件，但其仍不足以 應對當前的市場需求，解決對大數(shù)據的處理分析。大數(shù)據目前有一些關 鍵的技術：大數(shù)據存儲及處理平臺 大數(shù)據的數(shù)據分析 大數(shù)據的分析 技術等包括數(shù)據挖掘和融合，領域普適知識挖掘，過程挖掘 在內的多項技術問題。 雖然目前可以真正利用上大數(shù)據的企業(yè)并沒有太