大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用

1、編號(hào)：時(shí)間：2021年X月X日書(shū)山有路勤為徑，學(xué)海無(wú)涯苦作舟頁(yè)碼：第1頁(yè)共5頁(yè)大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用摘要：從大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)出發(fā)，應(yīng)用大數(shù)據(jù) 挖掘技術(shù)構(gòu)建了煤炭企業(yè)安全管理體系結(jié)構(gòu)。實(shí)現(xiàn)了數(shù)據(jù)的集中分析和深度挖掘, 提升了信息利用的深度和廣度，是對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理的有效探索。關(guān)鍵詞：大數(shù)據(jù)挖掘；安全管理；煤炭企業(yè)；信息煤炭企業(yè)安全管理在煤炭生產(chǎn)中占有重要地位。然而，煤礦安全事故 涉及多參數(shù)、多目標(biāo)、海量復(fù)雜的信息，如何及時(shí)、準(zhǔn)確、有效地識(shí)別影響煤炭 安全生產(chǎn)事故隱患、提升煤炭企業(yè)安全管理是當(dāng)前研究和關(guān)注的熱點(diǎn)之一。伴隨 大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)挖掘

2、逐漸滲透到各個(gè)領(lǐng)域，各行業(yè)紛紛加快大數(shù)據(jù)的 應(yīng)用規(guī)模，提升企業(yè)的競(jìng)爭(zhēng)力。在此背景下，煤炭企業(yè)安全管理也應(yīng)將關(guān)注點(diǎn)轉(zhuǎn) 向大數(shù)據(jù)，提升信息利用的深度和廣度，對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理進(jìn)行創(chuàng) 新式探索。1大數(shù)據(jù)挖掘概述（1）大數(shù)據(jù)大數(shù)據(jù)是指數(shù)據(jù)量超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力、數(shù)據(jù)規(guī) 模和傳輸速度要求很高的復(fù)雜數(shù)據(jù)的集合。大數(shù)據(jù)的特點(diǎn)可概括為4個(gè)V,即 Volume （體量大）、Variety （多樣化）、Velocity （生成快）、Value （價(jià)值大）。大 容量是指需要進(jìn)行分析處理的數(shù)據(jù)量非常浩大，使用傳統(tǒng)的數(shù)據(jù)處理工具往往不 能在合理的時(shí)間內(nèi)處理成預(yù)測(cè)趨勢(shì)和指導(dǎo)決策的信息；多樣化是指大數(shù)據(jù)包括

3、來(lái) 自不同領(lǐng)域、不同設(shè)備、不同平臺(tái)的各種類(lèi)型數(shù)據(jù)：快速化是指對(duì)數(shù)據(jù)獲取、處 理、分析和應(yīng)用快速；高價(jià)值則是指挖掘出的知識(shí)對(duì)預(yù)測(cè)趨勢(shì)有重要作用，是指 導(dǎo)決策的重要依據(jù)。大數(shù)據(jù)的特點(diǎn)表明，大數(shù)據(jù)有助于發(fā)現(xiàn)新事物、預(yù)測(cè)事物發(fā) 展趨勢(shì)，也決定了原有的數(shù)據(jù)處理方式已不能適應(yīng)大數(shù)據(jù)挖掘的要求，需要新的 處理技術(shù)來(lái)有效地組織和使用大數(shù)據(jù)。（2）大數(shù)據(jù)挖掘技術(shù)大數(shù)據(jù)挖掘目標(biāo)是將 大容量數(shù)據(jù)轉(zhuǎn)換為有用的知識(shí)和信息，其關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處 理、海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及挖掘和數(shù)據(jù)的呈現(xiàn)與應(yīng)用。大數(shù)據(jù)的采集、預(yù)處 理與存儲(chǔ)技術(shù)大數(shù)據(jù)的采集技術(shù)既包括通過(guò)數(shù)據(jù)傳感設(shè)備、智能識(shí)別終端及資源 接入系統(tǒng)等實(shí)現(xiàn)對(duì)海

4、量數(shù)據(jù)的識(shí)別、接入、傳輸、監(jiān)控、初步處理，乂包括提供 大數(shù)據(jù)的一些平臺(tái)，如數(shù)據(jù)庫(kù)、ERP系統(tǒng)等。預(yù)處理技術(shù)主要包括數(shù)據(jù)清理、集 成及變換。數(shù)據(jù)清理可去掉噪聲數(shù)據(jù)及異常數(shù)據(jù)，糾正數(shù)據(jù)中的不一致，可以采 用傳統(tǒng)數(shù)理統(tǒng)計(jì)方法實(shí)現(xiàn)。數(shù)據(jù)集成從來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)中提取出關(guān)系和實(shí) 體，經(jīng)過(guò)分類(lèi)、關(guān)聯(lián)或聚類(lèi)后采用統(tǒng)一的結(jié)構(gòu)來(lái)合并成一致的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)變 換可以將不同度量下的數(shù)據(jù)歸一化，使得數(shù)據(jù)的應(yīng)用有意義。大數(shù)據(jù)存儲(chǔ)的關(guān)鍵 技術(shù)是分布式文件存儲(chǔ)系統(tǒng)。該系統(tǒng)由若干個(gè)分布集群組成，1個(gè)分布式集群一 般由1個(gè)主服務(wù)器和大量的塊服務(wù)器構(gòu)成，許多用戶(hù)可以同時(shí)訪(fǎng)問(wèn)。大數(shù)據(jù)的分 析技術(shù)目前大數(shù)據(jù)的分析方法主要有并行計(jì)算

5、、實(shí)時(shí)計(jì)算或流式計(jì)算。并行計(jì)算 是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問(wèn)題進(jìn)行分解，由若干個(gè) 獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。已涌現(xiàn)出大量挖掘算法 能運(yùn)行于并行架構(gòu)上，如非平凡策略、基于核函數(shù)的挖掘算法、傳統(tǒng)的數(shù)理統(tǒng)計(jì) 方法和并行結(jié)構(gòu)相結(jié)合算法等。實(shí)時(shí)計(jì)算處理通過(guò)建立新的概要數(shù)據(jù)結(jié)構(gòu)以近似 表達(dá)數(shù)據(jù)流，并使用傳統(tǒng)的挖掘算法對(duì)概要數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，獲得近似的數(shù)據(jù) 挖掘結(jié)果。獲得概要數(shù)據(jù)結(jié)構(gòu)方法有直方圖、哈希技術(shù)、隨機(jī)抽樣、小波變換等。 目前應(yīng)用廣泛的實(shí)時(shí)計(jì)算或流式計(jì)算方法大多是采用二層框架的模式，在線(xiàn)部分 計(jì)算數(shù)據(jù)概要信息，離線(xiàn)部分進(jìn)行數(shù)據(jù)挖掘。2大數(shù)據(jù)環(huán)境下煤礦企業(yè)

6、安全管理面臨的挑戰(zhàn)（1）數(shù)據(jù)存儲(chǔ)和預(yù)處理能力難以滿(mǎn)足大數(shù)據(jù)量要求龐大的數(shù)據(jù)量的存 儲(chǔ)和預(yù)處理不能通過(guò)簡(jiǎn)單地升級(jí)原有服務(wù)器的方法來(lái)解決，要有具有可擴(kuò)展性和 容錯(cuò)能力的數(shù)據(jù)存儲(chǔ)框架和預(yù)處理平臺(tái)。（2）復(fù)雜的數(shù)據(jù)類(lèi)型對(duì)數(shù)據(jù)融合提出了 挑戰(zhàn)安全事故的發(fā)生是多種因素共同作用的結(jié)果，需要分析多方面數(shù)據(jù)：一方面 要獲取更多的數(shù)據(jù)，對(duì)比不同環(huán)境下哪些變化與事故的發(fā)生相關(guān)；另一方面要進(jìn) 行歷史數(shù)據(jù)對(duì)比。目前，雖然在時(shí)間上采樣率不斷提高，但是在空間上監(jiān)控監(jiān)測(cè) 數(shù)據(jù)還很不完備。同時(shí)，各個(gè)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)不一致，難以在縱向和橫向上實(shí)現(xiàn)數(shù) 據(jù)的融合。（3）數(shù)據(jù)的處理難以滿(mǎn)足高實(shí)時(shí)性要求廣泛分布的遠(yuǎn)程站點(diǎn)高速、連 續(xù)地產(chǎn)生異

7、構(gòu)的數(shù)據(jù)，要求實(shí)時(shí)完成對(duì)新到達(dá)數(shù)據(jù)點(diǎn)的處理。這就要求大數(shù)據(jù)挖 掘系統(tǒng)能動(dòng)態(tài)適應(yīng)業(yè)務(wù)分析需求，快速響應(yīng)復(fù)雜的查詢(xún)，具備實(shí)時(shí)的分析處理能 力，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)只能處理小規(guī)模的數(shù)據(jù)流。（4）大數(shù)據(jù)挖掘結(jié)果需要 有效的可視化手段大數(shù)據(jù)挖掘的最終目的是將信息呈現(xiàn)給用戶(hù)。目前我國(guó)煤炭企 業(yè)既懂各領(lǐng)域?qū)I(yè)知識(shí)，乂懂?dāng)?shù)理統(tǒng)計(jì)，還懂業(yè)務(wù)流程、信息技術(shù)的復(fù)合型人才 極其匱乏，安全管理人員往往無(wú)法正確理解抽象的數(shù)據(jù)挖掘結(jié)果所蘊(yùn)含的信息。3基于大數(shù)據(jù)挖掘的煤炭企業(yè)安全管理體系（1）數(shù)據(jù)采集層數(shù)據(jù)采集層實(shí)現(xiàn)了大數(shù)據(jù)收集工作。通過(guò)各類(lèi)傳感器、 視頻監(jiān)測(cè)系統(tǒng)、智能終端、生產(chǎn)過(guò)程控制、操作臺(tái)、自動(dòng)記錄系統(tǒng)等技術(shù)設(shè)備和 平

8、臺(tái)，數(shù)據(jù)采集層收集大量異構(gòu)數(shù)據(jù)，為數(shù)據(jù)挖掘的后續(xù)工作做好準(zhǔn)備。（2）數(shù) 據(jù)預(yù)處理層數(shù)據(jù)預(yù)處理層需要完成對(duì)數(shù)據(jù)的清洗、集成和變換。異常數(shù)據(jù)可以采 取移動(dòng)平均線(xiàn)或自回歸模型等數(shù)據(jù)分析方法得到估計(jì)值進(jìn)行替換；噪聲數(shù)據(jù)要使 用濾波或小波消噪等處理方法；缺失數(shù)據(jù)可采用平滑處理方法補(bǔ)齊。預(yù)處理后的 數(shù)據(jù)存儲(chǔ)在以云計(jì)算技術(shù)為基礎(chǔ)的存儲(chǔ)框架（數(shù)據(jù)倉(cāng)庫(kù)）中，在數(shù)據(jù)挖掘之前使 用。（3）數(shù)據(jù)挖掘?qū)咏?jīng)過(guò)預(yù)處理層處理的數(shù)據(jù)，通過(guò)OLAP技術(shù)來(lái)進(jìn)行初級(jí)分析， 以支撐復(fù)雜的深度挖掘過(guò)程。鑒于煤礦安全事故預(yù)警對(duì)數(shù)據(jù)實(shí)時(shí)性要求很高，可 以將相關(guān)大數(shù)據(jù)分為實(shí)時(shí)性數(shù)據(jù)和非實(shí)時(shí)性數(shù)據(jù)，采用流處理和批處理相結(jié)合的 方式進(jìn)行挖掘。對(duì)于

9、非實(shí)時(shí)性數(shù)據(jù)，采用基于分布式文件系統(tǒng)如NoSQL數(shù)據(jù)庫(kù) 和云計(jì)算平臺(tái)如Hadoop來(lái)進(jìn)行數(shù)據(jù)處理。對(duì)于如瓦斯?jié)舛?、瓦斯涌出量等?shí)時(shí) 監(jiān)測(cè)數(shù)據(jù)，可以在云平臺(tái)前面設(shè)置若干前置機(jī)用于實(shí)時(shí)接收數(shù)據(jù)，同時(shí)通過(guò)實(shí)時(shí) 或流式計(jì)算技術(shù)，將全部數(shù)據(jù)概要表示并通過(guò)內(nèi)存進(jìn)行計(jì)算。（4）數(shù)據(jù)展示層可視化數(shù)據(jù)展示層主要包括3個(gè)部分：通過(guò)數(shù)據(jù)可視 化軟件來(lái)表達(dá)數(shù)據(jù)中的復(fù)雜信息;將可視化結(jié)果根據(jù)不同內(nèi)容和需求呈現(xiàn)在移動(dòng) 終端、PC和各類(lèi)信息發(fā)布系統(tǒng)上；用戶(hù)通過(guò)操作界面與數(shù)據(jù)交互，并對(duì)其進(jìn)行 進(jìn)一步的分析。4結(jié)語(yǔ)煤炭企業(yè)安全管理涉及眾多因素及分析方法，數(shù)據(jù)越多，分析范圍越 大，決策越有科學(xué)性。因此，需要廣泛拓展數(shù)據(jù)資源，獲取豐富的信息，需要利 用大數(shù)據(jù)挖掘技術(shù)來(lái)挖掘與煤炭企業(yè)安全管理的所有關(guān)聯(lián)，在效率、質(zhì)量和空間 等諸多方面滿(mǎn)足安全管理要求。隨著國(guó)家層面對(duì)信息化和安全事故的重視，在煤炭企業(yè)安全管理領(lǐng)域利用大數(shù)據(jù)挖掘技術(shù)和大數(shù)據(jù)思維來(lái)實(shí)現(xiàn)數(shù)據(jù)集中分析和 深度挖掘?qū)⑹俏磥?lái)發(fā)展方向。參考文獻(xiàn)：1肖樂(lè)樂(lè)，魏久傳，牛超，等.中國(guó)煤礦事故相關(guān)性因素分析研究口.煤炭技術(shù),2015, 34 (1)： 349-351.2廖建新.大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望J.電信科學(xué)，2015,31 (7)： 7-18.3孟小峰，慈祥.大數(shù)據(jù)管理：