大數(shù)據(jù)分析方法

1

大數(shù)據(jù)是2012的時(shí)髦詞匯，正受到越來(lái)越多人的關(guān)注和談?wù)摗４髷?shù)據(jù)之所以受到人們的關(guān)注和談?wù)?，是因?yàn)殡[藏在大數(shù)據(jù)后面超千億美元的市場(chǎng)機(jī)會(huì)。大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘是最關(guān)鍵的工作。以下內(nèi)容供個(gè)人學(xué)習(xí)用，感興趣的朋友可以看一下。智庫(kù)百科是這樣描述數(shù)據(jù)挖掘的“數(shù)據(jù)挖掘又稱數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，是目前人工智能和數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)問(wèn)題，所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的非平凡過(guò)程。數(shù)據(jù)挖掘是一種決策支持過(guò)程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。數(shù)據(jù)挖掘的定義技術(shù)上的定義及含義數(shù)據(jù)挖掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。這個(gè)定義包括好幾層含義：數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識(shí);發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用;并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問(wèn)題。與數(shù)據(jù)挖掘相近的同義詞有數(shù)據(jù)融合、人工智能、商務(wù)智能、模式識(shí)別、機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)、數(shù)據(jù)分析和決策支持等。----何為知識(shí)從廣義上理解，數(shù)據(jù)、信息也是知識(shí)的表現(xiàn)形式，但是人們更把概念、規(guī)則、模式、規(guī)律和約束等看作知識(shí)。人們把數(shù)據(jù)看作是形成知識(shí)的源泉，好像從礦石中采礦或淘金一樣。原始數(shù)據(jù)可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù);也可以是半結(jié)構(gòu)化的，如文本、圖形和圖像數(shù)據(jù);甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識(shí)的方法可以是數(shù)學(xué)的，也可以是非數(shù)學(xué)的;可以是演繹的，也可以是歸納的。發(fā)現(xiàn)的知識(shí)可以被用于信息管理，查詢優(yōu)化，決策支持和過(guò)程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。因此，數(shù)據(jù)挖掘是一門交叉學(xué)科，它把人們對(duì)數(shù)據(jù)的應(yīng)用從低層次的簡(jiǎn)單查詢，提升到從數(shù)據(jù)中挖掘知識(shí)，提供決策支持。在這種需求牽引下，匯聚了不同領(lǐng)域的研究者，尤其是數(shù)據(jù)庫(kù)技術(shù)、人工智能技術(shù)、數(shù)理統(tǒng)計(jì)、可視化技術(shù)、并行計(jì)算等方面的學(xué)者和工程技術(shù)人員，投身到數(shù)據(jù)挖掘這一新興的研究領(lǐng)域，形成新的技術(shù)熱點(diǎn)。這里所說(shuō)的知識(shí)發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而皆準(zhǔn)的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機(jī)器定理證明。實(shí)際上，所有發(fā)現(xiàn)的知識(shí)都是相對(duì)的，是有特定前提和約束條件，面向特定領(lǐng)域的，同時(shí)還要能夠易于被用戶理解。最好能用自然語(yǔ)言表達(dá)所發(fā)現(xiàn)的結(jié)果。商業(yè)角度的定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。簡(jiǎn)而言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過(guò)在過(guò)去數(shù)據(jù)收集和分析的目的是用于科學(xué)研究，另外，由于當(dāng)時(shí)計(jì)算能力的限制，對(duì)大數(shù)據(jù)量進(jìn)行分析的復(fù)雜數(shù)據(jù)分析方法受到很大限制?，F(xiàn)在，由于各行業(yè)業(yè)務(wù)自動(dòng)化的實(shí)現(xiàn)，商業(yè)領(lǐng)域產(chǎn)生了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)不再是為了分析的目的而收集的，而是由于純機(jī)會(huì)的(Opportunistic)商業(yè)運(yùn)作而產(chǎn)生。分析這些數(shù)據(jù)也不再是單純?yōu)榱搜芯康男枰?，更主要是為商業(yè)決策提供真正有價(jià)值的信息，進(jìn)而獲得利潤(rùn)。但所有企業(yè)面臨的一個(gè)共同問(wèn)題是：企業(yè)數(shù)據(jù)量非常大，而其中真正有價(jià)值的信息卻很少，因此從大量的數(shù)據(jù)中經(jīng)過(guò)深層分析，獲得有利于商業(yè)運(yùn)作、提高競(jìng)爭(zhēng)力的信息，就像從礦石中淘金一樣，數(shù)據(jù)挖掘也因此而得名。因此，數(shù)據(jù)挖掘可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。數(shù)據(jù)挖掘常用的方法利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁(yè)挖掘等，它們分別從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。①分類。分類是找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過(guò)分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別。它可以應(yīng)用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購(gòu)買趨勢(shì)預(yù)測(cè)等，如一個(gè)汽車零售商將客戶按照對(duì)汽車的喜好劃分成不同的類，這樣營(yíng)銷人員就可以將新型汽車的廣告手冊(cè)直接郵寄到有這種喜好的客戶手中，從而大大增加了商業(yè)機(jī)會(huì)。②回歸分析。回歸分析方法反映的是事務(wù)數(shù)據(jù)庫(kù)中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。它可以應(yīng)用到市場(chǎng)營(yíng)銷的各個(gè)方面，如客戶尋求、保持和預(yù)防客戶流失活動(dòng)、產(chǎn)品生命周期分析、銷售趨勢(shì)預(yù)測(cè)及有針對(duì)性的促銷活動(dòng)等。③聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。它可以應(yīng)用到客戶群體的分類、客戶背景分析、客戶購(gòu)買趨勢(shì)預(yù)測(cè)、市場(chǎng)的細(xì)分等。④關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則，即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。在客戶關(guān)系管理中，通過(guò)對(duì)企業(yè)的客戶數(shù)據(jù)庫(kù)里的大量數(shù)據(jù)進(jìn)行挖掘，可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，找出影響市場(chǎng)營(yíng)銷效果的關(guān)鍵因素，為產(chǎn)品定位、定價(jià)與定制客戶群，客戶尋求、細(xì)分與保持，市場(chǎng)營(yíng)銷與推銷，營(yíng)銷風(fēng)險(xiǎn)評(píng)估和詐騙預(yù)測(cè)等決策支持提供參考依據(jù)。爭(zhēng)優(yōu)勢(shì)。但是由于危機(jī)產(chǎn)生的原因復(fù)雜，種類繁多，許多因素難以量化，而且危機(jī)管理中帶有大量不確定因素的半結(jié)構(gòu)化問(wèn)題和非結(jié)構(gòu)化問(wèn)題，很多因素由于沒(méi)有歷史數(shù)據(jù)和相應(yīng)的統(tǒng)計(jì)資料，很難進(jìn)行科學(xué)地計(jì)算和評(píng)估，因此需要應(yīng)用其它技術(shù)和方法來(lái)加強(qiáng)企業(yè)的危機(jī)管理工作。隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、通訊技術(shù)、Internet技術(shù)的迅速發(fā)展和電子商務(wù)、辦公自動(dòng)化、管理信息系統(tǒng)、Internet的普及等，企業(yè)業(yè)務(wù)操作流程日益自動(dòng)化，企業(yè)經(jīng)營(yíng)過(guò)程中產(chǎn)生了大量的數(shù)據(jù)，這些數(shù)據(jù)和由此產(chǎn)生的信息是企業(yè)的寶貴財(cái)富，它如實(shí)地記錄著企業(yè)經(jīng)營(yíng)的本質(zhì)狀況。但是面對(duì)如此大量的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析方法，如數(shù)據(jù)檢索、統(tǒng)計(jì)分析等只能獲得數(shù)據(jù)的表層信息，不能獲得其內(nèi)在的、深層次的信息，管理者面臨著數(shù)據(jù)豐富而知識(shí)貧乏的困境。如何從這些數(shù)據(jù)中挖掘出對(duì)企業(yè)經(jīng)營(yíng)決策有用的知識(shí)是非常重要的，數(shù)據(jù)挖掘便是為適應(yīng)這種需要應(yīng)運(yùn)而生的。數(shù)據(jù)挖掘是一種新的信息處理技術(shù)，其主要特點(diǎn)是對(duì)企業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助經(jīng)營(yíng)決策的關(guān)鍵性數(shù)據(jù)，它在企業(yè)危機(jī)管理中得到了比較普遍的應(yīng)用，具體可以應(yīng)用到以下幾個(gè)方面。1.利用Web頁(yè)挖掘搜集外部環(huán)境信息信息是危機(jī)管理的關(guān)鍵因素。在危機(jī)管理過(guò)程中，可以利用Web頁(yè)挖掘技術(shù)對(duì)企業(yè)外部環(huán)境信息進(jìn)行收集、整理和分析，盡可能地收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、消費(fèi)者等與企業(yè)發(fā)展有關(guān)的信息，集中精力分析處理那些對(duì)企業(yè)發(fā)展有重大或潛在重大影響的外部環(huán)境信息，抓住轉(zhuǎn)瞬即逝的市場(chǎng)機(jī)遇，獲得企業(yè)危機(jī)的先兆信息，采取有效措施規(guī)避危機(jī)，促使企業(yè)健康、持續(xù)地發(fā)展。2.利用數(shù)據(jù)挖掘分析企業(yè)經(jīng)營(yíng)信息利用數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和聯(lián)機(jī)分析技術(shù)，管理者能夠充分利用企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中的海量數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果找出企業(yè)經(jīng)營(yíng)過(guò)程中出現(xiàn)的各種問(wèn)題和可能引起危機(jī)的先兆，如經(jīng)營(yíng)不善、觀念滯后、產(chǎn)品失敗、戰(zhàn)略決策失誤、財(cái)務(wù)危機(jī)等內(nèi)部因素引起企業(yè)人、財(cái)、物、產(chǎn)、供、銷的相對(duì)和諧平衡體遭到重大破壞，對(duì)企業(yè)的生存、發(fā)展構(gòu)成嚴(yán)重威脅的信息，及時(shí)做出正確的決策，調(diào)整經(jīng)營(yíng)戰(zhàn)略，以適應(yīng)不斷變化的市場(chǎng)需求。3.利用數(shù)據(jù)挖掘識(shí)別、分析和預(yù)防危機(jī)危機(jī)管理的精髓在于預(yù)防。利用數(shù)據(jù)挖掘技術(shù)對(duì)企業(yè)經(jīng)營(yíng)的各方面的風(fēng)險(xiǎn)、威脅和危險(xiǎn)進(jìn)行識(shí)別和分析，如產(chǎn)品質(zhì)量和責(zé)任、環(huán)境、健康和人身安全、財(cái)務(wù)、營(yíng)銷、自然災(zāi)害、經(jīng)營(yíng)欺詐、人員及計(jì)算機(jī)故障等，對(duì)每一種風(fēng)險(xiǎn)進(jìn)行分類，并決定如何管理各類風(fēng)險(xiǎn);準(zhǔn)確地預(yù)測(cè)企業(yè)所面臨的各種風(fēng)險(xiǎn)，并對(duì)每一種風(fēng)險(xiǎn)、威脅和危險(xiǎn)的大小及發(fā)生概率進(jìn)行評(píng)價(jià)，建立各類風(fēng)險(xiǎn)管理的優(yōu)先次序，以有限的資源、時(shí)間和資金來(lái)管理最嚴(yán)重的一種或某幾類風(fēng)險(xiǎn);制定危機(jī)管理的策略和方法，擬定危機(jī)應(yīng)急計(jì)劃和危機(jī)管理隊(duì)伍，做好危機(jī)預(yù)防工作。4.利用數(shù)據(jù)挖掘技術(shù)改善客戶關(guān)系管理客戶滿意度歷來(lái)就是衡量一個(gè)企業(yè)服務(wù)質(zhì)量好壞的重要尺度，特別是當(dāng)客戶的反饋意見(jiàn)具有廣泛效應(yīng)的時(shí)候更是如此。目前很多企業(yè)利用營(yíng)銷中心、新聞組、BBS以及呼叫中心等收集客戶的投訴和意見(jiàn)，并對(duì)這些投訴和意見(jiàn)進(jìn)行分析，以發(fā)現(xiàn)客戶關(guān)系管理中存在的問(wèn)題，如果有足夠多的客戶都在抱怨同一個(gè)問(wèn)題，管理者就有理由對(duì)其展開(kāi)調(diào)查，為企業(yè)及時(shí)捕捉到發(fā)生危機(jī)的一切可能事件和先兆，從而挽救客戶關(guān)系，避免經(jīng)營(yíng)危機(jī)。5.利用數(shù)據(jù)挖掘進(jìn)行信用風(fēng)險(xiǎn)分析和欺詐甄別客戶信用風(fēng)險(xiǎn)分析和欺詐行為預(yù)測(cè)對(duì)企業(yè)的財(cái)務(wù)安全是非常重要的，使用企業(yè)信息系統(tǒng)中數(shù)據(jù)庫(kù)的數(shù)據(jù)，利用數(shù)據(jù)挖掘中的變化和偏差分析技術(shù)進(jìn)行客戶信用風(fēng)險(xiǎn)分析和欺詐行為預(yù)測(cè)，分析這些風(fēng)險(xiǎn)為什么會(huì)發(fā)生?哪些因素會(huì)導(dǎo)致這些風(fēng)險(xiǎn)?這些風(fēng)險(xiǎn)主要來(lái)自于何處?如何預(yù)測(cè)到可能發(fā)生的風(fēng)險(xiǎn)?采取何種措施減少風(fēng)險(xiǎn)的發(fā)生?通過(guò)評(píng)價(jià)這些風(fēng)險(xiǎn)的嚴(yán)重性、發(fā)生的可能性及控制這些風(fēng)險(xiǎn)的成本，匯總對(duì)各種風(fēng)險(xiǎn)的評(píng)價(jià)結(jié)果，進(jìn)而建立一套信用風(fēng)險(xiǎn)管理的戰(zhàn)略和監(jiān)督體系，設(shè)計(jì)并完善信用風(fēng)險(xiǎn)管理能力，準(zhǔn)確、及時(shí)地對(duì)各種信用風(fēng)險(xiǎn)進(jìn)行監(jiān)視、評(píng)價(jià)、預(yù)警和管理，進(jìn)而采取有效的規(guī)避和監(jiān)督措施，在信用風(fēng)險(xiǎn)發(fā)生之前對(duì)其進(jìn)行預(yù)警和控制，趨利避害，做好信用風(fēng)險(xiǎn)的防范工作。6.利用數(shù)據(jù)挖掘控制危機(jī)危機(jī)一旦爆發(fā)，來(lái)勢(shì)迅猛，損失嚴(yán)重，因此危機(jī)發(fā)生以后，要采取有力的措施控制危機(jī)，管理者可以利用先進(jìn)的信息技術(shù)如基于Web的挖掘技術(shù)、各種搜索引擎工具、E-mail自動(dòng)處理工具、基于人工智能的信息內(nèi)容的自動(dòng)分類、聚類以及基于深層次自然語(yǔ)言理解的知識(shí)檢索、問(wèn)答式知識(shí)檢索系統(tǒng)等快速地獲取危機(jī)管理所需要的各種信息，以便向客戶、社區(qū)、新聞界發(fā)布有關(guān)的危機(jī)管理信息，并在各種媒體尤其是公司的網(wǎng)站上公布企業(yè)的詳細(xì)風(fēng)險(xiǎn)防御和危機(jī)管理計(jì)劃，使全體員工能夠及時(shí)獲取危機(jī)管理信息及危機(jī)最新的進(jìn)展情況。這樣企業(yè)的高層管理人員、公關(guān)人員、危機(jī)管理人員和全體員工就能隨時(shí)有準(zhǔn)備地應(yīng)付任何復(fù)雜情況和危急形勢(shì)的壓力，對(duì)出現(xiàn)的危機(jī)立即做出反應(yīng)，使危機(jī)的損失降到最低。危機(jī)就是危險(xiǎn)和機(jī)遇，企業(yè)的每一次危機(jī)既包含了導(dǎo)致失敗的根源，又蘊(yùn)藏著成功的種子，發(fā)現(xiàn)、培育，進(jìn)而收獲潛在的成功機(jī)會(huì)，就是危機(jī)管理的精髓;而錯(cuò)誤地估計(jì)形勢(shì)，并令事態(tài)進(jìn)一步惡化，則是不良危機(jī)管理的典型特征。企業(yè)應(yīng)加強(qiáng)危機(jī)管理工作，利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)加強(qiáng)企業(yè)的危機(jī)管理工作，以便準(zhǔn)確及時(shí)地獲取所需要的危機(jī)信息，迅速捕捉到企業(yè)可能發(fā)生危機(jī)的一切事件和征兆，進(jìn)而采取有