從回歸分析到數(shù)據(jù)挖掘VIP

1、從回歸分析到數(shù)據(jù)挖掘關鍵詞：回歸分析 數(shù)據(jù)挖據(jù) 質(zhì)量管理 JMP回歸分析是研究兩種或兩種以上變量之間相互依賴的定量關系的統(tǒng)計分析方法，在很多行業(yè)都有廣泛的應用。無論是銀行、保險、電信等服務行業(yè)的業(yè)務分析人員在進行數(shù)據(jù)庫營銷、欺詐風險偵測，還是半導體、電子、化工、醫(yī)藥、鋼鐵等制造行業(yè)的研發(fā)技術(shù)人員在進行新產(chǎn)品實驗設計與分析、流程優(yōu)化與過程監(jiān)控，或者更廣義地說，不同類型的企業(yè)在開展質(zhì)量管理和六西格瑪項目時，都常常會用到回歸分析。回歸分析可以幫助我們判斷哪些因素的影響是顯著的，哪些因素的影響是不顯著的，還可以利用求得的回歸方程進行預測和控制。但是，稍微對回歸模型的有效程度和預測精度有一定要求時，我們

2、就會發(fā)現(xiàn)回歸分析有一些先天性的不足和隱患：1. 缺少用實際數(shù)據(jù)驗證模型有效性的環(huán)節(jié)，經(jīng)常聽到的抱怨是：模型看上去很美，但是一到應用環(huán)節(jié)就發(fā)現(xiàn)預測不準確；2. 建模手段單一，不能多角度地考慮問題，從而更好地擬合數(shù)據(jù)；3. 無法系統(tǒng)地比較通過不同方法得到的不同模型，更談不上在眾多候選模型中甄選出一個相對最佳的模型。這時，想要消除上述隱患，突破工具瓶頸的理想辦法就是從“回歸分析”的層次上升到“數(shù)據(jù)挖掘”的層次。數(shù)據(jù)挖掘是一個更大的數(shù)據(jù)分析概念，主要指從大量的企業(yè)數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的整個過程。從統(tǒng)計技術(shù)層面上講，數(shù)據(jù)挖掘至少具有三大特征：1. 強調(diào)分析建模之前的數(shù)據(jù)源劃分

3、，一般需要將所有原始數(shù)據(jù)分為模型訓練數(shù)據(jù)training data、模型驗證數(shù)據(jù)validation data、模型測試數(shù)據(jù)test data三類。從而從源頭上確保了由此求得的模型是經(jīng)得起現(xiàn)實復雜情況的嚴峻考驗。2. 提供了豐富的建模手段，除了基于最小二乘法、逐步法和Logistic法等傳統(tǒng)的回歸分析之外，還包括很多新穎又實用的建模技術(shù)，如：決策樹(Decision Tree)、神經(jīng)網(wǎng)絡(Neural Network)、關聯(lián)規(guī)則(Association Rule)、支持向量機(Support Vector Machine)、文本挖掘(Text Mining)等。這使我們在遇到回歸分析失效的情況

4、下，依然具備解決問題的能力。3.“模型比較（Model Comparison）”是數(shù)據(jù)挖掘后期的過程中必不可少的一個環(huán)節(jié)，這樣一來，我們就可以科學、客觀地從不同的候選模型中找到最理想的模型來做最精準的預測分析，將預測誤差降低到最低。顯然，數(shù)據(jù)挖掘的這三個特征有效地彌補了回歸分析的不足，為我們的建模預測工作奠定了扎實的基礎。下面用一個真實案例來說明從回歸分析到數(shù)據(jù)挖掘的實際應用，出于數(shù)據(jù)安全性的考慮，核心數(shù)據(jù)（包括變量名稱）已做了相應的編碼處理。某知名鋼鐵公司的研發(fā)部門在一個構(gòu)建結(jié)構(gòu)鋼端淬曲線預測模型的項目中，先用用SAS公司面向普通工程師和科學家開發(fā)的交互式可視化統(tǒng)計發(fā)現(xiàn)軟件JMP中的逐步回歸

5、做了一個預測模型（見下圖）。從分析報告上來看，這個預測模型還是不錯的。但在模型的推廣過程中，多次發(fā)現(xiàn)預測誤差很大，甚至嚴重動搖了技術(shù)人員應用統(tǒng)計建模的信心。所幸在權(quán)威咨詢機構(gòu)的指導下，發(fā)現(xiàn)造成模型預測失誤的主要原因是模型過度擬合，包含了很多不必要擬合的噪聲信息。項目成員重新思考了技術(shù)攻關中需要用到的方法論，最終決定升級到高級版JMP Pro，沒有多做一次現(xiàn)場實驗，沒有申請任何額外預算，卻顯著改善了模型的預測效果，達到了預期效果。從技術(shù)細節(jié)上來看，項目后期與前期的不同之處也恰巧體現(xiàn)了前面所介紹的數(shù)據(jù)挖掘的三大特征，即：第一，沒有囫圇吞棗地把所有數(shù)據(jù)全都用來構(gòu)建模型，而是有計劃地按照一定比例將所有

6、數(shù)據(jù)分為訓練數(shù)據(jù)、驗證數(shù)據(jù)、測試數(shù)據(jù)三類，各類數(shù)據(jù)各司其職，確保由此產(chǎn)生的模型在生產(chǎn)階段的有效性。第二，開拓思路，有機地運用除了回歸分析之外的多種數(shù)據(jù)挖掘建模工具，如決策樹、神經(jīng)網(wǎng)絡，以及其衍生工具（如隨機森林Bootstrap Forest、提升樹Boosted Tree等），避免了由于單一方法的生搬硬套而導致的建模錯誤。第三，先松后緊，整合之前求得的各個候選模型，將科學嚴謹?shù)慕y(tǒng)計量化指標與實際業(yè)務經(jīng)驗相結(jié)合，挑選出整體上最合適的預測模型，體現(xiàn)了“博采眾長，取長補短”的建模理念?？傊?，“從回歸分析到數(shù)據(jù)挖掘”是企業(yè)在精細化管理發(fā)展到一定階段后必定會遇到的一個問題。當然，相對于傳統(tǒng)的回歸分析，數(shù)據(jù)挖掘會顯得相對復雜一些。但是，融合先進算法而關注界面友好的現(xiàn)代化統(tǒng)計分析軟