基于數據挖掘技術的保險行業(yè)決策分析研究

1、 基于數據挖掘技術的保險行業(yè)決策分析研究 摘要:本文針對目前保險行業(yè)信息管理的現狀,提出數據挖掘技術對保險行業(yè)的重大影響,簡要說明了“保險行業(yè)決策系統(tǒng)”項目及其對挖掘算法的改進等。并通過實驗論證了改進算法的優(yōu)勢,通過分析結果展示了數據挖掘技術能使保險行業(yè)有效地利用現有數據實現經營目標,預測保險業(yè)的企業(yè)在激烈的市場競爭中獲得先機。就保險行業(yè)而言,目前具有廣闊的市場需求。 2 項目說明 本項目開發(fā)了“保險行業(yè)決策系統(tǒng)”。本系統(tǒng)操作主界面利用asp編程實現:數據預處理、客戶購買險種分析、客戶購買習慣分析、分析結果輸出等功能;后臺數據庫利用sql server 2005網絡數據庫實現;挖掘工具采用sp

2、ss clementine ;在研究實驗階段,針對apriori算法存在的“存儲復雜度”及“大量冗余規(guī)則”兩大缺點進行了算法改進,通過利用一個模式樹結構來降低apriori算法的存儲復雜度,并同時減少冗余規(guī)則的出現。 本系統(tǒng)共分:數據預處理、客戶購買險種分析、客戶購買習慣分析、分析結果輸出等主要功能模塊。 (1)“數據預處理”模塊包括:上傳、數據平臺、數據處理、統(tǒng)計、生成數據集等功能。 上傳:可完成保險總公司下設所有分公司數據的上傳。 數據平臺:在數據上傳前允許對數據平臺進行選擇。 數據處理:對數據進行清理、格式轉換等操作。 統(tǒng)計:對經過預處理的數據進行分析,提取有效性數據。 生成數據集:將統(tǒng)

3、計過程提取的有效數據生成數據集,為數據挖掘提供較高質量的數據源。loCAlHOSt (2)“客戶購買險種分析”模塊包括:數據導入、參數設定、結果分析等功能。 數據導入:在此操作界面上,可通過選擇不同數據平臺將經過“數據預處理”生成的數據集分別導入。 參數設定:在此操作界面上設定“支持度”“置信度”等參數,對有效數據集中有分析價值的數據記錄范圍進行篩選。 結果分析:在此操作界面上可將“客戶購買險種分析”的最終分析結果以“報表”、“圖表”形式展示,此分析結果為行業(yè)提供了“同一客戶購買本公司多種(次)保險”的客戶信息,進而為行業(yè)提供了“可爭取客戶”的決策依據。 (3)“客戶購買習慣分析”模塊包括:數

4、據導入、參數設定、結果分析等功能。 數據導入:此操作同(2)“客戶購買險種分析”模塊中的“數據導入”。 參數設定:在此分別設定“輸入參數”(包括:年齡、性別、職業(yè)等客戶基本信息)及“輸出參數”(客戶購買的險種信息)。 結果分析:通過此操作界面可展示出客戶購買習慣的分析結果,進而為行業(yè)提供了“可保持客戶”的決策依據。 (4)“分析結果輸出”模塊包括:“客戶購買險種分析”“客戶購買習慣分析”等分析結果的打印輸出功能。 3 項目中改進的快速算法 由于apriori算法存在時間空間復雜度高及產生大量冗余規(guī)則兩大缺陷。因此本項目通過利用一個模式樹結構來降低apriori算法的存儲復雜度,并同時減少冗余規(guī)

5、則的出現。 一個模式樹的結構 root是一個標為“null”的根結點,root以下是作為根結點的孩子的項目前綴子樹集合,以及項目頭表組成;樹中的每一結點包含四個域user_id,count,node_link,node_next。其中,user_id為user的標記(唯一標識一個user),count為該父結點到達該結點的路徑的數目,node_link指向樹中具有相同的user_id的下一個結點的下一結點,當下一個結點不存在時,node_link為null,node_next指向樹中其子結點;項目頭表的每一表項包含三個域:user_id,count,head of node,user_id與樹

6、中的定義相同,count為樹中所有相同user_id之和,head of node指向樹中具有相同user_id值的首結點的指針。 建立模式樹 算法如下: 設事務數據庫為a,其中的一個項集為ai。 算法:patterntree(tree,p),構造模式樹 輸入:用戶事務數據庫a 輸出:用戶模式樹 procedure patterntree(t,p) create_ tree (t);/創(chuàng)建pattern-tree的根節(jié)點,以“null”標記 t=t; /t為當前結點 while anull do 讀入一個事務數據庫項集ai while p !=null do if _id=t的祖先_id th

7、en =+l; t=n; elseif _id=t的孩子_id then =+ l; t=c ; else insert_patterntree(t,p) ;/把p作為新結點插入樹中,作為當前結點的孩子結點 p=; 對模式樹進行剪枝 模式樹建立后,可能存在大量的冗余的分枝,為了保證數據挖掘結果不被這些冗余分枝產生的噪聲所影響,因此需要對樹進行剪枝,剔除噪聲信息。 算法:spt(tree,a),通過調用此算法對模式樹進行剪枝 /spt為支持度模式樹,即supported access pattern tree;a為項目頭表 輸入:模式樹patterntree,min_sup(模式樹的最小支持度)

8、 輸出:經過修剪后的支持度模式樹spt,模式b=bi|i=1,2,3n spt(tree,a) i=1; while(ai!= null) / 為項目頭表的某一項 if(= min_sup) then 模式bi= of node ; p= of node ;/p指向ai在模式樹中 的位置 while (p!= null and = min_sup) 查找p的前綴基,將p的前綴基和p連接,構 成模式b; if (= min_sup) then / 為模式b中p與p的前綴基中 的最小計數 在模式bi中保留p及其前綴基; bi = bi. node_link else 根據模式b中的p及其前綴基刪除

9、 patterntree中的相應節(jié)點,重構子節(jié)點 與父節(jié)點,同時修改項目頭表中的ai; p=p. node_next/p指向 在模式樹中的 下一個位置; else 修改項目頭結點的ai值; 刪除模式樹中相應的節(jié)點及其前綴基,重構父子 節(jié)點; i+; 通過模式樹的建立可以避免多次掃描事務數據庫;同時利用count域有效的保留了項集的數目,避免大量產生頻繁項集,對于減小空間時間復雜度起到了一定的作用。通過樹形結構可以避免產生大量冗余規(guī)則。 通過對模式樹的剪枝,可以減除在模式樹產生過程中產生的大量冗余分枝,起到了減小空間復雜度的作用,同時可以利用輸出模式b產生規(guī)則,避免了多項集的頻繁出現,減小了時間

10、復雜度。 4 結束語 本項目中通過模式樹結構改進了apriori算法,彌補了apriori算法存在的缺陷。此種方法既能夠對apriori算法從時間復雜度和空間復雜度上進行改進,同時又避免了中間規(guī)則的產生。本研究表明,通過利用一個模式樹結構來降低apriori算法的存儲復雜度,并同時減少冗余規(guī)則的出現,這對于apriori算法的改進是一種有效的措施。 參考文獻 1鄧納姆.數據挖掘教程m.郭崇慧,田鳳占,靳曉明,等譯.北京:清華大學出版社,2005. 2蘇新寧,楊建林,江念南,等.數據倉庫和數據挖掘m.北京:清華大學出版社,2006. 3gal c s, kantor p b, shapira b. security informatics and terrorism: patrolling the web. amsterdam: ios press