研發(fā)學(xué)生及外來工客戶識別模型qc.

1、發(fā)布人：杜娟精細化營銷和管理提升QC小組中國移動福建公司泉州分公司 2009.061選擇課題2目標設(shè)定3 提出并確定最佳方案4制定對策5對策實施6效果確認7標準化8總結(jié)及下一步打算 目錄 目錄 小組簡介 小組簡介小組名稱精細化營銷和管理提升QC小組成立時間2008年3月課題名稱研發(fā)學(xué)生及外來工客戶識別模型課題類型創(chuàng)新型組長杜 娟活動時間2008.32008.12活動次數(shù)每月2次 成員情況注冊號CMFJQZ08054 小組簡介 小組簡介組內(nèi)分工：顧問文化程度：碩士職責(zé)：活動指導(dǎo)職稱：高級工程師葉育文組內(nèi)分工：組長文化程度：碩士職責(zé)：方案制定組織實施職稱：高級工程師杜娟組內(nèi)分工：顧問文化程度：碩士

2、職責(zé)：活動指導(dǎo)職稱：高級工程師鄭一雄組內(nèi)分工：副組長文化程度：碩士職責(zé)：模型構(gòu)建具體實施職稱：中組工程師王東龍組內(nèi)分工：組員文化程度：碩士職責(zé)：方案討論職稱：工程師蔡貴賢組內(nèi)分工：組員文化程度：碩士職責(zé)：方案討論職稱：高級工程師郭華偉組內(nèi)分工：組員文化程度：本科職責(zé)：方案討論推廣應(yīng)用職稱：工程師陳梅蓉組內(nèi)分工：組員文化程度：本科職責(zé)：數(shù)據(jù)收集資料整理職稱：工程師尤永亮組內(nèi)分工：組員文化程度：本科職責(zé)：數(shù)據(jù)收集資料整理職稱：工程師陳敏毅名 詞含 義客戶識別基于客戶消費行為以及通話地理信息等數(shù)據(jù)，采用數(shù)據(jù)挖掘技術(shù)建立客戶識別模型并最終識別目標客戶的過程模型識別準確率描述模型性能好壞的指標。模型識別

3、準確率通過模型識別的與真實身份一致的客戶數(shù)/總識別客戶數(shù) 名詞解釋 名詞解釋 一、選擇課題問題提出01問題提出01泉州現(xiàn)有的學(xué)生及外來工占到常駐人口的3成以上，是兩個非常重要的細分市場營銷資源浪費！客戶滿意度低！活動未達預(yù)期效果！。營銷方案外呼用戶數(shù)客戶身份識別準確率中學(xué)生飛信營銷活動12萬14.0%大學(xué)生網(wǎng)聊套餐活動7萬19.0%外來工長話寶優(yōu)惠活動25萬23.0%外來工預(yù)存話費送保險30萬21.0%中學(xué)生學(xué)習(xí)卡營銷活動10萬11.0%動感地帶音樂套餐營銷活動17萬13.0%合計：18個營銷活動310萬18.2% 一、選擇課題 一、選擇課題30%問題癥結(jié)02 小組調(diào)查發(fā)現(xiàn)，系統(tǒng)中客戶身份信息

4、登記缺失嚴重，無法提供準確的目標客戶清單，是導(dǎo)致目標客戶識別準確率低的主要癥結(jié)。表2-3 外來工及學(xué)生客戶身份信息登記率 制表：陳蓉梅 2008年4月6日 一、選擇課題 一、選擇課題課題方案03 一、選擇課題 一、選擇課題 針對提升客戶身份識別準確率，小組運用“頭腦風(fēng)暴法”提出了一系列解決思路，并繪制了親和圖。經(jīng)過整理，提出三個可供選擇的課題：2-5 外來工及學(xué)生客戶身份信息登記率 制表：陳蓉梅 2008年4月6日 一、選擇課題 一、選擇課題課題方案分 析評估綜綜合合得得分分選選定定課課題題實施難度經(jīng)濟性用戶信息安全創(chuàng)新性信息真?zhèn)涡畔⑼暾{(diào)查手段收集客戶資料1.實施難度較小2.重復(fù)性實施,成本

5、高3.用戶信息安全非常低, 用戶隱私保護難得到保障4.創(chuàng)新性低5.身份鑒定保真及登記信息核準難度大6.無法收集全部用戶資料5分3分1分1分3分1分12分分實施入網(wǎng)實名制1.實施難度較大2.增加入網(wǎng)環(huán)節(jié)成本,成本適中3.用戶信息安全不高, 特別是在社會渠道上用戶隱私較難得到有效保障4.創(chuàng)新性低5.身份鑒定保真及登記信息核準難度大6.新入客戶身份資料可以解決,但是無法解決目前老客戶資料登記問題3分3分3分1分3分3分16分分研發(fā)學(xué)生及外來工客戶識別模型1.實施難度較大2.一次實施,相關(guān)成本低3.用戶信息安全高, 基本不涉及客戶隱私4.創(chuàng)新性高5.判斷客戶身份準確性較高6. 基本可以解決大部分客戶身

6、份信息識別3分5分5分5分3分5分26分分課題選定04 一、選擇課題 一、選擇課題制定計劃表05圖3-1識別模型目標 （制圖人：王東龍 2008年4月10日） 一、選擇課題 一、選擇課題階段活動內(nèi)容活動推進行動2008年3月4月5月6月7月8月9月10月11月12月P計劃選擇課題杜娟計劃王東龍進度設(shè)定目標王東龍計劃蔡貴賢進度提出并確定最佳方案全員計劃進度制定對策表全員計劃進度D實施對策實施全員計劃進度C檢查效果檢查蔡貴賢計劃郭華偉進度A處理標準化郭華偉計劃王東龍進度總結(jié)及下一步打算杜娟計劃王東龍進度 二、設(shè)定目標 二、設(shè)定目標大學(xué)生：60%中學(xué)生：50%外來工：58%現(xiàn)場試驗試驗 中學(xué)生 試驗

7、 大學(xué)生 試驗 外來工 市區(qū)某中學(xué)1 53% 大學(xué)1 53% 陳埭工業(yè)區(qū) 58% 郊區(qū)某中學(xué) 44% 大學(xué)2 57% 安海工業(yè)區(qū) 64% 農(nóng)村某中學(xué) 39% 中專1 63% 水頭工業(yè)區(qū) 55% 市區(qū)某中學(xué)1 40% 中專2 50% 工業(yè)區(qū)4 56% 市區(qū)某中學(xué)2 52% 大專 49% 工業(yè)區(qū)5 50% 目標依據(jù)小組建模專家選擇局部地區(qū)進行了小規(guī)模試驗1-業(yè)務(wù)部門要求客戶身份識別準確率在50%以上2-選擇局部地區(qū)進行了小規(guī)模試驗 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案開始建模工具選擇模型評估提供目標數(shù)據(jù)清單結(jié)束數(shù)據(jù)源準備模型算法選擇應(yīng)用系統(tǒng)開發(fā)模型維護模型實施生命期結(jié)束不

8、達標達標u 研發(fā)學(xué)生及外來工客戶識別模型涉及七個方面的步驟，用流程圖表示如下：圖4-1 識別模型研發(fā)流程圖 制圖人：杜娟 2008年 4 月 15 日圖4-3 研發(fā)設(shè)計依據(jù)親和圖（制圖人：蔡貴賢 2008年4月23日） 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案針對模型研發(fā)的七個策略，小組成員運用“頭腦風(fēng)暴法”,明確方案制定依據(jù) 三、提出各種方案并確定最佳方案 建模工具選擇 數(shù)據(jù)源選擇 模型算法選擇 模型評估 模型實施 模型維護 應(yīng)用系統(tǒng)開發(fā) 選擇SAS作為建模工具選擇SPSS作為建模工具 以數(shù)據(jù)集市作為主要數(shù)據(jù)源 選擇德爾菲專家法構(gòu)建模型 選擇邏輯回歸算法構(gòu)建模型 選擇決

9、策樹算法構(gòu)建模型 抽樣外呼驗證模型 抽樣短信驗證模型 自主開發(fā) 合作伙伴開發(fā) 自動維護 人工維護 半自動維護 轉(zhuǎn)換為數(shù)據(jù)庫規(guī)則 建模軟件自動更新獨立系統(tǒng)作為經(jīng)分系統(tǒng)子模塊獨立系統(tǒng)作為經(jīng)分系統(tǒng)子模塊神經(jīng)網(wǎng)絡(luò)算法分類算法 以BOSS數(shù)據(jù)作為主要數(shù)據(jù)源 以BASS數(shù)據(jù)作為主要數(shù)據(jù)源一級方案二級方案 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案建模工具選擇策略01統(tǒng)計分析速度數(shù)據(jù)處理速度數(shù)據(jù)IO速度運行速度測試環(huán)境SASSPSSA922240.50.50.5B1532210111測試環(huán)境SASSPSSA511B1835測試環(huán)境插入新變量替換變量值排序存盤SASSPSSSASSPSSS

10、ASSPSSSASSPSSA5.7435.574.513.68106.25B10.382010.922521.8498.1365測試環(huán)境方差分析SASSPSSA5.59(5.02)33.64(27.28)B8.07(7.3)47.02（46.63）現(xiàn)場對比試驗法SPSSSAS統(tǒng)計分析速度數(shù)據(jù)管理速度數(shù)據(jù)讀入速度功能全面性啟動速度操作簡易性 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案選擇SAS作為建模工具雖然SAS軟件掌難度較大,但其在大數(shù)據(jù)量的處理及I0上具有絕對優(yōu)勢，因此最終選擇了SAS作為建模工具。方案方案描述評價標準評價結(jié)論最終結(jié)論以BOSS數(shù)據(jù)為主,其它數(shù)據(jù)源為輔優(yōu)

11、勢特點:數(shù)據(jù)準確性最高;數(shù)據(jù)存儲于ORACLE數(shù)據(jù)庫,組員對數(shù)據(jù)庫熟悉,取數(shù)方便;劣勢特點:數(shù)據(jù)粒度單一且粒度顆粒非常小;數(shù)據(jù)處理量大,特別是涉及匯總數(shù)據(jù)數(shù)據(jù)準確不可行數(shù)據(jù)獲取快捷數(shù)據(jù)豐富組員熟悉以BASS數(shù)據(jù)為主,其它數(shù)據(jù)源為輔優(yōu)勢特點:數(shù)據(jù)準確性較高;數(shù)據(jù)粒度多樣數(shù)據(jù)庫IO性能好，數(shù)據(jù)處理快劣勢特點:數(shù)據(jù)處理量大,特別是涉及匯總數(shù)據(jù)數(shù)據(jù)存儲于TERADATA數(shù)據(jù)庫,組員對數(shù)據(jù)庫不夠熟悉,取數(shù)相對不方便;缺乏原始生產(chǎn)數(shù)據(jù),數(shù)據(jù)粒度偏大泉州本地個性化數(shù)據(jù)不足數(shù)據(jù)準確不可行數(shù)據(jù)獲取快捷數(shù)據(jù)豐富組員熟悉以DATA MART數(shù)據(jù)為主,其它數(shù)據(jù)源為輔優(yōu)勢特點:少部分數(shù)據(jù)準確性較低;數(shù)據(jù)存儲于ORACL

12、E數(shù)據(jù)庫,組員對數(shù)據(jù)庫熟悉,取數(shù)方便;數(shù)據(jù)粒度多樣且泉州本地個性化數(shù)據(jù)多劣勢特點；部分數(shù)據(jù)準確性較低，需要憑經(jīng)驗加以判斷;數(shù)據(jù)準確可行數(shù)據(jù)獲取快捷數(shù)據(jù)豐富組員熟悉 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案數(shù)據(jù)源選擇策略02綜合評價u從數(shù)據(jù)準確性、數(shù)據(jù)獲取快捷性、數(shù)據(jù)豐富程度和組員對數(shù)據(jù)及其存儲數(shù)據(jù)庫四個維度進行綜合評估，以DATA MART數(shù)據(jù)為主，其它數(shù)據(jù)源為輔作為數(shù)據(jù)源選擇策略。 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案模型算法選擇策略03綜合評價發(fā)送調(diào)查表發(fā)送調(diào)查表選擇好專家選擇好專家處理、反饋處理、反饋調(diào)查意見調(diào)查意見寫出決策報寫出決策報告告

13、德爾菲專家法決策樹模型Logistic 回歸模型為回歸模型為:lnP/(1-P)=b0+1X1+pXp經(jīng)數(shù)學(xué)變換可得經(jīng)數(shù)學(xué)變換可得: exp(0+1X1+pXp)P= 1+ exp(0+1X1+pXp)Logistic 回歸模型模型算法適用條件優(yōu)點缺點評價標準評價結(jié)論最終結(jié)論德爾菲專家法無明確的目標變量業(yè)務(wù)指標反映群體情況、從專家的角度切合當?shù)貙嶋H比較容易出現(xiàn)主觀因素、討論中容易出現(xiàn)附和情況結(jié)果解釋能力符合模型實現(xiàn)難度符合變量關(guān)系簡單符合準確性不符合邏輯回歸有明確的目標變量模型表達式較為簡單、將群體識別的概率值連續(xù)化模型中變量之間的關(guān)系復(fù)雜、不利于從業(yè)務(wù)角度解釋結(jié)果解釋能力不符合模型實現(xiàn)難度符

14、合變量關(guān)系簡單不符合準確性符合決策樹有明確的目標變量解釋結(jié)果能力強、變量之間的關(guān)系較為簡單模型規(guī)則過于鋼化、群體識別概率離散化結(jié)果解釋能力符合模型實現(xiàn)難度符合變量關(guān)系簡單符合準確性符合 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案u小組從結(jié)果解釋能力、模型實現(xiàn)難度、變量關(guān)系簡單和準確性等四個維度進行了充分的分析后，最終選擇了以決策樹算法為主、德爾菲專家法為輔作為模型算法。驗證方式特點樣本量有效反饋量有效占比成本評價標準結(jié)果抽樣外呼驗證成本高200168842小時反饋時長有效反饋成本開支抽樣短信驗證成本低2005326.55天反饋時長有效反饋成本開支 三、提出各種方案并確定最佳

15、方案 三、提出各種方案并確定最佳方案模型評估選擇策略04小規(guī)模試驗u根據(jù)試驗結(jié)果，我們最終選擇外呼驗證作為模型評估的手段方案內(nèi)容方案說明分析評估綜 合得分選定方案實施難度實施成本維護操作簡易性模型調(diào)優(yōu)效果轉(zhuǎn)化為數(shù)據(jù)庫規(guī)則由數(shù)據(jù)庫進行更新將模型轉(zhuǎn)化為規(guī)則再將規(guī)則轉(zhuǎn)譯為數(shù)據(jù)庫語言并固化于數(shù)據(jù)庫系統(tǒng)中，通過定時任務(wù)實現(xiàn)模型定時工作，最終實現(xiàn)動態(tài)識別學(xué)生及外來工客戶優(yōu)勢特點:便于客戶識別應(yīng)用系統(tǒng)的開發(fā);模型實施成本低模型實施難度低劣勢特點:無法自動使模型性能最優(yōu)1 8分建模軟件自動更新通過建模軟件與數(shù)據(jù)庫連接，由建模軟件定時運行實現(xiàn)模型動態(tài)更新，最終實現(xiàn)動態(tài)識別學(xué)生及外來工客戶優(yōu)勢特點:可以定時自動重

16、構(gòu)模型，使得模型最優(yōu);劣勢特點:不利于客戶識別應(yīng)用系統(tǒng)的開發(fā);模型實施成本高模型實施難度高1 2分注: 5分 3分 1分表4.19 模型實施方案比較 制表：郭華偉 2008年5月20日 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案模型實施策略05打分評價u經(jīng)過小組多次討論，基于上述幾個理由最終選擇“轉(zhuǎn)化為數(shù)據(jù)庫規(guī)則，由數(shù)據(jù)庫進行更新”策略方案方案描述優(yōu)勢缺陷評價標準結(jié)果手工維護定期按照建模過程重新建模，包括數(shù)據(jù)源準備、數(shù)據(jù)抽樣、數(shù)據(jù)探索、變量選擇、調(diào)整、建模、評估和實施等步驟，生成新的規(guī)則并更新已有的數(shù)據(jù)庫規(guī)則。模型性能好，適應(yīng)性好依賴人工維護，成本非常大工作量3人天/月自動

17、維護由系統(tǒng)自動進行模型優(yōu)化，不需要人工干預(yù)無需人工干預(yù)，節(jié)約人力成本模型容易受外部環(huán)境影響，適應(yīng)性較差，系統(tǒng)部署復(fù)雜，成本低工作量1人天/月開發(fā)成本5萬半自動維護模型部分由系統(tǒng)自動運行更新，部分由人工干預(yù)，實現(xiàn)模型穩(wěn)定健康工作模型適應(yīng)性較好，系統(tǒng)部署簡單需要人工干預(yù)，成本適中工作量3人天/月開發(fā)成本1萬 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案模型維護選擇策略06綜合評價u小組創(chuàng)新性地研發(fā)了模型規(guī)則參數(shù)的閥值進行自適應(yīng)調(diào)整從而實現(xiàn)模型半自動維護的方法。 評估評估分值分值項目評估項目評估（10-8）（7-5）（4-1）費用投入費用投入很少（5萬以下）較少（5萬-20萬）較大

18、（20萬以上）使用便捷使用便捷非常便捷（用戶基本不用跨系統(tǒng)操作）較為便捷（用戶偶爾跨系統(tǒng)操作）不方便（用戶經(jīng)常跨系統(tǒng)操作）開發(fā)周期開發(fā)周期周期短（一個月以內(nèi)）周期較長（1個月至3個月）周期長（3個月以上）預(yù)計效果預(yù)計效果顯著（開發(fā)規(guī)范且數(shù)據(jù)提供準確）較好（開發(fā)不規(guī)范且數(shù)據(jù)提供準確）一般（開發(fā)不規(guī)范且數(shù)據(jù)提供不準確） 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案應(yīng)用系統(tǒng)開發(fā)策略07打分評價開發(fā)方式開發(fā)方式實現(xiàn)方式實現(xiàn)方式可行性分析可行性分析項目評估項目評估杜杜娟娟王王東東龍龍郭郭華華偉偉蔡蔡貴貴賢賢陳陳蓉蓉梅梅陳陳敏敏毅毅尤尤永永亮亮綜 合綜 合評 價評 價得分得分是是否否采采

19、用用自主開發(fā)自主開發(fā)自身獨立一個系統(tǒng)很少費用投入8999107842否否不方便使用便捷4433324周期較長開發(fā)周期6575785較好預(yù)計效果7756666自主開發(fā)自主開發(fā)作為泉州數(shù)據(jù)集市一個獨立模塊很少費用投入8999107847是是較為便捷使用便捷7765667周期較長開發(fā)周期6575785較好預(yù)計效果7756666開發(fā)商開開發(fā)商開發(fā)發(fā)自身獨立一個系統(tǒng)較大費用投入453252434否否不方便使用便捷4433324周期短開發(fā)周期89810968一般預(yù)計效果3464535開發(fā)商開開發(fā)商開發(fā)發(fā)作為泉州數(shù)據(jù)集市一個獨立模塊較大費用投入453252439否否較為便捷使用便捷7765667周期短開發(fā)周

20、期89810968一般預(yù)計效果3464535 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案u結(jié)論：最佳方案確定開始選擇建模工具模型評估提供目標數(shù)據(jù)清單結(jié)束數(shù)據(jù)源選擇模型算法選擇應(yīng)用系統(tǒng)開發(fā)模型維護模式實施生命期結(jié)束不達標達標選擇SAS作為建模工具以數(shù)據(jù)集市為主,其它數(shù)據(jù)源為輔選擇決策樹算法作為模型算法自主開發(fā)并作為泉州數(shù)據(jù)集市一個獨立模塊半自動維護轉(zhuǎn)化為數(shù)據(jù)庫規(guī)則并由數(shù)據(jù)庫更新抽樣外呼驗證圖4-26 課題最佳方案（制圖人： 王東龍 2008年6月3日） 三、提出各種方案并確定最佳方案 三、提出各種方案并確定最佳方案 四、制定對策表 四、制定對策表 四、制定對策表 四、制定對策

21、表 運用PDPC法制訂各種應(yīng)急方案，對整個研發(fā)過程進行動態(tài)管理，最大限度地防范研發(fā)過程中的風(fēng)險圖6-1 QC小組確保實施學(xué)生及外來識別模型研發(fā)順利的PDPC法 2008年6月15日 四、制定對策表 四、制定對策表 五、對策實施 五、對策實施對策實施一：選擇軟件作為數(shù)據(jù)分析和模型構(gòu)建工具選擇合適的版本進行安裝部署收集小組成員計算機軟硬件配置情況舉行SAS培訓(xùn)搭建數(shù)據(jù)處理服務(wù)器截至月日100的成員安裝了SAS軟件100成員參加了SAS培訓(xùn)課程，基本掌握相關(guān)技能。對策一目標達成對策實施二：在泉州數(shù)據(jù)集市進行建模數(shù)據(jù)取數(shù)通過選擇建模所需數(shù)據(jù)及數(shù)據(jù)提供規(guī)范等共5項措施，最終確定建模所需的初始變量5月22

22、日至月日通過對異常值進行剔除，對缺失值進行處理，對連續(xù)變量進行離散化等操作，最終得到近500個指標，通過相關(guān)分析，最終選擇21個模型指標學(xué)生群體識別指標外來工群體識別指標 五、對策實施 五、對策實施對策二目標達成依據(jù)特征規(guī)則提取樣本清單外呼驗證核實樣本初始清單構(gòu)建大學(xué)生、中學(xué)生及外來工客戶識別模型召開專家會議確定學(xué)生模型顯著特征對策實施三：建立模型 五、對策實施 五、對策實施 規(guī)則2 規(guī)則3大學(xué)生識別模型ARPU=26短信費用比例30%漫游比例8%40%入網(wǎng)月份6入網(wǎng)月份4month20% 規(guī)則1OROR通過客戶交往指紋對客戶識別模型進行修正 五、對策實施 五、對策實施學(xué)生其它交往指紋：用戶在

23、使用移動業(yè)務(wù)過程中產(chǎn)生的交往模式。通過其交往的對象、時間段、頻度等特征形成一個交往指紋 五、對策實施 五、對策實施交往對象和初始已識別的客戶的相關(guān)特征70%,則判斷為學(xué)生客戶，同樣也用于外來工客戶判斷 五、對策實施 五、對策實施u 8月4日通過客戶交往圈對客戶識別模型進行修正,極大改善了中學(xué)生及大學(xué)生客戶識別模型性能。對策三目標達成對策實施四：抽樣外呼驗證及模型調(diào)優(yōu)基站準確率必須80計劃及目標執(zhí)行效果檢查行動定制中學(xué)學(xué)?；臼占?guī)則并聯(lián)合其它部門重新整理收集,對部分模糊基站開展了現(xiàn)場路測基站準確率達到83。重新進行建模后，中學(xué)生模型準確率達到了54，達到了預(yù)期目標定制學(xué)?；拘畔⒕S護管理辦法,確保及時準確更新學(xué)校基站信息經(jīng)分析，收集到的學(xué)校基站信息準確度相對較低，是影響中學(xué)生模型命中率的主要原因。PDCA循環(huán) 五、對策實施 五、對策實施對策四目標達成對策實施五：轉(zhuǎn)換為數(shù)據(jù)庫規(guī)則，由數(shù)據(jù)庫進行更新對策實施六：制定半自動維護流程進行模型維護 五、對策實施 五、