電信行業(yè)大數(shù)據(jù)實時營銷與實時分析課件

電信行業(yè)大數(shù)據(jù)實時營銷與實時分析夏明武xiamingwu@電信行業(yè)大數(shù)據(jù)實時營銷與實時分析夏明武個人簡介2004年清華大學軟件學院畢業(yè)智慧圖聯(lián)合創(chuàng)始人，大數(shù)據(jù)首席架構師中國信息協(xié)會大數(shù)據(jù)分會理事工作10年+，做商業(yè)智能BI9年+在思特奇、亞信BI研發(fā)部、去哪兒網(wǎng)等工作多年大數(shù)據(jù)實時營銷、實時分析電信行業(yè)中國第一名在去哪兒網(wǎng)酒店事業(yè)部組建商業(yè)智能BI團隊個人簡介2004年清華大學軟件學院畢業(yè)什么是商業(yè)智能BI、大數(shù)據(jù)？商業(yè)智能BI，就是智能化、自動化做商業(yè)，提升公司品牌形象，幫助公司賺錢大數(shù)據(jù)，核心是小量結果數(shù)據(jù)，通過分析、研究數(shù)據(jù)，以結果為導向，挖掘結果數(shù)據(jù)價值，幫公司賺大錢才是真?；ヂ?lián)網(wǎng)企業(yè)，競爭激烈，今天還活著，明天隨時會死去，以結果為導向，非?，F(xiàn)實，當然也非常殘酷。對企業(yè)而言無價值的海量數(shù)據(jù)是什么？什么是商業(yè)智能BI、大數(shù)據(jù)？商業(yè)智能BI，就是智能化、自動化商業(yè)智能BI三階段第一階段：報表、olap階段。做報表根本不能體現(xiàn)出智能，體力活，實習生工作。第二階段：數(shù)據(jù)分析、傳統(tǒng)數(shù)據(jù)挖掘階段。阿里巴巴做的數(shù)據(jù)魔方、量子恒道是典型代表。非常成功，非常簡潔有效，快速幫公司和客戶賺錢，實現(xiàn)多方共贏。第三階段：做實時營銷、實時分析、實時告警等等實時或準實時系統(tǒng)，更接近于OLTP系統(tǒng)，處理難度高，顛覆著傳統(tǒng)的BI系統(tǒng)。商業(yè)智能BI三階段第一階段：報表、olap階段。做報表根本不商業(yè)智能BI系統(tǒng)存在的問題某電信運營商十幾年商業(yè)智能BI系統(tǒng)建設，是否有用？數(shù)據(jù)分析、數(shù)據(jù)挖掘真的重要嗎？

某公司數(shù)據(jù)挖掘團隊被解散，某公司數(shù)據(jù)分析團隊被解散客戶細分問題？分析報告一定是正確的嗎？商業(yè)智能BI系統(tǒng)存在的問題某電信運營商十幾年商業(yè)智能BI系統(tǒng)大數(shù)據(jù)、數(shù)據(jù)挖掘、數(shù)據(jù)分析真的重要嗎在互聯(lián)網(wǎng)企業(yè)，以結果為導向，價值為主?；ヂ?lián)網(wǎng)企業(yè)競爭激烈，今天活著，明天隨時會死去，以結果為導向非常有必要。有的公司數(shù)據(jù)挖掘團隊被解散，有的公司數(shù)據(jù)分析團隊被解散。這些團隊中其實有很強的TeamLeader和很靠譜的團隊成員。為什么還是要解散呢？這是因為數(shù)據(jù)挖掘、數(shù)據(jù)分析能做到百分之三十或百分之五十已經(jīng)非常好，當企業(yè)自然增長達到百分之百或百分之幾百時，從投入產出比角度出發(fā)，數(shù)據(jù)挖掘、數(shù)據(jù)分析團隊是無價值的，是應被解散掉的。大數(shù)據(jù)、數(shù)據(jù)挖掘、數(shù)據(jù)分析真的重要嗎在互聯(lián)網(wǎng)企業(yè)，以結果為導信令數(shù)據(jù)介紹CS域語音主叫語音被叫短信發(fā)送短信接收位置更新開機關機位置切換信令數(shù)據(jù)介紹CS域語音主叫信令數(shù)據(jù)介紹PS域彩信發(fā)送彩信接收WAP連接WAP使用WAP斷開3G上網(wǎng)4G上網(wǎng)信令數(shù)據(jù)介紹PS域彩信發(fā)送信令名詞解釋LAC：

locationareacode位置區(qū)碼（移動通信系統(tǒng)中）,是為尋呼而設置的一個區(qū)域,覆蓋一片地理區(qū)域。CELL：

采用基站識別碼或全球小區(qū)識別進行標識的無線覆蓋區(qū)域叫做小區(qū)。IMSI：

InternationalMobileSubscriberIdentificationNumber國際移動用戶識別碼，是區(qū)別移動用戶的標志，儲存在SIM卡中，可用于區(qū)別移動用戶的有效信息。信令名詞解釋LAC：信令名詞解釋IMEI：InternationalMobileEquipmentIdentity，是國際移動設備身份碼的縮寫，國際移動裝備辨識碼，是由15位數(shù)字組成的“電子串號”，它與每臺手機一一對應，而且該碼是全世界唯一的。MSISDN:MobileSubscriberInternationalISDN/PSTNnumber(ISDN即是綜合業(yè)務數(shù)字網(wǎng)，是IntegratedServiceDigitalNetwork的簡稱)，即手機號碼。信令名詞解釋IMEI：信令數(shù)據(jù)能做什么？實時營銷（精準營銷、精確營銷）事件營銷（信令監(jiān)控、信令分析、數(shù)據(jù)挖掘）信令數(shù)據(jù)能做什么？實時營銷（精準營銷、精確營銷）基于信令數(shù)據(jù)和客戶統(tǒng)一視圖的模型高中生高中生家長大學生飛機來港客戶飛機離港客戶景區(qū)游客火車站到達客戶火車站離開客戶基于信令數(shù)據(jù)和客戶統(tǒng)一視圖的模型高中生數(shù)據(jù)模型的創(chuàng)新規(guī)則以界面化的方式展示給業(yè)務人員參數(shù)可調整，業(yè)務人員可以根據(jù)業(yè)務經(jīng)驗調整業(yè)務人員可以直接界面執(zhí)行數(shù)據(jù)挖掘，重跑數(shù)據(jù)通過外呼查全和查準前端界面規(guī)則配置到數(shù)據(jù)庫中環(huán)境發(fā)生大變化時，業(yè)務人員熟悉模型規(guī)則，就能很方便給研發(fā)提新需求，研發(fā)遠程開發(fā)后遠程發(fā)包部署數(shù)據(jù)模型的創(chuàng)新規(guī)則以界面化的方式展示給業(yè)務人員

實時營銷（精準營銷、精確營銷）

速度實時合適的時間合適的地點給客戶推薦合適的內容

實時營銷（精準營銷、精確營銷）

速度實時實時營銷（精準營銷、精確營銷）

案例

兩城一家機場旅客推薦各種套餐高考考生推薦各種業(yè)務體育場觀眾推薦歌星歌曲實時營銷（精準營銷、精確營銷）

案例

兩城一家

關于10張標簽表，每張表8000萬記錄，每張表幾百幾千個標簽字段，關聯(lián)取數(shù)據(jù)，秒級出結果的高效方法?大數(shù)據(jù)關聯(lián)查詢創(chuàng)新案例

關于10張標簽表，每張表8000萬記錄方案1：數(shù)據(jù)庫內方案

把所有客戶統(tǒng)一視圖大標簽寬表先按地市分表，再按號碼分別拆分為10000張表。每張小表中包括所有需要的幾百、幾千個字段。小表總表數(shù)為1萬到幾萬之間，詳細為地市數(shù)量*1000。有的省份，小表數(shù)據(jù)量為2000條到8000條。前端訪問時，不再需要做多表sql關聯(lián)，數(shù)據(jù)量級別為千行級的單表sql查詢語句速度也很快。起10000個線程并發(fā)執(zhí)行，可以做到實時。方案1：數(shù)據(jù)庫內方案

把所有客戶統(tǒng)一視圖大標簽寬表先按地市分方案2：數(shù)據(jù)庫外方案

把所有客戶統(tǒng)一視圖大標簽寬表按地市分文件，再按號碼繼續(xù)拆分為1000個文件。每個小文件中包括所有需要的幾百、幾千個字段。小文件總數(shù)量為1萬到幾萬之間，詳細為地市數(shù)量*1000。如果是直轄市，直接拆分為10000個小文件。使用標準C，開發(fā)出處理程序，并發(fā)啟動1萬到幾萬個線程，每個線程把小文件數(shù)據(jù)加載到各自內存中。當需要處理數(shù)據(jù)時，實用LUA來訪問數(shù)據(jù)，每個線程需要處理的數(shù)據(jù)量為千行級?？傮w速度應該在毫表級，可以實時把數(shù)據(jù)回傳給前端。像有的省，如果地市用戶提取客戶群，則同樣只需訪問此地市的1000個小內存文件，速度能更快。方案2：數(shù)據(jù)庫外方案

把所有客戶統(tǒng)一視圖大標簽寬表按地市分文方案1細節(jié)：表文件、和線程的數(shù)量可以根據(jù)實際需要調整，可以調整到100張表、1000張表、或者是100個文件、1000文件、再或者是100個線程、1000個線程。具體還需要查詢資料，依據(jù)現(xiàn)場機器配置，做性能調優(yōu)而定。如果并發(fā)線程壓力太大的話，可以考慮改為減少并發(fā)線程數(shù)，或者改為串行。當數(shù)據(jù)無法做大表關聯(lián)時，每次只需從單行記錄就可去到。方案1細節(jié)：表文件、和線程的數(shù)量可以根據(jù)實際需要調整，可以調方案1細節(jié)：分表或分文件時，按手機號碼尾號2位或3位來分，手機號碼尾號本身是均勻的。在同一地市的小表中，每張小表的數(shù)據(jù)量是基本接近相同的。地市之間，考慮到不同地市的用戶數(shù)不同，則可以對不同地市的分表或分文件數(shù)量做優(yōu)化，用戶數(shù)多的地市分表和文件多，用戶數(shù)少的地市分表或文件少，盡量和所有的100、1000或10000以上的表或文件中數(shù)據(jù)量保持一致，這樣并發(fā)處理線程同時處理，完成時間也能基本相同。

方案1細節(jié)：分表或分文件時，按手機號碼尾號2位或3位來分，手方案2細節(jié)：數(shù)據(jù)為每月或每日凌晨初始化讀入，載入到內存后。在上班時間訪問，直接查詢內存靜態(tài)數(shù)據(jù)，速度快，但也涉及到內存分配太大的問題。此時，需要考慮做并發(fā)或者分布式處理。涉及到硬件投資增加問題，不建議采購小型機，改為采購刀片服務器或其它服務器。數(shù)據(jù)也可采用前端調用時再動態(tài)加載，根據(jù)機器配置，讓線程分批次加載數(shù)據(jù)并處理。這樣對硬件要求低，但速度相對會慢。方案2細節(jié)：數(shù)據(jù)為每月或每日凌晨初始化讀入，載入到內存后。在方案2細節(jié)：前端向后臺通信采取socket方式，后臺處理完數(shù)據(jù)后，可以把最終數(shù)據(jù)合并，再加載到數(shù)據(jù)庫中的表，也可以由各線程把各自數(shù)據(jù)分批插入到數(shù)據(jù)庫中的表。數(shù)據(jù)加載完成后，再通過socket通知前端處理完畢。LUA具體如何處理和優(yōu)化，細節(jié)尚待研究，需要花時間。細致工作還有很多，需要繼續(xù)研究和深入下去。方案2細節(jié)：前端向后臺通信采取socket方式，后臺處理完數(shù)方案2細節(jié)：如果要考慮到硬件成本、分布式部署、開發(fā)時間和難度問題，可以接下來優(yōu)化為采用hadoop方案。采用hadoop方案后，整體數(shù)據(jù)量在千萬級，有些省例外，到了億級。硬件投資改為采購幾臺PC

Server，硬件投入為幾萬元。數(shù)據(jù)都在庫外處理，NOSQL方式，數(shù)據(jù)庫可以改為使用開源數(shù)據(jù)庫MySQL，存放配置信息。這樣DB2、Oracle或其它數(shù)據(jù)庫都可以替換掉。方案2細節(jié)：如果要考慮到硬件成本、分布式部署、開發(fā)時間和難度方案2細節(jié)：整體來說，實用hadoop方式或庫外標準C開發(fā)方式后，可以更有效減少中國移動在硬件上的投入，在數(shù)據(jù)庫的投入。可以把節(jié)省的成本投一部分到應用軟件廠商上。這樣，中國移動就可以和應用軟件廠商實現(xiàn)共贏。這也是IT業(yè)界的發(fā)展趨勢。至于hadoop方案，客戶統(tǒng)一視圖標簽月表每月生成一次，日表每日按生產一次。生成后為靜態(tài)數(shù)據(jù)，每日上班時間數(shù)據(jù)不會更新，為靜態(tài)數(shù)據(jù)。方案2細節(jié)：整體來說，實用hadoop方式或庫外標準C開發(fā)方方案2細節(jié)：基于此特點，可以在每日凌晨把客戶統(tǒng)一視圖數(shù)據(jù)加載到hadoop中，白天訪問時直接查詢數(shù)據(jù)，速度快，效率高。數(shù)據(jù)加載到內存數(shù)據(jù)庫中做查詢，我目前用到的是solo+lucene，有的同事用的是MongoDB。云計算方案，應該是可以考慮借鑒谷歌做搜索查詢這塊的成功經(jīng)驗。云計算方案，貌似用流計算也不錯。Yahoo

的S4聽說挺不錯。方案2細節(jié)：基于此特點，可以在每日凌晨把客戶統(tǒng)一視圖數(shù)據(jù)加載《論中國》西方戰(zhàn)略家思考如何在關鍵點上集結優(yōu)勢兵力，而孫子研究如何在政治和心理上取得優(yōu)勢地位，從而確保勝利。西方戰(zhàn)略家通過打勝仗檢驗自己的理論，孫子則通過不戰(zhàn)而勝檢驗自己的理論。

亨利·基辛格《論中國》西方戰(zhàn)略家思考如何在關鍵點上個人建議：平時多積累，“功夫在詩外”多做SWOT分析多關注大環(huán)境，多從大局出發(fā)做創(chuàng)業(yè)、做BI要多眼于未來，產品規(guī)劃、設計要面向未來，多考慮未來三五年的環(huán)境和競爭《扁鵲見蔡桓公》BI人學習的榜樣個人建議：平時多積累，“功夫在詩外”推薦閱讀職業(yè)規(guī)劃《定位》、《人生定位》系列書籍《浪潮之巔》、《數(shù)學之美》等《暗時間》《異類》《一部手機打天下：人類最后的掘金機會》《決戰(zhàn)大數(shù)據(jù)》《高效能人士的七個習慣》《窮查理寶典》《失控》彼得·德魯克的書籍推薦閱讀職業(yè)規(guī)劃《定位》、《人生定位》系列書籍謝謝！謝謝！電信行業(yè)大數(shù)據(jù)實時營銷與實時分析夏明武xiamingwu@電信行業(yè)大數(shù)據(jù)實時營銷與實時分析夏明武個人簡介2004年清華大學軟件學院畢業(yè)智慧圖聯(lián)合創(chuàng)始人，大數(shù)據(jù)首席架構師中國信息協(xié)會大數(shù)據(jù)分會理事工作10年+，做商業(yè)智能BI9年+在思特奇、亞信BI研發(fā)部、去哪兒網(wǎng)等工作多年大數(shù)據(jù)實時營銷、實時分析電信行業(yè)中國第一名在去哪兒網(wǎng)酒店事業(yè)部組建商業(yè)智能BI團隊個人簡介2004年清華大學軟件學院畢業(yè)什么是商業(yè)智能BI、大數(shù)據(jù)？商業(yè)智能BI，就是智能化、自動化做商業(yè)，提升公司品牌形象，幫助公司賺錢大數(shù)據(jù)，核心是小量結果數(shù)據(jù)，通過分析、研究數(shù)據(jù)，以結果為導向，挖掘結果數(shù)據(jù)價值，幫公司賺大錢才是真。互聯(lián)網(wǎng)企業(yè)，競爭激烈，今天還活著，明天隨時會死去，以結果為導向，非常現(xiàn)實，當然也非常殘酷。對企業(yè)而言無價值的海量數(shù)據(jù)是什么？什么是商業(yè)智能BI、大數(shù)據(jù)？商業(yè)智能BI，就是智能化、自動化商業(yè)智能BI三階段第一階段：報表、olap階段。做報表根本不能體現(xiàn)出智能，體力活，實習生工作。第二階段：數(shù)據(jù)分析、傳統(tǒng)數(shù)據(jù)挖掘階段。阿里巴巴做的數(shù)據(jù)魔方、量子恒道是典型代表。非常成功，非常簡潔有效，快速幫公司和客戶賺錢，實現(xiàn)多方共贏。第三階段：做實時營銷、實時分析、實時告警等等實時或準實時系統(tǒng)，更接近于OLTP系統(tǒng)，處理難度高，顛覆著傳統(tǒng)的BI系統(tǒng)。商業(yè)智能BI三階段第一階段：報表、olap階段。做報表根本不商業(yè)智能BI系統(tǒng)存在的問題某電信運營商十幾年商業(yè)智能BI系統(tǒng)建設，是否有用？數(shù)據(jù)分析、數(shù)據(jù)挖掘真的重要嗎？

某公司數(shù)據(jù)挖掘團隊被解散，某公司數(shù)據(jù)分析團隊被解散客戶細分問題？分析報告一定是正確的嗎？商業(yè)智能BI系統(tǒng)存在的問題某電信運營商十幾年商業(yè)智能BI系統(tǒng)大數(shù)據(jù)、數(shù)據(jù)挖掘、數(shù)據(jù)分析真的重要嗎在互聯(lián)網(wǎng)企業(yè)，以結果為導向，價值為主?；ヂ?lián)網(wǎng)企業(yè)競爭激烈，今天活著，明天隨時會死去，以結果為導向非常有必要。有的公司數(shù)據(jù)挖掘團隊被解散，有的公司數(shù)據(jù)分析團隊被解散。這些團隊中其實有很強的TeamLeader和很靠譜的團隊成員。為什么還是要解散呢？這是因為數(shù)據(jù)挖掘、數(shù)據(jù)分析能做到百分之三十或百分之五十已經(jīng)非常好，當企業(yè)自然增長達到百分之百或百分之幾百時，從投入產出比角度出發(fā)，數(shù)據(jù)挖掘、數(shù)據(jù)分析團隊是無價值的，是應被解散掉的。大數(shù)據(jù)、數(shù)據(jù)挖掘、數(shù)據(jù)分析真的重要嗎在互聯(lián)網(wǎng)企業(yè)，以結果為導信令數(shù)據(jù)介紹CS域語音主叫語音被叫短信發(fā)送短信接收位置更新開機關機位置切換信令數(shù)據(jù)介紹CS域語音主叫信令數(shù)據(jù)介紹PS域彩信發(fā)送彩信接收WAP連接WAP使用WAP斷開3G上網(wǎng)4G上網(wǎng)信令數(shù)據(jù)介紹PS域彩信發(fā)送信令名詞解釋LAC：

locationareacode位置區(qū)碼（移動通信系統(tǒng)中）,是為尋呼而設置的一個區(qū)域,覆蓋一片地理區(qū)域。CELL：

采用基站識別碼或全球小區(qū)識別進行標識的無線覆蓋區(qū)域叫做小區(qū)。IMSI：

InternationalMobileSubscriberIdentificationNumber國際移動用戶識別碼，是區(qū)別移動用戶的標志，儲存在SIM卡中，可用于區(qū)別移動用戶的有效信息。信令名詞解釋LAC：信令名詞解釋IMEI：InternationalMobileEquipmentIdentity，是國際移動設備身份碼的縮寫，國際移動裝備辨識碼，是由15位數(shù)字組成的“電子串號”，它與每臺手機一一對應，而且該碼是全世界唯一的。MSISDN:MobileSubscriberInternationalISDN/PSTNnumber(ISDN即是綜合業(yè)務數(shù)字網(wǎng)，是IntegratedServiceDigitalNetwork的簡稱)，即手機號碼。信令名詞解釋IMEI：信令數(shù)據(jù)能做什么？實時營銷（精準營銷、精確營銷）事件營銷（信令監(jiān)控、信令分析、數(shù)據(jù)挖掘）信令數(shù)據(jù)能做什么？實時營銷（精準營銷、精確營銷）基于信令數(shù)據(jù)和客戶統(tǒng)一視圖的模型高中生高中生家長大學生飛機來港客戶飛機離港客戶景區(qū)游客火車站到達客戶火車站離開客戶基于信令數(shù)據(jù)和客戶統(tǒng)一視圖的模型高中生數(shù)據(jù)模型的創(chuàng)新規(guī)則以界面化的方式展示給業(yè)務人員參數(shù)可調整，業(yè)務人員可以根據(jù)業(yè)務經(jīng)驗調整業(yè)務人員可以直接界面執(zhí)行數(shù)據(jù)挖掘，重跑數(shù)據(jù)通過外呼查全和查準前端界面規(guī)則配置到數(shù)據(jù)庫中環(huán)境發(fā)生大變化時，業(yè)務人員熟悉模型規(guī)則，就能很方便給研發(fā)提新需求，研發(fā)遠程開發(fā)后遠程發(fā)包部署數(shù)據(jù)模型的創(chuàng)新規(guī)則以界面化的方式展示給業(yè)務人員

實時營銷（精準營銷、精確營銷）

速度實時合適的時間合適的地點給客戶推薦合適的內容

實時營銷（精準營銷、精確營銷）

速度實時實時營銷（精準營銷、精確營銷）

案例

兩城一家機場旅客推薦各種套餐高考考生推薦各種業(yè)務體育場觀眾推薦歌星歌曲實時營銷（精準營銷、精確營銷）

案例

兩城一家

關于10張標簽表，每張表8000萬記錄，每張表幾百幾千個標簽字段，關聯(lián)取數(shù)據(jù)，秒級出結果的高效方法?大數(shù)據(jù)關聯(lián)查詢創(chuàng)新案例

關于10張標簽表，每張表8000萬記錄方案1：數(shù)據(jù)庫內方案

把所有客戶統(tǒng)一視圖大標簽寬表先按地市分表，再按號碼分別拆分為10000張表。每張小表中包括所有需要的幾百、幾千個字段。小表總表數(shù)為1萬到幾萬之間，詳細為地市數(shù)量*1000。有的省份，小表數(shù)據(jù)量為2000條到8000條。前端訪問時，不再需要做多表sql關聯(lián)，數(shù)據(jù)量級別為千行級的單表sql查詢語句速度也很快。起10000個線程并發(fā)執(zhí)行，可以做到實時。方案1：數(shù)據(jù)庫內方案

把所有客戶統(tǒng)一視圖大標簽寬表先按地市分方案2：數(shù)據(jù)庫外方案

把所有客戶統(tǒng)一視圖大標簽寬表按地市分文件，再按號碼繼續(xù)拆分為1000個文件。每個小文件中包括所有需要的幾百、幾千個字段。小文件總數(shù)量為1萬到幾萬之間，詳細為地市數(shù)量*1000。如果是直轄市，直接拆分為10000個小文件。使用標準C，開發(fā)出處理程序，并發(fā)啟動1萬到幾萬個線程，每個線程把小文件數(shù)據(jù)加載到各自內存中。當需要處理數(shù)據(jù)時，實用LUA來訪問數(shù)據(jù)，每個線程需要處理的數(shù)據(jù)量為千行級?？傮w速度應該在毫表級，可以實時把數(shù)據(jù)回傳給前端。像有的省，如果地市用戶提取客戶群，則同樣只需訪問此地市的1000個小內存文件，速度能更快。方案2：數(shù)據(jù)庫外方案

把所有客戶統(tǒng)一視圖大標簽寬表按地市分文方案1細節(jié)：表文件、和線程的數(shù)量可以根據(jù)實際需要調整，可以調整到100張表、1000張表、或者是100個文件、1000文件、再或者是100個線程、1000個線程。具體還需要查詢資料，依據(jù)現(xiàn)場機器配置，做性能調優(yōu)而定。如果并發(fā)線程壓力太大的話，可以考慮改為減少并發(fā)線程數(shù)，或者改為串行。當數(shù)據(jù)無法做大表關聯(lián)時，每次只需從單行記錄就可去到。方案1細節(jié)：表文件、和線程的數(shù)量可以根據(jù)實際需要調整，可以調方案1細節(jié)：分表或分文件時，按手機號碼尾號2位或3位來分，手機號碼尾號本身是均勻的。在同一地市的小表中，每張小表的數(shù)據(jù)量是基本接近相同的。地市之間，考慮到不同地市的用戶數(shù)不同，則可以對不同地市的分表或分文件數(shù)量做優(yōu)化，用戶數(shù)多的地市分表和文件多，用戶數(shù)少的地市分表或文件少，盡量和所有的100、1000或10000以上的表或文件中數(shù)據(jù)量保持一致，這樣并發(fā)處理線程同時處理，完成時間也能基本相同。

方案1細節(jié)：分表或分文件時，按手機號碼尾號2位或3位來分，手方案2細節(jié)：數(shù)據(jù)為每月或每日凌晨初始化讀入，載入到內存后。在上班時間訪問，直接查詢內存靜態(tài)數(shù)據(jù)，速度快，但也涉及到內存分配太大的問題。此時，需要考慮做并發(fā)或者分布式處理。涉及到硬件投資增加問題，不建議采購小型機，改為采購刀片服務器或其它服務器。數(shù)據(jù)也可采用前端調用時再動態(tài)加載，根據(jù)機器配置，讓線程分批次加載數(shù)據(jù)并處理。這樣對硬件要求低，但速度相對會慢。方案2細節(jié)：數(shù)據(jù)為每月或每日凌晨初始化讀入，載入到內存后。在方案2細節(jié)：前端向后臺通信采取socket方式，后臺處理完數(shù)據(jù)后，可以把最終數(shù)據(jù)合并，再加載到數(shù)據(jù)庫中的表，也可以由各線程把各自數(shù)據(jù)分批插入到數(shù)據(jù)庫中的表。數(shù)據(jù)加載完成后，再通過socket通知前端處理完畢。LUA具體如何處理和優(yōu)化，細節(jié)尚待研究，需要花時間。細致工作還有很多，需要繼續(xù)研究和深入下去。方案2細節(jié)：前端向后臺通信采取socket方式，后臺處理完數(shù)方案2細節(jié)：如果要考慮到硬件成本、分布式部署、開發(fā)時間和難度問題，可以接下來優(yōu)化為采用hadoop方案。采用hadoop方案后，整體數(shù)據(jù)量在千萬級，有些省例外，到了億級。硬件投資改為采購幾臺PC

Server，硬件投入為幾萬元。數(shù)據(jù)都在庫外處理，NOSQL方式，數(shù)據(jù)庫可以改為使用開源數(shù)據(jù)庫MySQL，存放配置信息。這樣DB2、Oracle或其它數(shù)據(jù)庫都可以替換掉。方案2細節(jié)：如果要考慮到硬件成本、分布式部署、開發(fā)時間和難度方案2細節(jié)：整體來說，實用hadoop方式或