工商數(shù)據(jù)質(zhì)量管理校核解決方案

數(shù)據(jù)質(zhì)量管理校核數(shù)據(jù)質(zhì)量管理校核系統(tǒng)方案建議書?IBMCorporation2010.AllRightsReserved.IBMisaregisteredtrademarkofInternationalBusinessMachinesCorporationintheUnitedStates,othercountries,orboth.目錄TOC\o"1-3"\h\z第1章 摘要 11.1 我們對(duì)您的目標(biāo)的理解 11.2 我們?nèi)绾螏湍鷮?shí)現(xiàn)目標(biāo)（方案簡(jiǎn)述） 21.3 方案價(jià)值 21.4 勝利案例 3第2章 工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)解決方案介紹 42.1 總體架構(gòu) 42.2 功能模塊 42.3 典型配置 8 Spssmodeler數(shù)據(jù)服務(wù)器配置說(shuō)明 8摘要我們對(duì)您的目標(biāo)的理解國(guó)家于2007年底接連起先實(shí)施金信工程一期，依托國(guó)家電子政務(wù)網(wǎng)絡(luò)，建立了涵蓋全國(guó)市場(chǎng)主體的經(jīng)濟(jì)戶口數(shù)據(jù)庫(kù)，為國(guó)家電子政務(wù)重點(diǎn)工程供應(yīng)了有力支撐；通過數(shù)據(jù)整合，建立了為企業(yè)監(jiān)管、“12315”執(zhí)法和商標(biāo)學(xué)問產(chǎn)權(quán)愛護(hù)服務(wù)的專題數(shù)據(jù)庫(kù)群，為各級(jí)工商行政管理部門監(jiān)督管理市場(chǎng)主體供應(yīng)剛好、精確的信息支持；建立覆蓋全國(guó)各級(jí)工商行政管理機(jī)關(guān)的“12315”行政執(zhí)法信息處理網(wǎng)絡(luò)和企業(yè)信用分類監(jiān)管兩類業(yè)務(wù)應(yīng)用系統(tǒng)，整合了現(xiàn)有業(yè)務(wù)，優(yōu)化了企業(yè)監(jiān)管與行政執(zhí)法業(yè)務(wù)應(yīng)用支撐系統(tǒng)；實(shí)現(xiàn)了申訴舉報(bào)信息的全面采集、逐級(jí)匯總和綜合利用，實(shí)現(xiàn)行政執(zhí)法的網(wǎng)上操作、網(wǎng)上調(diào)度指揮和網(wǎng)上信息流轉(zhuǎn)。但是，通過數(shù)據(jù)現(xiàn)狀分析發(fā)覺還存在很多問題，各個(gè)單位都普遍存在數(shù)據(jù)缺項(xiàng)、冗余、不精確等問題。為此，2010年，總局在《關(guān)于在全國(guó)工商行政管理系統(tǒng)開展“數(shù)據(jù)質(zhì)量建設(shè)年”活動(dòng)的通知》（工商辦字[2010]80號(hào)）中，明確要求，在制定數(shù)據(jù)質(zhì)量管理制度的基礎(chǔ)上，建設(shè)數(shù)據(jù)質(zhì)量評(píng)價(jià)校核管理系統(tǒng)，利用先進(jìn)的技術(shù)手段，進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià)校核，實(shí)施數(shù)據(jù)質(zhì)量的全面檢查。目前大部分地方工商系統(tǒng)還沒有較為成熟的數(shù)據(jù)質(zhì)量管理系統(tǒng)，一般采納的是SQL拼接的方式來(lái)進(jìn)行數(shù)據(jù)質(zhì)量檢查，這種校核方式存在以下弊端：基于SQL查詢比對(duì)進(jìn)行數(shù)據(jù)質(zhì)量管理，技術(shù)門檻高，數(shù)據(jù)質(zhì)量的問題大多來(lái)源于業(yè)務(wù)部門，而業(yè)務(wù)部門大多不能也難于操作SQL查詢，技術(shù)門檻成為數(shù)據(jù)質(zhì)量校核的一大瓶頸?；赟QL的查詢比對(duì)基本是基于吩咐行的操作，參數(shù)選擇和任務(wù)配置較為繁瑣，很難實(shí)現(xiàn)敏捷的模型管理和任務(wù)流調(diào)度管理，系統(tǒng)架構(gòu)較為死板，敏捷性與開放性均較差。數(shù)據(jù)質(zhì)量校核的模型管理沒有專業(yè)的工具來(lái)進(jìn)行，只能借助數(shù)據(jù)庫(kù)的現(xiàn)有的工具來(lái)進(jìn)行，當(dāng)模型數(shù)量增加時(shí)，管理較為吃力。業(yè)務(wù)變動(dòng)時(shí)或者新增需求時(shí)模型的修改與新建較為繁瑣。很難進(jìn)行基于統(tǒng)計(jì)意義的數(shù)據(jù)質(zhì)量校核，例如孤立點(diǎn)探測(cè)，離群值探測(cè)等等。為解決以上問題，縮短與國(guó)際先進(jìn)數(shù)據(jù)管理方式的距離，數(shù)據(jù)共同打造工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)，引入專業(yè)的數(shù)據(jù)管理分析工具Spssmodeler，結(jié)合工商總局現(xiàn)有的業(yè)務(wù)規(guī)則以及各地工商實(shí)際業(yè)務(wù)特點(diǎn)量身打造本系統(tǒng)，推動(dòng)工商數(shù)據(jù)精細(xì)化和科學(xué)化，其建設(shè)目標(biāo)在于：實(shí)現(xiàn)領(lǐng)先的數(shù)據(jù)質(zhì)量管理理念；形成科學(xué)、好用的數(shù)據(jù)質(zhì)量管理體系，數(shù)據(jù)質(zhì)量校核模型體系；建立數(shù)據(jù)質(zhì)量管理長(zhǎng)效協(xié)同機(jī)制；擴(kuò)展、深化數(shù)據(jù)管理內(nèi)容，為進(jìn)一步工商數(shù)據(jù)分析應(yīng)用奠定基礎(chǔ)。我們?nèi)绾螏湍鷮?shí)現(xiàn)目標(biāo)（方案簡(jiǎn)述）工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)，是為工商管理領(lǐng)域供應(yīng)的聯(lián)合解決方案，該系統(tǒng)針對(duì)目前工商管理中存在的數(shù)據(jù)質(zhì)量問題，例如完整性問題、一樣性問題、精確性問題、規(guī)范性問題以及問題數(shù)據(jù)的追溯反饋問題，整合了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析，數(shù)據(jù)挖掘，可視化呈現(xiàn)以及工作流等多項(xiàng)信息技術(shù)，結(jié)合了工商總局現(xiàn)有的業(yè)務(wù)規(guī)則設(shè)計(jì)開發(fā)數(shù)據(jù)質(zhì)量完整性模型，規(guī)范性模型，精確性模型，離群值模型，孤立點(diǎn)探測(cè)模型等，近1000條業(yè)務(wù)規(guī)則模型，涵蓋目前工商市場(chǎng)主體，案件，12315等基本業(yè)務(wù)主題，實(shí)現(xiàn)對(duì)各地方工商業(yè)務(wù)數(shù)據(jù)的全面，專業(yè)，高效的數(shù)據(jù)質(zhì)量校核與監(jiān)控。同時(shí)，工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)也為進(jìn)一步數(shù)據(jù)分析應(yīng)用奠定了技術(shù)支撐。數(shù)據(jù)質(zhì)量模型設(shè)計(jì)可視化：可視化操作，降低業(yè)務(wù)人員技術(shù)門檻數(shù)據(jù)管理校核任務(wù)流程化：采納工作流管理模式，可便利進(jìn)行模型間的組合形成工作流，同時(shí)對(duì)該工作流的調(diào)度管理依據(jù)任務(wù)管理模型進(jìn)行，便利易用。問題數(shù)據(jù)追溯智能化：對(duì)于問題數(shù)據(jù)依據(jù)業(yè)務(wù)歸屬自動(dòng)推送到相關(guān)業(yè)務(wù)歸口單位，實(shí)現(xiàn)智能推送，閉環(huán)管理業(yè)務(wù)流程。標(biāo)準(zhǔn)八大業(yè)務(wù)模塊：平常檢查模塊、集中檢查模塊，問題追溯模塊，模型管理模塊，可視化呈現(xiàn)模型，數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)模塊，數(shù)據(jù)質(zhì)量分析模塊，任務(wù)管理模塊。方案價(jià)值工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)適用于省、市、區(qū)縣工商管理部門，能夠滿意現(xiàn)有工商業(yè)務(wù)數(shù)據(jù)質(zhì)量管理的基本需求；內(nèi)嵌總局規(guī)范的數(shù)據(jù)質(zhì)量管理模型體系（校核規(guī)則近1000條），能夠依據(jù)各地實(shí)際業(yè)務(wù)需求進(jìn)行敏捷定制開發(fā)，快速響應(yīng)新業(yè)務(wù)需求，可以深化和擴(kuò)展數(shù)據(jù)管理內(nèi)容，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用分析的擴(kuò)展需求。實(shí)施本方案將為您帶來(lái)如下價(jià)值：極大地提高了工商數(shù)據(jù)管理效率依據(jù)工商總局實(shí)際應(yīng)用統(tǒng)計(jì)，本系統(tǒng)對(duì)全國(guó)存量數(shù)據(jù)進(jìn)行掃描校核，處理時(shí)間在20小時(shí)以內(nèi)，對(duì)于周新增數(shù)據(jù)進(jìn)行掃描校核，處理時(shí)間在2小時(shí)以內(nèi)。而以往采納SQL進(jìn)行數(shù)據(jù)質(zhì)量校核，存量校核處理時(shí)間在3天以上，可見，應(yīng)用系統(tǒng)后數(shù)據(jù)質(zhì)量管理效率明顯提高。大大降低了數(shù)據(jù)質(zhì)量管理成本本系統(tǒng)采納先進(jìn)的工具軟件進(jìn)行模型設(shè)計(jì)，大大降低了模型設(shè)計(jì)開發(fā)與維護(hù)的技術(shù)門檻，一般業(yè)務(wù)人員經(jīng)過簡(jiǎn)潔培訓(xùn)就可以快速上手，縮短了與技術(shù)人員溝通的時(shí)間，大大降低了管理成本。同時(shí)本系統(tǒng)可便利進(jìn)行存量數(shù)據(jù)和增量數(shù)據(jù)檢查，系統(tǒng)針對(duì)不同業(yè)務(wù)主題進(jìn)行合理的選擇，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的增量檢查和分環(huán)節(jié)檢查，降低了檢查負(fù)荷，提高了檢查監(jiān)控的頻率，從而降低了檢查成本。為實(shí)現(xiàn)進(jìn)一步數(shù)據(jù)分析應(yīng)用奠定了基礎(chǔ)數(shù)據(jù)質(zhì)量管理校核內(nèi)嵌全面系統(tǒng)的總局?jǐn)?shù)據(jù)質(zhì)量校核模型，可大大提高現(xiàn)有工商數(shù)據(jù)質(zhì)量，同時(shí)本系統(tǒng)采納的工具軟件Spssmodeler內(nèi)嵌豐富先進(jìn)的數(shù)據(jù)挖掘模型，可實(shí)現(xiàn)對(duì)現(xiàn)有工商數(shù)據(jù)的深度應(yīng)用分析，例如市場(chǎng)活躍度指數(shù)構(gòu)建與分析，市場(chǎng)主體存活路徑分析，信用風(fēng)險(xiǎn)模型體系構(gòu)建等等。勝利案例國(guó)家工商總局?jǐn)?shù)據(jù)質(zhì)量管理校核系統(tǒng)工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)解決方案介紹總體架構(gòu)工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)設(shè)計(jì)依據(jù)分層設(shè)計(jì)理念，分為網(wǎng)絡(luò)通訊層，系統(tǒng)設(shè)施層，數(shù)據(jù)層，模型層，分析呈現(xiàn)層，應(yīng)用系統(tǒng)層和界面層，系統(tǒng)建設(shè)的同時(shí)建設(shè)數(shù)據(jù)質(zhì)量評(píng)價(jià)校核的平安體系，標(biāo)準(zhǔn)體系和協(xié)作體系，詳細(xì)如下圖所示：圖表SEQ圖表\*ARABIC1邏輯結(jié)構(gòu)圖其中集中檢查的外業(yè)部分采納客戶端進(jìn)行，客戶端自身攜帶檢查任務(wù)，檢查工作流，問題數(shù)據(jù)庫(kù)。當(dāng)外業(yè)工作完成后，可以將檢查結(jié)果（問題數(shù)據(jù)庫(kù)）提交到服務(wù)器端的問題數(shù)據(jù)庫(kù)中。功能模塊工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)包括數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)校核，問題數(shù)據(jù)追溯反饋和數(shù)據(jù)質(zhì)量模型管理三大核心模塊以及前端展示模塊和數(shù)據(jù)質(zhì)量分析模塊等組成。其中數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)校核模塊的主要功能如圖2所示。數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)校核模塊數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)校核模塊平常檢查平常檢查總體評(píng)價(jià)市場(chǎng)主體信息黑名單一人公司數(shù)據(jù)互聯(lián)網(wǎng)應(yīng)用企業(yè)數(shù)據(jù)動(dòng)態(tài)更新狀況數(shù)據(jù)規(guī)則統(tǒng)計(jì)查詢檢查范圍核準(zhǔn)圖2數(shù)據(jù)質(zhì)量監(jiān)測(cè)評(píng)價(jià)校核模塊功能圖問題數(shù)據(jù)追溯反饋模塊的主要功能如圖3所示。問題數(shù)據(jù)追溯模塊問題數(shù)據(jù)追溯模塊問題數(shù)據(jù)查詢問題數(shù)據(jù)發(fā)布修正進(jìn)度監(jiān)控?cái)?shù)據(jù)分析報(bào)告圖3問題數(shù)據(jù)追溯模塊功能圖數(shù)據(jù)質(zhì)量模型管理模塊的功能如圖4所示。數(shù)據(jù)質(zhì)量模型管理模塊數(shù)據(jù)質(zhì)量模型管理模塊流文件管理任務(wù)流調(diào)度規(guī)則表管理圖4數(shù)據(jù)質(zhì)量模型管理模塊功能圖數(shù)據(jù)質(zhì)量前端呈現(xiàn)主要完成對(duì)現(xiàn)有數(shù)據(jù)的質(zhì)量分析查看，幫助深化了解數(shù)據(jù)質(zhì)量主要存在的問題，區(qū)域分布特點(diǎn)，業(yè)務(wù)分布特點(diǎn)，質(zhì)量改變趨勢(shì)等等，主要借助Cognos呈現(xiàn)工具來(lái)實(shí)現(xiàn)。數(shù)據(jù)質(zhì)量分析模塊包括：設(shè)計(jì)評(píng)價(jià)模型設(shè)計(jì)評(píng)估模型，運(yùn)用工具軟件采納Spssmodeler(SpssSpssmodeler13.0)通過看我們已經(jīng)做好的國(guó)家工商行政管理總局?jǐn)?shù)據(jù)質(zhì)量評(píng)價(jià)校核管理系統(tǒng)的一些截圖，可以使讀者更了解本解決方案，下面的是平常檢查模塊的頁(yè)面截圖，如圖5所示。圖5平常檢查頁(yè)面截圖以下是平常檢查部分的模型開發(fā)列表，如圖6所示。圖6平常檢查模型開發(fā)列表圖以下是模型設(shè)計(jì)圖，通過一個(gè)個(gè)的節(jié)點(diǎn)構(gòu)成模型，如圖7所示。圖7模型設(shè)計(jì)圖典型配置應(yīng)用系統(tǒng)：工商數(shù)據(jù)質(zhì)量管理校核系統(tǒng)數(shù)據(jù)庫(kù)：IBMDB2數(shù)據(jù)庫(kù)接口：SPSSAccessPack供應(yīng)的ODBC工具軟件：Spssmodeler(Spssmodeler)操作系統(tǒng)：Windows2000,Windows2003orWindowsXP硬件平臺(tái)：IBMX3850存儲(chǔ)系統(tǒng)：IBMDS4800Spssmodeler數(shù)據(jù)服務(wù)器配置說(shuō)明數(shù)量對(duì)性能的影響每個(gè)CPU的核心速率都會(huì)影響到數(shù)據(jù)挖掘性能。幾乎全部的數(shù)據(jù)挖掘操作，尤其是建模，更依靠于處理器性能，因此提升CPU速率相應(yīng)地就能給很多Spssmodeler操作帶來(lái)相應(yīng)的好處。當(dāng)運(yùn)行多個(gè)數(shù)據(jù)流時(shí)多CPU（或是多核CPU）平臺(tái)能夠有很好的性能改善。這就意味著用戶數(shù)量是確定CPU數(shù)量的確定因素。多CPU能夠提升并行處理實(shí)力，但更大的好處就在于能夠支持更多的并發(fā)用戶。用戶個(gè)數(shù)CPU數(shù)量1-213-425-10411-20821+16表1CPU數(shù)量與用戶關(guān)系的建議表運(yùn)用SPSS在生產(chǎn)服務(wù)器上執(zhí)行數(shù)據(jù)挖掘任務(wù)，CPU的數(shù)量則要考慮同時(shí)執(zhí)行的獨(dú)立作業(yè)的個(gè)數(shù)。同時(shí)建立多個(gè)模型或者把一個(gè)模型評(píng)分過程分解成多個(gè)平行步驟分派給多個(gè)CPU執(zhí)行能夠讓數(shù)據(jù)挖掘過程的性能達(dá)到最大。內(nèi)存對(duì)性能的影響大多數(shù)Spssmodeler操作只須要很小的內(nèi)存就能夠處理大數(shù)據(jù)集。只有一些特別的操作，如排序，聯(lián)合和建模須要把數(shù)據(jù)臨時(shí)存放在內(nèi)存中。假如內(nèi)存不足，這些操作會(huì)把部分?jǐn)?shù)據(jù)作為虛擬內(nèi)存存放在外部存儲(chǔ)器中。此時(shí)性能會(huì)受到影響。因?yàn)榇疟P的讀寫訪問速度要遠(yuǎn)遠(yuǎn)低于內(nèi)存。同CPU運(yùn)用建議一樣，用戶數(shù)的多少同樣對(duì)內(nèi)存的需求有著親密關(guān)系，當(dāng)然也與數(shù)據(jù)量的大小有關(guān)。用戶個(gè)數(shù)最小內(nèi)存需求1-21GB3-42GB5-104GB11-208GB21+16GB表2內(nèi)存需求與用戶關(guān)系的建議表大數(shù)據(jù)集模型建立在數(shù)據(jù)挖掘過程中模型建立是對(duì)內(nèi)存需求特別敏感的操作步驟。一般來(lái)說(shuō)想要得到較好的效果，模型建立的過程應(yīng)當(dāng)是在小數(shù)據(jù)集上建立多個(gè)模型，然后從中選擇一個(gè)最佳模型應(yīng)用，而不是在一個(gè)大數(shù)據(jù)集上只建立一個(gè)模型。這種模型建立方式通常能夠?qū)?nèi)存的需求降到最低。雖然運(yùn)用更多的數(shù)據(jù)未必能讓模型的精確度更高，但是假如實(shí)際中的確須要處理大規(guī)模