煙草行業(yè)數(shù)據(jù)綜合分析應(yīng)用解決方案

3 3 3 44.1、設(shè)計(jì)原則 44.2、設(shè)計(jì)思路 54.3、總體架構(gòu) 6 65.1、整合內(nèi)容 6 7 7 95.3、數(shù)據(jù)應(yīng)用 5.4、主要功能 22 5.4.4、圖表定制 245.1、企業(yè)報(bào)表 245.2、主題分析 25 整合決策3、無(wú)縫集成的應(yīng)用桌面終端信息利用管理信息發(fā)布管理報(bào)表管理共掌數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)源安全、標(biāo)準(zhǔn)規(guī)范體系維護(hù)運(yùn)營(yíng)規(guī)范體系原始數(shù)據(jù)區(qū)數(shù)據(jù)集市區(qū)移動(dòng)終端數(shù)據(jù)來(lái)源主要為營(yíng)銷(xiāo)系統(tǒng)、專(zhuān)賣(mài)系統(tǒng)、物流系統(tǒng)、財(cái)務(wù)系統(tǒng)、0A系統(tǒng)以及5.2、采集處理方式通過(guò)WebService機(jī)制項(xiàng)服務(wù)器傳遞消息；支持通過(guò)各類(lèi)數(shù)據(jù)傳輸中間件進(jìn)行消數(shù)據(jù)采集模數(shù)據(jù)加工處理數(shù)據(jù)采集模數(shù)據(jù)加工處理信息采集模塊5.2.1.2、技術(shù)實(shí)現(xiàn)數(shù)據(jù)利用數(shù)據(jù)利用數(shù)據(jù)中心共享數(shù)據(jù)庫(kù)采集方式數(shù)據(jù)源后現(xiàn)有多媒體文檔2、數(shù)據(jù)接口本系統(tǒng)采集通過(guò)建立數(shù)據(jù)□的方式與現(xiàn)有的營(yíng)銷(xiāo)系統(tǒng)、專(zhuān)賣(mài)系統(tǒng)、物流系統(tǒng)、財(cái)務(wù)系統(tǒng)、0A系統(tǒng)以及其他業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)采集，并將采集數(shù)據(jù)進(jìn)行審核與加工處理。與此同時(shí)考慮到與新系統(tǒng)的整合，系統(tǒng)將預(yù)留數(shù)據(jù)交互模塊并建立數(shù)據(jù)交換機(jī)制，為新業(yè)務(wù)系統(tǒng)的接入提供準(zhǔn)備。利用完善的ETL工具，通過(guò)節(jié)點(diǎn)控制庫(kù)、信息共享與管理庫(kù)把采集來(lái)的數(shù)據(jù)按照業(yè)務(wù)內(nèi)在關(guān)聯(lián)形成能夠表述完整業(yè)務(wù)鏈信息的整合信息，并為下一步的數(shù)據(jù)應(yīng)用打定基礎(chǔ)。1、ETL工具介紹ETL負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。ETL是數(shù)據(jù)倉(cāng)庫(kù)中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于關(guān)系數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)沒(méi)有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，它更面向?qū)嶋H項(xiàng)目應(yīng)用。所以從項(xiàng)目應(yīng)用的角度來(lái)考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)集市區(qū)展現(xiàn)與分析區(qū)(用戶(hù))管理采購(gòu)物流綜合展現(xiàn)系統(tǒng)購(gòu)思域交換數(shù)據(jù)上報(bào)校驗(yàn)數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)例層次上.糟糕的模式設(shè)計(jì)、缺少完整性約束的定義以及多個(gè)數(shù)據(jù)源之間異質(zhì)的清洗工具就能夠根據(jù)這條規(guī)則判斷出哪些是無(wú)效值.對(duì)于第2種拼寫(xiě)錯(cuò)誤的情形，市名相比較，就可以判斷出數(shù)據(jù)庫(kù)中存放的本來(lái)應(yīng)該是哪個(gè)城市.對(duì)于第3種情查找表.對(duì)于第4種情形，在一個(gè)自由格式的文本類(lèi)每個(gè)部分都可以單獨(dú)作為一個(gè)字段.如果每個(gè)部分的先后順序一定，且互相之間情況往往不是這樣，因此要通過(guò)機(jī)器學(xué)習(xí)或者其他辦法來(lái)解決.由領(lǐng)域?qū)＜疫x定說(shuō)，需要折衷考慮記憶率和準(zhǔn)確率.我們將利用隱馬爾科夫模型(HMM)的解決辦法.第8種和第9種情形表示的是相似重復(fù)記錄的情況.在第8種情形里，一個(gè)記在檢測(cè)相似重復(fù)記錄之前，需要先對(duì)數(shù)據(jù)進(jìn)行一些處理性別等.相似重復(fù)記錄清除可以針對(duì)兩個(gè)數(shù)據(jù)集或者一個(gè)合并后的數(shù)據(jù)集.首先，需最簡(jiǎn)單的情況是，數(shù)據(jù)記錄具有這樣的屬性集(或者屬性),它總能夠惟一標(biāo)們還考慮了字符串的縮寫(xiě)形式并結(jié)合信息檢索的向量空間模型來(lái)定義文本元素在處理大的數(shù)據(jù)集時(shí)，匹配重復(fù)記錄是一個(gè)非常耗時(shí)的過(guò)程.因?yàn)槭悄：?.3、數(shù)據(jù)應(yīng)用文本數(shù)據(jù)從各類(lèi)數(shù)據(jù)源(數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、平面文件)中精心篩選出來(lái)的“黃金”析，支持TOPN/BottomN分析，支持2/8分析，支持源集成到一個(gè)一致的視圖中。為了實(shí)現(xiàn)這個(gè)目的，本工具會(huì)將公共描述符>客戶(hù)主題分析5.4、主要功能于192.0.2.3上的端口為8020的getData服務(wù)等。添加用戶(hù)姓名