煙草行業(yè)數(shù)據(jù)中心基本介紹課件

數(shù)據(jù)中心基本介紹中軟國(guó)際·2008.06中國(guó)煙草CHINATOBACCO數(shù)據(jù)中心基本介紹中軟國(guó)際·2008.06中國(guó)煙草CHINA數(shù)據(jù)中心在煙草數(shù)據(jù)中心在煙草2什么是數(shù)據(jù)中心？在線聯(lián)機(jī)分析OLAP數(shù)據(jù)挖掘數(shù)據(jù)展現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)商業(yè)智能系統(tǒng)管理決策電子商務(wù)電子政務(wù)ERP市場(chǎng)信息……信息系統(tǒng)層

數(shù)據(jù)中心（datacenter簡(jiǎn)稱DC）是商業(yè)智能應(yīng)用在煙草行業(yè)發(fā)展應(yīng)用的特定叫法，從商業(yè)智能的角度理解數(shù)據(jù)中心，煙草行業(yè)信息化建設(shè)發(fā)展到一定程度，具有一定的數(shù)據(jù)積累，并以數(shù)據(jù)倉(cāng)庫(kù)（DataWarehousing）、聯(lián)機(jī)分析處理（OLAP）、數(shù)據(jù)挖掘（DataMining）等技術(shù)為基礎(chǔ)，以數(shù)據(jù)集中、查詢、分析、知識(shí)發(fā)現(xiàn)為手段，采用的一系列方法、技術(shù)和軟件的總和

。數(shù)據(jù)數(shù)據(jù)統(tǒng)計(jì)、挖掘、智能信息與知識(shí)E抽取T轉(zhuǎn)換C清洗L裝載數(shù)據(jù)存放層數(shù)據(jù)分析層知識(shí)分析層戰(zhàn)略決策層什么是數(shù)據(jù)中心？在線聯(lián)機(jī)數(shù)據(jù)挖掘數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)商業(yè)智能系統(tǒng)管理3數(shù)據(jù)中心在煙草《數(shù)據(jù)煙草發(fā)展綱要》統(tǒng)一平臺(tái)、統(tǒng)一數(shù)據(jù)庫(kù)、統(tǒng)一網(wǎng)絡(luò)、統(tǒng)一行業(yè)數(shù)據(jù)中心建設(shè)。數(shù)據(jù)中心建設(shè)要在保證不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)相對(duì)獨(dú)立的基礎(chǔ)上，建立數(shù)據(jù)交換和共享機(jī)制，通過(guò)對(duì)數(shù)據(jù)的加工、清洗、傳遞和交換，實(shí)現(xiàn)行業(yè)公用數(shù)據(jù)的標(biāo)準(zhǔn)化、一致化，建成基于不同類(lèi)型業(yè)務(wù)主題的高水平數(shù)據(jù)應(yīng)用環(huán)境，實(shí)行數(shù)出一門(mén)，信息共享。行業(yè)要建設(shè)國(guó)家局（總公司）、省級(jí)局與工業(yè)公司、基層工商企業(yè)三級(jí)數(shù)據(jù)中心，逐步向上集中。在國(guó)家局（總公司）數(shù)據(jù)中心的統(tǒng)一管理下，要通過(guò)數(shù)據(jù)整合，按照一定的規(guī)則和權(quán)限，在行業(yè)內(nèi)部實(shí)行各取所需、授權(quán)訪問(wèn)，做到信息共享?！稛煵菪袠I(yè)數(shù)據(jù)中心建設(shè)實(shí)施意見(jiàn)》行業(yè)數(shù)據(jù)中心建設(shè)的總體目標(biāo)是：構(gòu)建以信息資源標(biāo)準(zhǔn)為基礎(chǔ)的數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)存儲(chǔ)平臺(tái)和信息服務(wù)平臺(tái)。通過(guò)數(shù)據(jù)的收集、存儲(chǔ)、加工，產(chǎn)生全面、準(zhǔn)確、及時(shí)的信息資源，實(shí)現(xiàn)資源整合，信息共享；通過(guò)信息資源的分析、決策、執(zhí)行、反饋，建立全面準(zhǔn)確量化的管理體系，實(shí)現(xiàn)管理從定性向定量、由靜態(tài)向動(dòng)態(tài)、由事后向?qū)崟r(shí)的轉(zhuǎn)變，提升行業(yè)經(jīng)營(yíng)管理水平，提高行業(yè)整體競(jìng)爭(zhēng)實(shí)力。數(shù)據(jù)中心在煙草《數(shù)據(jù)煙草發(fā)展綱要》45數(shù)據(jù)中心建設(shè)思路《煙草行業(yè)數(shù)據(jù)中心建設(shè)實(shí)施意見(jiàn)》煙草行業(yè)數(shù)據(jù)中心由國(guó)家局和省級(jí)公司兩級(jí)數(shù)據(jù)中心構(gòu)成，由信息資源標(biāo)準(zhǔn)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)加工存儲(chǔ)、數(shù)據(jù)分析應(yīng)用和信息安全保障五個(gè)基本體系組成，應(yīng)用包括國(guó)家局、省級(jí)公司和工商企業(yè)三級(jí)用戶。5數(shù)據(jù)中心建設(shè)思路《煙草行業(yè)數(shù)據(jù)中心建設(shè)實(shí)施意見(jiàn)》煙草行業(yè)數(shù)5把握基礎(chǔ)信息就等于把握信息化建設(shè)價(jià)值數(shù)據(jù)集成統(tǒng)一交換信息整合輔助決策建立企業(yè)內(nèi)部統(tǒng)一的信息資源標(biāo)準(zhǔn)，統(tǒng)一企業(yè)內(nèi)部的數(shù)據(jù)口徑與理解，提高數(shù)據(jù)質(zhì)量，同時(shí)為后續(xù)建設(shè)系統(tǒng)提供指導(dǎo)。信息集成，建立中心數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)中心項(xiàng)目中的中心數(shù)據(jù)庫(kù)建設(shè)，統(tǒng)一數(shù)據(jù)出口，進(jìn)行數(shù)據(jù)管理，實(shí)現(xiàn)數(shù)出一門(mén)。實(shí)現(xiàn)數(shù)據(jù)采集渠道統(tǒng)一，消除信息孤島。避免大量私有接口，減少后續(xù)系統(tǒng)開(kāi)發(fā)的復(fù)雜度，避免牽一發(fā)動(dòng)全身現(xiàn)象，保持業(yè)務(wù)系統(tǒng)獨(dú)立性建立數(shù)據(jù)中心，梳理業(yè)務(wù)流程，打破系統(tǒng)邊界、職能界限，實(shí)現(xiàn)有效的信息整合。實(shí)現(xiàn)數(shù)據(jù)向知識(shí)的轉(zhuǎn)換，充分體現(xiàn)事前預(yù)測(cè)、事中監(jiān)控、事后分析原則。統(tǒng)一規(guī)范建立企業(yè)內(nèi)部統(tǒng)一的信息資源標(biāo)準(zhǔn)，統(tǒng)一企業(yè)內(nèi)部的數(shù)據(jù)口徑與理解，提高數(shù)據(jù)質(zhì)量，同時(shí)為后續(xù)建設(shè)系統(tǒng)提供指導(dǎo)。響應(yīng)國(guó)家局幾個(gè)統(tǒng)一的要求能夠真正有效的管理信息系統(tǒng)使企業(yè)內(nèi)部規(guī)范為企業(yè)高層領(lǐng)導(dǎo)服務(wù)提高系統(tǒng)肯定率把握基礎(chǔ)信息就等于價(jià)值數(shù)據(jù)集成統(tǒng)一交換信息整合輔助決策建立企6整體構(gòu)架整體構(gòu)架7數(shù)據(jù)運(yùn)行保障體系信息資源標(biāo)準(zhǔn)體系數(shù)據(jù)交換服務(wù)體系數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)加工體系企業(yè)內(nèi)部數(shù)據(jù)數(shù)據(jù)分析應(yīng)用體系行業(yè)平臺(tái)數(shù)據(jù)傳輸通道卷包數(shù)采MES數(shù)據(jù)ETL工具報(bào)表，OLAP分析企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)代碼中心其他··············錄入導(dǎo)入數(shù)據(jù)中心架構(gòu)能源系統(tǒng)制絲集控其他系統(tǒng)數(shù)據(jù)運(yùn)行信息資源數(shù)據(jù)源企業(yè)內(nèi)部數(shù)據(jù)行業(yè)平臺(tái)數(shù)據(jù)傳輸通道卷包數(shù)89中軟國(guó)際在數(shù)據(jù)中心項(xiàng)目中做什么？工藝過(guò)程質(zhì)量效率可控柔性化生產(chǎn)隨需應(yīng)變重點(diǎn)難點(diǎn)卷煙生產(chǎn)供應(yīng)鏈的啟發(fā)：讓用戶明確工作及定位利用各種工具搭建數(shù)據(jù)中心加工環(huán)境，分析業(yè)務(wù)及用戶需求建立各種分析及應(yīng)用做的事情：99中軟國(guó)際在數(shù)據(jù)中心項(xiàng)目中做什么？工藝過(guò)程重點(diǎn)難點(diǎn)卷煙生產(chǎn)供搭建“加工環(huán)境”的產(chǎn)品比較ArcplanBusinessObjectsXIMSTR潤(rùn)乾報(bào)表數(shù)據(jù)源抽取、轉(zhuǎn)換、加載業(yè)務(wù)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉(cāng)庫(kù)IBMDB2UDBOracleEnterpriseETL元數(shù)據(jù)前端分析展現(xiàn)工具查詢工具、應(yīng)用InformaticaPowerCenterIBMDatastageWII存儲(chǔ)過(guò)程DB2CubeviewHyperionEssbase搭建“加工環(huán)境”的產(chǎn)品比較Arcplan數(shù)據(jù)源抽取、轉(zhuǎn)換、加10公司數(shù)據(jù)中心優(yōu)勢(shì)融入數(shù)據(jù)管控的思想，可保障數(shù)據(jù)質(zhì)量數(shù)據(jù)是數(shù)據(jù)中心建設(shè)的核心，質(zhì)量是數(shù)據(jù)中心建設(shè)的靈魂國(guó)家局的戰(zhàn)略伙伴，了解行業(yè)趨勢(shì)，，熟悉業(yè)務(wù)，可建設(shè)前瞻性項(xiàng)目保持項(xiàng)目建設(shè)的鮮活性與各公司相比案例最多，可借鑒的項(xiàng)目經(jīng)驗(yàn)多在多個(gè)數(shù)據(jù)中心建設(shè)項(xiàng)目中獲得啟發(fā)，取長(zhǎng)補(bǔ)短不僅有自己的產(chǎn)品，可靈活利用非本公司產(chǎn)品靈活應(yīng)用各種相關(guān)產(chǎn)品11公司數(shù)據(jù)中心優(yōu)勢(shì)融入數(shù)據(jù)管控的思想，可保障數(shù)據(jù)質(zhì)量國(guó)家局的戰(zhàn)

系統(tǒng)目標(biāo)2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)

統(tǒng)一信息資源管理是煙草數(shù)據(jù)中心系統(tǒng)建設(shè)的基礎(chǔ)。在項(xiàng)目建設(shè)中，必須建立一套信息資源標(biāo)準(zhǔn)管理體系以及與此相適應(yīng)的工作機(jī)制，對(duì)煙草所使用的代碼和信息資源進(jìn)行統(tǒng)一的管理。通過(guò)基礎(chǔ)代碼、指標(biāo)體系、信息資源的統(tǒng)一，形成數(shù)據(jù)交換和數(shù)據(jù)應(yīng)用的支撐，為系統(tǒng)集成、信息共享打好基礎(chǔ)。信息資源標(biāo)準(zhǔn)管理平臺(tái)業(yè)務(wù)系統(tǒng)新業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)商業(yè)數(shù)據(jù)中心數(shù)據(jù)集成與交換平臺(tái)12系統(tǒng)目標(biāo)2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)統(tǒng)一信息資源管信息資源標(biāo)準(zhǔn)管理體系數(shù)據(jù)元標(biāo)準(zhǔn)庫(kù)編碼標(biāo)準(zhǔn)庫(kù)數(shù)據(jù)交換標(biāo)準(zhǔn)庫(kù)數(shù)據(jù)元標(biāo)準(zhǔn)管理信息編碼標(biāo)準(zhǔn)管理數(shù)據(jù)交換標(biāo)準(zhǔn)管理

建設(shè)內(nèi)容2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)維護(hù)查詢注冊(cè)審批發(fā)布數(shù)據(jù)元標(biāo)準(zhǔn)框架關(guān)鍵指標(biāo)元標(biāo)準(zhǔn)維護(hù)查詢申請(qǐng)審核發(fā)布服務(wù)管理維護(hù)表示標(biāo)準(zhǔn)傳輸標(biāo)準(zhǔn)接口標(biāo)準(zhǔn)報(bào)文格式標(biāo)準(zhǔn)13信息資源標(biāo)準(zhǔn)管理體系數(shù)據(jù)元標(biāo)準(zhǔn)庫(kù)編碼標(biāo)準(zhǔn)庫(kù)數(shù)據(jù)交換標(biāo)準(zhǔn)庫(kù)數(shù)據(jù)2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)

建設(shè)作用OLAP分析企業(yè)數(shù)據(jù)模型多維數(shù)據(jù)模型查詢引擎數(shù)據(jù)挖掘RDBM系統(tǒng)1系統(tǒng)2系統(tǒng)n操作環(huán)境層數(shù)據(jù)倉(cāng)庫(kù)層業(yè)務(wù)層信息資源標(biāo)準(zhǔn)1.數(shù)據(jù)集成所必需的

2.幫助最終用戶理解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)

3.保證數(shù)據(jù)質(zhì)量的關(guān)鍵

4.方便維護(hù)，支持需求變化數(shù)據(jù)倉(cāng)庫(kù)142.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)建設(shè)作用OLAP分析企業(yè)數(shù)據(jù)模

系統(tǒng)功能2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)15系統(tǒng)功能2.信息資源標(biāo)準(zhǔn)管理系統(tǒng)設(shè)計(jì)15

建模思路3.數(shù)據(jù)模型設(shè)計(jì)事實(shí)表劃分?jǐn)?shù)據(jù)中心范圍邏輯模型設(shè)計(jì)分析業(yè)務(wù)

數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)數(shù)據(jù)集市模型設(shè)計(jì)物理模型設(shè)計(jì)維表事實(shí)表建立主題的EIR16建模思路3.數(shù)據(jù)模型設(shè)計(jì)事實(shí)表劃分?jǐn)?shù)據(jù)邏輯模分析數(shù)據(jù)倉(cāng)

主題示例3.數(shù)據(jù)模型設(shè)計(jì)商業(yè)企業(yè)卷煙購(gòu)、銷(xiāo)、存分析商業(yè)企業(yè)卷煙流向分析商業(yè)卷煙零售價(jià)格分析

數(shù)據(jù)模型示例—卷煙銷(xiāo)售主題煙葉管理卷煙銷(xiāo)售卷煙生產(chǎn)17主題示例3.數(shù)據(jù)模型設(shè)計(jì)商業(yè)企業(yè)卷煙購(gòu)、銷(xiāo)、存分析商業(yè)企業(yè)4.數(shù)據(jù)模型設(shè)計(jì)表日期制絲牌號(hào)產(chǎn)品路線批次班次班組實(shí)際生產(chǎn)量產(chǎn)品路線制絲日生產(chǎn)執(zhí)行產(chǎn)品路線代碼產(chǎn)品路線名稱日期日期代碼日期名稱月份代碼月份名稱年份代碼年份名稱班次表班次代碼班次名稱班組表班組代碼班組名稱制絲牌號(hào)牌號(hào)代碼牌號(hào)名稱制絲批次制絲批次代碼煙絲牌號(hào)日期代碼184.數(shù)據(jù)模型設(shè)計(jì)表日期產(chǎn)品路線制絲日生產(chǎn)執(zhí)行產(chǎn)品路線代碼日期

維表與事實(shí)表分布二4.數(shù)據(jù)模型設(shè)計(jì)

雪花模式：星型模式的維度進(jìn)行進(jìn)一步規(guī)范化時(shí)，星型模式就演進(jìn)為雪花模式。

產(chǎn)地表年月日倉(cāng)庫(kù)代碼煙葉代碼煙葉年限購(gòu)進(jìn)數(shù)量倉(cāng)庫(kù)表倉(cāng)庫(kù)代碼倉(cāng)庫(kù)名稱所屬單位上級(jí)單位倉(cāng)庫(kù)容量煙葉編碼表煙葉代碼煙葉名稱等級(jí)代碼產(chǎn)地代碼產(chǎn)地代碼產(chǎn)地名稱產(chǎn)地類(lèi)型等級(jí)代碼等級(jí)名稱煙葉類(lèi)型英文表示等級(jí)表煙葉購(gòu)進(jìn)表19維表與事實(shí)表分布二4.數(shù)據(jù)模型設(shè)計(jì)雪花模1、建立數(shù)據(jù)集成與交換平臺(tái)的兩級(jí)部署

2、橫向：實(shí)現(xiàn)地市各系統(tǒng)的信息共享與交換3、縱向：實(shí)現(xiàn)國(guó)家局省市各系統(tǒng)的數(shù)據(jù)交換與共享

專網(wǎng)數(shù)據(jù)集成與交換平臺(tái)省公司數(shù)據(jù)中心分析應(yīng)用省地市其他應(yīng)用信息服務(wù)數(shù)據(jù)集成與交換平臺(tái)……銷(xiāo)售煙葉應(yīng)用應(yīng)用應(yīng)用信息服務(wù)數(shù)據(jù)集成與交換平臺(tái)……銷(xiāo)售煙葉應(yīng)用應(yīng)用應(yīng)用數(shù)據(jù)交換數(shù)據(jù)交換市局（公司）A市局（公司）B兩級(jí)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換服務(wù)體系建設(shè)201、建立數(shù)據(jù)集成與交換平臺(tái)的兩級(jí)部署專網(wǎng)數(shù)據(jù)集成與交換平4.數(shù)據(jù)采集設(shè)計(jì)信息資源標(biāo)準(zhǔn)管理系統(tǒng)數(shù)據(jù)元標(biāo)準(zhǔn)管理數(shù)據(jù)編碼標(biāo)準(zhǔn)管理數(shù)據(jù)交換標(biāo)準(zhǔn)管理數(shù)據(jù)交換平臺(tái)/ETL標(biāo)準(zhǔn)格式業(yè)務(wù)數(shù)據(jù)庫(kù)1標(biāo)準(zhǔn)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)庫(kù)n標(biāo)準(zhǔn)數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)規(guī)范數(shù)據(jù)抽取裝載校對(duì)清洗集成轉(zhuǎn)換數(shù)據(jù)質(zhì)量清洗規(guī)則業(yè)務(wù)分析模型格式轉(zhuǎn)換214.數(shù)據(jù)采集設(shè)計(jì)信息資源標(biāo)準(zhǔn)管理系統(tǒng)數(shù)據(jù)元標(biāo)準(zhǔn)管理數(shù)據(jù)編碼標(biāo)

數(shù)據(jù)ETL建設(shè)內(nèi)容4.數(shù)據(jù)采集設(shè)計(jì)1.0數(shù)據(jù)源分析2.0采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)3.0建立數(shù)據(jù)采集機(jī)制4.0建立增量處理機(jī)制5.0建立數(shù)據(jù)傳輸機(jī)制數(shù)據(jù)采集的關(guān)鍵點(diǎn)：建立采集、上報(bào)、傳輸、接收監(jiān)控機(jī)制，實(shí)現(xiàn)采集過(guò)程監(jiān)管建立數(shù)據(jù)質(zhì)檢機(jī)制，提供數(shù)據(jù)準(zhǔn)確性檢查手段提供遠(yuǎn)程訪問(wèn)手段，實(shí)現(xiàn)人工遠(yuǎn)程調(diào)控系統(tǒng)運(yùn)行提供遠(yuǎn)程日志自動(dòng)收集機(jī)制，定期分析系統(tǒng)運(yùn)行提供軟件自動(dòng)更新機(jī)制，降低系統(tǒng)維護(hù)成本提供軟件版本監(jiān)控機(jī)制，確保軟件遠(yuǎn)程統(tǒng)一部署提供基礎(chǔ)代碼和基礎(chǔ)業(yè)務(wù)指標(biāo)自動(dòng)同步機(jī)制，確保數(shù)據(jù)采集正常運(yùn)行

22數(shù)據(jù)ETL建設(shè)內(nèi)容4.數(shù)據(jù)采集設(shè)計(jì)1.02.03.04.0

數(shù)據(jù)源分析4.數(shù)據(jù)采集設(shè)計(jì)1.02.03.04.05.0調(diào)研業(yè)務(wù)系統(tǒng)，確定基礎(chǔ)數(shù)據(jù)分布

有哪些數(shù)據(jù)源？這些數(shù)據(jù)源是如何組織的？數(shù)據(jù)源互相之間的關(guān)系是什么？這些數(shù)據(jù)源是如何分布的？整理數(shù)據(jù)源結(jié)構(gòu)，確定基礎(chǔ)數(shù)據(jù)項(xiàng)包括哪些數(shù)據(jù)項(xiàng)，列舉所有數(shù)據(jù)項(xiàng)每一個(gè)數(shù)據(jù)項(xiàng)的數(shù)據(jù)類(lèi)型、精度從業(yè)務(wù)角度，確定每一個(gè)數(shù)據(jù)項(xiàng)的業(yè)務(wù)含義對(duì)于指標(biāo)類(lèi)型的數(shù)據(jù)項(xiàng)，確定其當(dāng)前使用的計(jì)量單位，以及這種指標(biāo)的標(biāo)準(zhǔn)計(jì)量單位23數(shù)據(jù)源分析4.數(shù)據(jù)采集設(shè)計(jì)1.02.03.04.05.0調(diào)

數(shù)據(jù)源分析4.數(shù)據(jù)采集設(shè)計(jì)1.02.03.04.05.0數(shù)據(jù)范圍制絲BOM數(shù)據(jù)卷包BOM數(shù)據(jù)煙葉BOM投料煙葉單耗制絲單耗制絲日生產(chǎn)執(zhí)行卷包日生產(chǎn)執(zhí)行。。。。。。MES數(shù)據(jù)成品煙銷(xiāo)售數(shù)據(jù)銷(xiāo)售數(shù)據(jù)制絲在線質(zhì)檢數(shù)據(jù)制絲在線質(zhì)檢卷包機(jī)臺(tái)停機(jī)數(shù)據(jù)卷包機(jī)臺(tái)剔除數(shù)據(jù)卷包質(zhì)檢在線數(shù)據(jù)卷包數(shù)采能源COD數(shù)據(jù)能源消耗數(shù)據(jù)蒸汽流量數(shù)據(jù)能源數(shù)據(jù)24數(shù)據(jù)源分析4.數(shù)據(jù)采集設(shè)計(jì)1.02.03.04.05.0數(shù)

采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.01.0被采集端數(shù)據(jù)結(jié)構(gòu)

平行采集

采集端數(shù)據(jù)結(jié)構(gòu)表名：產(chǎn)量表表名：產(chǎn)量表字段名稱字段編碼數(shù)據(jù)類(lèi)型字段名稱字段編碼數(shù)據(jù)類(lèi)型年份YEAR整數(shù)年份YEAR整數(shù)產(chǎn)量AMOUNT浮點(diǎn)數(shù)產(chǎn)量AMOUNT浮點(diǎn)數(shù)

表名：銷(xiāo)量表表名：銷(xiāo)量表字段名稱字段編碼數(shù)據(jù)類(lèi)型字段名稱字段編碼數(shù)據(jù)類(lèi)型年份YEAR整數(shù)年份YEAR整數(shù)銷(xiāo)售量AMOUNT浮點(diǎn)數(shù)銷(xiāo)售量AMOUNT浮點(diǎn)數(shù)

建立采集表數(shù)據(jù)結(jié)構(gòu)時(shí)，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機(jī)性能、被采集數(shù)據(jù)結(jié)構(gòu)的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結(jié)構(gòu)：表結(jié)構(gòu)相同的平行采集還是進(jìn)行整合后的匯總、合并采集固化的實(shí)體表還是靈活的動(dòng)態(tài)定義表25采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.0

采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.01.0被采集端數(shù)據(jù)結(jié)構(gòu)

合并采集

采集端數(shù)據(jù)結(jié)構(gòu)表名：產(chǎn)量表表名：產(chǎn)銷(xiāo)表字段名稱字段編碼數(shù)據(jù)類(lèi)型字段名稱字段編碼數(shù)據(jù)類(lèi)型年份YEAR整數(shù)年份YEAR整數(shù)產(chǎn)量AMOUNT浮點(diǎn)數(shù)產(chǎn)量P_AMOUNT浮點(diǎn)數(shù)銷(xiāo)量S_AMOUNT浮點(diǎn)數(shù)表名：銷(xiāo)量表字段名稱字段編碼數(shù)據(jù)類(lèi)型年份YEAR整數(shù)銷(xiāo)售量AMOUNT浮點(diǎn)數(shù)

建立采集表數(shù)據(jù)結(jié)構(gòu)時(shí)，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機(jī)性能、被采集數(shù)據(jù)結(jié)構(gòu)的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結(jié)構(gòu)：表結(jié)構(gòu)相同的平行采集還是進(jìn)行整合后的匯總、合并采集固化的實(shí)體表還是靈活的動(dòng)態(tài)定義表26采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.0

采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.01.0采集端數(shù)據(jù)結(jié)構(gòu)表名：數(shù)據(jù)表表名：字段定義表字段名稱字段編碼數(shù)據(jù)類(lèi)型字段名稱字段編碼數(shù)據(jù)類(lèi)型表標(biāo)識(shí)TABID整數(shù)字段標(biāo)識(shí)FIELDID整數(shù)字段FIELDn浮點(diǎn)數(shù)字段名稱FIELDNAME字符表名：表定義字段名稱字段編碼數(shù)據(jù)類(lèi)型表標(biāo)識(shí)TABID整數(shù)表名稱TABNAME字符

建立采集表數(shù)據(jù)結(jié)構(gòu)時(shí)，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機(jī)性能、被采集數(shù)據(jù)結(jié)構(gòu)的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結(jié)構(gòu)：表結(jié)構(gòu)相同的平行采集還是進(jìn)行整合后的匯總、合并采集固化的實(shí)體表還是靈活的動(dòng)態(tài)定義表27采集數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)2.03.04.05.0

數(shù)據(jù)采集機(jī)制設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)3.02.04.05.01.0聯(lián)機(jī)采集（ETL）對(duì)于關(guān)系型數(shù)據(jù)源，并且允許直接訪問(wèn)的，采用以ETL為基礎(chǔ)的聯(lián)機(jī)采集機(jī)制。中間表方式對(duì)于關(guān)系型數(shù)據(jù)源，能夠聯(lián)機(jī)，但不允許直接訪問(wèn)的，可以考慮采用中間表方式采集，即業(yè)務(wù)系統(tǒng)將需要提供的數(shù)據(jù)拷貝到中間表中，然后從中間表采集數(shù)據(jù)。數(shù)據(jù)離線導(dǎo)入對(duì)于不能聯(lián)機(jī)訪問(wèn)的，可以采用數(shù)據(jù)離線導(dǎo)入的方式，即業(yè)務(wù)系統(tǒng)將數(shù)據(jù)定時(shí)導(dǎo)出（比如excel格式），然后采集系統(tǒng)根據(jù)這些文件進(jìn)行離線導(dǎo)入。人工審核填報(bào)對(duì)于原來(lái)沒(méi)有計(jì)算機(jī)系統(tǒng)，只有紙介質(zhì)數(shù)據(jù)的，可以采用人工填報(bào)＋審核方式采集。28數(shù)據(jù)采集機(jī)制設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)3.02.04.05.01

數(shù)據(jù)增量處理設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)4.02.03.05.01.0

對(duì)于本身具有增量標(biāo)識(shí)字段（比如時(shí)間戳）的數(shù)據(jù)源，直接使用其標(biāo)識(shí)字段實(shí)現(xiàn)增量采集；對(duì)于沒(méi)有直接的增量標(biāo)識(shí)字段，但業(yè)務(wù)處理過(guò)程中能夠判斷到增量數(shù)據(jù)的，由業(yè)務(wù)系統(tǒng)將增量數(shù)據(jù)主動(dòng)放到中間表里，然后采集系統(tǒng)從中間表中采集數(shù)據(jù)；為了確保數(shù)據(jù)的準(zhǔn)確性，在上一種情況下，由業(yè)務(wù)系統(tǒng)將增量數(shù)據(jù)的主鍵（唯一判斷條件）主動(dòng)放到中間表里，然后采集根據(jù)中間表中提供的判斷條件，去原表中提取數(shù)據(jù)；對(duì)于業(yè)務(wù)本身無(wú)法識(shí)別增量，但是允許進(jìn)行修改的，則在其數(shù)據(jù)庫(kù)中建立增量監(jiān)控，通過(guò)這個(gè)監(jiān)控器來(lái)標(biāo)識(shí)哪些是增量數(shù)據(jù)；對(duì)于業(yè)務(wù)本身無(wú)法識(shí)別增量，但是數(shù)據(jù)量比較小，或者采集頻率不高的，則先進(jìn)行全部采集，然后通過(guò)數(shù)據(jù)比對(duì)的辦法處理；在上述情況都不能滿足的情況下，如果數(shù)據(jù)庫(kù)提供技術(shù)手段對(duì)數(shù)據(jù)操作過(guò)程進(jìn)行日志分析的，則通過(guò)聯(lián)機(jī)日志分析獲得增量數(shù)據(jù)。29數(shù)據(jù)增量處理設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)4.02.03.05.01

數(shù)據(jù)傳輸機(jī)制設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)５.02.03.0４01.0在數(shù)據(jù)采集到前置機(jī)后，需要建立數(shù)據(jù)傳輸機(jī)制，實(shí)現(xiàn)數(shù)據(jù)上報(bào)到數(shù)據(jù)中心。對(duì)這個(gè)數(shù)據(jù)傳輸機(jī)制的要求包括：可靠投遞數(shù)據(jù)觸發(fā)數(shù)據(jù)路由數(shù)據(jù)壓縮數(shù)據(jù)識(shí)別性能管理與監(jiān)控30數(shù)據(jù)傳輸機(jī)制設(shè)計(jì)4.數(shù)據(jù)采集設(shè)計(jì)５.02