數(shù)據(jù)整合方案

1、能石漠化佚警分析及乂支出W命訣策系統(tǒng)1 .信息資源標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化主要實(shí)現(xiàn)了數(shù)據(jù)格式、內(nèi)容和語義的映射、轉(zhuǎn)換，實(shí)現(xiàn)編碼一致 化、面向主題集成、數(shù)據(jù)聚合等功能。通過數(shù)據(jù)交換、采集，形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，通過數(shù)據(jù)整合進(jìn)一步的數(shù)據(jù) ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、加載)，按照定制的標(biāo)準(zhǔn)信息規(guī)范進(jìn)行匹配映射(Match)、 數(shù)據(jù)格式轉(zhuǎn)換(Transform),并對重復(fù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗(Cleanse)、過濾 (Filtrate)、聚合(Aggregate),最后多維加載(Load)后形成標(biāo)準(zhǔn)化數(shù)據(jù)。采用數(shù)據(jù)同步工具和ETL工具完成數(shù)據(jù)抽取、同步等整合工作，并通過任務(wù) 調(diào)度管理實(shí)現(xiàn)對整合工具的集中管理和執(zhí)行。數(shù)據(jù)

2、采集時可以按信息資源平臺的要求將數(shù)據(jù)標(biāo)準(zhǔn)化。在采集抽取數(shù)據(jù)時沒 有按信息資源平臺轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)的數(shù)據(jù)，需要按信息資源平臺的要求轉(zhuǎn)換成標(biāo) 準(zhǔn)的數(shù)據(jù)如字典的統(tǒng)一。2 .數(shù)據(jù)加工管理2.1. 數(shù)據(jù)抽取數(shù)據(jù)抽取是利用抽取工具，建立抽取模型，將多個數(shù)據(jù)源數(shù)據(jù)匯總到一個數(shù) 據(jù)庫的過程。2.2. 數(shù)據(jù)清洗由于數(shù)據(jù)來自多個業(yè)務(wù)系統(tǒng)，而且包含歷史數(shù)據(jù)，需要按照一定的規(guī)劃把數(shù) 據(jù)進(jìn)行清洗，整個數(shù)據(jù)清洗的對象應(yīng)包括不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù) 據(jù)等三大類。23.數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化的過程，信息資源平臺的數(shù)據(jù)，來自多個業(yè)務(wù) 系統(tǒng)，有些數(shù)據(jù)源沒有按照統(tǒng)一的標(biāo)準(zhǔn)規(guī)范設(shè)計(jì)，因此會造成數(shù)據(jù)難以與其他數(shù) 據(jù)

3、共享。數(shù)據(jù)轉(zhuǎn)換應(yīng)實(shí)現(xiàn)按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和既定的格式轉(zhuǎn)換規(guī)則，對數(shù)據(jù)的 整理和格式統(tǒng)一。2.4. 數(shù)據(jù)裝孑數(shù)據(jù)裝載操作效率是數(shù)據(jù)資源平臺需要考慮的重要環(huán)節(jié)。投標(biāo)人應(yīng)詳細(xì)描述 針對本項(xiàng)目的不同數(shù)據(jù)資源所應(yīng)采用的數(shù)據(jù)裝載策略。2.5. 數(shù)據(jù)標(biāo)識數(shù)據(jù)標(biāo)識主要為了突出數(shù)據(jù)的關(guān)鍵性信息，便于實(shí)時的統(tǒng)計(jì)和更有效的比 對，進(jìn)而獲取符合用戶業(yè)務(wù)辦理相關(guān)的結(jié)果。3.數(shù)據(jù)整合處理系統(tǒng)3.1. 數(shù)據(jù)處理流程數(shù)據(jù)中心的構(gòu)建，基礎(chǔ)和核心的工作是需要對來自各方的數(shù)據(jù)進(jìn)行充分的整 合和處理，對獲取的各類源數(shù)據(jù)，需要進(jìn)行大量的數(shù)據(jù)梳理、分析，并作相關(guān)的 數(shù)據(jù)整理匚作，通過數(shù)據(jù)梳理和轉(zhuǎn)換工作，把不同來源的數(shù)據(jù)基于數(shù)據(jù)標(biāo)準(zhǔn)，轉(zhuǎn) 換

4、成標(biāo)準(zhǔn)化數(shù)據(jù)后，再進(jìn)行入庫，從而保證進(jìn)入數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量，不產(chǎn)生垃 圾數(shù)據(jù)，從而為數(shù)據(jù)中心的全局應(yīng)用奠定基礎(chǔ)。數(shù)據(jù)處理的流程如下圖所示：數(shù)據(jù)中心企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理企業(yè)基礎(chǔ)信息整合處理企業(yè)許可數(shù)據(jù)整合處理其他政府部門數(shù)據(jù)整合處理電子統(tǒng)計(jì)報(bào)表數(shù)據(jù)導(dǎo)入處罰歷史數(shù)據(jù)整合處那企業(yè)監(jiān)管數(shù)據(jù)整合處理數(shù)據(jù)整合處理12咯所游行漠化佚警分析及乂衣高風(fēng)除訣策系統(tǒng)數(shù)據(jù)的處理流程主要如下：1、獲取源數(shù)據(jù)通過數(shù)據(jù)共享交換對接和實(shí)施，獲取各單位的原始數(shù)據(jù)，并暫存在數(shù)據(jù)緩沖 庫中，這部分的數(shù)據(jù)結(jié)構(gòu)和原始數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)相同。2、數(shù)據(jù)整合處理對緩沖庫中存儲的數(shù)據(jù)，基于數(shù)據(jù)標(biāo)準(zhǔn)，對原始的數(shù)據(jù)進(jìn)行整合處理，包括 企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化

5、處理、企業(yè)基礎(chǔ)數(shù)據(jù)整合處理、企業(yè)許可數(shù)據(jù)整合處理、企 業(yè)監(jiān)管數(shù)據(jù)整合處理、其他政府部門數(shù)據(jù)整合處理、電子統(tǒng)計(jì)報(bào)表數(shù)據(jù)導(dǎo)入處理、 歷史數(shù)據(jù)整合處理等。通過整合處理，把非標(biāo)準(zhǔn)化的原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)化的數(shù)據(jù)。3、數(shù)據(jù)中心數(shù)據(jù)入庫對整合處理后的數(shù)據(jù)按照數(shù)據(jù)的性質(zhì)，分別進(jìn)入到基礎(chǔ)數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫 中。3.2. 食品安全監(jiān)管數(shù)據(jù)整合處理分析3.2.1, 企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理目前，有關(guān)企業(yè)的各類信息都分散在XX省XX監(jiān)管平臺、網(wǎng)上辦事大廳XX 分廳以及相關(guān)部門的行政審批系統(tǒng)，不同的系統(tǒng)對企業(yè)的唯一編碼各不相同，目 前存在三種方式：企業(yè)組織機(jī)構(gòu)代碼企業(yè)工商登記注冊號統(tǒng)一社會信用代碼企業(yè)XX行業(yè)相關(guān)許可證號由

6、于不同的業(yè)務(wù)系統(tǒng)是由不同的開發(fā)商開發(fā)的，在企業(yè)編碼的標(biāo)識上各不統(tǒng) 一的，為了實(shí)現(xiàn)基于企業(yè)為主線，首先需要以企業(yè)關(guān)鍵碼為關(guān)聯(lián)，對各方匯聚的 有關(guān)企業(yè)的各類信息進(jìn)行關(guān)聯(lián)整合，形成企業(yè)綜合資源，為后續(xù)的企業(yè)綜合分析 提供數(shù)據(jù)支撐。因此，需要基于企業(yè)編碼標(biāo)準(zhǔn)，對采集的原始企業(yè)業(yè)務(wù)數(shù)據(jù)的企業(yè)編碼進(jìn) 行標(biāo)準(zhǔn)化處理。企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理涉及的工作包括：1、基礎(chǔ)數(shù)據(jù)獲取通過共享交換對接、文件導(dǎo)入等多種方式，獲取有關(guān)企業(yè)的基礎(chǔ)數(shù)據(jù)等。2、企業(yè)關(guān)鍵碼梳理分析根據(jù)調(diào)研情況，針對XX市企業(yè)基礎(chǔ)數(shù)據(jù)的實(shí)際情況和國家推行三碼合一的 政策，采用依次以信用代碼、組織機(jī)構(gòu)代碼、工商登記注冊號、許可證號對從各 方獲取的企業(yè)信息進(jìn)

7、行梳理分析，和企業(yè)關(guān)鍵碼進(jìn)行比對，制定企業(yè)關(guān)鍵碼標(biāo)準(zhǔn) 化的處理規(guī)則。3、企業(yè)關(guān)鍵碼數(shù)據(jù)標(biāo)準(zhǔn)化對各方匯聚的企業(yè)關(guān)鍵碼數(shù)據(jù)按照標(biāo)準(zhǔn)化處理規(guī)則進(jìn)行轉(zhuǎn)換、補(bǔ)充等處理。3.2.2, 企業(yè)基礎(chǔ)信息整合處理在不同的業(yè)務(wù)系統(tǒng)中，對企業(yè)基礎(chǔ)信息描述有有差異、包括企業(yè)字段和相關(guān) 的數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)等，因此，需要對各方匯聚的企業(yè)基礎(chǔ)信息按照統(tǒng)一的企業(yè)基 礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)行整合處理，構(gòu)建企業(yè)基礎(chǔ)數(shù)據(jù)庫。3.2.3, 企業(yè)許可數(shù)據(jù)整合處理目前，XX市相關(guān)企業(yè)許可數(shù)據(jù)主要分布在兩個渠道：網(wǎng)上辦事大廳XX分廳XX省XX監(jiān)管平臺等。1、網(wǎng)上辦事大廳XX分廳許可數(shù)據(jù)整合處理通過網(wǎng)上辦事大廳XX分廳進(jìn)行受理和審批,則通過和網(wǎng)上辦事大

8、廳XX分廳 進(jìn)行對接，獲取相關(guān)的企業(yè)許可數(shù)據(jù)。對獲取的企業(yè)許可數(shù)據(jù)按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行整合處理，經(jīng)過規(guī)則轉(zhuǎn)換后 形成標(biāo)準(zhǔn)的企業(yè)許可數(shù)據(jù)導(dǎo)入到數(shù)據(jù)中心。2、XX省XX監(jiān)管平臺企業(yè)許可數(shù)據(jù)導(dǎo)入若屬于XX省監(jiān)督管理局辦理的許可事項(xiàng)，則對接XX省監(jiān)督管理局的數(shù)據(jù)中 心，獲取XX市XX相關(guān)企業(yè)的許可信息，按照企業(yè)的許可標(biāo)準(zhǔn)導(dǎo)入到市局?jǐn)?shù)據(jù)中 心。3.2.4, 企業(yè)監(jiān)管數(shù)據(jù)整合處理以企業(yè)為主線，對分散在不同渠道的企業(yè)監(jiān)管數(shù)據(jù)進(jìn)行梳理，按照數(shù)據(jù)標(biāo)準(zhǔn) 要求，對和企業(yè)相關(guān)的監(jiān)管數(shù)據(jù)進(jìn)行整合處理并入庫。需要進(jìn)行整合處理的監(jiān)管數(shù)據(jù)大類包括：四品一械企業(yè)日常監(jiān)管數(shù)據(jù) 四品一械企業(yè)行政執(zhí)法數(shù)據(jù) 四品一械企業(yè)抽樣檢驗(yàn)數(shù)據(jù)

9、 四品一械企業(yè)信用數(shù)據(jù) 食品追溯數(shù)據(jù)廣告監(jiān)管系統(tǒng)的抓取視頻、抓拍圖片和抓取音頻等廣告監(jiān)測數(shù)據(jù) 其他3.2.5, 電子統(tǒng)計(jì)報(bào)表數(shù)據(jù)導(dǎo)入處理對XX市XX監(jiān)督管理局上報(bào)省局的統(tǒng)計(jì)報(bào)表數(shù)據(jù)（以電子表格方式），對這 部分?jǐn)?shù)據(jù)也需要導(dǎo)入到數(shù)據(jù)中心，提供全局應(yīng)用的數(shù)據(jù)支撐。12咯所游行漠化佚警分析及乂衣高風(fēng)除訣策系統(tǒng)33.數(shù)據(jù)整合處理功能33.1. 數(shù)據(jù)抽取在融合數(shù)據(jù)庫中，必須從不同的操作型數(shù)據(jù)庫系統(tǒng)以及其它形式外部數(shù)據(jù)源 中有選擇地抽取數(shù)據(jù)，而不應(yīng)該將所有源數(shù)據(jù)全部塞入融合數(shù)據(jù)庫。在具體的抽 取過程中，還必須根據(jù)是增量裝教工作還是初始完全裝載等不同情況的變化規(guī)劃 抽取任務(wù)。有效的數(shù)據(jù)抽取對于數(shù)據(jù)倉庫的成功

10、很關(guān)鍵，需要合理細(xì)致地制訂數(shù)據(jù)抽取 策略。數(shù)據(jù)抽取的要點(diǎn)主要有：數(shù)據(jù)源確認(rèn)：確認(rèn)數(shù)據(jù)的源系統(tǒng)（或文件）和結(jié)構(gòu);列出對事實(shí)表的每一個數(shù)據(jù)項(xiàng)和事實(shí)對于每個目標(biāo)數(shù)據(jù)項(xiàng)，找出源數(shù)據(jù)項(xiàng)一個數(shù)據(jù)元素有多個來源，選擇最好的來源確認(rèn)一個目標(biāo)字段的多個源字段，建立合并規(guī)則確認(rèn)一個目標(biāo)字段的多個源字段，建立分離規(guī)則確定默認(rèn)值檢查缺失值的源數(shù)據(jù)抽取方法：針對每個數(shù)據(jù)源，定義抽取過程是人工抽取還是基 于工具抽?。怀槿☆l率：對于每個數(shù)據(jù)源，確定數(shù)據(jù)抽取的頻率，每天、每 星期、每季度，基礎(chǔ)數(shù)據(jù)裝載等等；時間窗口：對于每個數(shù)據(jù)源，表示出抽取過程進(jìn)行的時間窗口； 工作順序：決定抽取任務(wù)中某項(xiàng)工作是否必須等到前面的工作 成功完

11、成，才能開始；異常處理：決定如何處理無法抽取的輸入記錄。33.2. 數(shù)據(jù)轉(zhuǎn)換抽取得到的數(shù)據(jù)是沒有經(jīng)過加工的數(shù)據(jù)，不能直接應(yīng)用r融合數(shù)據(jù)中心。首先，所 有抽取的數(shù)據(jù)必須按照標(biāo)準(zhǔn)數(shù)據(jù)集轉(zhuǎn)換為融合數(shù)據(jù)庫可以使用的數(shù)據(jù)。擁有可以用來后 續(xù)建立數(shù)據(jù)倉庫進(jìn)行戰(zhàn)略決策的信息，并且提供對外數(shù)據(jù)共享與服務(wù)，而操作型系統(tǒng)的 數(shù)據(jù)不能滿足這個要求；其次，抽取得到的數(shù)據(jù)其質(zhì)量可能還達(dá)不到融合數(shù)據(jù)中心的要 求，所以必須在進(jìn)入融合數(shù)據(jù)庫之前提高數(shù)據(jù)的質(zhì)量。在將抽取的數(shù)據(jù)教入庫之前，不 可避免地要執(zhí)行各種類型的數(shù)據(jù)轉(zhuǎn)換。必須保證在所有的數(shù)據(jù)整合到一起之后，數(shù)據(jù)的 組合不能違反任何商業(yè)規(guī)則。這期間需要考慮融合數(shù)據(jù)庫中需要的數(shù)

12、據(jù)結(jié)構(gòu)和數(shù)據(jù)元 素，結(jié)合源數(shù)據(jù)格式、數(shù)據(jù)取值和質(zhì)量要求可以知道如何綜合采用多種類型的轉(zhuǎn) 換工作來符合融合數(shù)據(jù)庫的要求。數(shù)據(jù)轉(zhuǎn)換的基本任務(wù)包括：數(shù)據(jù)或記錄的選擇對所選擇的數(shù)據(jù)或記錄進(jìn)行分離或合并處理轉(zhuǎn)化：包括多種對數(shù)據(jù)記錄的單獨(dú)字段的基本轉(zhuǎn)化，以對不同 源系統(tǒng)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，并使這些字段對用戶來說可用和可理解豐富：對單個字段數(shù)據(jù)進(jìn)行重新分配和簡化其中主要的轉(zhuǎn)換類型有格式修正、字段的解碼、計(jì)算值和導(dǎo)出值、單個字段 的分離、信息的合并、特征集合轉(zhuǎn)化、度量單位的轉(zhuǎn)化、日期/時間轉(zhuǎn)化、匯總、 鍵的重構(gòu)等等。實(shí)施數(shù)據(jù)轉(zhuǎn)換的過程中，要結(jié)合使用轉(zhuǎn)換工具和手工技術(shù)。使用自動的工具 可以提高效率和準(zhǔn)確性，更重要的

13、是，自動轉(zhuǎn)換工具可以記錄元數(shù)據(jù)，確定的轉(zhuǎn) 換參數(shù)和規(guī)則都會作為元數(shù)據(jù)被工具存儲起來，成為數(shù)據(jù)倉庫整個元數(shù)據(jù)組成的 一部分，可以被其他部分共享，當(dāng)由于商業(yè)規(guī)則或者數(shù)據(jù)定義發(fā)生變化而帶來轉(zhuǎn) 換功能變化時.，可以將這些變化輸入工具，轉(zhuǎn)換的元數(shù)據(jù)會由工具自動進(jìn)行調(diào)整。使用轉(zhuǎn)換工具的理想目標(biāo)當(dāng)然是徹底排除手工的方法，但在實(shí)際中卻是不可 能實(shí)現(xiàn)的。即使是使用最精良的轉(zhuǎn)換工作組合，也會存在必須使用手工開發(fā)內(nèi)部 程序的需要，需要進(jìn)行復(fù)雜的手工編碼和人工測試工作。采用手工技術(shù)，不但成 本和錯誤率攀升，也會在數(shù)據(jù)庫環(huán)境中產(chǎn)生一些相互獨(dú)立的程序，手工方法最大 的缺點(diǎn)是所帶來的元數(shù)據(jù)的記錄、管理、維護(hù)問題。清洗的過程

14、中可以檢查錯誤的拼寫，檢查多個數(shù)據(jù)源之間編碼，或者補(bǔ)充數(shù) 據(jù)的錯誤值，也可以排除從多個數(shù)據(jù)源系統(tǒng)中取同一個數(shù)值時出現(xiàn)的重復(fù)問題。 對數(shù)據(jù)元素的標(biāo)準(zhǔn)化也是數(shù)據(jù)轉(zhuǎn)換過程的一個很重要的組成部分。要對數(shù)據(jù)類型 進(jìn)行標(biāo)準(zhǔn)化，并且對不同數(shù)據(jù)源的相同數(shù)值的長度進(jìn)行補(bǔ)充。語義的標(biāo)準(zhǔn)化也是 一個重要的任務(wù)。你要解決同義和同音異義的問題。當(dāng)相同的字段名在不同的數(shù) 據(jù)源系統(tǒng)中代表不同的意義的時候，需要解決這個同音異義的問題。數(shù)據(jù)轉(zhuǎn)換過程解決了從不同數(shù)據(jù)源提取數(shù)據(jù)的解決方法。你要組合一個源記 錄中提取的數(shù)據(jù)，或者對很多源記錄中提取的數(shù)據(jù)進(jìn)行組合。另一方面，數(shù)據(jù)轉(zhuǎn) 換還包括了清洗沒有用的源數(shù)據(jù)，并將它們進(jìn)行新的組合。在

15、數(shù)據(jù)準(zhǔn)備階段，對 數(shù)據(jù)的分類和聚類是很重要的部分。基本功能種類解釋12咯所游公漠化ft警分析及乂衣出雙除訣策系統(tǒng)選擇：從源系統(tǒng)中選擇整個記錄或者部分記錄。分離/ 合并：對源系統(tǒng)中的數(shù)據(jù)進(jìn)行分離操作或者合并操作。轉(zhuǎn)化：對源系統(tǒng)進(jìn)行標(biāo)準(zhǔn)化和可理解化。匯總：將最低粒度數(shù)據(jù)進(jìn)行匯總。清晰：對單個字段數(shù)據(jù)進(jìn)行重新分配和簡化轉(zhuǎn)換類型（1）格式修正（2）字段的解碼（3）計(jì)算值和導(dǎo)出值 （4）單個字段的分離（5）信息的合并- （6）特征集合轉(zhuǎn)化（7）度量單位的轉(zhuǎn)化 （8）關(guān)鍵字重新構(gòu)造（9）匯總 （10）日期/時間轉(zhuǎn)化數(shù)據(jù)整合和合并數(shù)據(jù)整合和合并是將相關(guān)的源數(shù)據(jù)組合成一致的數(shù)據(jù)結(jié)構(gòu)，裝入整合層數(shù)據(jù) 庫。（1）實(shí)體識別問題數(shù)據(jù)來源于多個不同的客戶系統(tǒng)，對相同 客戶可能分別有不同的鍵碼，將它們組合成一 條單獨(dú)的記錄（2）多數(shù)據(jù)源相同屬性不 同值的問題不同系統(tǒng)中得到的值存在一些差別，需要給出 合理的值3.3.3.數(shù)據(jù)裝載向融合數(shù)據(jù)庫中轉(zhuǎn)移數(shù)據(jù)的過程中存在多種情況，一般存在三種類型的數(shù)據(jù) 裝載：初始裝載：第一次對所有的數(shù)據(jù)庫表進(jìn)行遷移；增量裝載：根據(jù)需要定期裝載應(yīng)用運(yùn)行過程中發(fā)生的變化；完全刷新：完全刷新是指完全刷新一個或多個表的內(nèi)容，并重 新裝載新的數(shù)據(jù)。在裝載過程中，一般會用到四種方式：裝載：如果要裝載的目標(biāo)表已經(jīng)存在，而且也有數(shù)據(jù)存在于表 中，裝載過程就會抹去已有的數(shù)據(jù)，應(yīng)用輸入文件中新的數(shù)據(jù)。如