2023學(xué)年完整公開(kāi)課版貼源層介紹

負(fù)責(zé)人：胡晶01目錄貼源層介紹貼源層介紹1貼源層介紹考慮大數(shù)據(jù)架構(gòu)計(jì)算和存儲(chǔ)的特點(diǎn)，以及上層應(yīng)用對(duì)數(shù)據(jù)訪問(wèn)的需求，數(shù)據(jù)分層結(jié)構(gòu)規(guī)劃為貼源層、整合層、清單層（輕度）、應(yīng)用層。采用分布式事務(wù)數(shù)據(jù)庫(kù)，接收和處理實(shí)時(shí)數(shù)據(jù)，支持大表?xiàng)l件索引檢索和DML原子事務(wù)，為確保此層性能和和穩(wěn)定性，不接受上層應(yīng)用的直接訪問(wèn)。貼源層介紹人們對(duì)數(shù)據(jù)的處理行為可以劃分為操作型數(shù)據(jù)處理和分析型數(shù)據(jù)處理，操作型數(shù)據(jù)處理一般放在傳統(tǒng)的數(shù)據(jù)庫(kù)(Database，DB)中進(jìn)行，分析型數(shù)據(jù)處理則需要在數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse，DW)中進(jìn)行。但是并不是所有的數(shù)據(jù)處理都可以這樣劃分，換句話說(shuō)，人們對(duì)數(shù)據(jù)的處理需求并不只有這兩類，比如，有些操作型處理并不適合放在傳統(tǒng)的數(shù)據(jù)庫(kù)上完成，也有些分析型處理不適合在數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行。這時(shí)候就需要第三種數(shù)據(jù)存儲(chǔ)體系，操作數(shù)據(jù)存儲(chǔ)(OperationalDataStore，ODS)系統(tǒng)就因此產(chǎn)生。它的出現(xiàn)，也將DB、DW兩層數(shù)據(jù)架構(gòu)轉(zhuǎn)變成DB、ODS、DW三層數(shù)據(jù)架構(gòu)。1.ODS貼源層產(chǎn)生的背景貼源層介紹ODS中的數(shù)據(jù)具有以下4個(gè)基本特征：（1）面向主題的：進(jìn)入ODS的數(shù)據(jù)是來(lái)源于各個(gè)操作型數(shù)據(jù)庫(kù)以及其他外部數(shù)據(jù)源，數(shù)據(jù)進(jìn)入ODS前必須經(jīng)過(guò)ETL過(guò)程（抽取、清洗、轉(zhuǎn)換、加載等）。（2）集成的：ODS的數(shù)據(jù)來(lái)源于各個(gè)操作型數(shù)據(jù)庫(kù)，同時(shí)也會(huì)在數(shù)據(jù)清理加工后進(jìn)行一定程度的綜合。（3）可更新的：可以聯(lián)機(jī)修改。這一點(diǎn)區(qū)別于數(shù)據(jù)倉(cāng)庫(kù)。（4）當(dāng)前或接近當(dāng)前的：“當(dāng)前”是指數(shù)據(jù)在存取時(shí)刻是最新的，“接近當(dāng)前”是指存取的數(shù)據(jù)是最近一段時(shí)間得到的。2.ODS貼源層數(shù)據(jù)的基本特征貼源層介紹（1）實(shí)現(xiàn)企業(yè)級(jí)的OLTP操作：傳統(tǒng)的操作型數(shù)據(jù)庫(kù)往往只存放企業(yè)某一類業(yè)務(wù)或者某一個(gè)部門的數(shù)據(jù)，因此無(wú)法面向企業(yè)全局?jǐn)?shù)據(jù)的OLTP，而ODS可以實(shí)現(xiàn)。因?yàn)镺DS的數(shù)據(jù)是面向整個(gè)企業(yè)進(jìn)行集成匯總的，克服了原來(lái)面向應(yīng)用的操作型數(shù)據(jù)庫(kù)數(shù)據(jù)分散的缺陷。（2）實(shí)現(xiàn)即時(shí)的OLAP操作：在數(shù)據(jù)倉(cāng)庫(kù)上進(jìn)行OALP，往往由于數(shù)據(jù)量十分龐大而需要較長(zhǎng)的時(shí)間。而在企業(yè)實(shí)際應(yīng)用中，對(duì)于一些較低層次的決策，往往并不需要太多的歷史數(shù)據(jù)，可能只需要參考當(dāng)前的或者接近當(dāng)前的數(shù)據(jù)就可以完成，并且要求具有較快的響應(yīng)時(shí)間，因此數(shù)據(jù)倉(cāng)庫(kù)顯然無(wú)法滿足這樣的要求，但是ODS可以實(shí)現(xiàn)。ODS中不僅有面向企業(yè)全局的細(xì)節(jié)數(shù)據(jù)和匯總數(shù)據(jù)，而且規(guī)模比數(shù)據(jù)倉(cāng)庫(kù)小，具有較強(qiáng)的實(shí)時(shí)響應(yīng)能力。3.ODS貼源層的功能貼源層介紹ODS貼源層的業(yè)務(wù)目標(biāo)如下：（1）統(tǒng)一準(zhǔn)實(shí)時(shí)的數(shù)據(jù)共享；（2）生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)質(zhì)量檢查；（3）統(tǒng)一客戶視圖的提供與展示；（4）生產(chǎn)經(jīng)營(yíng)報(bào)表統(tǒng)一