數(shù)據(jù)的轉(zhuǎn)換方法

數(shù)據(jù)的轉(zhuǎn)換方法學(xué)習(xí)目標(biāo)2知識(shí)目標(biāo)●數(shù)據(jù)的轉(zhuǎn)換●數(shù)據(jù)轉(zhuǎn)換和加工的方法能力目標(biāo)●了解數(shù)據(jù)的轉(zhuǎn)換●掌握數(shù)據(jù)轉(zhuǎn)換的方法學(xué)習(xí)任務(wù)3初步探索數(shù)據(jù)的轉(zhuǎn)換初步探索數(shù)據(jù)轉(zhuǎn)換的方法初步探索數(shù)據(jù)加工的方法總結(jié)數(shù)據(jù)轉(zhuǎn)換的方法數(shù)據(jù)轉(zhuǎn)換和加工的方法數(shù)據(jù)的轉(zhuǎn)換4目錄5數(shù)據(jù)的轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對(duì)業(yè)務(wù)系統(tǒng)中抽取的數(shù)據(jù)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)化處理，保證來(lái)自不同系統(tǒng)、不同格式的數(shù)據(jù)具有一致性和完整性，并按要求裝入數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換，以及一些商務(wù)規(guī)則的計(jì)算。6數(shù)據(jù)的轉(zhuǎn)換不一致的數(shù)據(jù)轉(zhuǎn)換這個(gè)過(guò)程是一個(gè)整合的過(guò)程，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，比如同一個(gè)供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是YY0001，這樣在抽取過(guò)來(lái)之后統(tǒng)一轉(zhuǎn)換成一個(gè)編碼。7數(shù)據(jù)的轉(zhuǎn)換數(shù)據(jù)粒度的轉(zhuǎn)換業(yè)務(wù)系統(tǒng)一般存儲(chǔ)非常明細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)是用來(lái)分析的，不需要非常明細(xì)的數(shù)據(jù)。一般情況下，會(huì)將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)粒度進(jìn)行聚合。8數(shù)據(jù)的轉(zhuǎn)換商務(wù)規(guī)則的計(jì)算不同的企業(yè)有不同的業(yè)務(wù)規(guī)則、不同的數(shù)據(jù)指標(biāo)，這些指標(biāo)有的時(shí)候不是簡(jiǎn)單的加加減減就能完成，這個(gè)時(shí)候需要在ETL中將這些數(shù)據(jù)指標(biāo)計(jì)算好了之后存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，以供分析使用。9數(shù)據(jù)轉(zhuǎn)換和加工的方法從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫(kù)的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等等，因此有必要對(duì)抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。數(shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進(jìn)行，也可以在數(shù)據(jù)抽取過(guò)程中利用關(guān)系數(shù)據(jù)庫(kù)的特性同時(shí)進(jìn)行。10數(shù)據(jù)轉(zhuǎn)換和加工的方法ETL引擎中的數(shù)據(jù)轉(zhuǎn)換和加工ETL引擎中一般以組件化的方式實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換。常用的數(shù)據(jù)轉(zhuǎn)換組件有字段映射、數(shù)據(jù)過(guò)濾、數(shù)據(jù)清洗、數(shù)據(jù)替換、數(shù)據(jù)計(jì)算、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)加解密、數(shù)據(jù)合并、數(shù)據(jù)拆分等。這些組件如同一條流水線上的一道道工序，它們是可插拔的，且可以任意組裝，各組件之間通過(guò)數(shù)據(jù)總線共享數(shù)據(jù)。同時(shí)ETL工具還提供了腳本支持，使得用戶可以以一種編程的方式定制數(shù)據(jù)的轉(zhuǎn)換和加工行為。相比在數(shù)據(jù)庫(kù)中加工，性能較高，但不容易進(jìn)行修改和清晰辨認(rèn)。11數(shù)據(jù)轉(zhuǎn)換和加工的方法在數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)加工關(guān)系數(shù)據(jù)庫(kù)本身已經(jīng)提供了強(qiáng)大的SQL、函數(shù)來(lái)支持?jǐn)?shù)據(jù)的加工，如在SQL查詢語(yǔ)句中添加where條件進(jìn)行過(guò)濾，查詢中重命名字段名與目的表進(jìn)行映射，substr函數(shù)，case條件判斷等等。12數(shù)據(jù)轉(zhuǎn)換和加工的方法數(shù)據(jù)的轉(zhuǎn)換方法（1）在數(shù)據(jù)抽取過(guò)程中進(jìn)行數(shù)據(jù)處理。（2）使用異步數(shù)據(jù)裝載，以文件的方式進(jìn)行處理。（3）在數(shù)據(jù)裝載過(guò)程中進(jìn)行數(shù)據(jù)處理。（4）進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后再進(jìn)行數(shù)據(jù)處理。13數(shù)據(jù)轉(zhuǎn)換和加工的方法相比在ETL引擎中進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工，直接在SQL語(yǔ)句中進(jìn)行轉(zhuǎn)換和加工更加簡(jiǎn)單清晰；但依賴S