面試題-ETL匯編

1、1. What are the primary goals of the data discovery phase of the data warehouse project?在數(shù)據(jù)倉庫項目中，數(shù)據(jù)探索階段的主要目的是什么？答：在邏輯數(shù)據(jù)映射進行之前， 需要首先對所有的源系統(tǒng)進行分析。 對源系統(tǒng)的分析 通常包括兩個階段，一個是數(shù)據(jù)探索階段( Data Discovery Phase )，另一個 是異常數(shù)據(jù)檢測階段。數(shù)據(jù)探索階段包括以下內(nèi)容：1收集所有的源系統(tǒng)的文檔、數(shù)據(jù)字典等內(nèi)容。2收集源系統(tǒng)的使用情況，如誰在用、每天多少人用、占多少存儲空間等內(nèi)容。3判斷出數(shù)據(jù)的起始來源( System-of

2、-Record )。4通過數(shù)據(jù)概況( Data Profiling )來對源系統(tǒng)的數(shù)據(jù)關(guān)系進行分析。數(shù)據(jù)探索階段的主要目的是理解源系統(tǒng)的情況， 為后續(xù)的數(shù)據(jù)建模和邏輯數(shù)據(jù)映 射打下堅實的基礎(chǔ)。2. What are the four basic Data Flow steps of an ETL process?在 ETL 過程中四個基本的過程分別是什么？答：主要comforKimball 數(shù)據(jù)倉庫構(gòu)建方法中， ETL 的過程和傳統(tǒng)的實現(xiàn)方法有一些不同， 分為四個階段，分別是抽取( extract )、清洗( clean )、一致性處理(m)和交付(delivery )，簡稱為ECCD。1抽取

3、階段的主要任務(wù)是：讀取源系統(tǒng)的數(shù)據(jù)模型。連接并訪問源系統(tǒng)的數(shù)據(jù)。變化數(shù)據(jù)捕獲。抽取數(shù)據(jù)到數(shù)據(jù)準備區(qū)。2清洗階段的主要任務(wù)是：清洗并增補列的屬性。清洗并增補數(shù)據(jù)結(jié)構(gòu)。清洗并增補數(shù)據(jù)規(guī)則。增補復(fù)雜的業(yè)務(wù)規(guī)則。建立元數(shù)據(jù)庫描述數(shù)據(jù)質(zhì)量。將清洗后的數(shù)據(jù)保存到數(shù)據(jù)準備區(qū)。3一致性處理階段的主要任務(wù)是：一致性處理業(yè)務(wù)標簽，即維度表中的描述屬性。 一致性處理業(yè)務(wù)度量及性能指標，通常是事實表中的事實 去除重復(fù)數(shù)據(jù)。國際化處理。將一致性處理后的數(shù)據(jù)保存到數(shù)據(jù)準備區(qū)。4交付階段的主要任務(wù)是：加載星型的和經(jīng)過雪花處理的維度表數(shù)據(jù)。產(chǎn)生日期維度。加載退化維度。加載子維度。加載 1、2、3 型的緩慢變化維度。處理遲到的

4、維度和遲到的事實。加載多值維度。加載有復(fù)雜層級結(jié)構(gòu)的維度。加載文本事實到維度表。處理事實表的代理鍵。加載三個基本類型的事實表數(shù)據(jù)。加載和更新聚集。將處理好的數(shù)據(jù)加載到數(shù)據(jù)倉庫。從這個任務(wù)列表中可以看出， ETL 的過程和數(shù)據(jù)倉庫建模的過程結(jié)合的非常緊 密。換句話說， ETL 系統(tǒng)的設(shè)計應(yīng)該和目標表的設(shè)計同時開始。通常來說，數(shù)據(jù) 倉庫架構(gòu)師和 ETL 系統(tǒng)設(shè)計師是同一個人。3. Describe the different types of ETL metadata and provide examples of each.舉例說明各種 ETL 過程中的元數(shù)據(jù)。答：元數(shù)據(jù)是 ETL 項目組面對的

5、一個非常重要的主題，對于整個數(shù)據(jù)倉庫項目 也是非常重要的一部分。對于元數(shù)據(jù)的分類和使用沒有很確定的定義。通常來說，我們可以把元數(shù)據(jù)分為三類，分別為業(yè)務(wù)元數(shù)據(jù)( Business Metad ata )，技術(shù)元數(shù)據(jù)( Technical Metadata )和過程處理元數(shù)據(jù)( Process Exec ution Metadata )。業(yè)務(wù)元數(shù)據(jù)， 是從業(yè)務(wù)的角度對數(shù)據(jù)的描述。 通常是用來給報表工具和前端用戶 對數(shù)據(jù)進行分析和使用提供幫助。技術(shù)元數(shù)據(jù)， 是從技術(shù)的角度對數(shù)據(jù)的描述。 通常包括數(shù)據(jù)的一些屬性， 如數(shù)據(jù) 類型、長度、或者數(shù)據(jù)概況分析后一些結(jié)果。過程處理元數(shù)據(jù)，是 ETL 處理過程中的

6、一些統(tǒng)計數(shù)據(jù)，通常包括有多少條記錄 被加載，多少條記錄被拒絕接受等數(shù)據(jù)4. What steps do you take to determine the bottleneck of a slow runnin g ETL process?如果 ETL 進程運行較慢，需要分哪幾步去找到 ETL 系統(tǒng)的瓶頸問題。答：ETL系統(tǒng)遇到性能問題，運行很慢是一件較常見的事情， 這時要做的是逐步 找到系統(tǒng)的瓶頸在哪里。首先要確定是由 CPU 、內(nèi)存、 I/O 和網(wǎng)絡(luò)等產(chǎn)生的瓶頸，還是由 ETL 處理過程 產(chǎn)生的瓶頸。如果環(huán)境沒有瓶頸，那么需要分析 ETL 的代碼。這時，我們可以采用排除的方 法，需要隔離不

7、同的操作， 并分別對它們進行測試。 如果是采用純手工編碼方式 的 ETL 處理，隔離不同的操作要麻煩一些，這時需要根據(jù)編碼的實際情況來處 理。如果是采用 ETL 工具的話，目前的 ETL 工具應(yīng)該都有隔離不同處理的功能， 隔離起來相對容易一些。分析最好從抽取操作開始，然后依次分析各種計算、查找表、聚集、過濾等轉(zhuǎn)換環(huán)節(jié)的處理操作，最后分析加載操作。實際的處理中，可以按照下面的七個步驟來查找瓶頸。1隔離并執(zhí)行抽取查詢語句。先將抽取部分隔離出來， 去掉轉(zhuǎn)換和交付， 可以將數(shù)據(jù)直接抽取到文件中。 如果 這一步效率很差，基本確定是抽取 SQL 的問題。從經(jīng)驗來看，未經(jīng)調(diào)優(yōu)的 SQL 是一個最常見的導(dǎo)致

8、ETL 效率差的原因。如果這步?jīng)]有問題進入第二步。2去掉過濾條件。這一條是針對全抽取，然后在 ETL 處理中進行過濾的處理方式而言。在 ETL 處 理中做過濾處理有時會產(chǎn)生瓶頸。 可以先將過濾去掉， 如果確定為這個原因， 可 以考慮在抽取時進行數(shù)據(jù)過濾。3排除查找表的問題。參照數(shù)據(jù)在 ETL 處理過程中通常會加載到內(nèi)存中，目的是做代碼和名稱的查找 替換，也稱查找表。 有時查找表的數(shù)據(jù)量過大也會產(chǎn)生瓶頸。 可以逐個隔離查找 表，來確定是否是這里出現(xiàn)問題。 注意要將查找表的數(shù)據(jù)量降到最低， 通常一個 自然鍵一個代理鍵就可以，這樣可以減少不必要的數(shù)據(jù) I/O 。4分析排序和聚集操作。排序和聚集操作都是非常費資源的操作。 對這部分隔離， 來判斷是否因為它們引 起性能問題。 如果確定是因為這個， 需要考慮是否可以將排序和聚集處理移出數(shù) 據(jù)庫和 ETL 工具，移到操作系統(tǒng)中來處理。5隔離并分析每一個計算和轉(zhuǎn)換處理。有時轉(zhuǎn)換過程中的處理操作也會引起 ETL 工作的性能。逐步隔離移除它們來判 斷哪里出了問題。要注意觀察像默認值、數(shù)據(jù)類型轉(zhuǎn)換等操作。6隔離更新策略。更新操作在數(shù)據(jù)量非常大時是性能非常差的。 隔離這部分， 看看是否這里出了問 題。如果確定是因為大批量更新出了性能問題。應(yīng)該考慮將 insert 、update 和 d elete 分開處理。7檢測加載數(shù)據(jù)的數(shù)據(jù)庫 I/O