datastage企業(yè)版產(chǎn)品白皮書之五

TOC\o"1-2"\h\z\u建立數(shù)據(jù)輪廓：確保數(shù)據(jù)質(zhì)量的第一 為什么要建立數(shù)據(jù)輪廓 不要假定“我們知道自己的數(shù)據(jù) 建立數(shù)據(jù)輪廓：數(shù)據(jù)集成成功的關(guān) 介紹Ascential公司的 了解首先應(yīng)從哪里開 建立數(shù)據(jù)輪廓的功能組 列分 表分 主鍵分 交叉表分 規(guī)范 報表與數(shù)據(jù)定義語言（DDL）的生 抽取、轉(zhuǎn)換與加載（ETL）工具支 避免傳統(tǒng)的手工處理過程中易犯的錯 建立數(shù)據(jù)輪廓：確保數(shù)據(jù)質(zhì)量的第一為什么要建立數(shù)據(jù)輪廓75%會有如此高率呢？應(yīng)用的計劃。典型情況下，這一階段是用ETL工具或自編的程序完成的。標(biāo)數(shù)據(jù)需要的形式在這個階段可以部署數(shù)據(jù)質(zhì)量軟件對數(shù)據(jù)記錄進行標(biāo)準(zhǔn)化，不要假定“我們知道自己的一些大的公司在數(shù)據(jù)集成項目上已經(jīng)花費了數(shù)百萬，唯一的結(jié)果是最終發(fā)現(xiàn)源數(shù)個處理過程通常就是由獨立的開發(fā)團隊手工執(zhí)行的一系列無條理的步驟，而步驟之間的不連續(xù)性常常導(dǎo)致性的。80%如果不使用自動化的元數(shù)據(jù)反向工程工具開發(fā)人員只能靠手工元數(shù)據(jù)傳統(tǒng)系統(tǒng)析必然導(dǎo)致在源數(shù)據(jù)集成到目標(biāo)數(shù)據(jù)的處理過程中存在隱患需要在整個開發(fā)周10100ETL處理過程的前期缺乏能夠檢測問題的工具是加大數(shù)據(jù)倉庫預(yù)算費用的主要原因。使資源（人、技能和時間）Ascential公司的AscentialProfileStage?把自動化處理帶入關(guān)鍵的和基礎(chǔ)的數(shù)據(jù)源分析任務(wù)中，最小程度。AscentialProfileStage?根據(jù)源數(shù)據(jù)建立數(shù)據(jù)輪廓（分析列值和結(jié)構(gòu)出目標(biāo)數(shù)據(jù)庫建議，如主鍵、外鍵和規(guī)范化的表。具備了這些信息，AscentialProfileStage?就可以建立一個數(shù)據(jù)模型便利到目標(biāo)映射以及自動地生成數(shù)據(jù)AscentialProfileStage?允許用戶集成多個異構(gòu)系統(tǒng)。因為元數(shù)據(jù)是基于實際的源的和可靠的實現(xiàn)，其中避免了關(guān)鍵的數(shù)據(jù)集成問題。AscentialProfileStage683060AscentialProfileStage?對用戶數(shù)據(jù)的內(nèi)容不做任何臆測。用戶只需要提供記錄包括表、列、可能的鍵以及數(shù)據(jù)中相互間的關(guān)系。一旦知道和驗證了這些屬性，AscentialProfileStage?將自動地生成規(guī)范化的目標(biāo)數(shù)據(jù)庫模式。商務(wù)智能報表和源在理解了源數(shù)據(jù)之后數(shù)據(jù)集成項目團隊仍然很大的即使已經(jīng)采用了解設(shè)計階段出現(xiàn)的錯誤經(jīng)常需要在生產(chǎn)系統(tǒng)上進行手工調(diào)試。AscentialProfileStage?建立數(shù)據(jù)輪廓的功能組報表與數(shù)據(jù)定義語言（DDL）的生成抽取、轉(zhuǎn)換與加載（ETL）工具支持基本數(shù)據(jù)類型，包括不同的日期/空值、NULL值和非NULL/空值的計數(shù)是否允許使用NULL值在進行列分析期間，用戶需要創(chuàng)建在ETL處理過程中使用的轉(zhuǎn)換注解/規(guī)則。這是AscentialProfileStage?不僅顯示數(shù)據(jù)100%支持的函數(shù)依賴關(guān)系，而且AscentialProfileStage?也顯示數(shù)據(jù)支持較弱的函數(shù)依賴關(guān)系。例如，在建立依賴數(shù)據(jù)輪廓期間，AscentialProfileStage?計算行支持一個給定函數(shù)依賴關(guān)系的百分AscentialProfileStage?竟是怎樣破壞的，進而有效地界定和糾正這一問題。AscentialProfileStage?提供一些，可以做這種類型的分析。主鍵分主鍵分析是一個找出一個或多個表中所有候選鍵的處理過程，其目的是找出最適（如交叉表分析這一分析過程必須完成。們記錄為“依賴關(guān)系。AggregateDependency表中的每一行記錄表示給定表的單，表中一行記錄其余列的所有值在主鍵分析期間一個或多個依賴關(guān)系將成為候選交叉表分所有列進行比較其目的是找出共個公共域的列如果發(fā)現(xiàn)兩個列共個公共域， pared表中的每一行表示兩個列的域已經(jīng)在交叉包含在其他列的域中或者恰好相反Commons表中的每一行表示一個“基”“AscentialProfileStage?中的交叉表分析，在多個表中找出外鍵。AscentialProfileStage?首先找出每個表的主鍵，然后在所有的表或文件中找出等同的或的數(shù)據(jù)。在找出等同的或的數(shù)據(jù)之處用戶有權(quán)利選定主鍵和把相應(yīng)的列指定為外鍵Wizard（規(guī)范化向?qū)А庇脩艚缑妫龑?dǎo)用戶一步一步地完成目標(biāo)數(shù)據(jù)庫模型的規(guī)范化AscentialProfileStage?發(fā)現(xiàn)候選的規(guī)范化關(guān)系模型時，他將向用戶提出建議。用戶可以接受、或按自己的想法修改推薦的規(guī)范化關(guān)系模型。從三個建立數(shù)據(jù)輪廓階段獲得的信息在AscentialProfileStage?Metadata報表與數(shù)據(jù)定義語言（DDL）的生轉(zhuǎn)換為Word和HTML等各種格式。新的或修正的模型可以加載到AscentialProfileStage?MetadataRepository，并Oracle。DDLXML抽取、轉(zhuǎn)換與加載（ETL）工具支ETLAscentialProfileStageAscentialDataStage把非規(guī)范化的源數(shù)據(jù)庫轉(zhuǎn)換成完全規(guī)范化的目標(biāo)數(shù)據(jù)庫。程序員不需要花費時間為這些基本的轉(zhuǎn)換去建立AscentialDataStage?作業(yè)，因為AscentialProfileStage?能夠根據(jù)在AscentialProfileStage?MetdataRepositor（元數(shù)據(jù)中的信息，推導(dǎo)出目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)模型，其中源到目標(biāo)的映射是自動計算的。AscentialProfileStage?提供直觀的和高效率的界面，以便修改源到目標(biāo)的映ProfileStage?提供了一個規(guī)范建立和ETL生成的環(huán)境。在用戶確認了源到目標(biāo)的映射正確無誤之后，AscentialProfileStage?自動地生成一組作業(yè)，并立即開始AscentialDataStage?的處理過程。這可以從各種數(shù)據(jù)源開始，包括所有ODBC兼容的關(guān)系數(shù)據(jù)庫、COBOL傳統(tǒng)數(shù)據(jù)，甚至是普通的ASCII文本文件。處理過程結(jié)束后，生成實際進行數(shù)據(jù)遷移的AscentialDataStage?作業(yè)。避免傳統(tǒng)的手工處理過程中易犯的錯以及穩(wěn)定的交付環(huán)境，可以避免傳統(tǒng)的手工處理過程中易犯的錯誤。采用Ascential生成正確的元數(shù)據(jù)，因為AscentialProfileStage?發(fā)人員的憑空想象而生成元數(shù)據(jù)的。AscentialProfileStage?確保定義的規(guī)范為一種副產(chǎn)品自動生成的，它反映了存在系統(tǒng)中的實際數(shù)據(jù)。不依賴開發(fā)了生成源數(shù)據(jù)的應(yīng)用的程序員，唯一需要的只是數(shù)據(jù)通過AscentialDataStage?作業(yè)的生成機制，減少了手工數(shù)據(jù)轉(zhuǎn)換的任務(wù)。利用AscentialProfileStage?達到的生產(chǎn)能力