數(shù)據(jù)庫(kù)作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt_第1頁(yè)
數(shù)據(jù)庫(kù)作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt_第2頁(yè)
數(shù)據(jù)庫(kù)作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt_第3頁(yè)
數(shù)據(jù)庫(kù)作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt_第4頁(yè)
數(shù)據(jù)庫(kù)作業(yè)調(diào)度基礎(chǔ)知識(shí).ppt_第5頁(yè)
已閱讀5頁(yè),還剩3頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

VIP免費(fèi)下載

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

作業(yè)調(diào)度程序介紹,什么是ETL,ETL,Extraction-Transformation-Loading的縮寫(xiě),中文名稱(chēng)為數(shù)據(jù)提取、轉(zhuǎn)換和加載。 ETL(Extract-Transform-Load的縮寫(xiě),即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過(guò)程)作為BI/DW(Business Intelligence)的核心和靈魂,能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值,是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過(guò)程,是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟。如果說(shuō)數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)是一座大廈的設(shè)計(jì)藍(lán)圖,數(shù)據(jù)是磚瓦的話(huà),那么ETL就是建設(shè)大廈的過(guò)程。在整個(gè)項(xiàng)目中最難部分是用戶(hù)需求分析和模型設(shè)計(jì),而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的,約占整個(gè)項(xiàng)目的60%80%,這是國(guó)內(nèi)外從眾多實(shí)踐中得到的普遍共識(shí)。,ETL工具軟件,ETL工具的典型代表有:Informatica、Datastage、微軟DTS,ETL和數(shù)據(jù)倉(cāng)庫(kù),ETL是數(shù)據(jù)倉(cāng)庫(kù)中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于關(guān)系數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù)技術(shù)沒(méi)有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ),它更面向?qū)嶋H工程應(yīng)用。所以從工程應(yīng)用的角度來(lái)考慮,按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理,處理過(guò)程與經(jīng)驗(yàn)直接相關(guān),同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量,從而影響到聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境,需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中;在技術(shù)上,ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個(gè)方面;數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)實(shí)時(shí)同步,所以ETL可以定時(shí)進(jìn)行。但多個(gè)ETL的操作時(shí)間、順序和成敗對(duì)數(shù)據(jù)倉(cāng)庫(kù)中信息的有效性至關(guān)重要。,什么是作業(yè)調(diào)度程序,作業(yè)調(diào)度程序是ETL工作流程的一個(gè)調(diào)度軟件,負(fù)責(zé)管理和調(diào)度ETL工作的流程順序 嘉訊的總控程序,是用C語(yǔ)言編寫(xiě)的一個(gè)調(diào)度程序 嘉訊的總控程序相對(duì)于產(chǎn)品化得ETL工具,缺少對(duì)于數(shù)據(jù)處理的部分,僅是在UNIX上shell作業(yè)的調(diào)度程序 真正的etl處理需要具有獨(dú)立功能的作業(yè)實(shí)現(xiàn),調(diào)度程序要點(diǎn),接口類(lèi)作業(yè)(import/export) 數(shù)據(jù)加工處理類(lèi)作業(yè)(存儲(chǔ)過(guò)程) 作業(yè)配置順序-依賴(lài)與限制 作業(yè)的獨(dú)立性 日志,調(diào)度程序與銀行管理系統(tǒng),為什么銀行管理系統(tǒng)需要ETL? 數(shù)據(jù)量大 嘉訊調(diào)度程序在做些什么? 調(diào)度程序就是在做ETL 具體的說(shuō),我們是每天從上游系統(tǒng)獲取客戶(hù)的資產(chǎn)變動(dòng)情況,加工成嘉訊管理系統(tǒng)使用的指標(biāo)值。,作業(yè),1.了解什么是ETL?什么是數(shù)據(jù)倉(cāng)庫(kù)? 2.了解LOAP與OLTP是什么?區(qū)別在哪里? 3.了解幾個(gè)數(shù)據(jù)庫(kù),oracle,db2,sysbase,sql server,my sql,teradata,要求羅列出這些產(chǎn)品的公司及一般應(yīng)用范圍,每一個(gè)產(chǎn)品找到一個(gè)入門(mén)學(xué)習(xí)文檔。 4.摘要以上數(shù)據(jù)庫(kù)的im

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論