數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)綜述(共9頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上科技信息2010年第35期SCIENCE&TECHNOLOGY INFORMATION0引言數(shù)據(jù)倉庫(Data Warehouse,DW1是信息領(lǐng)域中近年來迅速發(fā)展起來地?cái)?shù)據(jù)庫新技術(shù)。數(shù)據(jù)倉庫的建立,能充分利用已有地?cái)?shù)據(jù)資源,把數(shù)據(jù)轉(zhuǎn)換為信息,從中挖掘出知識,提煉成智慧,最終創(chuàng)造出效益。所以,越來越多地企業(yè)開始認(rèn)識到數(shù)據(jù)倉庫應(yīng)用所帶來地好處。計(jì)算機(jī)系統(tǒng)中存在著兩類不同地?cái)?shù)據(jù)處理工作:操作型處理和分析型處理,也稱作OLTP(聯(lián)機(jī)事務(wù)處理和OLAP(聯(lián)機(jī)分析處理。操作型處理也叫事務(wù)處理,是指對數(shù)據(jù)庫聯(lián)機(jī)地日常操作,通常是對一個(gè)或一組記錄地查詢和修改,例如火車售票系

2、統(tǒng)、銀行通存通兌系統(tǒng)等。這些系統(tǒng)要求快速響應(yīng)用戶請求,對數(shù)據(jù)地安全性、完整性以及事務(wù)吞吐量要求很高。分析型處理,是指對數(shù)據(jù)地查詢和分析操作,通常是對海量地歷史數(shù)據(jù)查詢和分析,例如金融風(fēng)險(xiǎn)預(yù)測預(yù)警系統(tǒng)、證券股市違規(guī)分析系統(tǒng)。這些系統(tǒng)要訪問地?cái)?shù)據(jù)量非常大,查詢和分析地操作十分復(fù)雜。兩者之間地差異,使得數(shù)據(jù)倉庫技術(shù)就應(yīng)運(yùn)而生了。1數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)庫2只有一字之差,似乎是一樣地概念,但實(shí)際則不然。數(shù)據(jù)倉庫是為了構(gòu)建新的分析處理環(huán)境而出現(xiàn)地一種數(shù)據(jù)存儲和組織技術(shù)。由于分析處理和事務(wù)處理具有極不相同地性質(zhì),因而兩者對數(shù)據(jù)也有著不同的要求。數(shù)據(jù)倉庫概念地創(chuàng)始人W.H.Inmon在其Building

3、 the Data Warehouse一書中,列出了操作型數(shù)據(jù)與分析型數(shù)據(jù)之間地區(qū)別,基于這些區(qū)別,可以給出數(shù)據(jù)倉庫的定義:數(shù)據(jù)倉庫是一個(gè)用以更好地支持企業(yè)(或組織決策分析處理的、面向主題的、集成的、不可更新的,隨時(shí)間不斷變化的數(shù)據(jù)集合。數(shù)據(jù)倉庫本質(zhì)上和數(shù)據(jù)庫一樣,是長期儲存在計(jì)算機(jī)內(nèi)的、有組織、可共享地?cái)?shù)據(jù)集合。數(shù)據(jù)倉庫和數(shù)據(jù)庫主要的區(qū)別是數(shù)據(jù)倉庫中地?cái)?shù)據(jù)具有面向主題的、集成的、不可更新的和隨時(shí)間不斷變化的等四個(gè)基本特征。1.1主題與面向主題數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題進(jìn)行組織的。主題是一個(gè)抽象地概念,是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用地抽象;在邏輯意義上,它對應(yīng)企業(yè)

4、中某一宏觀分析領(lǐng)域所涉及的分析對象。比如一家商場,概括分析領(lǐng)域的對象,應(yīng)有地主題包括供應(yīng)商、商品、顧客等。面向主題地?cái)?shù)據(jù)組織方式是根據(jù)分析要求將數(shù)據(jù)組織成一個(gè)完備的分析領(lǐng)域,即主題域。主題域應(yīng)該具有以下兩個(gè)特點(diǎn):(1獨(dú)立性,如針對商品地分析所要求的是“商品”主題域,它必須具有獨(dú)立內(nèi)涵。(2完備性,任何對商品地分析處理要求,應(yīng)該能在“商品”這一主題域內(nèi)找到該分析處理所要求的內(nèi)容;如果對商品的某一分析處理要求涉及現(xiàn)存“商品”主題之外地?cái)?shù)據(jù),那么就應(yīng)當(dāng)將這些數(shù)據(jù)增加到“商品”主題中來,從而逐步完善“商品”主題?；蛟S有人擔(dān)心,要求主題地完備性會使得主題包含有過多的數(shù)據(jù)項(xiàng)而顯得過于龐大。1.2數(shù)據(jù)倉庫是

5、集成的數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的分散的數(shù)據(jù)庫數(shù)據(jù)中抽取來的,因此數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫之前,必然要經(jīng)過加工與集成,統(tǒng)一與綜合。這一步實(shí)際是數(shù)據(jù)倉庫建設(shè)中最關(guān)鍵、最復(fù)雜的一步。首先,要統(tǒng)一原始數(shù)據(jù)中所有矛盾之處;然后將原始數(shù)據(jù)結(jié)構(gòu)作一個(gè)從面向應(yīng)用到面向主題的大轉(zhuǎn)變;最后還要進(jìn)行數(shù)據(jù)綜合和計(jì)算;1.3數(shù)據(jù)倉庫是不可更新的數(shù)據(jù)倉庫主要是供決策分析之用的,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一般情況下并不進(jìn)行修改操作。1.4數(shù)據(jù)倉庫是隨時(shí)間變化的數(shù)據(jù)倉庫中的數(shù)據(jù)不可更新3,是指數(shù)據(jù)倉庫的用戶進(jìn)行分析處理時(shí)是不進(jìn)行數(shù)據(jù)更新操作的,但并不是說,在數(shù)據(jù)倉庫的整個(gè)生命周期中數(shù)據(jù)集合是不變的。數(shù)據(jù)倉庫的數(shù)據(jù)是隨時(shí)間變化不

6、斷變化的,這一特征表現(xiàn)在以下三個(gè)方面:(1數(shù)據(jù)倉庫隨時(shí)間變化不斷增加新的數(shù)據(jù)內(nèi)容。(2數(shù)據(jù)倉庫隨時(shí)間變化不斷刪去舊的數(shù)據(jù)內(nèi)容。(3數(shù)據(jù)倉庫中包含大量的綜合數(shù)據(jù),這些綜合數(shù)據(jù)中很多與時(shí)間有關(guān),一次,數(shù)據(jù)倉庫數(shù)據(jù)的鍵碼都包含時(shí)間項(xiàng),以表明數(shù)據(jù)的歷史時(shí)期。2聯(lián)機(jī)分析處理技術(shù)OLAP(On-Line Analytical Processing即聯(lián)機(jī)分析處理4,是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù)。OLAP支持各級管理決策人員從不同的角度、快速靈活地對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢和多維分析處理,輔助各級領(lǐng)導(dǎo)進(jìn)行正確決策,提高企業(yè)的競爭力。2.1多維數(shù)據(jù)模型多維數(shù)據(jù)模型是數(shù)據(jù)分析時(shí)用戶的數(shù)據(jù)視圖,是面向分析的

7、數(shù)據(jù)模型,用于給分析人員提供多種觀察的視角和面向分析的操作。2.2多維分析操作常用的OLAP多維分析操作有切片(slice、切塊(dice、旋轉(zhuǎn)(pivot、向上綜合(roll-up、向下鉆取(drill-down等。通過這些操作,使用戶能從多個(gè)角度多側(cè)面觀察數(shù)據(jù)、剖析數(shù)據(jù),從而深入地了解包含在數(shù)據(jù)中的信息與內(nèi)涵。3數(shù)據(jù)挖掘技術(shù)面對日益激烈的市場競爭,客戶對迅速應(yīng)答各種業(yè)務(wù)問題的能力的要求不斷提高,不僅要求回答發(fā)生什么,為何發(fā)生,還要回答將發(fā)生什么。數(shù)據(jù)挖掘技術(shù)正是支持回答“將發(fā)生什么”這類業(yè)務(wù)問題的。3.1數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘5是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能不

8、用的信息和的一種新技術(shù)。數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等多種技術(shù),它使決策支持系統(tǒng)(DSS跨入一個(gè)新階段。3.2數(shù)據(jù)挖掘的數(shù)據(jù)源數(shù)據(jù)挖掘的數(shù)據(jù)主要有兩種來源6,可以從數(shù)據(jù)倉庫中來的,也可以直接從數(shù)據(jù)庫中來。這些實(shí)際的應(yīng)用數(shù)據(jù)往往是不完全的、有噪聲的、模糊的、隨機(jī)的,因此要根據(jù)不同的需求在挖掘之前進(jìn)行預(yù)處理。3.3數(shù)據(jù)倉庫的功能數(shù)據(jù)倉庫的功能7主要有以下幾種:(1概念描述:就是指歸納總結(jié)出數(shù)據(jù)的某些特性。(2關(guān)聯(lián)分析:若兩個(gè)或多個(gè)變量的取值之間存在某種規(guī)律性,就稱為關(guān)聯(lián)。(3分類和預(yù)測:找到一定的函數(shù)或者模型來描述和區(qū)分?jǐn)?shù)據(jù)類之間的區(qū)別,用這些函數(shù)和模型對未來進(jìn)行預(yù)

9、測。(4聚類:將數(shù)據(jù)分為多個(gè)類,使得類內(nèi)部數(shù)據(jù)之(下轉(zhuǎn)第764頁數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)綜述李大志1張阿紅2(1.南陽理工學(xué)院后勤處河南南陽;2.南陽理工學(xué)院軟件學(xué)院河南南陽【摘要】本文針對數(shù)據(jù)倉庫DW,OLAP和數(shù)據(jù)挖掘DM三種技術(shù)進(jìn)行了分析綜述。【關(guān)鍵詞】DW;OLAP;數(shù)據(jù)挖掘Data Warehouse and O n-line Analytical Processing Technology Overview【Abstract】Based on data warehouse DW,OLAP and data mining DM three technology to carry o

10、n the analysis are reviewed in this paper.【Key words】DW;OLAP;Data MiningIT論壇739科技信息SCIENCE &TECHNOLOGY INFORMATION2010年第35期(上接第739頁間的差異最小,而類之間數(shù)據(jù)的差異最大。(5孤立點(diǎn)的檢測:孤立點(diǎn)是指數(shù)據(jù)中的整體表現(xiàn)行為不一致的那些數(shù)據(jù)集合。(6趨勢和演變分析:描述行為隨著時(shí)間變化的對象所遵循的規(guī)律或趨勢。4小結(jié)數(shù)據(jù)倉庫DW ,OLAP 和數(shù)據(jù)挖掘DM 是作為三種獨(dú)立的信息處理技術(shù)出現(xiàn)的。本文詳細(xì)分析了這三種技術(shù),數(shù)據(jù)倉庫用于數(shù)據(jù)的存儲和組織,OLAP 集中于

11、數(shù)據(jù)的分析,數(shù)據(jù)挖掘則致力于知識的自動發(fā)現(xiàn)。【參考文獻(xiàn)】1王珊,等.數(shù)據(jù)庫技術(shù)叢書之一:數(shù)據(jù)倉庫技術(shù)與聯(lián)機(jī)分析處理.北京:科技出版社,1998.2Inmn W H.數(shù)據(jù)倉庫.王志海,等,譯.北京:機(jī)械工業(yè)出版社,2000.3Inmn W H ,等.數(shù)據(jù)倉庫管理.王天佑,譯.北京:電子工業(yè)出版社,2000.4Kimball R ,等.數(shù)據(jù)倉庫工具箱.譚明金,譯.北京:電子工業(yè)出版社,2003.5Imhoff C ,等.數(shù)據(jù)倉庫涉及.于戈,譯.北京:機(jī)械工業(yè)出版社,2004.6Mattison R.Web 倉庫工程與知識管理.高軍,譯.北京:清華大學(xué)出版社,2003.7Bain T ,等.SQL

12、Server2000數(shù)據(jù)倉庫與Analysis Services.邵勇,等,譯.北京:中國電力出版社,2003.作者簡介:李大志(1977,男,河南南陽人,助理實(shí)驗(yàn)師。責(zé)任編輯:湯靜科科保護(hù)機(jī)制缺位、政策性出口信用保險(xiǎn)和海外投資保險(xiǎn)制度存在多方面等。3.2.2金融服務(wù)體系不完善非洲國內(nèi)金融市場發(fā)展水平較低,難以找到中國金融機(jī)構(gòu)的海外分支,加之許多國家市場存在較大的風(fēng)險(xiǎn),因而提供融資服務(wù)的金融機(jī)構(gòu)往往收取高額的利息,企業(yè)融資成本較高,影響了發(fā)展。但是目前,中國金融機(jī)構(gòu)對企業(yè)的支持大多位于國內(nèi),且作用范圍很有限。3.2.3各種政策間的協(xié)調(diào)不足中國與非洲開展了政治外交、經(jīng)濟(jì)、文化等多個(gè)領(lǐng)域的交流和合

13、作。各領(lǐng)域都有一套促進(jìn)的政策,但總體而言較為分散,沒有形成合力。這就造成了政策的協(xié)調(diào)上難度較大,不利于中非間互利共贏長期發(fā)展目標(biāo)的實(shí)現(xiàn)。3.2.4投資行業(yè)領(lǐng)域集中中國每年對非洲投資主要是制造業(yè)。制造業(yè)投資主體總數(shù)占53.4%,但是,因?yàn)榧徔椃b業(yè)也是許多非洲國家的支柱產(chǎn)業(yè)、出口創(chuàng)匯的重要產(chǎn)業(yè),又無法和中國競爭,這就導(dǎo)致非洲一些以紡織服裝業(yè)為主導(dǎo)產(chǎn)業(yè)的國家對中國紡織服裝產(chǎn)品和產(chǎn)業(yè)在全球的擴(kuò)張充滿戒備乃至敵意。一些非洲紡織企業(yè)甚至呼吁本國政府支持歐美對中國紡織品出口重新設(shè)限。3.2.5雙方了解不夠,合作中存在文化沖突作為兩種截然不同的文化,中非在經(jīng)濟(jì)交往和合作中難免會遇到?jīng)_突。把自身的觀念和文化強(qiáng)

14、加于對方,必然會引起沖突,給經(jīng)濟(jì)合作造成阻礙。另一方面,中國企業(yè)在非洲投資時(shí),履行社會責(zé)任的意識還比較淡薄,許多企業(yè)在環(huán)境保護(hù)、勞資關(guān)系等方面的處理上還欠妥當(dāng),一些企業(yè)還存在著無序競爭的情況,這些都影響了中非合作的發(fā)展。4中國對非洲投資戰(zhàn)略的建議鑒于以上分析存在的問題,中國對非洲投資應(yīng)從以下幾個(gè)方面進(jìn)行戰(zhàn)略調(diào)整:4.1提升非洲國家的產(chǎn)業(yè)競爭力對非投資要重點(diǎn)促進(jìn)東道國的產(chǎn)業(yè)發(fā)展。中國對非投資,要實(shí)現(xiàn)互利共贏的戰(zhàn)略目標(biāo),需要著力促進(jìn)和提升非洲自身的產(chǎn)業(yè)能力。通過投資,完善東道國當(dāng)?shù)氐漠a(chǎn)業(yè)鏈,提供相關(guān)技術(shù)、培養(yǎng)專業(yè)技術(shù)人員和管理人才。4.2創(chuàng)新經(jīng)濟(jì)合作模式優(yōu)惠貸款是長期以來中國對非援助的主要方式之一

15、。為了在平等相待、互利共贏的基礎(chǔ)上推進(jìn)非洲的工業(yè)化,增強(qiáng)非洲自身發(fā)展的能力,必須轉(zhuǎn)變對非援助的方式。可以考慮由優(yōu)惠貸款等單方面的給予轉(zhuǎn)變?yōu)橥顿Y合作基金等,既有利于中非經(jīng)貿(mào)合作的進(jìn)一步推進(jìn),又能夠在一定程度上避免來自西方的抱怨和指責(zé)。4.3營造適合企業(yè)發(fā)展的金融環(huán)境非洲國家市場對金融的需求很強(qiáng),但國內(nèi)金融市場不發(fā)達(dá)、資本市場體系不完善,過高的風(fēng)險(xiǎn)使得許多外國金融機(jī)構(gòu)望而卻步,因此,金融服務(wù)供求方面存在巨大的缺口。然而,企業(yè)“走”向非洲,需要強(qiáng)有力的金融支持,尤其在海外融資、風(fēng)險(xiǎn)控制、信用支持等方面需要更完善的服務(wù)?！緟⒖嘉墨I(xiàn)】1項(xiàng)瑩,蔡芳芳.擴(kuò)大對非洲直接投資的策略選擇J.國際經(jīng)濟(jì)合作,2006

16、(7:4-6.2張剛.外國石油公司在非洲的競爭趨勢分析J.國際石油經(jīng)濟(jì),2008(16:7-10.3王圳.加強(qiáng)中國與其他發(fā)展中國家的經(jīng)貿(mào)合作J.國經(jīng)濟(jì)合作,2006(3:16-19.4馬強(qiáng).我國對非洲投資合作問題的分析.對外經(jīng)貿(mào)實(shí)務(wù),2008(11:21-23.5李桂芳.中國企業(yè)對外直接投資分析報(bào)告M.北京:中國經(jīng)濟(jì)出版社,2007.6李獻(xiàn)兵,郭玉華.我國中小企業(yè)在非洲的投資策略研究J.中國流通經(jīng)濟(jì),2009(3:71-73.責(zé)任編輯:湯靜科(上接第754頁當(dāng)250us 的定時(shí)中斷到了,判斷一個(gè)周期是否到,到了就重新置初值50,置P2.3口低電平(電機(jī)轉(zhuǎn)將49H (一個(gè)周期中為高電平的中斷次數(shù)

17、的內(nèi)容放入48H 中,否則就將48H 判斷的內(nèi)容不為0就減1,保持P2.3為低電平本次中斷就結(jié)束,為0就跳轉(zhuǎn),重新將49H 的內(nèi)容放入48H 單元。這樣我們只要通過改變49H 中的內(nèi)容就可以改變PWM 波的占空比。則電機(jī)兩端電壓隨占空比變化而變化,因而控制電機(jī)轉(zhuǎn)速的變化。2.3.2顯示程序簡介本次設(shè)計(jì)的顯示部分采用的是動態(tài)顯示。所謂動態(tài)顯示,就是一位一位地輪流點(diǎn)亮各位顯示器(掃描,對于每一位顯示器來說,每隔一段時(shí)間點(diǎn)亮一次。顯示器的亮度既與導(dǎo)通電流有關(guān),也與點(diǎn)亮?xí)r間和間隔時(shí)間的比例有關(guān)。調(diào)整電流和時(shí)間參數(shù),也可以實(shí)現(xiàn)亮度較高較穩(wěn)定的顯示。若顯示器的位數(shù)不大于8位,則控制顯示器公共極電位只需一個(gè)8位口(稱為掃描口,控制各位顯示器所顯示的字形也需一個(gè)8位口(稱為段數(shù)據(jù)口。本次設(shè)計(jì)使用的是4位共陰極顯示器。89C51的P0口作為段數(shù)據(jù)