數(shù)據(jù)倉庫技術(shù)

數(shù)據(jù)倉庫技術(shù)內(nèi)容數(shù)據(jù)倉庫一些特點(diǎn)數(shù)據(jù)倉庫的架構(gòu)OracleRAC架構(gòu)GreenPlum架構(gòu)MapReduce的概念架構(gòu)比較風(fēng)險(xiǎn)評(píng)估2025/3/192數(shù)據(jù)倉庫的目前的現(xiàn)狀軟件架構(gòu)硬件架構(gòu)硬軟架構(gòu)又可以分成封閉式和開放式。封閉式硬件架構(gòu)代表廠商有teradata，其硬件是專屬的，必須使用特殊的硬件才能運(yùn)行。開放式硬件架構(gòu)的代表有oracle，可以運(yùn)行在各種硬件上，不過開放和封閉之間的界限也逐步的融合。

2025/3/193數(shù)據(jù)倉庫的目前的現(xiàn)狀2025/3/19杭州斯凱網(wǎng)絡(luò)科技4

Greenplum在這兩方面取長(zhǎng)補(bǔ)短，所提供的該公司的旗艦產(chǎn)品——Greenplum數(shù)據(jù)引擎就是特別為支持新型數(shù)據(jù)倉庫和大規(guī)模分析處理而設(shè)計(jì)開發(fā)的，可以同時(shí)支持SQL和MapReduce技術(shù)。Greenplum數(shù)據(jù)引擎對(duì)有PB量級(jí)數(shù)據(jù)的大型公司提供數(shù)據(jù)處理能力?；贕reenplum數(shù)據(jù)引擎的解決方案的核心優(yōu)勢(shì)在于可將原來長(zhǎng)達(dá)數(shù)小時(shí)甚至數(shù)天的運(yùn)算時(shí)間縮短為幾分鐘。

數(shù)據(jù)倉庫的軟件架構(gòu)數(shù)據(jù)倉庫的軟件架構(gòu)選擇更加豐富數(shù)據(jù)庫軟件ETL軟件展現(xiàn)軟件數(shù)據(jù)挖掘軟件每一種類型里面都具備非常多的選擇。2025/3/19杭州斯凱網(wǎng)絡(luò)科技5ETL約占整個(gè)項(xiàng)目的70%

2025/3/19杭州斯凱網(wǎng)絡(luò)科技6

ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)抽取、轉(zhuǎn)換和加載。

ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

如果說數(shù)據(jù)倉庫的模型設(shè)計(jì)是一座大廈的設(shè)計(jì)藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個(gè)項(xiàng)目中最難部分是用戶需求分析和模型設(shè)計(jì)，而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的，約占整個(gè)項(xiàng)目的60%～80%，數(shù)據(jù)倉庫的架構(gòu)設(shè)計(jì)一些考慮因素2025/3/19杭州斯凱網(wǎng)絡(luò)科技71.成本。成本永遠(yuǎn)是企業(yè)關(guān)心的一個(gè)核心問題，特別在如今經(jīng)濟(jì)寒冬，更是如此。2.效率。能否高效的處理海量的數(shù)據(jù)是一個(gè)基礎(chǔ)要素，搞數(shù)據(jù)倉庫的都知道，數(shù)據(jù)量永遠(yuǎn)是一個(gè)經(jīng)常被拿出來討論的話題。3.線性擴(kuò)展。能支持線性擴(kuò)展的系統(tǒng)在計(jì)劃支撐多年的系統(tǒng)中特別重要，可以非常方便的做出年度預(yù)算。4.協(xié)同工作。解決多人協(xié)同開發(fā)問題。數(shù)據(jù)倉庫的架構(gòu)設(shè)計(jì)一些考慮因素2025/3/19杭州斯凱網(wǎng)絡(luò)科技85.調(diào)度。能否很方便的一目了然的看到整體調(diào)度，站在一個(gè)非常高的高度來管理各種數(shù)據(jù)流。6.兼容性。能否兼容各種異構(gòu)數(shù)據(jù)。7.準(zhǔn)確的監(jiān)控系統(tǒng)。8.高效的開發(fā)框架。數(shù)據(jù)倉庫的架構(gòu)類型2025/3/19杭州斯凱網(wǎng)絡(luò)科技9Oracle數(shù)據(jù)倉庫的架構(gòu)2025/3/19杭州斯凱網(wǎng)絡(luò)科技10GreenPlum數(shù)據(jù)倉庫的架構(gòu)2025/3/19杭州斯凱網(wǎng)絡(luò)科技11GreenPlum數(shù)據(jù)倉庫的架構(gòu)2025/3/19杭州斯凱網(wǎng)絡(luò)科技12MapReduce概念2025/3/19杭州斯凱網(wǎng)絡(luò)科技13

MapReduce是一種編程模型(并不是google自己開發(fā)的編程工具)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（化簡(jiǎn)）"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會(huì)分布式并行編程的情況下,將自己的程序運(yùn)行在分布式系統(tǒng)上。

當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（化簡(jiǎn)）函數(shù)，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。MapReduce映射概念2025/3/19杭州斯凱網(wǎng)絡(luò)科技14

簡(jiǎn)單說來，一個(gè)映射函數(shù)就是對(duì)一些獨(dú)立元素組成的概念上的列表（例如，一個(gè)測(cè)試成績(jī)的列表）的每一個(gè)元素進(jìn)行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學(xué)生的成績(jī)都被高估了一分，他可以定義一個(gè)“減一”的映射函數(shù)，用來修正這個(gè)錯(cuò)誤。）。事實(shí)上，每個(gè)元素都是被獨(dú)立操作的，而原始列表沒有被更改，因?yàn)檫@里創(chuàng)建了一個(gè)新的列表來保存新的答案。這就是說，Map操作是可以高度并行的，這對(duì)高性能要求的應(yīng)用以及并行計(jì)算領(lǐng)域的需求非常有用。

MapReduce化簡(jiǎn)概念2025/3/19杭州斯凱網(wǎng)絡(luò)科技15

而化簡(jiǎn)操作指的是對(duì)一個(gè)列表的元素進(jìn)行適當(dāng)?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級(jí)的平均分該怎么做？他可以定義一個(gè)化簡(jiǎn)函數(shù)，通過讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運(yùn)算直到列表只剩下一個(gè)元素，然后用這個(gè)元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因?yàn)榛?jiǎn)總是有一個(gè)簡(jiǎn)單的答案，大規(guī)模的運(yùn)算相對(duì)獨(dú)立，所以化簡(jiǎn)函數(shù)在高度并行環(huán)境下也很有用。

MapReduce的分布和可靠性2025/3/19杭州斯凱網(wǎng)絡(luò)科技16

MapReduce通過把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來。如果一個(gè)節(jié)點(diǎn)保持沉默超過一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)（類同GoogleFileSystem中的主服務(wù)器）記錄下這個(gè)節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個(gè)操作使用命名文件的原子操作以確保不會(huì)發(fā)生并行線程間的沖突；當(dāng)文件被改名的時(shí)候，系統(tǒng)可能會(huì)把他們復(fù)制到任務(wù)名以外的另一個(gè)名字上去。（避免副作用）。MapReduce的分布和可靠性2025/3/19杭州斯凱網(wǎng)絡(luò)科技17

化簡(jiǎn)操作工作方式很類似，但是由于化簡(jiǎn)操作在并行能力較差，主節(jié)點(diǎn)會(huì)盡量把化簡(jiǎn)操作調(diào)度在一個(gè)節(jié)點(diǎn)上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點(diǎn)上了；這個(gè)特性可以滿足Google的需求，因?yàn)樗麄冇凶銐虻膸挘麄兊膬?nèi)部網(wǎng)絡(luò)沒有那么多的機(jī)器。

MapReduce的用途2025/3/19杭州斯凱網(wǎng)絡(luò)科技18

在Google，MapReduce用在非常廣泛的應(yīng)用程序中，包括“分布grep，分布排序，web連接圖反轉(zhuǎn)，每臺(tái)機(jī)器的詞矢量，web訪問日志分析，反向索引構(gòu)建，文檔聚類,機(jī)器學(xué)習(xí)，基于統(tǒng)計(jì)的機(jī)器翻譯...”值得注意的是，MapReduce實(shí)現(xiàn)以后，它被用來重新生成Google的整個(gè)索引。

MapReduce會(huì)生成大量的臨時(shí)文件，為了提高效率，它利用Google文件系統(tǒng)來管理和訪問這些文件。

數(shù)據(jù)倉庫的架構(gòu)比較2025/3/19杭州斯凱網(wǎng)絡(luò)科技19硬件物理架構(gòu)比較2025/3/19杭州斯凱網(wǎng)絡(luò)科技20

數(shù)據(jù)倉庫的物理架構(gòu)，包含硬件物理架構(gòu)和軟件物理架構(gòu)。硬件物理架構(gòu)包含集中式和分布式兩種，在企業(yè)里面都有運(yùn)用。集中式硬件物理架構(gòu)偏向于使用非常power的小型機(jī)或者大型機(jī)，非常高端的海量存儲(chǔ)，管理簡(jiǎn)單，在不計(jì)投入的情況下性能也能滿足企業(yè)需求。分布式硬件物理架構(gòu)目前非常流行，特征是采用價(jià)格低廉的中低端機(jī)器組成計(jì)算集群，不同的技術(shù)驅(qū)動(dòng)下，在sharednothing的架構(gòu)下可以采用本機(jī)的硬盤，在sharedeverything的架構(gòu)下偏向使用集中存儲(chǔ)，分布式集群在網(wǎng)絡(luò)上的要求比較高，擴(kuò)展性比較好，配合好的軟件可以達(dá)到線性擴(kuò)展的要求。軟件物理架構(gòu)比較2025/3/19杭州斯凱網(wǎng)絡(luò)科技21

軟件物理架構(gòu)主要特征區(qū)別就是行存儲(chǔ)和列存儲(chǔ)。這個(gè)也是曾經(jīng)很多廠商津津樂道的地方，根據(jù)需求的不同，2種方式可以靈活采用。大部分DB軟件都是采用行存儲(chǔ)，而列存儲(chǔ)的特征在于高效的單列值壓縮，在選擇列比較少的時(shí)候需要io要求很低，速度很快，不過行存儲(chǔ)的DB目前在壓縮效率上也在迅速提升，大部分需求還是選擇行數(shù)據(jù)進(jìn)行觀察，行存儲(chǔ)也更加便于表的按記錄拆分進(jìn)行并行化。OracleRAC和GreenPlum成本比較2025/3/19杭州斯凱網(wǎng)絡(luò)科技22

OracleRAC包括軟件成本，維護(hù)成本，硬件成本，由于Oracle采用sharedeverything方式，因而除了OracleRAC本身的軟件成本，維護(hù)成本外，還有很大一塊存儲(chǔ)成本。而GreenPlum是采用sharednothing方式，可以采用廉價(jià)的硬盤存儲(chǔ)方式。軟件成本相對(duì)于Oracle來說也便宜很多。因?yàn)閿?shù)據(jù)倉庫的主要的工作量和維護(hù)成本是ETL，而斯凱目前大部分?jǐn)?shù)據(jù)都放在Oracle數(shù)據(jù)庫中，因而采用OracleRAC方案ETL時(shí)間會(huì)大大縮小。

OracleRAC和GreenPlum風(fēng)險(xiǎn)評(píng)估2025/3/19杭州斯凱網(wǎng)絡(luò)科技23

OracleRAC方案是基于成熟的架構(gòu)，被業(yè)界采用最廣泛的方案，因而風(fēng)險(xiǎn)相對(duì)小很多而GreenPlum方案是目前最近的解決方案，國外Vide