BI基礎(chǔ)知識課件

1、BI基礎(chǔ)知識第1頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第2頁，共31頁。各種概念之間的關(guān)系Data WarehouseArtificialIntelligenceData MartOLAPDecision Support SystemData MiningOperation DatabaseBusiness Intelligent SystemDatabase System第3頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第4頁，共31頁。BI 是將數(shù)據(jù)轉(zhuǎn)換成信息的過程，

2、然后通過發(fā)現(xiàn)將信息轉(zhuǎn)化為知識。 Gartner Group BI 是將數(shù)據(jù)轉(zhuǎn)換成知識并將知識應(yīng)用到商業(yè)行為上的一個過程。 Data Warehouse Institute商業(yè)智能領(lǐng)域：DSS、OLAP、數(shù)據(jù)倉庫、ETL、數(shù)據(jù)集市、數(shù)據(jù)挖掘、商業(yè)建模.為提高企業(yè)運營性能而采用的一系列方法、技術(shù)和軟件的總和商業(yè)智能Business Intelligence第5頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第6頁，共31頁。企業(yè)數(shù)據(jù)倉庫EDW企業(yè)數(shù)據(jù)倉庫定義：詳細交易及相關(guān)業(yè)務(wù)數(shù)據(jù)的集合包含必要的內(nèi)部與外部信息來自于多個數(shù)據(jù)源/業(yè)務(wù)操作系統(tǒng)保

3、存一定的時間周期按照企業(yè)內(nèi)業(yè)務(wù)規(guī)則所決定的模型來存儲企業(yè)數(shù)據(jù)倉庫作用：基于數(shù)據(jù)/信息來回答相關(guān)的業(yè)務(wù)問題和提供決策支持，并確保：一致、集成的數(shù)據(jù)存儲任意的數(shù)據(jù)粒度在整個企業(yè)的業(yè)務(wù)范圍保持企業(yè)內(nèi)一致的信息視圖企業(yè)內(nèi)一致的信息視圖（Single Version of the Truth）集成的企業(yè)信息（Integrated corporate information）不針對特定應(yīng)用（Application neutral）無冗余（Non redundant）用于報表和決策支持（Reporting and decision making）最詳細的數(shù)據(jù)和信息（Detailed Data）任何時候，針對

4、任意數(shù)據(jù)，提出任意業(yè)務(wù)問題（Ask any question, any data, any time）第7頁，共31頁。數(shù)據(jù)倉庫的特點第8頁，共31頁。數(shù)據(jù)倉庫領(lǐng)域的兩位大師Bill Inmon數(shù)據(jù)倉庫之父，數(shù)據(jù)倉庫概念的創(chuàng)始人理論： Corporate Information Factory(CIF) 主要著作：數(shù)據(jù)倉庫、企業(yè)信息工廠主要著作：數(shù)據(jù)倉庫工具箱維度建模的完全指南、 數(shù)據(jù)倉庫生命周期工具箱 設(shè)計、開發(fā)和部署數(shù)據(jù)倉庫的專家方法Ralph Kimball數(shù)據(jù)倉庫方面的知名學(xué)者理論：Mutildimensional Architecture(MD) 第9頁，共31頁。企業(yè)信息工廠第10

5、頁，共31頁。數(shù)據(jù)倉庫總線 第11頁，共31頁。企業(yè)總線第12頁，共31頁?？偩€架構(gòu)矩陣第13頁，共31頁。數(shù)據(jù)架構(gòu)形態(tài)第14頁，共31頁。各數(shù)據(jù)架構(gòu)比較第15頁，共31頁。Inmon vs KimballInmonKimballOverall approach Top-down Bottom-upComplexity of the method Quite complexFairly simpleData Orientation Data derivedProcess orientedPrimary audienceIT audience End userTool3NFDimensional

6、 ModelingArchitectural structureEnterprise wide ,Data warehouse feeds department databasesData mart model a single business process Enterprise consistency achieved through bus第16頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第17頁，共31頁。OLTP與OLAP 針對特定問題的聯(lián)機數(shù)據(jù)訪問和數(shù)據(jù)分析技術(shù) 滿足對數(shù)據(jù)進行多角度、快速、一致、交互、深入觀察 使用預(yù)定

7、義的多維數(shù)據(jù)視圖對數(shù)據(jù)進行分析處理，支持對數(shù)據(jù)的切片、切塊、鉆取。 多維數(shù)據(jù)庫是一種以多維數(shù)據(jù)存儲形式來組織數(shù)據(jù)的數(shù)據(jù)管理系統(tǒng)，在使用時需要將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中轉(zhuǎn)載到多維數(shù)據(jù)庫中方可訪問。 也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計算中心進行處理，并在很短的時間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答。也稱為實時系統(tǒng)(Real time System)。衡量聯(lián)機事務(wù)處理系統(tǒng)的一個重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實時響應(yīng)時間(Response Time)，即用戶在終端上送入數(shù)據(jù)之后，到計算機對這個請求給出答復(fù)所需要的時間。OLTP 數(shù)據(jù)庫

8、旨在使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務(wù)。On-Line Analytical ProcessingOn-Line Transaction Processing第18頁，共31頁。OLTP與OLAPOLTPOLAP用戶操作人員,低層管理人員決策人員,高級管理人員功能日常操作處理分析決策DB 設(shè)計面向應(yīng)用面向主題數(shù)據(jù)當(dāng)前的, 最新的細節(jié)的, 二維的歷史的, 聚集的, 多維的集成的, 統(tǒng)一的存取讀/寫數(shù)十條記錄讀上百萬條記錄工作單位簡單的事務(wù)復(fù)雜的查詢用戶數(shù)上千個上百個DB 大小100MB-GB100GB-TBROLAP表示基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（Relational OLA

9、P）MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（Multidimensional OLAP）第19頁，共31頁。ROLAPMOLAP沿用現(xiàn)有關(guān)系數(shù)據(jù)庫技術(shù)專用技術(shù)響應(yīng)速度相對molap要慢性能好，響應(yīng)速度快數(shù)據(jù)轉(zhuǎn)載計算速度快數(shù)據(jù)轉(zhuǎn)載速度慢存儲空間耗費小，維數(shù)沒有限制需要進行預(yù)計算，可能導(dǎo)致數(shù)據(jù)爆炸，維數(shù)有限，無法支持維的動態(tài)變化借助rdbms對數(shù)據(jù)存儲，無文件大小限制受操作系統(tǒng)平臺文件大小限制，難以達到tb級可以通過sql語句實現(xiàn)詳細數(shù)據(jù)和概要數(shù)據(jù)的存儲缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn)不支持預(yù)計算的讀寫操作無法完成維之間的運算無法完成多行計算支持高性能的決策支持計算復(fù)雜的跨維計算多用戶讀寫操作行

10、級計算ROLAP vs MOLAP第20頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第21頁，共31頁。DSS產(chǎn)品產(chǎn)品名稱產(chǎn)品內(nèi)容方法論 數(shù)據(jù)倉庫項目組織步驟、人員角色、建設(shè)放方案等一系列方法的集合，指導(dǎo)方針數(shù)據(jù)倉庫數(shù)據(jù)模型的建模方法；統(tǒng)一的概念模型、邏輯模型；數(shù)據(jù)庫中對應(yīng)的組織（物理化）技術(shù)組件與功能ETL功能組件；前端門戶組件、模版；元數(shù)據(jù)管理；用戶與組織；權(quán)限組織；應(yīng)用分析集合面向業(yè)務(wù)的分析；面向問題的專題；固定報表；即席查詢分析；KPI；分析、互動流程數(shù)據(jù)組織過程與個性應(yīng)用實現(xiàn)數(shù)據(jù)的加載、清洗、組織規(guī)劃的過程；用戶本地的需求整

11、理與實現(xiàn)；與開發(fā)者的經(jīng)驗、技能相關(guān)第22頁，共31頁。 BI各概念關(guān)系 商業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第23頁，共31頁。數(shù)據(jù)挖掘改變未來世界的十大新興技術(shù)機器與人腦的接口塑膠晶體管數(shù)據(jù)挖掘（Data Mining）數(shù)字權(quán)利管理生物測定學(xué)（Biometrics）語言識別處理微光學(xué)技術(shù)（Microphotonics）解開程序代碼（Untangling Code）機器人設(shè)計微應(yīng)用流體學(xué)（Microfluidics） 資料來源：Technology Review（麻省理工學(xué)院2002年1月出刊）第24頁，共31頁。什么是數(shù)據(jù)挖掘？定義：從海量的數(shù)據(jù)庫中選擇、

12、探索、識別出有效的、新穎的、具有潛在效用的乃至最終可理解的模式以獲取商業(yè)利益的非平凡的過程 -Fayyad，Piatetsky-Shapiro特征：處理海量的數(shù)據(jù)；揭示企業(yè)運作中的內(nèi)在規(guī)律；為企業(yè)運作提供直接決策分析，并為企業(yè)帶來巨大經(jīng)濟效益。DataInformationKnowledgeWisdomData + contextInformation + rulesKnowledge + experience第25頁，共31頁。數(shù)據(jù)挖掘涉及領(lǐng)域神經(jīng)計算數(shù)據(jù)庫知識發(fā)現(xiàn)數(shù)據(jù)挖掘統(tǒng)計學(xué)模式識別機器學(xué)習(xí)人工智能第26頁，共31頁。數(shù)據(jù)挖掘基本概念模型（Model） vs 模式（Pattern）數(shù)據(jù)挖

13、掘的根本目的就是把樣本數(shù)據(jù)中隱含的結(jié)構(gòu)泛化（Generalize）到總體（Population）上去模型：對數(shù)據(jù)集的一種全局性的整體特征的描述或概括，適用于數(shù)據(jù)空間中的所有點，例如聚類分析模式：對數(shù)據(jù)集的一種局部性的有限特征的描述或概括，適用于數(shù)據(jù)空間的一個子集，例如關(guān)聯(lián)分析算法（Algorithm）：一個定義完備（well-defined）的過程，它以數(shù)據(jù)作為輸入并產(chǎn)生模型或模式形式的輸出描述型挖掘（Descriptive） vs 預(yù)測型挖掘（Predictive）描述型挖掘：對數(shù)據(jù)進行概括，以方便的形式呈現(xiàn)數(shù)據(jù)的重要特征預(yù)測型挖掘：根據(jù)觀察到的對象特征值來預(yù)測它的其他特征值描述型挖掘可以是

14、目的，也可以是手段第27頁，共31頁。幾類基本的挖掘算法關(guān)聯(lián)規(guī)則（模式、描述型）發(fā)現(xiàn)數(shù)據(jù)集中的頻繁模式例如：buy(x,”diapers”) buy(x,”beers”) 0.5%, 60%分類與預(yù)測（模型、預(yù)測型）發(fā)現(xiàn)能夠區(qū)分或預(yù)測目標(biāo)變量（唯一的）的規(guī)則或者函數(shù)分類的目標(biāo)變量一般是范疇型的，而預(yù)測則是數(shù)量型的，并不必然帶有任何時間延續(xù)型的暗示例如：股票市值的預(yù)測，病人病情的判斷聚類（模型、描述型）對數(shù)據(jù)分組以形成新類，類標(biāo)記是未知的例如：市場細分孤立點探測（Outlier Detection）（模式、預(yù)測型）分析異?；蛟肼晹?shù)據(jù)的行為模式例如：欺詐檢測第28頁，共31頁。 BI各概念關(guān)系 商

15、業(yè)智能 數(shù)據(jù)倉庫 OLAP技術(shù) DSS產(chǎn)品 數(shù)據(jù)挖掘 商業(yè)智能工具主題第29頁，共31頁。工具分類 建模工具：Powerdesigner、Erwin ETL工具：用于數(shù)據(jù)的集成和處理Datastage、Infomatic、Automation 數(shù)據(jù)質(zhì)量工具：一般集成在ETL工具中 分析工具：報表工具：BO、COGNOS、OBIEE、MicroStrategyOLAP工具：COGNOS、BO、OBIEE (Hyperion) BI分析門戶：一般集成在分析工具中 數(shù)據(jù)挖掘工具：SAS Enterprise Miner、SPSS Clementine 元數(shù)據(jù)管理工具：metacenter、CA、In

16、fomatic第30頁，共31頁。1、不是井里沒有水，而是你挖的不夠深。不是成功來得慢，而是你努力的不夠多。2、孤單一人的時間使自己變得優(yōu)秀，給來的人一個驚喜，也給自己一個好的交代。3、命運給你一個比別人低的起點是想告訴你，讓你用你的一生去奮斗出一個絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少?？诶锊徽f多余的話，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣來盡量要惜，緣盡就放。人生本來就空，對人家笑笑，對自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!25、你不能拼爹的時候，你就只能去拼命

17、！26、如果人生的旅程上沒有障礙，人還有什么可做的呢。27、我們無法選擇自己的出身，可是我們的未來是自己去改變的。勵志名言：比別人多一點執(zhí)著，你就會創(chuàng)造奇跡28、偉人之所以偉大，是因為他與別人共處逆境時，別人失去了信心，他卻下決心實現(xiàn)自己的目標(biāo)。29、人生就像一道漫長的階梯，任何人也無法逆向而行，只能在急促而繁忙的進程中，偶爾轉(zhuǎn)過頭來，回望自己留下的蹣跚腳印。30、時間，帶不走真正的朋友；歲月，留不住虛幻的擁有。時光轉(zhuǎn)換，體會到緣分善變；平淡無語，感受了人情冷暖。有心的人，不管你在與不在，都會惦念；無心的情，無論你好與不好，只是漠然。走過一段路，總能有一次領(lǐng)悟；經(jīng)歷一些事，才能看清一些人。31

18、、我們無法選擇自己的出身，可是我們的未來是自己去改變的。32、命好不如習(xí)慣好。養(yǎng)成好習(xí)慣，一輩子受用不盡。33、比別人多一點執(zhí)著，你就會創(chuàng)造奇跡。50、想像力比知識更重要。不是無知，而是對無知的無知，才是知的死亡。51、對于最有能力的領(lǐng)航人風(fēng)浪總是格外的洶涌。52、思想如鉆子，必須集中在一點鉆下去才有力量。53、年少時，夢想在心中激揚迸進，勢不可擋，只是我們還沒學(xué)會去戰(zhàn)斗。經(jīng)過一番努力，我們終于學(xué)會了戰(zhàn)斗，卻已沒有了拼搏的勇氣。因此，我們轉(zhuǎn)向自身，攻擊自己，成為自己最大的敵人。54、最偉大的思想和行動往往需要最微不足道的開始。55、不積小流無以成江海，不積跬步無以至千里。56、遠大抱負始于高中

19、，輝煌人生起于今日。57、理想的路總是為有信心的人預(yù)備著。58、抱最大的希望，為最大的努力，做最壞的打算。59、世上除了生死，都是小事。從今天開始，每天微笑吧。60、一勤天下無難事，一懶天下皆難事。61、在清醒中孤獨，總好過于在喧囂人群中寂寞。62、心里的感覺總會是這樣，你越期待的會越行越遠，你越在乎的對你的傷害越大。63、彩虹風(fēng)雨后，成功細節(jié)中。64、有些事你是繞不過去的，你現(xiàn)在逃避，你以后就會話十倍的精力去面對。65、只要有信心，就能在信念中行走。66、每天告訴自己一次，我真的很不錯。67、心中有理想 再累也快樂68、發(fā)光并非太陽的專利，你也可以發(fā)光。69、任何山都可以移動，只要把沙土一卡

20、車一卡車運走即可。70、當(dāng)你的希望一個個落空，你也要堅定，要沉著！71、生命太過短暫，今天放棄了明天不一定能得到。72、只要路是對的，就不怕路遠。73、如果一個人愛你、特別在乎你，有一個表現(xiàn)是他還是有點怕你。74、先知三日，富貴十年。付諸行動，你就會得到力量。75、愛的力量大到可以使人忘記一切，卻又小到連一粒嫉妒的沙石也不能容納。1、這世上，沒有誰活得比誰容易，只是有人在呼天搶地，有人在默默努力。2、當(dāng)熱誠變成習(xí)慣，恐懼和憂慮即無處容身。缺乏熱誠的人也沒有明確的目標(biāo)。熱誠使想象的輪子轉(zhuǎn)動。一個人缺乏熱誠就象汽車沒有汽油。善于安排玩樂和工作，兩者保持熱誠，就是最快樂的人。熱誠使平凡的話題變得生動

21、。3、起點低怕什么，大不了加倍努力。人生就像一場馬拉松比賽，拼的不是起點，而是堅持的耐力和成長的速度。只要努力不止，進步也會不止。4、如果你不相信努力和時光，那么時光第一個就會辜負你。不要去否定你的過去，也不要用你的過去牽扯你的未來。不是因為有希望才去努力，而是努力了，才能看到希望。5、人生每天都要笑，生活的下一秒發(fā)生什么，我們誰也不知道。所以，放下心里的糾結(jié)，放下腦中的煩惱，放下生活的不愉快，活在當(dāng)下。人生喜怒哀樂，百般形態(tài)，不如在心里全部淡然處之，輕輕一笑，讓心更自在，生命更恒久。積極者相信只有推動自己才能推動世界，只要推動自己就能推動世界。6、人性本善，純?nèi)缜逑魉冬摖q。欲望與情緒如

22、風(fēng)沙襲擾，把原本如天空曠蔚藍的心蒙蔽。但我知道，每個人的心靈深處，不管烏云密布還是陰淤蒼茫，但依然有一道彩虹，亮麗于心中某處。7、每個人的心里，都藏著一個了不起的自己，只要你不頹廢，不消極，一直悄悄醞釀著樂觀，培養(yǎng)著豁達，堅持著善良，只要在路上，就沒有到達不了的遠方！8、不要活在別人眼中，更不要活在別人嘴中。世界不會因為你的抱怨不滿而為你改變，你能做到的只有改變你自己！9、欲戴王冠，必承其重。哪有什么好命天賜，不都是一路披荊斬棘才換來的。10、放手如拔牙。牙被拔掉的那一刻，你會覺得解脫。但舌頭總會不由自主地往那個空空的牙洞里舔，一天數(shù)次。不痛了不代表你能完全無視，留下的那個空缺永遠都在，偶爾甚至?xí)惓炷睢＿m應(yīng)是需要時間的，但牙總是要拔，因為太痛，所以終歸還是要放手，隨它去。11、這個世界其實很公平，你想要比別人強，你就必須去做別人不想做的事，你想要過更好的生活，你就必須去承受更多的困難，承受別人不能承受的壓力。12、逆境給人寶貴的磨煉機會。只有經(jīng)得起環(huán)境考驗的人，才能算是真正的強者。自古以來的偉人，大多