大數(shù)據(jù)時代下的商業(yè)智能

1、大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)時代下的商業(yè)智能目 錄BI行業(yè)的發(fā)展前景BI的歷史、現(xiàn)在和未來主要BI廠商傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別大數(shù)據(jù)與商業(yè)智能的結(jié)合大數(shù)據(jù)時代下的商業(yè)智能從全球范圍來看，商業(yè)智能(BI)已經(jīng)成為最具有前景的IT領(lǐng)域。2010年中國大陸地區(qū)的BI市場份額約為46億元人民幣，同比2009年增長27%BI的人才目前在IT行業(yè)并不是很多, BI人員發(fā)展的機(jī)遇很大。BI行業(yè)的發(fā)展前景行業(yè)的發(fā)展前景大數(shù)據(jù)時代下的商業(yè)智能BI從業(yè)人員的關(guān)注點從業(yè)人員的關(guān)注點設(shè)計、開發(fā)設(shè)計、開發(fā)架構(gòu)、咨詢架構(gòu)、咨詢數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)報表設(shè)計和開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)架構(gòu)

2、的思想案例關(guān)注點關(guān)注點關(guān)注點關(guān)注點數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)倉庫的環(huán)境難點難點難點難點大數(shù)據(jù)時代下的商業(yè)智能 商業(yè)智能是從許多來自不同系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù),并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過抽取、轉(zhuǎn)換和裝載的過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖。 在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進(jìn)行分析和處理，最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。商業(yè)智能的概念大數(shù)據(jù)時代下的商業(yè)智能 追本溯源，學(xué)界已公認(rèn)，赫伯特西蒙對決策支持系統(tǒng)的研究，是現(xiàn)代商業(yè)智能概念最早的源頭和起點。 1970年，IBM的

3、研究員埃德加科德(Edgar Codd)發(fā)明了關(guān)系型數(shù)據(jù)庫。 1979年，一家以決策支持系統(tǒng)為已任，致力于構(gòu)建單獨的數(shù)據(jù)存儲結(jié)構(gòu)的公司Teradata誕生。1983年，該公司利用并行處理技術(shù)為美國富國銀行建立了第一個決策支持系統(tǒng)。 1988年，為解決企業(yè)集成問題，IBM公司的研究員Barry Devlin和Paul Murphy創(chuàng)造性地提出一個新的術(shù)語：數(shù)據(jù)倉庫(Data Warehouse) 1992年，比爾.恩門（Bill Inmon)出版了如何構(gòu)建數(shù)據(jù)倉庫一書，他主張由頂至底的構(gòu)建方法，強(qiáng)調(diào)數(shù)據(jù)的一致性，拉開了數(shù)據(jù)倉庫真正得以大規(guī)模應(yīng)用的序幕。 1993年，拉爾夫.金博爾出版了數(shù)據(jù)倉庫的

4、工具一書，他主張務(wù)實的數(shù)據(jù)倉庫應(yīng)該由下往上，從部門到企業(yè)，并把部門的數(shù)據(jù)倉庫叫做“數(shù)據(jù)集市” 。BI的歷史大數(shù)據(jù)時代下的商業(yè)智能經(jīng)歷一輪并購潮之后，BI廠商分為兩類，一類是綜合性BI提供商。例如IBM、 Oracle 、SAP和Microsoft等。另一類是專業(yè)化BI提供商，例如Teradata和SAS。IBM在BI領(lǐng)域有許多發(fā)展，先后并購了Datastage,Cognos和SPSS，最近又提出了業(yè)務(wù)分析（BA)。Oracle收購海波龍(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中間件更是加強(qiáng)了Oracle的BI戰(zhàn)略。SAP收購Business Objects之后，在B

5、I產(chǎn)品的易用性上下足功夫。Teradata精于數(shù)據(jù)倉庫技術(shù)，而SAS在數(shù)據(jù)挖掘分析方面見長。BI的現(xiàn)在大數(shù)據(jù)時代下的商業(yè)智能IBM - DB2 、 DataStage 、 Cognos 、 SPSS ，覆蓋BI全部領(lǐng)域 Oracle - Oracle、BIEE/Hyperion，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘有待加強(qiáng) Microsoft - SQL Server ，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性價比高 SAP - Business Objects、Crystal Reports，主要是OLAP和報表領(lǐng)域 Informatica - Informatica，主要是數(shù)據(jù)集成領(lǐng)域 Teradata

6、 - Teradata，主要是數(shù)據(jù)倉庫領(lǐng)域 Sybase - Sybase IQ，主要是數(shù)據(jù)倉庫領(lǐng)域 SAS - SAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先主要BI廠商大數(shù)據(jù)時代下的商業(yè)智能BI工具在中國遇到的挑戰(zhàn)報表格式復(fù)雜 中國是世界上報表最復(fù)雜的國家。中國的報表設(shè)計思想與西方不同，西方報表傾向于僅用一張報表說明一個問題，而中國的報表傾向于將盡可能多的問題集中在一張報表中，這種思路直接導(dǎo)致了中國報表的復(fù)雜格式 數(shù)據(jù)量大 中國是世界上人口最多的國家。以中國移動公司為例，僅我國一個省的用戶數(shù)量，就相當(dāng)于歐洲一個中等國家的人口，是真正的海量數(shù)據(jù)！我國很多BI系統(tǒng)的架構(gòu)和設(shè)計也不如外國，所以在性能上存在較大的差距。

7、在外國，可能一個客戶分析應(yīng)用一兩分鐘就能出結(jié)果，但是在中國，可能就是要一兩個小時了。 數(shù)據(jù)回寫 中國是世界上對 BI 系統(tǒng)要求最奇特的國家。本來 BI 系統(tǒng)是以真實再現(xiàn)源數(shù)據(jù)為原則，但這個原則在中國遇到了難題，許多領(lǐng)導(dǎo)都提出了數(shù)據(jù)修改的需求，“報表里數(shù)字不好看，就要能改啊，這樣上級領(lǐng)導(dǎo)看著就好嘛！”目前Microsoft, Oracle BIEE就是能滿足這樣要求的 BI 產(chǎn)品大數(shù)據(jù)時代下的商業(yè)智能傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別有一種觀點：預(yù)測未來分析歷史未來商業(yè)智能傳統(tǒng)商業(yè)智能大數(shù)據(jù)時代下的商業(yè)智能傳統(tǒng)商業(yè)智能的使用情況固定報表：目前中國市場上的商業(yè)智能應(yīng)用停留在這個層面，主要過程是通過E

8、TL工具，將業(yè)務(wù)系統(tǒng)源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，在裝載到數(shù)據(jù)集市，建立模型，利用前端工具將數(shù)據(jù)展現(xiàn)出來。OLAP分析：生成OLAP多維模型，實現(xiàn)多指標(biāo)分析。數(shù)據(jù)挖掘：通過分析具體數(shù)據(jù)，發(fā)現(xiàn)潛在的、有價值的信息，例如啤酒和尿布。分析應(yīng)用：與業(yè)務(wù)信息系統(tǒng)相結(jié)合。例如企業(yè)績效管理。大數(shù)據(jù)時代下的商業(yè)智能第一階段：查詢。第二階段：報表。第三階段：多維分析和統(tǒng)計分析。第四個階段：數(shù)據(jù)挖掘。傳統(tǒng)商業(yè)智能的幾個階段：未來商業(yè)智能的方向：(1) 建立實時動態(tài)數(shù)據(jù)倉庫。傳統(tǒng)數(shù)據(jù)倉庫是基于歷史數(shù)據(jù)分析，動態(tài)數(shù)據(jù)倉庫支持前端應(yīng)用，利用分析結(jié)果發(fā)起業(yè)務(wù)流程。(2) 增加對非結(jié)構(gòu)化數(shù)據(jù)的處理 。(3) 縮短響應(yīng)時間。大數(shù)據(jù)

9、時代下的商業(yè)智能傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別BI傳統(tǒng)的過濾、上鉆、下鉆、比較等功能也難于滿足一些特殊企業(yè)用戶的分析要求。 如何來保證外部數(shù)據(jù)的準(zhǔn)確性、實時性和有效性是個重大問題。. 在多媒體、智能手機(jī)和社交網(wǎng)站獲取的信息，我們正面臨著比以往任何時候都更多的數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)倉庫的性能已無法應(yīng)付龐大的信息，只有通過大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪問和使用這些寶貴的、大規(guī)模數(shù)據(jù)集，以應(yīng)對越來越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策制定。大數(shù)據(jù)時代下的商業(yè)智能1. 操作型商業(yè)智能。BI用戶群也會相應(yīng)地從現(xiàn)在的后臺管理決策層向前端業(yè)務(wù)操作型用戶延伸。2. 交互式商業(yè)智能。預(yù)測、分?jǐn)?、假設(shè)模擬、數(shù)據(jù)挖

10、掘等技術(shù)應(yīng)用將會越來越普遍。3. 可視化商業(yè)智能。越來越多的用戶不再滿足于傳統(tǒng)的圖像展現(xiàn)，而要求數(shù)據(jù)的進(jìn)一步可視化。4. 實時商業(yè)智能。由于BI應(yīng)用將向操作型發(fā)展的特點，也導(dǎo)致了用戶對BI應(yīng)用的實時性需求。5. 移動商業(yè)智能。將原來人們依賴于電腦的商業(yè)智能搬到了手機(jī)或者黑莓上。6. SaaS商業(yè)智能。商業(yè)智能作為云計算，作為服務(wù)來使用。未來商業(yè)智能的發(fā)展大數(shù)據(jù)時代下的商業(yè)智能為了滿足未來商業(yè)智能的發(fā)展，應(yīng)該將大數(shù)據(jù)技術(shù)和商業(yè)智能技術(shù)結(jié)合起來大數(shù)據(jù)(Big Data)是對你在數(shù)據(jù)倉庫技術(shù)中現(xiàn)有投資的補(bǔ)充主要的商業(yè)智能 （BI）供應(yīng)商都宣布對大數(shù)據(jù)技術(shù)的支持，或在解決方案中使用大數(shù)據(jù)技術(shù)數(shù)據(jù)海洋中

11、的大數(shù)據(jù)要做的事不僅要對大規(guī)模的信息運行分析而且也成為數(shù)據(jù)倉庫的一種來源大數(shù)據(jù)有益于大型分析以及長期的戰(zhàn)略方向大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫、BI概念外延的擴(kuò)展，手段的擴(kuò)充，不存在取代的關(guān)系，也并不是互斥的關(guān)系大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)與商業(yè)智能的結(jié)合例如，某位信用卡用戶月均刷卡10次，月均刷卡300元，每年平均打5次客服電話，但是從未投訴。那么按照這些信息，該客戶是一命滿意度較高，流失率很低的客戶。利用商業(yè)智能得出的結(jié)論真實情況該客戶多次打客服電話都沒有接通，客戶多次在微博和博客上進(jìn)行抱怨還款不方便，客戶服務(wù)不好，所以該客戶的流失風(fēng)險很高。大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)概念的提出最早提出“大數(shù)

12、據(jù)”時代已經(jīng)到來的機(jī)構(gòu)是全球知名咨詢公司麥肯錫。2011年，麥肯錫出版了研究報告大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域，產(chǎn)學(xué)研界對“大數(shù)據(jù)”的關(guān)注達(dá)到歷史性新高度。麥肯錫在研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算的快速興起以及移動智能終端的快速普及，正使得當(dāng)前人類社會的數(shù)據(jù)增長比以往任何一個時期都要快。越來越大、越來越快、越來越復(fù)雜，數(shù)據(jù)特性的演變和發(fā)展，催生了一個全新的概念大數(shù)據(jù)。大數(shù)據(jù)時代下的商業(yè)智能結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫中，多年來一直主

13、導(dǎo)著IT應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。更廣的信息范圍新的數(shù)據(jù)與分析類型實時信息來自新技術(shù)的數(shù)據(jù)非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞定義大數(shù)據(jù)* 2012年IBM對95個國家中26個行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果大數(shù)據(jù) 是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念

14、定義為4個V，即數(shù)量（Volume）、多樣性（Variety）、速度（Velocity）及數(shù)據(jù)的準(zhǔn)確性（Veracity）。大數(shù)據(jù)時代下的商業(yè)智能數(shù)據(jù)規(guī)模TB 至PB 級數(shù)據(jù)數(shù)據(jù)的多種形式結(jié)構(gòu)化、非結(jié)構(gòu)化、文本、多媒體數(shù)據(jù)的運動分析流數(shù)據(jù)，在不到一秒內(nèi)做出決策數(shù)據(jù)的不確定性管理數(shù)據(jù)的可靠性和可預(yù)測性，盡管原生數(shù)據(jù)內(nèi)生性的不精確多樣性（Variety）精確性（Veracity）速度（Velocity）數(shù)量（Volume）大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)和商業(yè)智能結(jié)合已應(yīng)用于各行各業(yè)能源與公用事業(yè) 智能電表分析 資產(chǎn)管理零售 全渠道營銷 實時促銷司法執(zhí)法 多點監(jiān)測 網(wǎng)絡(luò)安全檢測交通運輸 物流優(yōu)化 緩解

15、交通擁堵金融服務(wù)業(yè) 欺詐檢測 360客戶視圖數(shù)字媒體 實時廣告定位 屬性分析健康與生命科學(xué) 病歷分析 疾病監(jiān)測通訊 客戶資料貨幣化 網(wǎng)絡(luò)分析&優(yōu)化大數(shù)據(jù)時代下的商業(yè)智能在大數(shù)據(jù)領(lǐng)域，不能充分形成大數(shù)據(jù)使用能力的競爭者將被淘汰大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)的使用情況大數(shù)據(jù)時代下的商業(yè)智能4、大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營銷通過用戶行為分析實現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)涉及的關(guān)鍵技術(shù)需求大數(shù)據(jù)涉及的關(guān)鍵技術(shù)描述技術(shù)海量數(shù)據(jù)存儲技術(shù)分布式文件系統(tǒng)實時數(shù)據(jù)處理

16、技術(shù)Streaming Data流計算引擎數(shù)據(jù)分析技術(shù)Text Analytics EngineVisual Data Modeling自然語言處理、文本情感分析、機(jī)器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型數(shù)據(jù)高速傳輸技術(shù)服務(wù)器/存儲間高速通信Infini BandHadoop，x86/MPPMap Reduce搜索技術(shù)文本檢索、智能搜索、實時搜索Enterprise Search大數(shù)據(jù)時代下的商業(yè)智能c.建立對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行SQL語法查詢的支持，實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（key）非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用數(shù)據(jù)集市數(shù)據(jù)集市EDW結(jié)構(gòu)化元數(shù)據(jù)Hadoopa.建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、

17、日志、內(nèi)容等b.提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合ODSSQL大數(shù)據(jù)下的商業(yè)智能架構(gòu)大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)BI系統(tǒng)的底層技術(shù)體系分布式計算內(nèi)存計算 實質(zhì)上就是CPU直接從內(nèi)存而非硬盤上讀取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行計算、分析。此項技術(shù)是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實現(xiàn)商務(wù)智能中海量數(shù)據(jù)分析和實施數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)列存儲大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)BI系統(tǒng)的演變過程第一階段第一階段OLTP&OLAP第二階段第二階段Materialized View（物化視圖）（物化視圖）,Stage、ODS、DWD（細(xì)節(jié)數(shù)據(jù)層）、（細(xì)節(jié)數(shù)據(jù)層）、DWA（衍生匯總層）（衍生匯總層）第三階段第三階段一體機(jī)，一體機(jī)，MPP (大規(guī)模并行處理大規(guī)模并行處理)DW，MPP(大規(guī)模并行處理大規(guī)模并行處理) DM大數(shù)據(jù)時