電子商務(wù)BI中基礎(chǔ)思考

1、電子商務(wù)BI中基礎(chǔ)思考電子商務(wù)BI的基礎(chǔ)思考Bobby Luo 羅如意）2011年7月 :/weibo /cquptvlryBobby的Senior BIer之路之二對于BI認(rèn)識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實(shí)例如何分階段實(shí)施關(guān)于數(shù)據(jù)質(zhì)量的思考BI到底是什么？BI已經(jīng)是現(xiàn)在很流行的概念了（從數(shù)據(jù)獲取信息，產(chǎn)生價值）。但到底什么是什么是BI？應(yīng)該怎么樣實(shí)施？應(yīng)該怎么樣實(shí)施？誤區(qū)一：BI就是報表和取數(shù)1、在生產(chǎn)系統(tǒng)之外，建立單獨(dú)的報表庫及報表系統(tǒng)，需要時就開發(fā)一些特定的報表，或者手工提取數(shù)據(jù)，再做一些簡單分析。2、一般的需求由業(yè)務(wù)部門如市場部、產(chǎn)品部發(fā)起，BI部門淪為簡單的數(shù)據(jù)提供部門。

2、帶來問題：帶來問題：業(yè)務(wù)部門一般都是從自己部門角度考慮，同時缺乏對其他部門數(shù)據(jù)和BI技術(shù)的了解，分析一般比較狹窄。而BI部門疲于應(yīng)付各種取數(shù)和開發(fā)需求，缺乏對高級BI應(yīng)用的開發(fā)和對整個企業(yè)BI分析的規(guī)劃。誤區(qū)二：數(shù)據(jù)挖掘等高級應(yīng)用才是BI1、很多人尤其是領(lǐng)導(dǎo)者一般很容易被現(xiàn)在流行的BI概念所影響，認(rèn)為只有數(shù)據(jù)挖掘、精準(zhǔn)營銷這些相對高級一點(diǎn)的應(yīng)用才是BI。2、從而很關(guān)心每月做了多少個挖掘或分析，而不愿意做一些基礎(chǔ)性的數(shù)據(jù)整合、模型規(guī)劃等工作。帶來問題：帶來問題：應(yīng)用很多，但都是淺嘗則止，沒有真正地給企業(yè)帶來多大實(shí)際價值。同時應(yīng)用開發(fā)的效率低下，很多數(shù)據(jù)每個人重復(fù)地計算來計算去，結(jié)果卻各不一致。數(shù)

3、據(jù)質(zhì)量問題也影響了分析和挖掘的結(jié)果及應(yīng)用價值。對于BI認(rèn)識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實(shí)例如何分階段實(shí)施關(guān)于數(shù)據(jù)質(zhì)量的思考BI是一個完整的體系數(shù)據(jù)源業(yè)務(wù)用戶ETL數(shù)據(jù)集市抽取轉(zhuǎn)換清洗加載CUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDES

4、CRIPTIONORDER ITEM SHIPPEDQUANTITYSHIP DATE查詢報表OLAP數(shù)據(jù)挖掘數(shù)據(jù)倉庫信息訪問網(wǎng)絡(luò)管理 數(shù)據(jù)庫管理 系統(tǒng)管理元數(shù)據(jù) 邏輯數(shù)據(jù)模型 物理數(shù)據(jù)模型業(yè)務(wù)和技術(shù)咨詢與培訓(xùn)服務(wù)中間件/EAI可選項整合的數(shù)據(jù)基礎(chǔ)整合的數(shù)據(jù)基礎(chǔ)良好的層次體系良好的層次體系長遠(yuǎn)的應(yīng)用規(guī)劃長遠(yuǎn)的應(yīng)用規(guī)劃恰當(dāng)?shù)淖罱K展現(xiàn)恰當(dāng)?shù)淖罱K展現(xiàn)+一、要有整合的數(shù)據(jù)基礎(chǔ)二、要有良好的體系規(guī)劃及運(yùn)維機(jī)制三、要結(jié)合業(yè)務(wù)需求做好應(yīng)用規(guī)劃四、需求出發(fā)、各盡其用對于BI認(rèn)識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實(shí)例如何分階段實(shí)施關(guān)于數(shù)據(jù)質(zhì)量的思考公司的現(xiàn)狀需要考慮的幾個關(guān)鍵問題（1/3)1、是否需要將O

5、racle數(shù)據(jù)和應(yīng)用全部遷移到Teradata？ 否。 Teradata是單節(jié)點(diǎn)，如果全部遷移到Teradata，隨著數(shù)據(jù)和應(yīng)用增加遲早也會遇到性能和存儲瓶頸；而且現(xiàn)在ORACLE已經(jīng)有大量的腳本和報表，如果全部遷移的話，需要花費(fèi)大量精力，數(shù)據(jù)核對也很復(fù)雜。2、哪是否形成兩套獨(dú)立的系統(tǒng)？老的保留，新的應(yīng)用全部基于TD。 否。 這樣仍存在Teradata瓶頸問題。同時需要維護(hù)兩套不同的ETL系統(tǒng)，工作量增加，兩套系統(tǒng)間的數(shù)據(jù)一致性也會存在很大問題。 因此最好的方法是充分利用現(xiàn)有Oracle的ETL和匯總數(shù)據(jù)，形成Oracle和Teradata整合的體系架構(gòu)。 Teradata和Oracle結(jié)合的

6、EDW體系Oracle生產(chǎn)庫/備庫報表系統(tǒng)TeradataHadoop分析與挖掘輕度匯總表明細(xì)數(shù)據(jù)整合數(shù)據(jù)應(yīng)用層模型明細(xì)數(shù)據(jù)輕度匯總1、Oracle作為Teradata的主要數(shù)據(jù)來源，負(fù)責(zé)對原始數(shù)據(jù)進(jìn)行清洗整合，并生成輕度匯總表。之后將清洗整合后的數(shù)據(jù)送給TD做匯總處理。2、報表分為兩類，明細(xì)報表主要從Oracle產(chǎn)生，匯總報表則來源于TD數(shù)據(jù)倉庫。好處：好處：1、綜合利用Oracle的OLTP處理優(yōu)勢和TD的OLAP優(yōu)勢，分散處理，避免單一系統(tǒng)瓶頸。2、可保證數(shù)據(jù)的一致性。3、用Automation統(tǒng)一維護(hù)和監(jiān)控ETL過程。4、最大限度保留已有的腳本和程序，保護(hù)投資，減少重復(fù)工作量。明細(xì)報表

7、匯總報表* 參考了電信IT體系中的ODS系統(tǒng)需要考慮的幾個關(guān)鍵問題(2/2)3、怎樣保證基礎(chǔ)建設(shè)和應(yīng)用開發(fā)的平衡？ 分階段實(shí)施，以應(yīng)用觸發(fā)，在開發(fā)的過程中逐步將數(shù)據(jù)倉庫架構(gòu)、模型體系、ETL開發(fā)和維護(hù)流程、MSTR開發(fā)流程等框架搭建起來，后續(xù)再通過新應(yīng)用將數(shù)據(jù)不斷完善起來。即不專門花時間做基礎(chǔ)建設(shè)，而是在應(yīng)用開發(fā)過程中將基礎(chǔ)建設(shè)工作同步完成。 對于模型，想法是先將所有數(shù)據(jù)抽取到STG層，后續(xù)在根據(jù)需求逐步分主題設(shè)計實(shí)體模型和匯總表等。需要考慮的幾個關(guān)鍵問題(2/2)4、模型該怎樣設(shè)計？STG抽取的原始數(shù)據(jù)ODS/STG清洗整合DW面向應(yīng)用的模型TMP存放臨時數(shù)據(jù)VIEW供訪問的視圖庫1、分層次

8、的模型體系便于管理和維護(hù)。2、對原始數(shù)據(jù)進(jìn)行清洗和整合。3、分主題建模型。4、DW層采用維度建模。5、對于維表設(shè)計，考慮同時使用當(dāng)前表和歷史拉鏈表的形式。大部分情況下直接使用當(dāng)前表即可，少數(shù)情況下需要進(jìn)行歷史分析時使用拉鏈表。對于BI認(rèn)識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實(shí)例如何分階段實(shí)施關(guān)于數(shù)據(jù)質(zhì)量的思考在原來基礎(chǔ)上1個多月完成體系框架搭建共同討論完成體系架構(gòu)的規(guī)劃完成模型體系和產(chǎn)品、銷售主體模型設(shè)計ETL流程、開發(fā)和維護(hù)機(jī)制的建立MSTR開發(fā)出第一個可用的報表和DASHBOARD基礎(chǔ)框架和流程已確定團(tuán)隊成員慢慢熟悉流程可以開發(fā)更多地應(yīng)用了8.31近幾周分別關(guān)注的重點(diǎn)完成ETL流程的整

9、理和調(diào)試產(chǎn)品模型設(shè)計及新品動銷的MSTR報表財務(wù)DASHBOARD的重新設(shè)計及上線其他報表的遷移每個階段重點(diǎn)關(guān)注某一方面的事情。Teradata服務(wù)器能否到位的影響Automation安裝抽數(shù)測試定時任務(wù)測試作業(yè)配置模型上線腳本核查數(shù)據(jù)核查報表開發(fā)測試上線模型上線腳本及數(shù)據(jù)核查界面美化調(diào)整報表開發(fā)測試上線對于BI認(rèn)識的兩個誤區(qū)BI是一個完整的體系架構(gòu)規(guī)劃的實(shí)例如何分分階段實(shí)施關(guān)于數(shù)據(jù)質(zhì)量的思考不要過度將BI神化好像現(xiàn)在大家都在說BI，也很關(guān)注BI了。甚至跟數(shù)據(jù)沒啥關(guān)系的也都扯上BI分析，其實(shí)完全沒必要。我一直認(rèn)為BI的理念是好的，讓大家認(rèn)識到數(shù)據(jù)的價值，遵循數(shù)據(jù)說話、科學(xué)決策的思想。但要說通過BI一下子讓企業(yè)競爭力提升，超越競爭對手是不可能；只能是逐步實(shí)施BI的過程提升大家決策的科學(xué)性，同時改進(jìn)生產(chǎn)環(huán)節(jié)的細(xì)節(jié)問題，增強(qiáng)管理的規(guī)范程度。只能錦上