大數(shù)據(jù)開發(fā)平臺(tái)的搭建

1、大數(shù)據(jù)開發(fā)平臺(tái)的搭建大數(shù)據(jù)（大數(shù)據(jù)（big data），是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工），是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的數(shù)據(jù)的“加工能力加工能力”，通過，通過“加工加工”實(shí)現(xiàn)數(shù)據(jù)的實(shí)

2、現(xiàn)數(shù)據(jù)的“增值增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須樣密不可分。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲(chǔ)、虛擬化技術(shù)。儲(chǔ)、虛擬化技術(shù)。所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成

3、為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的信息。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過高速獲取數(shù)據(jù)并對(duì)其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對(duì)于大數(shù)據(jù)的一個(gè)共識(shí)。大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，對(duì)企業(yè)產(chǎn)生新的價(jià)值。3 增量式的、幾乎無限的擴(kuò)展擴(kuò)展性 要求系統(tǒng)總是在線運(yùn)行可用性 靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型靈活性擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲(chǔ)分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制 不要使用分布式

4、事務(wù)處理一致性準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)據(jù)倉(cāng)庫分布式數(shù)據(jù)庫基于x86平臺(tái)數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營(yíng)銷智能運(yùn)營(yíng)物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時(shí)分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng) HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、分布式數(shù)據(jù)庫（MPP）：存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算

5、，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉(cāng)庫輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉(cāng)庫（與MPP合設(shè)）：存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺(tái)：負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉(cāng)庫應(yīng)用層lHDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用lHBase：非結(jié)構(gòu)化NoS

6、Ql分布式數(shù)據(jù)庫 基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作lHive：分布式關(guān)系型數(shù)據(jù)庫數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算lMapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架?；诜?wù)器本地的計(jì)算與存儲(chǔ)資源， Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。HBase

7、MapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理Shared Nothing代表數(shù)據(jù)庫：GreenPlum、Vertica、Teradatal適合大數(shù)據(jù)量的OLAP應(yīng)用缺點(diǎn)優(yōu)點(diǎn)線性擴(kuò)展：X86平臺(tái)高可用性較低新型MPP數(shù)據(jù)庫主要構(gòu)建在x86平臺(tái)上，為無共享架構(gòu)（Share Nothing），依靠軟件架構(gòu)上的創(chuàng)新和數(shù)據(jù)多副本機(jī)制，實(shí)現(xiàn)系統(tǒng)的高可用性和可擴(kuò)展性。負(fù)責(zé)深度分析、復(fù)雜查詢、KPI計(jì)算、數(shù)據(jù)挖掘以及多變的自助分析應(yīng)用等，支持PB級(jí)的數(shù)據(jù)存儲(chǔ)。l新型MPP分布式數(shù)據(jù)庫基于開放平臺(tái)x86服務(wù)器大規(guī)模的并發(fā)處理能力無單點(diǎn)故障，可線性擴(kuò)展多副本機(jī)制保證數(shù)據(jù)安全支撐P

8、B級(jí)的數(shù)據(jù)量支持SQL，開放靈活數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線在線、近線、離線、離線按訪問按訪問頻度頻度內(nèi)存數(shù)據(jù)庫按響應(yīng)按響應(yīng)及時(shí)性及時(shí)性內(nèi)存數(shù)據(jù)庫數(shù)據(jù)生命周期中在線數(shù)據(jù)對(duì)高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制?；谏芷诨谠L問壓力基于業(yè)務(wù)用途基于物理屬性分級(jí)原則分級(jí)原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉(cāng)庫的核心

9、模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉(cāng)庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉(cāng)庫的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉(cāng)庫、核心模型融入主數(shù)據(jù)倉(cāng)庫主數(shù)據(jù)倉(cāng)庫2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫1、清、清單數(shù)據(jù)單數(shù)據(jù)入入MPP數(shù)據(jù)庫數(shù)據(jù)庫Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫報(bào)表數(shù)據(jù)標(biāo)簽庫指標(biāo)數(shù)據(jù)客戶統(tǒng)一視圖信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)信息子層：報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫等數(shù)據(jù)來源于匯總層。匯總層：主題域之間進(jìn)行關(guān)聯(lián)、匯總計(jì)算。匯總數(shù)據(jù)服務(wù)于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計(jì)算成本和計(jì)算時(shí)間。輕度

10、匯總層：主題域內(nèi)部基于明細(xì)層數(shù)據(jù)，進(jìn)行多維度的、用戶級(jí)的匯總。明細(xì)數(shù)據(jù)層：主題域內(nèi)部進(jìn)行拆分、關(guān)聯(lián)。是對(duì)ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對(duì)接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。未來也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。明細(xì)數(shù)據(jù)層 （DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫精細(xì)化營(yíng)銷分布式數(shù)據(jù)庫MPP其他應(yīng)用1其他應(yīng)用2應(yīng)用層：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。精細(xì)化營(yíng)銷做為大數(shù)據(jù)平臺(tái)的一個(gè)上層應(yīng)用，有由大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)支撐數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)數(shù)據(jù)據(jù)采采集集E ET TL L互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)

11、據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層12123344源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫?；A(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺(tái)做長(zhǎng)久保存非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫。Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫報(bào)表數(shù)據(jù)標(biāo)簽庫客戶統(tǒng)一視圖信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)明細(xì)數(shù)據(jù)層 （DW）輕度匯總層（MK）高度匯總層（M

12、K）應(yīng)用庫分布式數(shù)據(jù)庫MPP數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)數(shù)據(jù)據(jù)采采集集E ET TL L互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。7精細(xì)化營(yíng)銷其他應(yīng)用1其他應(yīng)用2指標(biāo)數(shù)據(jù)消息采集文件采集話單預(yù)處理信令預(yù)處理Gn話單位置信令DCNBSS炫鈴VAC短彩平臺(tái)物聯(lián)網(wǎng)客服平臺(tái)1*10GE1*GE2*GES9300S9300分布式數(shù)據(jù)庫集群新建ETL、分布式數(shù)據(jù)庫和Hadoop集群內(nèi)部各自獨(dú)立組網(wǎng)。分別通過10GE網(wǎng)口接入?yún)R聚交換機(jī)。 Hadoop集群1*10GEETL集群1*10GE11Pcap數(shù)據(jù)

13、（DPI）互聯(lián)網(wǎng)路由器路由器防火墻WAP網(wǎng)站W(wǎng)WW網(wǎng)站分光鏡像DPI數(shù)據(jù)爬取數(shù)據(jù)爬取數(shù)據(jù)采集Agentcollector日志采集網(wǎng)元設(shè)備(GGSNPDSNWAP網(wǎng)關(guān)、NET網(wǎng)關(guān))/Apache日志核心設(shè)備話單互聯(lián)網(wǎng)頁面數(shù)據(jù)正向采集用戶行為數(shù)據(jù)反向采集互聯(lián)網(wǎng)數(shù)據(jù)建設(shè)方案p 基于Hadoop構(gòu)建大數(shù)據(jù)的用戶行為分析系統(tǒng)p 系統(tǒng)提供了核心的分布式云存儲(chǔ)、分布式并行計(jì)算、分布式數(shù)據(jù)倉(cāng)庫、分布式列數(shù)據(jù)庫整體解決方案方案延伸p 基于Hadoop的大數(shù)據(jù)解決方案提供了基礎(chǔ)的云存儲(chǔ)和云計(jì)算的能力，基于該技術(shù)框架可進(jìn)行應(yīng)用的擴(kuò)展和衍生。p 基于用戶互聯(lián)網(wǎng)訪問行為分析結(jié)果，形成詳細(xì)的戶興趣愛好列表，可進(jìn)行即時(shí)、精

14、準(zhǔn)的廣告投放12p 系統(tǒng)主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)查詢與分析子系統(tǒng)p 采用Hadoop/HBase作為上網(wǎng)記錄存儲(chǔ)方案p 采用MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具關(guān)鍵性指標(biāo)數(shù)據(jù)存儲(chǔ)p 上網(wǎng)記錄入庫時(shí)間：一般小于30分鐘，實(shí)際約10分鐘p 歷史5個(gè)月+當(dāng)前月數(shù)據(jù)查詢p 上網(wǎng)記錄查詢速度：不高于1秒（不含用戶訪問查詢頁面的時(shí)間）p 并發(fā)查詢數(shù)目：1000請(qǐng)求/秒以以手機(jī)上網(wǎng)詳單手機(jī)上網(wǎng)詳單查詢?yōu)閼?yīng)用案例查詢?yōu)閼?yīng)用案例大數(shù)據(jù)平臺(tái)從平臺(tái)部署和數(shù)據(jù)分析過程可分為如下幾步大數(shù)據(jù)平臺(tái)從平臺(tái)部署和數(shù)據(jù)分析過程可分為如下幾步1、linux系統(tǒng)安裝一般使用開源版

15、的一般使用開源版的Redhat系統(tǒng)系統(tǒng)-CentOS作為底層平臺(tái)。作為底層平臺(tái)。2、分布式計(jì)算平臺(tái)、分布式計(jì)算平臺(tái)/組件安裝組件安裝目前國(guó)內(nèi)外的分布式系統(tǒng)的大多使用的是目前國(guó)內(nèi)外的分布式系統(tǒng)的大多使用的是Hadoop系列開源系統(tǒng)。系列開源系統(tǒng)。Hadoop的核心是的核心是HDFS，一個(gè)，一個(gè)分布式的文件系統(tǒng)。在其基礎(chǔ)上常用的組件有分布式的文件系統(tǒng)。在其基礎(chǔ)上常用的組件有Zookeeper、Hive、Hbase、Sqoop、Spark等。等。3、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)導(dǎo)入前面提到，數(shù)據(jù)導(dǎo)入的工具是前面提到，數(shù)據(jù)導(dǎo)入的工具是Sqoop。用它可以將數(shù)據(jù)從文件或者傳統(tǒng)數(shù)據(jù)庫導(dǎo)。用它可以將數(shù)據(jù)從文件或者傳統(tǒng)數(shù)據(jù)

16、庫導(dǎo)入到分布式平臺(tái)一般主要導(dǎo)入到入到分布式平臺(tái)一般主要導(dǎo)入到Hive，也可將數(shù)據(jù)導(dǎo)入到，也可將數(shù)據(jù)導(dǎo)入到Hbase4、數(shù)據(jù)分析、數(shù)據(jù)分析數(shù)據(jù)分析一般包括兩個(gè)階段：數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析。數(shù)據(jù)分析一般包括兩個(gè)階段：數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析。數(shù)據(jù)預(yù)處理是為后面的建模分析做準(zhǔn)備，主要工作時(shí)從海量數(shù)據(jù)中提取可用特征，建立大寬表。這個(gè)數(shù)據(jù)預(yù)處理是為后面的建模分析做準(zhǔn)備，主要工作時(shí)從海量數(shù)據(jù)中提取可用特征，建立大寬表。這個(gè)過程可能會(huì)用到過程可能會(huì)用到Hive SQL，Spark QL和和Impala。數(shù)據(jù)建模分析是針對(duì)預(yù)處理提取的特征數(shù)據(jù)建模分析是針對(duì)預(yù)處理提取的特征/數(shù)據(jù)建模，得到想要的結(jié)果。如前面所提到的，這一塊最好數(shù)據(jù)建模，得到想要的結(jié)果。如前面所提到的，這一塊最好用的是用的是Spark。常用的機(jī)器學(xué)習(xí)算法，如樸素貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、。常用的機(jī)器學(xué)習(xí)算法，如樸素貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、TFIDF、協(xié)同、協(xié)同過濾等，都已經(jīng)在過濾等，都已經(jīng)在ML lib里面