大數(shù)據(jù)解決方案介紹課件

IBM大數(shù)據(jù)平臺(tái)解決方案介紹

IBM大數(shù)據(jù)平臺(tái)解決方案介紹

1.項(xiàng)目背景理解IBM大數(shù)據(jù)平臺(tái)解決方案1.項(xiàng)目背景理解IBM大數(shù)據(jù)平臺(tái)解決方案當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn)數(shù)據(jù)問(wèn)題慢缺重散繁差企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)據(jù)項(xiàng)缺失；數(shù)據(jù)屬性不完整；企業(yè)外部數(shù)據(jù)無(wú)暇顧及；數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集、重復(fù)存儲(chǔ)；系統(tǒng)數(shù)據(jù)無(wú)法關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；系統(tǒng)林立，數(shù)出多門(mén)；數(shù)據(jù)時(shí)效性差，使用者無(wú)法及時(shí)獲得所需信息；數(shù)據(jù)使用不方便，方法繁瑣；手工報(bào)表多；數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，數(shù)據(jù)不一致；業(yè)務(wù)支持TextText網(wǎng)絡(luò)運(yùn)營(yíng)決策與報(bào)告風(fēng)險(xiǎn)管理產(chǎn)品運(yùn)營(yíng)營(yíng)銷支持精細(xì)化管理對(duì)運(yùn)營(yíng)商價(jià)值鏈的影響

數(shù)據(jù)問(wèn)題長(zhǎng)期存在將導(dǎo)致：對(duì)自身狀況摸不透

對(duì)經(jīng)營(yíng)環(huán)境看不清對(duì)市場(chǎng)先機(jī)抓不住

對(duì)未來(lái)競(jìng)爭(zhēng)贏不了制約阻礙沒(méi)有準(zhǔn)確數(shù)據(jù)支撐難以進(jìn)行深度分析決策缺乏可靠依據(jù)當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn)數(shù)據(jù)問(wèn)題慢缺重散繁差企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)IT如何推動(dòng)公司運(yùn)營(yíng)變革2、服務(wù)管控模式逐步完善夯實(shí)基礎(chǔ)管理管控思路由簡(jiǎn)單支撐向精細(xì)服務(wù)轉(zhuǎn)型全面優(yōu)化信息化服務(wù)流程實(shí)現(xiàn)分級(jí)服務(wù)保險(xiǎn)行業(yè)經(jīng)過(guò)多年的發(fā)展，整個(gè)行業(yè)的變革越來(lái)越快，市場(chǎng)競(jìng)爭(zhēng)環(huán)境也日益激烈。保險(xiǎn)公司想要在殘酷的競(jìng)爭(zhēng)中占得先機(jī)，就必須考慮產(chǎn)業(yè)的融合，并在價(jià)值鏈中占得有利的位置。1、由被動(dòng)的IT支撐向主動(dòng)的以數(shù)據(jù)為核心的IT服務(wù)轉(zhuǎn)型以大數(shù)據(jù)為核心組織IT服務(wù)能力持續(xù)完善基礎(chǔ)支撐能力擁抱互聯(lián)網(wǎng)架構(gòu)體系全面云化IT如何推動(dòng)公司運(yùn)營(yíng)變革保險(xiǎn)行業(yè)經(jīng)過(guò)多年的發(fā)展，整個(gè)行大數(shù)據(jù)思考根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3V的內(nèi)容：數(shù)據(jù)量龐大（Volume）：從PB擴(kuò)展到ZB；IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產(chǎn)生大量新生數(shù)據(jù)，過(guò)去的兩年間產(chǎn)生的數(shù)據(jù)占到了所有數(shù)據(jù)的90%數(shù)據(jù)變化快(Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳感器、信令每時(shí)每刻都在不停的產(chǎn)生數(shù)據(jù)數(shù)據(jù)多樣（Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫(kù)表，格式文本，自然語(yǔ)言文本，電子表格，聲音，圖片，視頻……數(shù)據(jù)規(guī)模大數(shù)據(jù)范圍廣數(shù)據(jù)加工深入數(shù)據(jù)服務(wù)對(duì)象全面數(shù)據(jù)類型多數(shù)據(jù)管理復(fù)雜生產(chǎn)系統(tǒng)數(shù)據(jù)網(wǎng)元等設(shè)備數(shù)據(jù)平臺(tái)自生數(shù)據(jù)外部互聯(lián)網(wǎng)數(shù)據(jù)……10PB級(jí)+指數(shù)級(jí)快速增長(zhǎng)結(jié)構(gòu)化、非結(jié)構(gòu)化靜態(tài)、動(dòng)態(tài)……在線、近線、離線高性能、低成本、高質(zhì)量、可追溯……企業(yè)內(nèi)部（管理層、執(zhí)行層、一線營(yíng)銷群體等）企業(yè)外部（客戶，合作伙伴，供應(yīng)鏈、政府部門(mén)等）內(nèi)部生產(chǎn)系統(tǒng)……信息轉(zhuǎn)換知識(shí)沉淀價(jià)值創(chuàng)造……數(shù)據(jù)成為公司核心資產(chǎn)和核心競(jìng)爭(zhēng)力，將被設(shè)計(jì)用于在成本可承受（economically）的條件下，通過(guò)快速（velocity）采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）數(shù)據(jù)中提取價(jià)值（value）大數(shù)據(jù)思考根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn)客戶：精準(zhǔn)服務(wù)及時(shí)響應(yīng)智能應(yīng)用透明管控圍繞大數(shù)據(jù)應(yīng)用，促使公司實(shí)現(xiàn)科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造以及透明管控，一方面能使得公司側(cè)感知到大數(shù)據(jù)帶來(lái)的管理、決策、運(yùn)營(yíng)效率和質(zhì)量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來(lái)業(yè)務(wù)開(kāi)發(fā)的智能、服務(wù)及時(shí)以及與需求匹配的精準(zhǔn)。科學(xué)運(yùn)營(yíng)價(jià)值創(chuàng)造企業(yè)：開(kāi)發(fā)便捷分析及時(shí)決策支持?jǐn)?shù)據(jù)準(zhǔn)確…大數(shù)據(jù)平臺(tái)客戶大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn)客戶：透明管控圍繞大數(shù)2.大數(shù)據(jù)平臺(tái)需求理解IBM大數(shù)據(jù)平臺(tái)解決方案2.大數(shù)據(jù)平臺(tái)需求理解IBM大數(shù)據(jù)平臺(tái)解決方案大數(shù)據(jù)平臺(tái)的關(guān)鍵需求角色流程數(shù)據(jù)應(yīng)用數(shù)據(jù)分類市場(chǎng)營(yíng)銷產(chǎn)品開(kāi)發(fā)客戶管理客戶洞察……決策類活動(dòng)管理類活動(dòng)執(zhí)行類活動(dòng)分析類活動(dòng)結(jié)構(gòu)化了企業(yè)架構(gòu)中四大架構(gòu)的關(guān)鍵要素，以及要素間的承接關(guān)系，形成了一套規(guī)范、清晰的定義，從而為大數(shù)據(jù)平臺(tái)的方案設(shè)計(jì)建立了更明確的指導(dǎo)依據(jù)和驗(yàn)證方法。柔性架構(gòu)的大數(shù)據(jù)平臺(tái)企業(yè)架構(gòu)方法論和云計(jì)算技術(shù)讓建立柔性架構(gòu)成為可能，基于企業(yè)架構(gòu)元模型，建立柔性的架構(gòu)需要實(shí)現(xiàn)業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、技術(shù)四個(gè)架構(gòu)層面的解耦。業(yè)務(wù)—應(yīng)用/數(shù)據(jù)：業(yè)務(wù)活動(dòng)在業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)(大數(shù)據(jù)平臺(tái))間具有承上啟下的作用，可從業(yè)務(wù)類型和業(yè)務(wù)活動(dòng)類型兩個(gè)維度劃分，前者體現(xiàn)業(yè)務(wù)差異，后者更多體現(xiàn)數(shù)據(jù)平臺(tái)能力要求，且可以穩(wěn)定地分為決策類、管理類、執(zhí)行類和分析類四種，因此業(yè)務(wù)與IT的解耦可從四類業(yè)務(wù)活動(dòng)支撐實(shí)現(xiàn)。應(yīng)用—數(shù)據(jù)：應(yīng)用和數(shù)據(jù)共同承接了業(yè)務(wù)，數(shù)據(jù)實(shí)體也承接了應(yīng)用交互，因此二者解耦的核心是數(shù)據(jù)實(shí)體。這可以通過(guò)建立穩(wěn)定的、彈性的企業(yè)企業(yè)級(jí)大數(shù)據(jù)模型、數(shù)據(jù)整合與存儲(chǔ)區(qū)域，保證未來(lái)應(yīng)用對(duì)數(shù)據(jù)操作的可擴(kuò)展，以及屏蔽了應(yīng)用對(duì)底層數(shù)據(jù)直接訪問(wèn)的數(shù)據(jù)服務(wù)加以實(shí)現(xiàn)。應(yīng)用/數(shù)據(jù)—技術(shù)：系統(tǒng)組件承接了應(yīng)用和數(shù)據(jù)，因此要實(shí)現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對(duì)應(yīng)用的依賴，可通過(guò)建立應(yīng)用開(kāi)發(fā)平臺(tái)、數(shù)據(jù)交換平臺(tái)和數(shù)據(jù)管控平臺(tái)來(lái)實(shí)現(xiàn)。同時(shí)基于云計(jì)算的彈性擴(kuò)展和虛擬化技術(shù)實(shí)現(xiàn)系統(tǒng)組件與基礎(chǔ)設(shè)施的解耦。大數(shù)據(jù)平臺(tái)的關(guān)鍵需求角色流程數(shù)據(jù)應(yīng)用數(shù)據(jù)分類市場(chǎng)營(yíng)銷產(chǎn)品開(kāi)發(fā)大數(shù)據(jù)平臺(tái)能力需求分析——決策類業(yè)務(wù)活動(dòng)識(shí)別問(wèn)題或?qū)Q策的要求分析和闡明方案做出選擇追蹤和反饋決策結(jié)果傳達(dá)和執(zhí)行決策決策就是為達(dá)到某一目標(biāo)而在若干個(gè)可行方案經(jīng)過(guò)分析、比較、判斷，從中選擇并賦予實(shí)施的過(guò)程據(jù)諾賓斯泰（Robenstein）將決策過(guò)程定義為五個(gè)步驟大數(shù)據(jù)平臺(tái)的核心是數(shù)據(jù)，從數(shù)據(jù)生命周期看，大數(shù)據(jù)的生成、獲取、整合、服務(wù)、應(yīng)用、歸檔各個(gè)步驟分別有著不同的目標(biāo)，并面臨不同的問(wèn)題從決策類活動(dòng)過(guò)程和數(shù)據(jù)生命周期兩個(gè)維度，對(duì)大數(shù)據(jù)平臺(tái)的決策類活動(dòng)的支撐能力需求進(jìn)行分析通過(guò)優(yōu)化技術(shù)選擇滿足約束條件的最優(yōu)方案4V產(chǎn)生應(yīng)用獲取整合服務(wù)歸檔應(yīng)用通過(guò)仿真技術(shù)進(jìn)行各種方案的預(yù)演與細(xì)化整合案例類、規(guī)則類知識(shí)支撐規(guī)則制度信息查詢實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲客戶行為捕獲企業(yè)/用戶互聯(lián)網(wǎng)數(shù)據(jù)捕獲應(yīng)用服務(wù)獲取整合大數(shù)據(jù)的存儲(chǔ)和管理海量數(shù)據(jù)的快速分析海量數(shù)據(jù)的快速獲取歸檔整合服務(wù)應(yīng)用歸檔獲取整合服務(wù)應(yīng)用歸檔獲取服務(wù)歸檔實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲互聯(lián)網(wǎng)數(shù)據(jù)捕獲冷數(shù)據(jù)的近線訪問(wèn)快速的數(shù)據(jù)服務(wù)執(zhí)行簡(jiǎn)便的數(shù)據(jù)服務(wù)使用非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔高可用的數(shù)據(jù)支撐建立柔性的架構(gòu)支撐個(gè)性化應(yīng)用開(kāi)發(fā)支撐最終用戶自定制的數(shù)據(jù)服務(wù)與生產(chǎn)系統(tǒng)在功能和數(shù)據(jù)分工上清晰合理與生產(chǎn)系統(tǒng)的及時(shí)交互決策執(zhí)行業(yè)務(wù)活動(dòng)中的數(shù)據(jù)支撐大數(shù)據(jù)平臺(tái)能力需求分析——決策類業(yè)務(wù)活動(dòng)識(shí)別問(wèn)題或分析和闡明大數(shù)據(jù)平臺(tái)能力需求分析——分析類業(yè)務(wù)活動(dòng)業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備模型部署數(shù)據(jù)建模分析類活動(dòng)是通過(guò)對(duì)數(shù)據(jù)的深入分析，力求取得更深刻業(yè)務(wù)洞察的過(guò)程，參考DM-CRISP數(shù)據(jù)挖掘方法論，包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評(píng)估和模型部署六個(gè)步驟4V產(chǎn)生應(yīng)用獲取整合服務(wù)歸檔應(yīng)用整合應(yīng)用服務(wù)獲取整合歸檔整合服務(wù)應(yīng)用歸檔獲取整合服務(wù)應(yīng)用歸檔獲取服務(wù)歸檔模型評(píng)估應(yīng)用整合獲取服務(wù)歸檔歷史數(shù)據(jù)探查和分析海量數(shù)據(jù)的快速獲取方便準(zhǔn)確的數(shù)據(jù)抽樣能力探索數(shù)據(jù)可方便歸檔和恢復(fù)非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的獲取海量數(shù)據(jù)的獲取非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合流數(shù)據(jù)概要數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合海量數(shù)據(jù)的處理能力非結(jié)構(gòu)化數(shù)據(jù)分析能力海量數(shù)據(jù)分析能力支撐不同分析的數(shù)據(jù)寬表寬表數(shù)據(jù)歸檔豐富的數(shù)據(jù)挖掘算法建模過(guò)程中的模擬仿真仿真結(jié)果的優(yōu)化計(jì)算調(diào)用API進(jìn)行模型訓(xùn)練能力豐富的數(shù)據(jù)計(jì)算和可視化分析模型能夠?qū)С鰹榭芍苯邮褂玫脑u(píng)分條件，如SQL評(píng)估數(shù)據(jù)能夠嵌入到模型評(píng)估中，通過(guò)外部調(diào)用發(fā)現(xiàn)已經(jīng)退化的模型模型分析結(jié)果的快速回寫(xiě)模型評(píng)估數(shù)據(jù)集的提取模型分析結(jié)果嵌入到生產(chǎn)系統(tǒng)中模型分析源數(shù)據(jù)的預(yù)處理與獲取大數(shù)據(jù)平臺(tái)能力需求分析——分析類業(yè)務(wù)活動(dòng)業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——應(yīng)用開(kāi)發(fā)與運(yùn)行當(dāng)前總部BI系統(tǒng)的數(shù)據(jù)應(yīng)用需求包括業(yè)務(wù)部門(mén)的計(jì)劃性業(yè)務(wù)支撐需求和大量的臨時(shí)性支撐需求，以及IT部門(mén)自身規(guī)劃中的計(jì)劃性支撐需求；省公司經(jīng)分系統(tǒng)也需要支撐來(lái)自業(yè)務(wù)部門(mén)和IT部門(mén)的大量支撐需求，同時(shí)要完成集團(tuán)下發(fā)的IT規(guī)范要求未來(lái)省公司數(shù)據(jù)集中后，大數(shù)據(jù)平臺(tái)將必須承擔(dān)省分公司和總部的全部數(shù)據(jù)應(yīng)用服務(wù)需求省分公司當(dāng)前數(shù)據(jù)應(yīng)用需求集團(tuán)總部當(dāng)前數(shù)據(jù)應(yīng)用需求省公司經(jīng)分系統(tǒng)總部BI系統(tǒng)業(yè)務(wù)部門(mén)IT部門(mén)集團(tuán)領(lǐng)導(dǎo)IT部門(mén)業(yè)務(wù)部門(mén)集團(tuán)下發(fā)規(guī)范支撐需求臨時(shí)支撐需求計(jì)劃業(yè)務(wù)支撐需求計(jì)劃IT支撐需求臨時(shí)支撐需求省公司領(lǐng)導(dǎo)計(jì)劃業(yè)務(wù)支撐需求計(jì)劃IT支撐需求數(shù)據(jù)應(yīng)用需求急速增長(zhǎng)總公司IT增長(zhǎng)緩慢省公司IT投入有限平臺(tái)開(kāi)發(fā)方面：如何支撐急速增長(zhǎng)的數(shù)據(jù)應(yīng)用需求平臺(tái)執(zhí)行方面：如何保障海量大并發(fā)的數(shù)據(jù)訪問(wèn)需求和海量數(shù)據(jù)處理的性能要求大數(shù)據(jù)平臺(tái)將面臨兩大挑戰(zhàn)IT人力緊張IT系統(tǒng)擴(kuò)容難IT投入效益難保障大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——應(yīng)用開(kāi)發(fā)與運(yùn)行當(dāng)前總部BI系統(tǒng)的數(shù)大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——更直接的決策支持未來(lái)大數(shù)據(jù)平臺(tái)當(dāng)前BI系統(tǒng)結(jié)構(gòu)化決策：庫(kù)存控制半結(jié)構(gòu)化決策：套餐設(shè)計(jì)非結(jié)構(gòu)化決策：產(chǎn)品外觀設(shè)計(jì)鴻溝知識(shí)庫(kù)(事實(shí)知識(shí)、規(guī)則知識(shí)、案例知識(shí))OLAP應(yīng)用數(shù)據(jù)挖掘應(yīng)用固定報(bào)表應(yīng)用靈活查詢應(yīng)用數(shù)字儀表板知識(shí)庫(kù)(事實(shí)性知識(shí))DWDDWAODS最優(yōu)解績(jī)效度量數(shù)據(jù)挖掘模型輸入?yún)?shù)模型的建立基于預(yù)先假設(shè)模型所需數(shù)據(jù)事先確定已知模型是靜態(tài)的模型的數(shù)學(xué)形式很完善，但往往不能符合實(shí)際業(yè)務(wù)情況數(shù)據(jù)挖掘模型仿真模型隨機(jī)輸入量終端補(bǔ)充量Q輸入?yún)?shù)績(jī)效變量約束條件決策計(jì)劃目標(biāo)函數(shù)DWDDWAODSDMDMDM非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)挖掘模型仿真模型優(yōu)化模型大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——更直接的決策支持未來(lái)大數(shù)據(jù)平臺(tái)當(dāng)前3.大數(shù)據(jù)平臺(tái)定位分析IBM大數(shù)據(jù)平臺(tái)解決方案3.大數(shù)據(jù)平臺(tái)定位分析IBM大數(shù)據(jù)平臺(tái)解決方案前期初步確立的大數(shù)據(jù)平臺(tái)目標(biāo)技術(shù)架構(gòu)目標(biāo)架構(gòu)：擁抱互聯(lián)網(wǎng)、運(yùn)用云計(jì)算技術(shù)，建立開(kāi)放的基于SOA架構(gòu)的中國(guó)企業(yè)集中化云數(shù)據(jù)服務(wù)支撐平臺(tái)，面向全國(guó)各級(jí)經(jīng)營(yíng)主體和總部集中平臺(tái)提供大數(shù)據(jù)、分布式、實(shí)時(shí)智能數(shù)據(jù)服務(wù)支撐與客戶響應(yīng)，并注重公共數(shù)據(jù)、公共能力的一點(diǎn)沉淀與全網(wǎng)共享，實(shí)現(xiàn)基于特定對(duì)象、特定需求的個(gè)性化自主定制、靈活組件組裝，高效實(shí)現(xiàn)一級(jí)系統(tǒng)多維應(yīng)用多級(jí)支撐總部目標(biāo)集中生產(chǎn)系統(tǒng)應(yīng)用統(tǒng)一訪問(wèn)門(mén)戶透明管控科學(xué)運(yùn)營(yíng)價(jià)值創(chuàng)造生產(chǎn)類應(yīng)用SaaS（軟件）

中間件即服務(wù)業(yè)務(wù)即服務(wù)ESBBPM組件集1……組件集2…組件集3報(bào)表工具聯(lián)機(jī)分析工具挖掘工具PaaS（平臺(tái)）數(shù)據(jù)即服務(wù)DW分析類數(shù)據(jù)生產(chǎn)類數(shù)據(jù)ODS/MDM統(tǒng)一IaaS服務(wù)接口小型機(jī)X86服務(wù)器高端存儲(chǔ)中低端存儲(chǔ)網(wǎng)絡(luò)資源IaaS（資源）

…SDK開(kāi)發(fā)平臺(tái)生命周期管控?cái)?shù)據(jù)質(zhì)量管控?cái)?shù)據(jù)安全管控元數(shù)據(jù)管控指標(biāo)體系統(tǒng)一視圖CUBE開(kāi)發(fā)工具近線區(qū)歸檔ETL元數(shù)據(jù)圍繞三個(gè)維度：透明管控、科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造強(qiáng)調(diào)開(kāi)放靈活：基于開(kāi)放業(yè)務(wù)組件、應(yīng)用開(kāi)發(fā)平臺(tái)、公共應(yīng)用模型等構(gòu)建，靈活支撐個(gè)性化應(yīng)用開(kāi)發(fā)、部署和推廣實(shí)施五項(xiàng)管控：數(shù)據(jù)模型與標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命周期推行五個(gè)一點(diǎn)：一點(diǎn)源頭采集、一點(diǎn)加工轉(zhuǎn)換、一點(diǎn)存儲(chǔ)、一點(diǎn)分析挖掘、一點(diǎn)服務(wù)提供數(shù)據(jù)模型標(biāo)準(zhǔn)管控前期初步確立的大數(shù)據(jù)平臺(tái)目標(biāo)技術(shù)架構(gòu)目標(biāo)架構(gòu)：擁抱互聯(lián)網(wǎng)、基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺(tái)建設(shè)的驅(qū)動(dòng)力分析類系統(tǒng)應(yīng)該建立多少數(shù)據(jù)庫(kù)，多少種數(shù)據(jù)庫(kù)保證數(shù)據(jù)從省分及時(shí)向集團(tuán)提供準(zhǔn)確唯一數(shù)據(jù)現(xiàn)存問(wèn)題在一個(gè)框架下有效支持5級(jí)體系的個(gè)性化開(kāi)發(fā)和共性開(kāi)發(fā)提供多種形式數(shù)據(jù)服務(wù)提供方式，并有效執(zhí)行數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)數(shù)據(jù)交換采集數(shù)據(jù)整合數(shù)據(jù)存儲(chǔ)數(shù)據(jù)管控新興技術(shù)流數(shù)據(jù)處理架構(gòu)和體系桌面云管理技術(shù)IaaS、PaaS，SaaS，DaaS等云管理技術(shù)內(nèi)容數(shù)據(jù)處理架構(gòu)和體系提供多廠商、多系統(tǒng)的統(tǒng)一開(kāi)發(fā)平臺(tái)…………基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺(tái)建設(shè)的驅(qū)動(dòng)力分析類系統(tǒng)應(yīng)該建大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力10962數(shù)據(jù)捕獲數(shù)據(jù)服務(wù)大數(shù)據(jù)產(chǎn)生知識(shí)沉淀數(shù)據(jù)消亡清晰的整合層次和加工時(shí)效海量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)等多樣化的存儲(chǔ)與管理Gartner于2012年7月提出大數(shù)據(jù)管理中：“列式存儲(chǔ)數(shù)據(jù)庫(kù)、云計(jì)算和內(nèi)存數(shù)據(jù)庫(kù)在未來(lái)5年內(nèi)將是3個(gè)最重要的技術(shù)”數(shù)據(jù)價(jià)值104數(shù)據(jù)整合3數(shù)據(jù)處理14業(yè)務(wù)信息8系統(tǒng)支撐5數(shù)據(jù)分析11數(shù)據(jù)冷卻13數(shù)據(jù)歸檔示意12近線存儲(chǔ)7數(shù)據(jù)展示大數(shù)據(jù)生命周期時(shí)間大數(shù)據(jù)平臺(tái)將借助云計(jì)算的快速可擴(kuò)展性、標(biāo)準(zhǔn)化服務(wù)、自助服務(wù)等特征，強(qiáng)化大數(shù)據(jù)的獲取、處理、整合、分析、服務(wù)等技術(shù)支撐能力，促進(jìn)敏捷化、個(gè)性化的數(shù)據(jù)應(yīng)用開(kāi)發(fā)，最終助力IT對(duì)業(yè)務(wù)轉(zhuǎn)型的推動(dòng)。海量數(shù)據(jù)的識(shí)別和快速裝入數(shù)據(jù)分布流轉(zhuǎn)互聯(lián)網(wǎng)數(shù)據(jù)和客戶行為捕獲實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲大量數(shù)據(jù)服務(wù)需求的快速開(kāi)發(fā)支撐快速數(shù)據(jù)服務(wù)執(zhí)行簡(jiǎn)便的數(shù)據(jù)服務(wù)使用清晰的數(shù)據(jù)服務(wù)目錄數(shù)據(jù)服務(wù)使用記錄針對(duì)海量數(shù)據(jù)的高性能數(shù)據(jù)分析實(shí)時(shí)數(shù)據(jù)的即時(shí)分析非結(jié)構(gòu)化數(shù)據(jù)的智能分析（如網(wǎng)頁(yè)的標(biāo)引、結(jié)構(gòu)化解析，視頻、圖片的模式識(shí)別等）高級(jí)分析算法海量冷數(shù)據(jù)（包括實(shí)時(shí)、非結(jié)構(gòu)化、結(jié)構(gòu)化）的存儲(chǔ)和管理策略冷數(shù)據(jù)的透明訪問(wèn)冷數(shù)據(jù)與熱數(shù)據(jù)的統(tǒng)一支撐操作型和分析型數(shù)據(jù)的統(tǒng)一歸檔快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔數(shù)據(jù)的展現(xiàn)策略個(gè)性化應(yīng)用開(kāi)發(fā)支撐共享應(yīng)用快速部署對(duì)外部系統(tǒng)的支撐信息提煉以及對(duì)業(yè)務(wù)的支撐知識(shí)的組織、沉淀、管理和應(yīng)用3V大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力10962數(shù)據(jù)捕獲數(shù)據(jù)服務(wù)大數(shù)大數(shù)據(jù)平臺(tái)與周邊系統(tǒng)的關(guān)系大數(shù)據(jù)平臺(tái)與省分系統(tǒng)和總部系統(tǒng)的關(guān)系主要體現(xiàn)在功能分工協(xié)作和數(shù)據(jù)交換兩大方面，此處將大數(shù)據(jù)平臺(tái)作為一個(gè)黑盒子，重點(diǎn)關(guān)注數(shù)據(jù)平臺(tái)與外部系統(tǒng)的關(guān)系。大數(shù)據(jù)平臺(tái)總部系統(tǒng)ADBSID省分系統(tǒng)ADBSID功能分工與協(xié)作生產(chǎn)系統(tǒng)只保留與生產(chǎn)直接相關(guān)的、數(shù)據(jù)稽核（比對(duì)）相關(guān)的統(tǒng)計(jì)報(bào)表，其它全部整合到分析平臺(tái)上。直接相關(guān)可以從流程和數(shù)據(jù)兩方面考察，一系列連續(xù)業(yè)務(wù)活動(dòng)，使用相同數(shù)據(jù)的應(yīng)用功能直接相關(guān)（耦合度高），如結(jié)算中的話單數(shù)、成本查詢，需要放在結(jié)算系統(tǒng)。不直接相關(guān)的統(tǒng)計(jì)、分析類應(yīng)用，由大數(shù)據(jù)平臺(tái)通過(guò)數(shù)據(jù)服務(wù)，并在D域中統(tǒng)一建立應(yīng)用進(jìn)行支撐。數(shù)據(jù)交換一般情況下，D域中的分析類應(yīng)用系統(tǒng)中不單獨(dú)存儲(chǔ)數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產(chǎn)生的數(shù)據(jù)都存放在數(shù)據(jù)平臺(tái)的數(shù)據(jù)集市中。其中如果系統(tǒng)使用的數(shù)據(jù)較少，可以部門(mén)/省分?jǐn)?shù)據(jù)集市；但如果系統(tǒng)涉及的數(shù)據(jù)很多，則需存放在應(yīng)用集市中生產(chǎn)系統(tǒng)使用的數(shù)據(jù)全部存放在生產(chǎn)系統(tǒng)中，當(dāng)需要與大數(shù)據(jù)平臺(tái)發(fā)生共享數(shù)據(jù)時(shí)，則通過(guò)數(shù)據(jù)交換進(jìn)行。具體交換周期模式可以是實(shí)時(shí)、準(zhǔn)實(shí)時(shí)和分批交換大數(shù)據(jù)平臺(tái)的數(shù)據(jù)整合策略是根據(jù)業(yè)務(wù)需求，按照數(shù)據(jù)模型定義和數(shù)據(jù)存儲(chǔ)周期的要求，集成生產(chǎn)系統(tǒng)中所需的部分私有數(shù)據(jù)和共享數(shù)據(jù)，而不是全部獲取和集成生產(chǎn)系統(tǒng)的共享數(shù)據(jù)集（SID）盡管是數(shù)據(jù)中心業(yè)務(wù)職能管轄范圍，但SID不屬于大數(shù)據(jù)平臺(tái)的管轄范圍，只是大數(shù)據(jù)平臺(tái)中的一個(gè)數(shù)據(jù)源，且SID與大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換是雙向的數(shù)據(jù)讀取數(shù)據(jù)交換數(shù)據(jù)交換大數(shù)據(jù)平臺(tái)與周邊系統(tǒng)的關(guān)系大數(shù)據(jù)平臺(tái)與省分系統(tǒng)和總部系統(tǒng)的關(guān)大數(shù)據(jù)平臺(tái)在Cloud的位置大數(shù)據(jù)平臺(tái):外圍關(guān)系：數(shù)據(jù)來(lái)源與生產(chǎn)系統(tǒng)的ADB，SID等；服務(wù)對(duì)象：數(shù)據(jù)應(yīng)用、反饋生產(chǎn)系統(tǒng)；核心內(nèi)容：數(shù)據(jù)管理、數(shù)據(jù)組織、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)；承載關(guān)系：IaaS統(tǒng)一承載構(gòu)架；PaaS數(shù)據(jù)集與SID和ADB并列；PaaS技術(shù)服務(wù)集：互為補(bǔ)充；PaaS業(yè)務(wù)服務(wù)集：?jiǎn)为?dú)形成面向分析業(yè)務(wù)服務(wù)集；大數(shù)據(jù)平臺(tái)針對(duì)異常復(fù)雜的大數(shù)據(jù)管理，而云計(jì)算為大數(shù)據(jù)管理提供了堅(jiān)實(shí)的技術(shù)支撐。Cloud以數(shù)據(jù)為核心向上提供標(biāo)準(zhǔn)的封裝服務(wù)，以業(yè)務(wù)(流程)解耦為前提支撐生產(chǎn)經(jīng)營(yíng)、數(shù)據(jù)加工分析等應(yīng)用。概括的說(shuō)，Cloud是大數(shù)據(jù)平臺(tái)的載體，為其提供了基礎(chǔ)運(yùn)行環(huán)境。大數(shù)據(jù)平臺(tái)在Cloud的位置大數(shù)據(jù)平臺(tái):大數(shù)據(jù)平臺(tái)針對(duì)異常復(fù)4.大數(shù)據(jù)平臺(tái)總體架構(gòu)設(shè)計(jì)IBM大數(shù)據(jù)平臺(tái)解決方案4.大數(shù)據(jù)平臺(tái)總體架構(gòu)設(shè)計(jì)IBM大數(shù)據(jù)平臺(tái)解決方案總體邏輯架構(gòu)圖大數(shù)據(jù)平臺(tái)總部系統(tǒng)基于企業(yè)大數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)框架，總體架構(gòu)可分為系統(tǒng)平臺(tái)和參與人兩大部分，其中系統(tǒng)平臺(tái)可分為大數(shù)據(jù)平臺(tái)、總部IT系統(tǒng)和省分IT系統(tǒng)，參與人可分為企業(yè)內(nèi)部用戶、外部用戶、系統(tǒng)建設(shè)廠商系統(tǒng)建設(shè)廠商集成廠商實(shí)施廠商咨詢廠商信息提供商……省分系統(tǒng)圖例邏輯庫(kù)物理庫(kù)數(shù)據(jù)流控制流數(shù)據(jù)整合與存儲(chǔ)DW/DMODSCloud-i（資源）統(tǒng)一IaaS服務(wù)接口數(shù)據(jù)服務(wù)數(shù)據(jù)管控?cái)?shù)據(jù)應(yīng)用開(kāi)發(fā)平臺(tái)標(biāo)準(zhǔn)化API分析模型SDK……工具軟件數(shù)據(jù)獲取非結(jié)構(gòu)化數(shù)據(jù)企業(yè)內(nèi)部用戶企業(yè)外部客戶總體邏輯架構(gòu)圖大數(shù)據(jù)平臺(tái)總部系統(tǒng)基于企業(yè)大數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)框總體邏輯架構(gòu)圖數(shù)據(jù)應(yīng)用應(yīng)用開(kāi)發(fā)平臺(tái)數(shù)據(jù)整合與存儲(chǔ)數(shù)據(jù)獲取大數(shù)據(jù)平臺(tái)生產(chǎn)系統(tǒng)數(shù)據(jù)服務(wù)應(yīng)用集市總部系統(tǒng)備份文件備份文件備份文件備份文件省分系統(tǒng)備份文件備份文件備份文件備份文件數(shù)據(jù)管控?cái)?shù)據(jù)歸檔近線區(qū)歸檔區(qū)明細(xì)類數(shù)據(jù)快照類數(shù)據(jù)日志類數(shù)據(jù)元數(shù)據(jù)快照類數(shù)據(jù)日志類數(shù)據(jù)參數(shù)類數(shù)據(jù)元數(shù)據(jù)明細(xì)類數(shù)據(jù)參數(shù)類數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理前置機(jī)前置機(jī)圖例邏輯庫(kù)物理庫(kù)部門(mén)集市ODSEDSB部門(mén)集市應(yīng)用集市標(biāo)準(zhǔn)化API分析模型SDK……工具軟件EASB接入適配數(shù)據(jù)交換層數(shù)據(jù)處理層傳輸路由標(biāo)準(zhǔn)策略管理交換管理平臺(tái)管理監(jiān)控告警作業(yè)管理處理邏輯定義獲取管理層非結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載省分集市省分集市省分集市知識(shí)庫(kù)DWADWD部門(mén)集市透?jìng)魍ǖ繟DBSIDADBSID服務(wù)接入高層服務(wù)視圖服務(wù)腳本服務(wù)數(shù)據(jù)接入服務(wù)管理總體邏輯架構(gòu)圖數(shù)據(jù)應(yīng)用應(yīng)用開(kāi)發(fā)平臺(tái)數(shù)據(jù)整合與存儲(chǔ)數(shù)據(jù)獲取大數(shù)總體物理架構(gòu)圖

IaaS

SaaS

PaaS

物理資源實(shí)時(shí)流/批量ETL海量分析平臺(tái)歸檔區(qū)資源池虛擬化中低端存儲(chǔ)高端存儲(chǔ)小型機(jī)X86服務(wù)器提供能夠滿足用戶需求的各類應(yīng)用程序關(guān)注軟件架構(gòu)與服務(wù)，提供應(yīng)用在基礎(chǔ)設(shè)施中進(jìn)行計(jì)算所需要的各類服務(wù)提供系統(tǒng)運(yùn)行所需的計(jì)算與存儲(chǔ)資源應(yīng)用統(tǒng)一訪問(wèn)門(mén)戶SMP集群VMVMVM臨時(shí)性應(yīng)用固化應(yīng)用SMP+MPP+Hadoop小型機(jī)/X86SMP集群數(shù)據(jù)庫(kù)資源池網(wǎng)絡(luò)設(shè)備總體物理架構(gòu)圖IaaSComputeIntensiveApplicationsPlatformManagementConsolePlatformEnterpriseReportingFrameworkResourceOrchestratorLow-latencyService-orientedApplicationMiddlewareServiceInstanceManager(SIM)EnhancedMapReduceProcessingFrameworkDATAINTENSIVECOMPUTEINTENSIVEPlatformSymphonyCoreComputeIntensiveApplications大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論高可用數(shù)據(jù)提供數(shù)據(jù)全面性數(shù)據(jù)質(zhì)量數(shù)據(jù)快速提供與分發(fā)數(shù)據(jù)整合分區(qū)與定位應(yīng)該如何給大數(shù)據(jù)平臺(tái)劃分?jǐn)?shù)據(jù)區(qū)，每個(gè)區(qū)的數(shù)據(jù)目標(biāo)是什么應(yīng)該分為哪些類數(shù)據(jù)整合區(qū)，有多少個(gè)數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)的定位是什么，必要性如何數(shù)據(jù)存儲(chǔ)成本與性能海量、多樣性、實(shí)時(shí)數(shù)據(jù)的高性價(jià)比的數(shù)據(jù)管理在線、近線、離線數(shù)據(jù)的管理策略易擴(kuò)展的數(shù)據(jù)存儲(chǔ)架構(gòu)支撐大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略的應(yīng)用框架自頂向下：五個(gè)一點(diǎn)要承接自底向上：從大數(shù)據(jù)4V特性，如何進(jìn)行創(chuàng)新，真正實(shí)現(xiàn)IT對(duì)業(yè)務(wù)的推動(dòng)IBM行業(yè)模型eTom與SIDIBM數(shù)據(jù)治理方法論DW2.0方法論企業(yè)信息工廠方法論維度建模方法論IBMBI方法論維度建模方法論IBMBI方法論Hadoop實(shí)施方案IBM企業(yè)架構(gòu)(EA)方法論IBMCBM業(yè)務(wù)組件模型關(guān)鍵點(diǎn)方法論關(guān)鍵點(diǎn)描述自助式應(yīng)用開(kāi)發(fā)支持開(kāi)發(fā)人員的敏捷化開(kāi)發(fā)支持最終用戶的自助式的查詢、分析和挖掘IBMBI方法論工行數(shù)據(jù)大集中經(jīng)驗(yàn)大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論高可用數(shù)據(jù)全面性數(shù)據(jù)整合5.分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn)IBM大數(shù)據(jù)平臺(tái)解決方案5.分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn)IBM大數(shù)據(jù)平臺(tái)解決方案數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn)采集周期數(shù)據(jù)傳輸采集范圍數(shù)據(jù)模型采集技術(shù)采集方式采集方式聯(lián)動(dòng)機(jī)制傳輸技術(shù)選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐，確立企業(yè)級(jí)邏輯數(shù)據(jù)模型結(jié)合逐步實(shí)現(xiàn)一點(diǎn)源頭采集、

覆蓋MBO全域全景數(shù)據(jù)，滿足橫縱向、內(nèi)外部眾多數(shù)據(jù)源需要根據(jù)系統(tǒng)中不同數(shù)據(jù)類型的時(shí)間串口（實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/日月）確定合理的數(shù)據(jù)采集周期根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，并執(zhí)行保證采集與源系統(tǒng)聯(lián)動(dòng)，避免源系統(tǒng)變化影響根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時(shí)效等特性選擇合適的傳輸技術(shù)和策略確定數(shù)據(jù)采集和傳輸過(guò)程中的關(guān)鍵問(wèn)題點(diǎn)，監(jiān)控采集可能出現(xiàn)的問(wèn)題。數(shù)據(jù)采集問(wèn)題的排錯(cuò)機(jī)制和容錯(cuò)機(jī)制。系統(tǒng)現(xiàn)狀管理需求現(xiàn)狀系統(tǒng)時(shí)間窗口采集管控采集監(jiān)控問(wèn)題處置選擇合適的采集技術(shù)，保證數(shù)據(jù)原生態(tài)、時(shí)效要求針對(duì)結(jié)構(gòu)化/非結(jié)構(gòu)化、海量數(shù)據(jù)并發(fā)處理、實(shí)時(shí)數(shù)據(jù)處理等要求，確定統(tǒng)一的和標(biāo)準(zhǔn)的數(shù)據(jù)采集方式數(shù)據(jù)分類數(shù)據(jù)分布傳輸數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn)采集周期數(shù)據(jù)傳輸采集范圍數(shù)據(jù)模型數(shù)據(jù)整合與存儲(chǔ)方案設(shè)計(jì)思想和關(guān)注點(diǎn)數(shù)據(jù)整合基于業(yè)界近期研究進(jìn)展，討論數(shù)據(jù)整合區(qū)域的基本劃分層次明確整合數(shù)據(jù)區(qū)中應(yīng)該有多少個(gè)邏輯/物理數(shù)據(jù)庫(kù)，具體定位SA、ODS、DWD、DWA、DM數(shù)據(jù)集進(jìn)一步細(xì)分的策略，實(shí)時(shí)中的建模策略、參照方法論等建設(shè)方法操作型/分析型數(shù)據(jù)數(shù)據(jù)、結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同數(shù)據(jù)類型的功能劃分和整合策略各個(gè)數(shù)據(jù)集/庫(kù)中應(yīng)該存放哪些數(shù)據(jù)，包括數(shù)據(jù)類分布和數(shù)據(jù)生命周期分布策略；數(shù)據(jù)在不同數(shù)據(jù)集間的復(fù)制策略，如數(shù)據(jù)集市是否全量保存DWD中的CDR數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)的3V特征，對(duì)數(shù)據(jù)存儲(chǔ)與處理的要求，滿足9621的支撐要求結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的特征分析，相應(yīng)的存儲(chǔ)管理策略，不同類型數(shù)據(jù)的共用機(jī)制非結(jié)構(gòu)化數(shù)據(jù)的分類、標(biāo)引等結(jié)構(gòu)化信息的提取方法內(nèi)存數(shù)據(jù)管理技術(shù)在實(shí)時(shí)流數(shù)據(jù)處理中的具體應(yīng)用策略結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同類型數(shù)據(jù)應(yīng)該使用哪些軟硬件平臺(tái)，包括DBMS管理和處理能力要求，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)平臺(tái)不同數(shù)據(jù)生命周期的數(shù)據(jù)清理機(jī)制、數(shù)據(jù)存儲(chǔ)管理策略，數(shù)據(jù)在在線區(qū)、近線區(qū)、歸檔區(qū)的自動(dòng)歸檔與自動(dòng)恢復(fù)機(jī)制。海量多樣化速度生命周期軟硬件平臺(tái)層次劃分?jǐn)?shù)據(jù)集定義建設(shè)方法數(shù)據(jù)存放數(shù)據(jù)模型明確應(yīng)該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關(guān)系,統(tǒng)一模型和個(gè)性化模型之間的關(guān)系，如何滿足省分5級(jí)/7級(jí)要求選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐，確立企業(yè)級(jí)邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類數(shù)據(jù)模型數(shù)據(jù)整合與存儲(chǔ)方案設(shè)計(jì)思想和關(guān)注點(diǎn)數(shù)據(jù)整合基于業(yè)界近期研究進(jìn)數(shù)據(jù)服務(wù)方案設(shè)計(jì)思想和關(guān)注點(diǎn)方案設(shè)計(jì)數(shù)據(jù)服務(wù)理解數(shù)據(jù)服務(wù)內(nèi)涵必要性可行性服務(wù)層次指對(duì)大數(shù)據(jù)平臺(tái)中的各種數(shù)據(jù)進(jìn)行封裝，通過(guò)各種服務(wù)方式向不同應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，以滿足用戶的多樣性數(shù)據(jù)請(qǐng)求。將數(shù)據(jù)服務(wù)劃分為3個(gè)層次，中層服務(wù)、底層服務(wù)開(kāi)放給內(nèi)部應(yīng)用系統(tǒng)使用，高層服務(wù)向所有用戶開(kāi)放；數(shù)據(jù)應(yīng)用基于數(shù)據(jù)服務(wù)，通過(guò)EAB取得數(shù)據(jù)，數(shù)據(jù)服務(wù)可復(fù)用部分?jǐn)?shù)據(jù)交互進(jìn)程，并依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)提供服務(wù)；建立簡(jiǎn)單、易用的數(shù)據(jù)封裝、服務(wù)開(kāi)發(fā)向?qū)?，能夠快捷的?duì)數(shù)據(jù)進(jìn)行封裝，發(fā)布新服務(wù)；兩層服務(wù)接入安全管理，以及對(duì)服務(wù)請(qǐng)求優(yōu)先級(jí)管理，控制服務(wù)執(zhí)行的數(shù)量，保障系統(tǒng)安全平穩(wěn)的運(yùn)行；高層服務(wù)請(qǐng)求需要進(jìn)行語(yǔ)義轉(zhuǎn)換，然后執(zhí)行服務(wù)，中層、底層服務(wù)不需要語(yǔ)義轉(zhuǎn)換，直接執(zhí)行服務(wù)；服務(wù)運(yùn)行方式數(shù)據(jù)服務(wù)目標(biāo)建立應(yīng)用和數(shù)據(jù)之間標(biāo)準(zhǔn)化的訪問(wèn)接口，能夠快速響應(yīng)用戶的各種數(shù)據(jù)請(qǐng)求，提升與外部系統(tǒng)實(shí)時(shí)的互動(dòng)與信息共享能力；將數(shù)據(jù)與應(yīng)用隔離開(kāi)來(lái)，實(shí)現(xiàn)系統(tǒng)間的松耦合性，依托大數(shù)據(jù)平臺(tái)能力，對(duì)各種數(shù)據(jù)請(qǐng)求作出快速響應(yīng)，實(shí)現(xiàn)實(shí)時(shí)的信息共享；將各種接口技術(shù)及響應(yīng)模式組合成多種服務(wù)方式，快速響應(yīng)各種服務(wù)請(qǐng)求，用戶可根據(jù)實(shí)際情況選擇適合自己的服務(wù)方式；與其它模塊協(xié)作服務(wù)功能劃分?jǐn)?shù)據(jù)服務(wù)方案設(shè)計(jì)思想和關(guān)注點(diǎn)方案設(shè)計(jì)數(shù)據(jù)服務(wù)理解數(shù)據(jù)服務(wù)內(nèi)涵數(shù)據(jù)應(yīng)用方案設(shè)計(jì)思想和關(guān)注點(diǎn)應(yīng)用技術(shù)架構(gòu)應(yīng)用開(kāi)發(fā)環(huán)境應(yīng)用管理平臺(tái)應(yīng)用框架細(xì)化補(bǔ)充開(kāi)放化標(biāo)準(zhǔn)化靈活性集成開(kāi)發(fā)環(huán)境個(gè)性化支持多廠商支持應(yīng)用推廣能力應(yīng)用生命周期

管理選擇“決策/管控/執(zhí)行”三個(gè)層面作為第二維度進(jìn)行細(xì)化結(jié)合國(guó)內(nèi)外運(yùn)營(yíng)商框架/IBM參考框架，對(duì)框架從覆蓋的業(yè)務(wù)范圍上、運(yùn)營(yíng)型決策等方面進(jìn)行了補(bǔ)充基于對(duì)業(yè)界開(kāi)發(fā)平臺(tái)的分析，結(jié)合分析型應(yīng)用的負(fù)載特點(diǎn)，采用Java組件化開(kāi)發(fā)與商用工具相結(jié)合的方式進(jìn)行應(yīng)用構(gòu)建應(yīng)用技術(shù)架構(gòu)按業(yè)界流行架構(gòu)劃分為三層：展現(xiàn)層、業(yè)務(wù)邏輯層、基礎(chǔ)服務(wù)層，同時(shí)與M域PaaS分層保持一致展現(xiàn)層由WebUI開(kāi)發(fā)組件、商用工具前端兩部分整合業(yè)務(wù)邏輯層由業(yè)務(wù)邏輯組件、商用工具引擎兩部分整合基礎(chǔ)服務(wù)層可復(fù)用M域PaaS中4A等各類組件個(gè)性化根據(jù)涉及的層次可能提出：應(yīng)用個(gè)性化、數(shù)據(jù)服務(wù)個(gè)性化、數(shù)據(jù)模型個(gè)性化、數(shù)據(jù)標(biāo)簽/編碼個(gè)性化應(yīng)用開(kāi)發(fā)平臺(tái)提供各個(gè)層次的開(kāi)發(fā)標(biāo)準(zhǔn)、可復(fù)用組件、開(kāi)發(fā)工具、開(kāi)發(fā)環(huán)境、測(cè)試環(huán)境等，開(kāi)發(fā)/測(cè)試評(píng)估完成后，由運(yùn)維團(tuán)隊(duì)統(tǒng)一進(jìn)行部署應(yīng)用開(kāi)發(fā)平臺(tái)通過(guò)桌面云實(shí)現(xiàn)多廠商支持與安全控制開(kāi)發(fā)標(biāo)準(zhǔn)中規(guī)定應(yīng)用設(shè)計(jì)標(biāo)準(zhǔn)以便于個(gè)性化應(yīng)用快速推廣應(yīng)用生命周期管理，提供發(fā)布申請(qǐng)、發(fā)布、監(jiān)控、評(píng)價(jià)、下線等全生命周期管理，在評(píng)價(jià)方面進(jìn)行較大擴(kuò)展，可評(píng)價(jià)應(yīng)用的使用量，可根據(jù)使用分析幫助進(jìn)行應(yīng)用擴(kuò)展數(shù)據(jù)應(yīng)用方案設(shè)計(jì)思想和關(guān)注點(diǎn)應(yīng)用技術(shù)架構(gòu)應(yīng)用開(kāi)發(fā)環(huán)境應(yīng)用管理數(shù)據(jù)管控方案設(shè)計(jì)思想和關(guān)注點(diǎn)技術(shù)架構(gòu)管控開(kāi)發(fā)環(huán)境管控范圍全面管控突出重點(diǎn)分布式層次化可擴(kuò)展集成開(kāi)發(fā)環(huán)境多廠商支持應(yīng)用推廣能力大數(shù)據(jù)平臺(tái)數(shù)據(jù)流轉(zhuǎn)的各環(huán)節(jié)都應(yīng)該得到有效管控，包括數(shù)據(jù)采集、整合、存儲(chǔ)、服務(wù)、應(yīng)用等。從應(yīng)用關(guān)注點(diǎn)上要突出數(shù)據(jù)質(zhì)量應(yīng)用，從數(shù)據(jù)對(duì)象上要關(guān)注大數(shù)據(jù)，從系統(tǒng)環(huán)節(jié)上關(guān)注云架構(gòu)下的管控方式變化。大數(shù)據(jù)平臺(tái)中流轉(zhuǎn)是分布式的，其數(shù)據(jù)管控技術(shù)應(yīng)與之相適應(yīng)進(jìn)行分布式的管控信息采集，并盡可能實(shí)現(xiàn)數(shù)據(jù)管控本身云化部署。數(shù)據(jù)管控應(yīng)分成管控信息的采集、整合存儲(chǔ)、管控應(yīng)用3個(gè)層次。由于大數(shù)據(jù)平臺(tái)環(huán)境下數(shù)據(jù)和應(yīng)用的擴(kuò)展能力比較大，要求保證數(shù)據(jù)管控的可擴(kuò)展能力。特別是適應(yīng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜且經(jīng)常變化的場(chǎng)景。管控各環(huán)節(jié)會(huì)涉及到多廠商的系統(tǒng)和數(shù)據(jù)環(huán)境。管控開(kāi)發(fā)平臺(tái)應(yīng)提供各層次、各接口、各應(yīng)用的開(kāi)發(fā)標(biāo)準(zhǔn)、可復(fù)用組件、開(kāi)發(fā)工具、開(kāi)發(fā)環(huán)境、測(cè)試環(huán)境等，開(kāi)發(fā)/測(cè)試評(píng)估完成后，由運(yùn)維團(tuán)隊(duì)統(tǒng)一進(jìn)行部署應(yīng)用開(kāi)發(fā)平臺(tái)通過(guò)桌面云實(shí)現(xiàn)多廠商支持與安全控制數(shù)據(jù)管控方案設(shè)計(jì)思想和關(guān)注點(diǎn)技術(shù)架構(gòu)管控開(kāi)發(fā)環(huán)境管控范圍全面Q&AQ&A大數(shù)據(jù)解決方案介紹課件

IBM大數(shù)據(jù)平臺(tái)解決方案介紹

IBM大數(shù)據(jù)平臺(tái)解決方案介紹

1.項(xiàng)目背景理解IBM大數(shù)據(jù)平臺(tái)解決方案1.項(xiàng)目背景理解IBM大數(shù)據(jù)平臺(tái)解決方案當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn)數(shù)據(jù)問(wèn)題慢缺重散繁差企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)據(jù)項(xiàng)缺失；數(shù)據(jù)屬性不完整；企業(yè)外部數(shù)據(jù)無(wú)暇顧及；數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集、重復(fù)存儲(chǔ)；系統(tǒng)數(shù)據(jù)無(wú)法關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；系統(tǒng)林立，數(shù)出多門(mén)；數(shù)據(jù)時(shí)效性差，使用者無(wú)法及時(shí)獲得所需信息；數(shù)據(jù)使用不方便，方法繁瑣；手工報(bào)表多；數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，數(shù)據(jù)不一致；業(yè)務(wù)支持TextText網(wǎng)絡(luò)運(yùn)營(yíng)決策與報(bào)告風(fēng)險(xiǎn)管理產(chǎn)品運(yùn)營(yíng)營(yíng)銷支持精細(xì)化管理對(duì)運(yùn)營(yíng)商價(jià)值鏈的影響

數(shù)據(jù)問(wèn)題長(zhǎng)期存在將導(dǎo)致：對(duì)自身狀況摸不透

對(duì)經(jīng)營(yíng)環(huán)境看不清對(duì)市場(chǎng)先機(jī)抓不住

對(duì)未來(lái)競(jìng)爭(zhēng)贏不了制約阻礙沒(méi)有準(zhǔn)確數(shù)據(jù)支撐難以進(jìn)行深度分析決策缺乏可靠依據(jù)當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn)數(shù)據(jù)問(wèn)題慢缺重散繁差企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)IT如何推動(dòng)公司運(yùn)營(yíng)變革2、服務(wù)管控模式逐步完善夯實(shí)基礎(chǔ)管理管控思路由簡(jiǎn)單支撐向精細(xì)服務(wù)轉(zhuǎn)型全面優(yōu)化信息化服務(wù)流程實(shí)現(xiàn)分級(jí)服務(wù)保險(xiǎn)行業(yè)經(jīng)過(guò)多年的發(fā)展，整個(gè)行業(yè)的變革越來(lái)越快，市場(chǎng)競(jìng)爭(zhēng)環(huán)境也日益激烈。保險(xiǎn)公司想要在殘酷的競(jìng)爭(zhēng)中占得先機(jī)，就必須考慮產(chǎn)業(yè)的融合，并在價(jià)值鏈中占得有利的位置。1、由被動(dòng)的IT支撐向主動(dòng)的以數(shù)據(jù)為核心的IT服務(wù)轉(zhuǎn)型以大數(shù)據(jù)為核心組織IT服務(wù)能力持續(xù)完善基礎(chǔ)支撐能力擁抱互聯(lián)網(wǎng)架構(gòu)體系全面云化IT如何推動(dòng)公司運(yùn)營(yíng)變革保險(xiǎn)行業(yè)經(jīng)過(guò)多年的發(fā)展，整個(gè)行大數(shù)據(jù)思考根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3V的內(nèi)容：數(shù)據(jù)量龐大（Volume）：從PB擴(kuò)展到ZB；IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產(chǎn)生大量新生數(shù)據(jù)，過(guò)去的兩年間產(chǎn)生的數(shù)據(jù)占到了所有數(shù)據(jù)的90%數(shù)據(jù)變化快(Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳感器、信令每時(shí)每刻都在不停的產(chǎn)生數(shù)據(jù)數(shù)據(jù)多樣（Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫(kù)表，格式文本，自然語(yǔ)言文本，電子表格，聲音，圖片，視頻……數(shù)據(jù)規(guī)模大數(shù)據(jù)范圍廣數(shù)據(jù)加工深入數(shù)據(jù)服務(wù)對(duì)象全面數(shù)據(jù)類型多數(shù)據(jù)管理復(fù)雜生產(chǎn)系統(tǒng)數(shù)據(jù)網(wǎng)元等設(shè)備數(shù)據(jù)平臺(tái)自生數(shù)據(jù)外部互聯(lián)網(wǎng)數(shù)據(jù)……10PB級(jí)+指數(shù)級(jí)快速增長(zhǎng)結(jié)構(gòu)化、非結(jié)構(gòu)化靜態(tài)、動(dòng)態(tài)……在線、近線、離線高性能、低成本、高質(zhì)量、可追溯……企業(yè)內(nèi)部（管理層、執(zhí)行層、一線營(yíng)銷群體等）企業(yè)外部（客戶，合作伙伴，供應(yīng)鏈、政府部門(mén)等）內(nèi)部生產(chǎn)系統(tǒng)……信息轉(zhuǎn)換知識(shí)沉淀價(jià)值創(chuàng)造……數(shù)據(jù)成為公司核心資產(chǎn)和核心競(jìng)爭(zhēng)力，將被設(shè)計(jì)用于在成本可承受（economically）的條件下，通過(guò)快速（velocity）采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）數(shù)據(jù)中提取價(jià)值（value）大數(shù)據(jù)思考根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn)客戶：精準(zhǔn)服務(wù)及時(shí)響應(yīng)智能應(yīng)用透明管控圍繞大數(shù)據(jù)應(yīng)用，促使公司實(shí)現(xiàn)科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造以及透明管控，一方面能使得公司側(cè)感知到大數(shù)據(jù)帶來(lái)的管理、決策、運(yùn)營(yíng)效率和質(zhì)量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來(lái)業(yè)務(wù)開(kāi)發(fā)的智能、服務(wù)及時(shí)以及與需求匹配的精準(zhǔn)。科學(xué)運(yùn)營(yíng)價(jià)值創(chuàng)造企業(yè)：開(kāi)發(fā)便捷分析及時(shí)決策支持?jǐn)?shù)據(jù)準(zhǔn)確…大數(shù)據(jù)平臺(tái)客戶大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn)客戶：透明管控圍繞大數(shù)2.大數(shù)據(jù)平臺(tái)需求理解IBM大數(shù)據(jù)平臺(tái)解決方案2.大數(shù)據(jù)平臺(tái)需求理解IBM大數(shù)據(jù)平臺(tái)解決方案大數(shù)據(jù)平臺(tái)的關(guān)鍵需求角色流程數(shù)據(jù)應(yīng)用數(shù)據(jù)分類市場(chǎng)營(yíng)銷產(chǎn)品開(kāi)發(fā)客戶管理客戶洞察……決策類活動(dòng)管理類活動(dòng)執(zhí)行類活動(dòng)分析類活動(dòng)結(jié)構(gòu)化了企業(yè)架構(gòu)中四大架構(gòu)的關(guān)鍵要素，以及要素間的承接關(guān)系，形成了一套規(guī)范、清晰的定義，從而為大數(shù)據(jù)平臺(tái)的方案設(shè)計(jì)建立了更明確的指導(dǎo)依據(jù)和驗(yàn)證方法。柔性架構(gòu)的大數(shù)據(jù)平臺(tái)企業(yè)架構(gòu)方法論和云計(jì)算技術(shù)讓建立柔性架構(gòu)成為可能，基于企業(yè)架構(gòu)元模型，建立柔性的架構(gòu)需要實(shí)現(xiàn)業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、技術(shù)四個(gè)架構(gòu)層面的解耦。業(yè)務(wù)—應(yīng)用/數(shù)據(jù)：業(yè)務(wù)活動(dòng)在業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)(大數(shù)據(jù)平臺(tái))間具有承上啟下的作用，可從業(yè)務(wù)類型和業(yè)務(wù)活動(dòng)類型兩個(gè)維度劃分，前者體現(xiàn)業(yè)務(wù)差異，后者更多體現(xiàn)數(shù)據(jù)平臺(tái)能力要求，且可以穩(wěn)定地分為決策類、管理類、執(zhí)行類和分析類四種，因此業(yè)務(wù)與IT的解耦可從四類業(yè)務(wù)活動(dòng)支撐實(shí)現(xiàn)。應(yīng)用—數(shù)據(jù)：應(yīng)用和數(shù)據(jù)共同承接了業(yè)務(wù)，數(shù)據(jù)實(shí)體也承接了應(yīng)用交互，因此二者解耦的核心是數(shù)據(jù)實(shí)體。這可以通過(guò)建立穩(wěn)定的、彈性的企業(yè)企業(yè)級(jí)大數(shù)據(jù)模型、數(shù)據(jù)整合與存儲(chǔ)區(qū)域，保證未來(lái)應(yīng)用對(duì)數(shù)據(jù)操作的可擴(kuò)展，以及屏蔽了應(yīng)用對(duì)底層數(shù)據(jù)直接訪問(wèn)的數(shù)據(jù)服務(wù)加以實(shí)現(xiàn)。應(yīng)用/數(shù)據(jù)—技術(shù)：系統(tǒng)組件承接了應(yīng)用和數(shù)據(jù)，因此要實(shí)現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對(duì)應(yīng)用的依賴，可通過(guò)建立應(yīng)用開(kāi)發(fā)平臺(tái)、數(shù)據(jù)交換平臺(tái)和數(shù)據(jù)管控平臺(tái)來(lái)實(shí)現(xiàn)。同時(shí)基于云計(jì)算的彈性擴(kuò)展和虛擬化技術(shù)實(shí)現(xiàn)系統(tǒng)組件與基礎(chǔ)設(shè)施的解耦。大數(shù)據(jù)平臺(tái)的關(guān)鍵需求角色流程數(shù)據(jù)應(yīng)用數(shù)據(jù)分類市場(chǎng)營(yíng)銷產(chǎn)品開(kāi)發(fā)大數(shù)據(jù)平臺(tái)能力需求分析——決策類業(yè)務(wù)活動(dòng)識(shí)別問(wèn)題或?qū)Q策的要求分析和闡明方案做出選擇追蹤和反饋決策結(jié)果傳達(dá)和執(zhí)行決策決策就是為達(dá)到某一目標(biāo)而在若干個(gè)可行方案經(jīng)過(guò)分析、比較、判斷，從中選擇并賦予實(shí)施的過(guò)程據(jù)諾賓斯泰（Robenstein）將決策過(guò)程定義為五個(gè)步驟大數(shù)據(jù)平臺(tái)的核心是數(shù)據(jù)，從數(shù)據(jù)生命周期看，大數(shù)據(jù)的生成、獲取、整合、服務(wù)、應(yīng)用、歸檔各個(gè)步驟分別有著不同的目標(biāo)，并面臨不同的問(wèn)題從決策類活動(dòng)過(guò)程和數(shù)據(jù)生命周期兩個(gè)維度，對(duì)大數(shù)據(jù)平臺(tái)的決策類活動(dòng)的支撐能力需求進(jìn)行分析通過(guò)優(yōu)化技術(shù)選擇滿足約束條件的最優(yōu)方案4V產(chǎn)生應(yīng)用獲取整合服務(wù)歸檔應(yīng)用通過(guò)仿真技術(shù)進(jìn)行各種方案的預(yù)演與細(xì)化整合案例類、規(guī)則類知識(shí)支撐規(guī)則制度信息查詢實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲客戶行為捕獲企業(yè)/用戶互聯(lián)網(wǎng)數(shù)據(jù)捕獲應(yīng)用服務(wù)獲取整合大數(shù)據(jù)的存儲(chǔ)和管理海量數(shù)據(jù)的快速分析海量數(shù)據(jù)的快速獲取歸檔整合服務(wù)應(yīng)用歸檔獲取整合服務(wù)應(yīng)用歸檔獲取服務(wù)歸檔實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲互聯(lián)網(wǎng)數(shù)據(jù)捕獲冷數(shù)據(jù)的近線訪問(wèn)快速的數(shù)據(jù)服務(wù)執(zhí)行簡(jiǎn)便的數(shù)據(jù)服務(wù)使用非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔高可用的數(shù)據(jù)支撐建立柔性的架構(gòu)支撐個(gè)性化應(yīng)用開(kāi)發(fā)支撐最終用戶自定制的數(shù)據(jù)服務(wù)與生產(chǎn)系統(tǒng)在功能和數(shù)據(jù)分工上清晰合理與生產(chǎn)系統(tǒng)的及時(shí)交互決策執(zhí)行業(yè)務(wù)活動(dòng)中的數(shù)據(jù)支撐大數(shù)據(jù)平臺(tái)能力需求分析——決策類業(yè)務(wù)活動(dòng)識(shí)別問(wèn)題或分析和闡明大數(shù)據(jù)平臺(tái)能力需求分析——分析類業(yè)務(wù)活動(dòng)業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備模型部署數(shù)據(jù)建模分析類活動(dòng)是通過(guò)對(duì)數(shù)據(jù)的深入分析，力求取得更深刻業(yè)務(wù)洞察的過(guò)程，參考DM-CRISP數(shù)據(jù)挖掘方法論，包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評(píng)估和模型部署六個(gè)步驟4V產(chǎn)生應(yīng)用獲取整合服務(wù)歸檔應(yīng)用整合應(yīng)用服務(wù)獲取整合歸檔整合服務(wù)應(yīng)用歸檔獲取整合服務(wù)應(yīng)用歸檔獲取服務(wù)歸檔模型評(píng)估應(yīng)用整合獲取服務(wù)歸檔歷史數(shù)據(jù)探查和分析海量數(shù)據(jù)的快速獲取方便準(zhǔn)確的數(shù)據(jù)抽樣能力探索數(shù)據(jù)可方便歸檔和恢復(fù)非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的獲取海量數(shù)據(jù)的獲取非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合流數(shù)據(jù)概要數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合海量數(shù)據(jù)的處理能力非結(jié)構(gòu)化數(shù)據(jù)分析能力海量數(shù)據(jù)分析能力支撐不同分析的數(shù)據(jù)寬表寬表數(shù)據(jù)歸檔豐富的數(shù)據(jù)挖掘算法建模過(guò)程中的模擬仿真仿真結(jié)果的優(yōu)化計(jì)算調(diào)用API進(jìn)行模型訓(xùn)練能力豐富的數(shù)據(jù)計(jì)算和可視化分析模型能夠?qū)С鰹榭芍苯邮褂玫脑u(píng)分條件，如SQL評(píng)估數(shù)據(jù)能夠嵌入到模型評(píng)估中，通過(guò)外部調(diào)用發(fā)現(xiàn)已經(jīng)退化的模型模型分析結(jié)果的快速回寫(xiě)模型評(píng)估數(shù)據(jù)集的提取模型分析結(jié)果嵌入到生產(chǎn)系統(tǒng)中模型分析源數(shù)據(jù)的預(yù)處理與獲取大數(shù)據(jù)平臺(tái)能力需求分析——分析類業(yè)務(wù)活動(dòng)業(yè)務(wù)理解數(shù)據(jù)理解數(shù)據(jù)大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——應(yīng)用開(kāi)發(fā)與運(yùn)行當(dāng)前總部BI系統(tǒng)的數(shù)據(jù)應(yīng)用需求包括業(yè)務(wù)部門(mén)的計(jì)劃性業(yè)務(wù)支撐需求和大量的臨時(shí)性支撐需求，以及IT部門(mén)自身規(guī)劃中的計(jì)劃性支撐需求；省公司經(jīng)分系統(tǒng)也需要支撐來(lái)自業(yè)務(wù)部門(mén)和IT部門(mén)的大量支撐需求，同時(shí)要完成集團(tuán)下發(fā)的IT規(guī)范要求未來(lái)省公司數(shù)據(jù)集中后，大數(shù)據(jù)平臺(tái)將必須承擔(dān)省分公司和總部的全部數(shù)據(jù)應(yīng)用服務(wù)需求省分公司當(dāng)前數(shù)據(jù)應(yīng)用需求集團(tuán)總部當(dāng)前數(shù)據(jù)應(yīng)用需求省公司經(jīng)分系統(tǒng)總部BI系統(tǒng)業(yè)務(wù)部門(mén)IT部門(mén)集團(tuán)領(lǐng)導(dǎo)IT部門(mén)業(yè)務(wù)部門(mén)集團(tuán)下發(fā)規(guī)范支撐需求臨時(shí)支撐需求計(jì)劃業(yè)務(wù)支撐需求計(jì)劃IT支撐需求臨時(shí)支撐需求省公司領(lǐng)導(dǎo)計(jì)劃業(yè)務(wù)支撐需求計(jì)劃IT支撐需求數(shù)據(jù)應(yīng)用需求急速增長(zhǎng)總公司IT增長(zhǎng)緩慢省公司IT投入有限平臺(tái)開(kāi)發(fā)方面：如何支撐急速增長(zhǎng)的數(shù)據(jù)應(yīng)用需求平臺(tái)執(zhí)行方面：如何保障海量大并發(fā)的數(shù)據(jù)訪問(wèn)需求和海量數(shù)據(jù)處理的性能要求大數(shù)據(jù)平臺(tái)將面臨兩大挑戰(zhàn)IT人力緊張IT系統(tǒng)擴(kuò)容難IT投入效益難保障大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——應(yīng)用開(kāi)發(fā)與運(yùn)行當(dāng)前總部BI系統(tǒng)的數(shù)大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——更直接的決策支持未來(lái)大數(shù)據(jù)平臺(tái)當(dāng)前BI系統(tǒng)結(jié)構(gòu)化決策：庫(kù)存控制半結(jié)構(gòu)化決策：套餐設(shè)計(jì)非結(jié)構(gòu)化決策：產(chǎn)品外觀設(shè)計(jì)鴻溝知識(shí)庫(kù)(事實(shí)知識(shí)、規(guī)則知識(shí)、案例知識(shí))OLAP應(yīng)用數(shù)據(jù)挖掘應(yīng)用固定報(bào)表應(yīng)用靈活查詢應(yīng)用數(shù)字儀表板知識(shí)庫(kù)(事實(shí)性知識(shí))DWDDWAODS最優(yōu)解績(jī)效度量數(shù)據(jù)挖掘模型輸入?yún)?shù)模型的建立基于預(yù)先假設(shè)模型所需數(shù)據(jù)事先確定已知模型是靜態(tài)的模型的數(shù)學(xué)形式很完善，但往往不能符合實(shí)際業(yè)務(wù)情況數(shù)據(jù)挖掘模型仿真模型隨機(jī)輸入量終端補(bǔ)充量Q輸入?yún)?shù)績(jī)效變量約束條件決策計(jì)劃目標(biāo)函數(shù)DWDDWAODSDMDMDM非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)挖掘模型仿真模型優(yōu)化模型大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求——更直接的決策支持未來(lái)大數(shù)據(jù)平臺(tái)當(dāng)前3.大數(shù)據(jù)平臺(tái)定位分析IBM大數(shù)據(jù)平臺(tái)解決方案3.大數(shù)據(jù)平臺(tái)定位分析IBM大數(shù)據(jù)平臺(tái)解決方案前期初步確立的大數(shù)據(jù)平臺(tái)目標(biāo)技術(shù)架構(gòu)目標(biāo)架構(gòu)：擁抱互聯(lián)網(wǎng)、運(yùn)用云計(jì)算技術(shù)，建立開(kāi)放的基于SOA架構(gòu)的中國(guó)企業(yè)集中化云數(shù)據(jù)服務(wù)支撐平臺(tái)，面向全國(guó)各級(jí)經(jīng)營(yíng)主體和總部集中平臺(tái)提供大數(shù)據(jù)、分布式、實(shí)時(shí)智能數(shù)據(jù)服務(wù)支撐與客戶響應(yīng)，并注重公共數(shù)據(jù)、公共能力的一點(diǎn)沉淀與全網(wǎng)共享，實(shí)現(xiàn)基于特定對(duì)象、特定需求的個(gè)性化自主定制、靈活組件組裝，高效實(shí)現(xiàn)一級(jí)系統(tǒng)多維應(yīng)用多級(jí)支撐總部目標(biāo)集中生產(chǎn)系統(tǒng)應(yīng)用統(tǒng)一訪問(wèn)門(mén)戶透明管控科學(xué)運(yùn)營(yíng)價(jià)值創(chuàng)造生產(chǎn)類應(yīng)用SaaS（軟件）

中間件即服務(wù)業(yè)務(wù)即服務(wù)ESBBPM組件集1……組件集2…組件集3報(bào)表工具聯(lián)機(jī)分析工具挖掘工具PaaS（平臺(tái)）數(shù)據(jù)即服務(wù)DW分析類數(shù)據(jù)生產(chǎn)類數(shù)據(jù)ODS/MDM統(tǒng)一IaaS服務(wù)接口小型機(jī)X86服務(wù)器高端存儲(chǔ)中低端存儲(chǔ)網(wǎng)絡(luò)資源IaaS（資源）

…SDK開(kāi)發(fā)平臺(tái)生命周期管控?cái)?shù)據(jù)質(zhì)量管控?cái)?shù)據(jù)安全管控元數(shù)據(jù)管控指標(biāo)體系統(tǒng)一視圖CUBE開(kāi)發(fā)工具近線區(qū)歸檔ETL元數(shù)據(jù)圍繞三個(gè)維度：透明管控、科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造強(qiáng)調(diào)開(kāi)放靈活：基于開(kāi)放業(yè)務(wù)組件、應(yīng)用開(kāi)發(fā)平臺(tái)、公共應(yīng)用模型等構(gòu)建，靈活支撐個(gè)性化應(yīng)用開(kāi)發(fā)、部署和推廣實(shí)施五項(xiàng)管控：數(shù)據(jù)模型與標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命周期推行五個(gè)一點(diǎn)：一點(diǎn)源頭采集、一點(diǎn)加工轉(zhuǎn)換、一點(diǎn)存儲(chǔ)、一點(diǎn)分析挖掘、一點(diǎn)服務(wù)提供數(shù)據(jù)模型標(biāo)準(zhǔn)管控前期初步確立的大數(shù)據(jù)平臺(tái)目標(biāo)技術(shù)架構(gòu)目標(biāo)架構(gòu)：擁抱互聯(lián)網(wǎng)、基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺(tái)建設(shè)的驅(qū)動(dòng)力分析類系統(tǒng)應(yīng)該建立多少數(shù)據(jù)庫(kù)，多少種數(shù)據(jù)庫(kù)保證數(shù)據(jù)從省分及時(shí)向集團(tuán)提供準(zhǔn)確唯一數(shù)據(jù)現(xiàn)存問(wèn)題在一個(gè)框架下有效支持5級(jí)體系的個(gè)性化開(kāi)發(fā)和共性開(kāi)發(fā)提供多種形式數(shù)據(jù)服務(wù)提供方式，并有效執(zhí)行數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)數(shù)據(jù)交換采集數(shù)據(jù)整合數(shù)據(jù)存儲(chǔ)數(shù)據(jù)管控新興技術(shù)流數(shù)據(jù)處理架構(gòu)和體系桌面云管理技術(shù)IaaS、PaaS，SaaS，DaaS等云管理技術(shù)內(nèi)容數(shù)據(jù)處理架構(gòu)和體系提供多廠商、多系統(tǒng)的統(tǒng)一開(kāi)發(fā)平臺(tái)…………基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺(tái)建設(shè)的驅(qū)動(dòng)力分析類系統(tǒng)應(yīng)該建大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力10962數(shù)據(jù)捕獲數(shù)據(jù)服務(wù)大數(shù)據(jù)產(chǎn)生知識(shí)沉淀數(shù)據(jù)消亡清晰的整合層次和加工時(shí)效海量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)等多樣化的存儲(chǔ)與管理Gartner于2012年7月提出大數(shù)據(jù)管理中：“列式存儲(chǔ)數(shù)據(jù)庫(kù)、云計(jì)算和內(nèi)存數(shù)據(jù)庫(kù)在未來(lái)5年內(nèi)將是3個(gè)最重要的技術(shù)”數(shù)據(jù)價(jià)值104數(shù)據(jù)整合3數(shù)據(jù)處理14業(yè)務(wù)信息8系統(tǒng)支撐5數(shù)據(jù)分析11數(shù)據(jù)冷卻13數(shù)據(jù)歸檔示意12近線存儲(chǔ)7數(shù)據(jù)展示大數(shù)據(jù)生命周期時(shí)間大數(shù)據(jù)平臺(tái)將借助云計(jì)算的快速可擴(kuò)展性、標(biāo)準(zhǔn)化服務(wù)、自助服務(wù)等特征，強(qiáng)化大數(shù)據(jù)的獲取、處理、整合、分析、服務(wù)等技術(shù)支撐能力，促進(jìn)敏捷化、個(gè)性化的數(shù)據(jù)應(yīng)用開(kāi)發(fā)，最終助力IT對(duì)業(yè)務(wù)轉(zhuǎn)型的推動(dòng)。海量數(shù)據(jù)的識(shí)別和快速裝入數(shù)據(jù)分布流轉(zhuǎn)互聯(lián)網(wǎng)數(shù)據(jù)和客戶行為捕獲實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲大量數(shù)據(jù)服務(wù)需求的快速開(kāi)發(fā)支撐快速數(shù)據(jù)服務(wù)執(zhí)行簡(jiǎn)便的數(shù)據(jù)服務(wù)使用清晰的數(shù)據(jù)服務(wù)目錄數(shù)據(jù)服務(wù)使用記錄針對(duì)海量數(shù)據(jù)的高性能數(shù)據(jù)分析實(shí)時(shí)數(shù)據(jù)的即時(shí)分析非結(jié)構(gòu)化數(shù)據(jù)的智能分析（如網(wǎng)頁(yè)的標(biāo)引、結(jié)構(gòu)化解析，視頻、圖片的模式識(shí)別等）高級(jí)分析算法海量冷數(shù)據(jù)（包括實(shí)時(shí)、非結(jié)構(gòu)化、結(jié)構(gòu)化）的存儲(chǔ)和管理策略冷數(shù)據(jù)的透明訪問(wèn)冷數(shù)據(jù)與熱數(shù)據(jù)的統(tǒng)一支撐操作型和分析型數(shù)據(jù)的統(tǒng)一歸檔快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔數(shù)據(jù)的展現(xiàn)策略個(gè)性化應(yīng)用開(kāi)發(fā)支撐共享應(yīng)用快速部署對(duì)外部系統(tǒng)的支撐信息提煉以及對(duì)業(yè)務(wù)的支撐知識(shí)的組織、沉淀、管理和應(yīng)用3V大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力10962數(shù)據(jù)捕獲數(shù)據(jù)服務(wù)大數(shù)大數(shù)據(jù)平臺(tái)與周邊系統(tǒng)的關(guān)系大數(shù)據(jù)平臺(tái)與省分系統(tǒng)和總部系統(tǒng)的關(guān)系主要體現(xiàn)在功能分工協(xié)作和數(shù)據(jù)交換兩大方面，此處將大數(shù)據(jù)平臺(tái)作為一個(gè)黑盒子，重點(diǎn)關(guān)注數(shù)據(jù)平臺(tái)與外部系統(tǒng)的關(guān)系。大數(shù)據(jù)平臺(tái)總部系統(tǒng)ADBSID省分系統(tǒng)ADBSID功能分工與協(xié)作生產(chǎn)系統(tǒng)只保留與生產(chǎn)直接相關(guān)的、數(shù)據(jù)稽核（比對(duì)）相關(guān)的統(tǒng)計(jì)報(bào)表，其它全部整合到分析平臺(tái)上。直接相關(guān)可以從流程和數(shù)據(jù)兩方面考察，一系列連續(xù)業(yè)務(wù)活動(dòng)，使用相同數(shù)據(jù)的應(yīng)用功能直接相關(guān)（耦合度高），如結(jié)算中的話單數(shù)、成本查詢，需要放在結(jié)算系統(tǒng)。不直接相關(guān)的統(tǒng)計(jì)、分析類應(yīng)用，由大數(shù)據(jù)平臺(tái)通過(guò)數(shù)據(jù)服務(wù)，并在D域中統(tǒng)一建立應(yīng)用進(jìn)行支撐。數(shù)據(jù)交換一般情況下，D域中的分析類應(yīng)用系統(tǒng)中不單獨(dú)存儲(chǔ)數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產(chǎn)生的數(shù)據(jù)都存放在數(shù)據(jù)平臺(tái)的數(shù)據(jù)集市中。其中如果系統(tǒng)使用的數(shù)據(jù)較少，可以部門(mén)/省分?jǐn)?shù)據(jù)集市；但如果系統(tǒng)涉及的數(shù)據(jù)很多，則需存放在應(yīng)用集市中生產(chǎn)系統(tǒng)使用的數(shù)據(jù)全部存放在生產(chǎn)系統(tǒng)中，當(dāng)需要與大數(shù)據(jù)平臺(tái)發(fā)生共享數(shù)據(jù)時(shí)，則通過(guò)數(shù)據(jù)交換進(jìn)行。具體交換周期模式可以是實(shí)時(shí)、準(zhǔn)實(shí)時(shí)和分批交換大數(shù)據(jù)平臺(tái)的數(shù)據(jù)整合策略是根據(jù)業(yè)務(wù)需求，按照數(shù)據(jù)模型定義和數(shù)據(jù)存儲(chǔ)周期的要求，集成生產(chǎn)系統(tǒng)中所需的部分私有數(shù)據(jù)和共享數(shù)據(jù)，而不是全部獲取和集成生產(chǎn)系統(tǒng)的共享數(shù)據(jù)集（SID）盡管是數(shù)據(jù)中心業(yè)務(wù)職能管轄范圍，但SID不屬于大數(shù)據(jù)平臺(tái)的管轄范圍，只是大數(shù)據(jù)平臺(tái)中的一個(gè)數(shù)據(jù)源，且SID與大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換是雙向的數(shù)據(jù)讀取數(shù)據(jù)交換數(shù)據(jù)交換大數(shù)據(jù)平臺(tái)與周邊系統(tǒng)的關(guān)系大數(shù)據(jù)平臺(tái)與省分系統(tǒng)和總部系統(tǒng)的關(guān)大數(shù)據(jù)平臺(tái)在Cloud的位置大數(shù)據(jù)平臺(tái):外圍關(guān)系：數(shù)據(jù)來(lái)源與生產(chǎn)系統(tǒng)的ADB，SID等；服務(wù)對(duì)象：數(shù)據(jù)應(yīng)用、反饋生產(chǎn)系統(tǒng)；核心內(nèi)容：數(shù)據(jù)管理、數(shù)據(jù)組織、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)；承載關(guān)系：IaaS統(tǒng)一承載構(gòu)架；PaaS數(shù)據(jù)集與SID和ADB并列；PaaS技術(shù)服務(wù)集：互為補(bǔ)充；PaaS業(yè)務(wù)服務(wù)集：?jiǎn)为?dú)形成面向分析業(yè)務(wù)服務(wù)集；大數(shù)據(jù)平臺(tái)針對(duì)異常復(fù)雜的大數(shù)據(jù)管理，而云計(jì)算為大數(shù)據(jù)管理提供了堅(jiān)實(shí)的技術(shù)支撐。Cloud以數(shù)據(jù)為核心向上提供標(biāo)準(zhǔn)的封裝服務(wù)，以業(yè)務(wù)(流程)解耦為前提支撐生產(chǎn)經(jīng)營(yíng)、數(shù)據(jù)加工分析等應(yīng)用。概括的說(shuō)，Cloud是大數(shù)據(jù)平臺(tái)的載體，為其提供了基礎(chǔ)運(yùn)行環(huán)境。大數(shù)據(jù)平臺(tái)在Cloud的位置大數(shù)據(jù)平臺(tái):大數(shù)據(jù)平臺(tái)針對(duì)異常復(fù)4.大數(shù)據(jù)平臺(tái)總體架構(gòu)設(shè)計(jì)IBM大數(shù)據(jù)平臺(tái)解決方案4.大數(shù)據(jù)平臺(tái)總體架構(gòu)設(shè)計(jì)IBM大數(shù)據(jù)平臺(tái)解決方案總體邏輯架構(gòu)圖大數(shù)據(jù)平臺(tái)總部系統(tǒng)基于企業(yè)大數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)框架，總體架構(gòu)可分為系統(tǒng)平臺(tái)和參與人兩大部分，其中系統(tǒng)平臺(tái)可分為大數(shù)據(jù)平臺(tái)、總部IT系統(tǒng)和省分IT系統(tǒng)，參與人可分為企業(yè)內(nèi)部用戶、外部用戶、系統(tǒng)建設(shè)廠商系統(tǒng)建設(shè)廠商集成廠商實(shí)施廠商咨詢廠商信息提供商……省分系統(tǒng)圖例邏輯庫(kù)物理庫(kù)數(shù)據(jù)流控制流數(shù)據(jù)整合與存儲(chǔ)DW/DMODSCloud-i（資源）統(tǒng)一IaaS服務(wù)接口數(shù)據(jù)服務(wù)數(shù)據(jù)管控?cái)?shù)據(jù)應(yīng)用開(kāi)發(fā)平臺(tái)標(biāo)準(zhǔn)化API分析模型SDK……工具軟件數(shù)據(jù)獲取非結(jié)構(gòu)化數(shù)據(jù)企業(yè)內(nèi)部用戶企業(yè)外部客戶總體邏輯架構(gòu)圖大數(shù)據(jù)平臺(tái)總部系統(tǒng)基于企業(yè)大數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)框總體邏輯架構(gòu)圖數(shù)據(jù)應(yīng)用應(yīng)用開(kāi)發(fā)平臺(tái)數(shù)據(jù)整合與存儲(chǔ)數(shù)據(jù)獲取大數(shù)據(jù)平臺(tái)生產(chǎn)系統(tǒng)數(shù)據(jù)服務(wù)應(yīng)用集市總部系統(tǒng)備份文件備份文件備份文件備份文件省分系統(tǒng)備份文件備份文件備份文件備份文件數(shù)據(jù)管控?cái)?shù)據(jù)歸檔近線區(qū)歸檔區(qū)明細(xì)類數(shù)據(jù)快照類數(shù)據(jù)日志類數(shù)據(jù)元數(shù)據(jù)快照類數(shù)據(jù)日志類數(shù)據(jù)參數(shù)類數(shù)據(jù)元數(shù)據(jù)明細(xì)類數(shù)據(jù)參數(shù)類數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理前置機(jī)前置機(jī)圖例邏輯庫(kù)物理庫(kù)部門(mén)集市ODSEDSB部門(mén)集市應(yīng)用集市標(biāo)準(zhǔn)化API分析模型SDK……工具軟件EASB接入適配數(shù)據(jù)交換層數(shù)據(jù)處理層傳輸路由標(biāo)準(zhǔn)策略管理交換管理平臺(tái)管理監(jiān)控告警作業(yè)管理處理邏輯定義獲取管理層非結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載省分集市省分集市省分集市知識(shí)庫(kù)DWADWD部門(mén)集市透?jìng)魍ǖ繟DBSIDADBSID服務(wù)接入高層服務(wù)視圖服務(wù)腳本服務(wù)數(shù)據(jù)接入服務(wù)管理總體邏輯架構(gòu)圖數(shù)據(jù)應(yīng)用應(yīng)用開(kāi)發(fā)平臺(tái)數(shù)據(jù)整合與存儲(chǔ)數(shù)據(jù)獲取大數(shù)總體物理架構(gòu)圖

IaaS

SaaS

PaaS

物理資源實(shí)時(shí)流/批量ETL海量分析平臺(tái)歸檔區(qū)資源池虛擬化中低端存儲(chǔ)高端存儲(chǔ)小型機(jī)X86服務(wù)器提供能夠滿足用戶需求的各類應(yīng)用程序關(guān)注軟件架構(gòu)與服務(wù)，提供應(yīng)用在基礎(chǔ)設(shè)施中進(jìn)行計(jì)算所需要的各類服務(wù)提供系統(tǒng)運(yùn)行所需的計(jì)算與存儲(chǔ)資源應(yīng)用統(tǒng)一訪問(wèn)門(mén)戶SMP集群VMVMVM臨時(shí)性應(yīng)用固化應(yīng)用SMP+MPP+Hadoop小型機(jī)/X86SMP集群數(shù)據(jù)庫(kù)資源池網(wǎng)絡(luò)設(shè)備總體物理架構(gòu)圖IaaSComputeIntensiveApplicationsPlatformManagementConsolePlatformEnterpriseReportingFrameworkResourceOrchestratorLow-latencyService-orientedApplicationMiddlewareServiceInstanceManager(SIM)EnhancedMapReduceProcessingFrameworkDATAINTENSIVECOMPUTEINTENSIVEPlatformSymphonyCoreComputeIntensiveApplications大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論高可用數(shù)據(jù)提供數(shù)據(jù)全面性數(shù)據(jù)質(zhì)量數(shù)據(jù)快速提供與分發(fā)數(shù)據(jù)整合分區(qū)與定位應(yīng)該如何給大數(shù)據(jù)平臺(tái)劃分?jǐn)?shù)據(jù)區(qū)，每個(gè)區(qū)的數(shù)據(jù)目標(biāo)是什么應(yīng)該分為哪些類數(shù)據(jù)整合區(qū)，有多少個(gè)數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)的定位是什么，必要性如何數(shù)據(jù)存儲(chǔ)成本與性能海量、多樣性、實(shí)時(shí)數(shù)據(jù)的高性價(jià)比的數(shù)據(jù)管理在線、近線、離線數(shù)據(jù)的管理策略易擴(kuò)展的數(shù)據(jù)存儲(chǔ)架構(gòu)支撐大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略的應(yīng)用框架自頂向下：五個(gè)一點(diǎn)要承接自底向上：從大數(shù)據(jù)4V特性，如何進(jìn)行創(chuàng)新，真正實(shí)現(xiàn)IT對(duì)業(yè)務(wù)的推動(dòng)IBM行業(yè)模型eTom與SIDIBM數(shù)據(jù)治理方法論DW2.0方法論企業(yè)信息工廠方法論維度建模方法論IBMBI方法論維度建模方法論IBMBI方法論Hadoop實(shí)施方案IBM企業(yè)架構(gòu)(EA)方法論IBMCBM業(yè)務(wù)組件模型關(guān)鍵點(diǎn)方法論關(guān)鍵點(diǎn)描述自助式應(yīng)用開(kāi)發(fā)支持開(kāi)發(fā)人員的敏捷化開(kāi)發(fā)支持最終用戶的自助式的查詢、分析和挖掘IBMBI方法論工行數(shù)據(jù)大集中經(jīng)驗(yàn)大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論高可用數(shù)據(jù)全面性數(shù)據(jù)整合5.分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn)IBM大數(shù)據(jù)平臺(tái)解決方案5.分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn)IBM大數(shù)據(jù)平臺(tái)解決方案數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn)采集周期數(shù)據(jù)傳輸采集范圍數(shù)據(jù)模型采集技術(shù)采集方式采集方式聯(lián)動(dòng)機(jī)制傳輸技術(shù)選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐，確立企業(yè)級(jí)邏輯數(shù)據(jù)模型結(jié)合逐步實(shí)現(xiàn)一點(diǎn)源頭采集、

覆蓋MBO全域全景數(shù)據(jù)，滿足橫縱向、內(nèi)外部眾多數(shù)據(jù)源需要根據(jù)系統(tǒng)中不同數(shù)據(jù)類型的時(shí)間串口（實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/日月）確定合理的數(shù)據(jù)采集周期根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，并執(zhí)行保證采集與源系統(tǒng)聯(lián)動(dòng)，避免源系統(tǒng)變化影響根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時(shí)效等特性選擇合適的傳輸技術(shù)和策略確定數(shù)據(jù)采集和傳輸過(guò)程中的關(guān)鍵問(wèn)題點(diǎn)，監(jiān)控采集可能出現(xiàn)的問(wèn)題。數(shù)據(jù)采集問(wèn)題的排錯(cuò)機(jī)制和容錯(cuò)機(jī)制。系統(tǒng)現(xiàn)狀管理需求現(xiàn)狀系統(tǒng)時(shí)間窗口采集管控采集監(jiān)控問(wèn)題處置選擇合適的采集技術(shù)，保證數(shù)據(jù)原生態(tài)、時(shí)效要求針對(duì)結(jié)構(gòu)化/非結(jié)構(gòu)化、海量數(shù)據(jù)并發(fā)處理、實(shí)時(shí)數(shù)據(jù)處理等要求，確定統(tǒng)一的和標(biāo)準(zhǔn)的數(shù)據(jù)采集方式數(shù)據(jù)分類數(shù)據(jù)分布傳輸數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn)采集周期數(shù)據(jù)傳輸采集范圍數(shù)據(jù)模型數(shù)據(jù)整合與存儲(chǔ)方案設(shè)計(jì)思