大數(shù)據(jù)智能解決方案介紹IBM

AnalyticsandBigDataonPower方案及案例分享目錄大數(shù)據(jù)與分析概述高性能運(yùn)算Symphony解決方案DB2BLU助力高性能數(shù)據(jù)集市大數(shù)據(jù)案例分析大數(shù)據(jù)與分析概述“上個(gè)月在瑞士達(dá)沃斯舉行的世界經(jīng)濟(jì)論壇上,大數(shù)據(jù)是一個(gè)熱點(diǎn)話題。在論壇的一份報(bào)告《大數(shù)據(jù)，大影響》中聲明：數(shù)據(jù)已成為一類新的經(jīng)濟(jì)資產(chǎn)，就像貨幣或黃金一樣.“公司被數(shù)據(jù)淹沒了—從客戶的習(xí)慣到供應(yīng)鏈的效率。但是許多經(jīng)理卻不能理解這些數(shù)據(jù)的意義.”“越來越多的企業(yè)使用大眾媒體去分析公眾對產(chǎn)品的反饋，例如Facebook或Twitter,也有使用網(wǎng)站資源試著“了解客戶，是什么讓他們選擇他們想要的東西”負(fù)責(zé)IBM預(yù)測分析項(xiàng)目的迪阿德瓦說。"“大數(shù)據(jù)已抵達(dá)Seton醫(yī)療保健家庭,幸運(yùn)的是,

通過使用這個(gè)分析工具,每年超過200萬復(fù)雜病例的患者得到了幫助…”“數(shù)據(jù)是新型石油”

未開采的石油，沒有什么價(jià)值。加工及提煉后，將助力世界。

“…現(xiàn)在，沃森正投入到工作中，消化了數(shù)百萬頁的研究,

結(jié)合最佳的臨床實(shí)踐和監(jiān)測結(jié)果，以協(xié)助醫(yī)生治療癌癥患者.”奧斯卡情感測量—一種工具，是由洛杉磯時(shí)報(bào)、IBM和南加州大學(xué)安創(chuàng)新實(shí)驗(yàn)室共同開發(fā)的—分析意見,“主要針對Twitter上共享的百萬條奧斯卡獎(jiǎng)項(xiàng)比賽的公共信息做出的分析意見.”“數(shù)據(jù)是新型石油.”CliveHumby大數(shù)據(jù)來自哪里？

截至2011年末網(wǎng)絡(luò)上有超過20

億人現(xiàn)在有300億個(gè)RFID記

（2005年時(shí)有13億）全球有46億臺(tái)照相手機(jī)每年售出數(shù)億臺(tái)支持GPS的設(shè)備在2009年有7600萬臺(tái)智能儀表……

至2014年將達(dá)到2億臺(tái)每天有超過3億

活躍用戶每天有超過25

TB

日志數(shù)據(jù)每天有超過1億條消息大數(shù)據(jù)的特點(diǎn)綜合分析覆蓋面越來越寬的種類應(yīng)對日益增長的速度有效地處理日益增長的數(shù)量建立大數(shù)據(jù)來源的真實(shí)性三分之一商界領(lǐng)袖感到無法信任那些幫助他們做決策的信息50x35ZB20202010300億RFID傳感器和計(jì)數(shù)器世界上80%的數(shù)據(jù)是非結(jié)構(gòu)化的大數(shù)據(jù)會(huì)影響到您業(yè)務(wù)的方方面面了解關(guān)于您客戶的一切從渠道交互到社交媒體，通過分析所有數(shù)據(jù)來源幫助您了解您的每位客戶零延遲操作分析所有可用的操作數(shù)據(jù)并且實(shí)時(shí)做出反應(yīng)，從而優(yōu)化流程。通過成本效益技術(shù)降低IT成本。在速度和規(guī)模上實(shí)現(xiàn)新產(chǎn)品創(chuàng)新捕獲所有來源的反饋，分析龐大的市場環(huán)境，研究大量的數(shù)據(jù)，從而推動(dòng)創(chuàng)新。即時(shí)的欺詐和風(fēng)險(xiǎn)意識通過分析所有可用數(shù)據(jù)來打造更好的欺詐/風(fēng)險(xiǎn)模型，用流數(shù)據(jù)交易分析來實(shí)時(shí)監(jiān)測欺詐利用儀表化資產(chǎn)監(jiān)控資產(chǎn)通過實(shí)時(shí)數(shù)據(jù)反饋來預(yù)測和預(yù)防維修問題，并且開發(fā)新產(chǎn)品和新服務(wù)。大數(shù)據(jù)主要與大型數(shù)據(jù)集相關(guān)在大數(shù)據(jù)的新世界中，我們必須更換所有陳舊系統(tǒng)大數(shù)據(jù)就是Hadoop較為陳舊的事務(wù)數(shù)據(jù)已經(jīng)不再重要數(shù)據(jù)倉庫已是昨日黃花大數(shù)據(jù)適合熟知互聯(lián)網(wǎng)的企業(yè)。傳統(tǒng)業(yè)務(wù)與大數(shù)據(jù)毫無關(guān)系我們不具備相應(yīng)的需求、預(yù)算或者技能，因此我們不必為此擔(dān)心人們對于大數(shù)據(jù)的觀點(diǎn)是怎樣的研究顯示了實(shí)施大數(shù)據(jù)的4個(gè)階段大數(shù)據(jù)采用當(dāng)基于當(dāng)前的大數(shù)據(jù)活動(dòng)級別而劃分為4個(gè)小組時(shí)，受調(diào)查者在組織行為上表現(xiàn)出顯著的一致性

受調(diào)查者總數(shù)n=1061由于舍入原因，各個(gè)比例總和不等于100%6%部署兩個(gè)或更多大數(shù)據(jù)計(jì)劃，繼續(xù)應(yīng)用高級分析占總受調(diào)查者的百分比執(zhí)行22%試點(diǎn)大數(shù)據(jù)計(jì)劃，以驗(yàn)證價(jià)值和需求占總受調(diào)查者的百分比試點(diǎn)47%基于業(yè)務(wù)需求和挑戰(zhàn)開發(fā)戰(zhàn)略和路線圖占總受調(diào)查者的百分比探索24%專注于知識收集和市場觀察占總受調(diào)查者的百分比學(xué)習(xí)智慧分析數(shù)據(jù)倉庫大數(shù)據(jù)平臺(tái)加速器流

計(jì)算數(shù)據(jù)倉庫Hadoop

系統(tǒng)信息整合與治理應(yīng)用開發(fā)發(fā)現(xiàn)系統(tǒng)管理內(nèi)容管理數(shù)據(jù)倉庫流計(jì)算Hadoop系統(tǒng)信息整合與治理大數(shù)據(jù)平臺(tái)系統(tǒng)、存儲(chǔ)和云業(yè)務(wù)分析內(nèi)容

分析決策管理風(fēng)險(xiǎn)

分析績效管理商業(yè)智能與預(yù)測分析大數(shù)據(jù)分析內(nèi)容

分析預(yù)測分析決策管理社交媒體分析分析整合與治理IBM提供了全面的、整合化的大數(shù)據(jù)和分析方法Hadoop系統(tǒng)統(tǒng)管理理多多樣樣化化海海量量數(shù)數(shù)據(jù)據(jù)企業(yè)業(yè)級級應(yīng)應(yīng)用用增增強(qiáng)強(qiáng)了了開開源源Hadoop能力力流計(jì)計(jì)算算用于于分分析析流流動(dòng)動(dòng)的的數(shù)數(shù)據(jù)據(jù)能夠夠處處理理分分析析多多種種數(shù)數(shù)據(jù)據(jù)–通過過高高級級分分析析運(yùn)運(yùn)算算符符來來支支持持結(jié)結(jié)構(gòu)構(gòu)化化，，非非結(jié)結(jié)構(gòu)構(gòu)化化，，視視頻頻，，音音頻頻等等數(shù)據(jù)據(jù)倉倉庫庫工作作負(fù)負(fù)載載均均衡衡的的MPP架構(gòu)構(gòu)，，支支持持高高性性能能的的OLAP及混合合型型的的操操作作和和分分析析負(fù)負(fù)載載數(shù)據(jù)可視化企業(yè)級搜索引引擎圖形展現(xiàn)海量量分析結(jié)果IBM大數(shù)據(jù)平臺(tái)BAO方案整體技術(shù)術(shù)架構(gòu)從哪里來？是誰？到哪里去？大數(shù)據(jù)解決方方案出現(xiàn)之前前傳統(tǒng)的計(jì)算算模式數(shù)據(jù)源數(shù)據(jù)抽取數(shù)據(jù)倉庫場景模型策略/計(jì)劃平衡計(jì)分卡預(yù)測/預(yù)報(bào)績效分析價(jià)值分析數(shù)據(jù)集市數(shù)據(jù)分析前端展示風(fēng)險(xiǎn)分析企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)倉庫事實(shí)表ETL工具數(shù)據(jù)管理基于門戶的Web頁面固定報(bào)表多維分析即席查詢數(shù)據(jù)集市MOLAPRelational立方體管理

行業(yè)情報(bào)

ERPHRSCMCRMStatistics外部數(shù)據(jù)財(cái)務(wù)預(yù)算數(shù)據(jù)員工狀態(tài)

設(shè)備狀態(tài)客戶信息分析報(bào)告ETL:抽取、轉(zhuǎn)換和加載數(shù)據(jù)源數(shù)據(jù)抽取數(shù)據(jù)倉庫場景模型策略/計(jì)劃平衡計(jì)分卡預(yù)測/預(yù)報(bào)績效分析價(jià)值分析數(shù)據(jù)集市數(shù)據(jù)分析前端展示風(fēng)險(xiǎn)分析企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)倉庫事實(shí)表ETL工具數(shù)據(jù)管理基于門戶的Web頁面固定報(bào)表多維分析即席查詢數(shù)據(jù)集市MOLAPRelational立方體管理

行業(yè)情報(bào)

ERPHRSCMCRMStatistics外部數(shù)據(jù)財(cái)務(wù)預(yù)算數(shù)據(jù)員工狀態(tài)

設(shè)備狀態(tài)客戶信息分析報(bào)告ETL:抽取、轉(zhuǎn)換和加載電商、微博、、社交網(wǎng)站、、平安城市等等產(chǎn)生大量社社交數(shù)據(jù)、日日志、圖片、、視音頻數(shù)據(jù)據(jù)….海量數(shù)據(jù)匯總總、統(tǒng)計(jì)耗時(shí)時(shí)太長，滿足足不了業(yè)務(wù)部部門的時(shí)效性性需求；傳統(tǒng)計(jì)算模式式遇到的困難難某些業(yè)務(wù)部門門需要實(shí)時(shí)數(shù)數(shù)據(jù)分析，數(shù)數(shù)據(jù)一邊產(chǎn)生生，一邊進(jìn)行行分析，以應(yīng)應(yīng)對市場壓力力數(shù)據(jù)產(chǎn)生速度度快，數(shù)據(jù)量量巨大，種類類繁多，非結(jié)結(jié)構(gòu)化數(shù)據(jù)占占了80%以上Hadoop并行計(jì)算模式式HDFS—HadoopDistributedFileSystem。。HDFS為了做到可靠靠性（reliability）創(chuàng)建了多份數(shù)數(shù)據(jù)塊（datablocks）的復(fù)制（replicas），并將它們放置置在服務(wù)器群群的計(jì)算節(jié)點(diǎn)點(diǎn)中（computenodes），MapReduce就可以在它們們所在的節(jié)點(diǎn)點(diǎn)上處理這些些數(shù)據(jù)了。MapReduce大數(shù)據(jù)技術(shù)與與傳統(tǒng)數(shù)據(jù)處處理技術(shù)的關(guān)關(guān)系超越和補(bǔ)充傳傳統(tǒng)數(shù)據(jù)處理理技術(shù)實(shí)時(shí)數(shù)據(jù)處理Internet級別海量數(shù)據(jù)存儲(chǔ)與分析傳統(tǒng)數(shù)據(jù)倉庫In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights傳統(tǒng)/關(guān)系型數(shù)據(jù)據(jù)源傳統(tǒng)/非關(guān)系型數(shù)據(jù)據(jù)源傳統(tǒng)/關(guān)系型數(shù)據(jù)據(jù)源傳統(tǒng)/非關(guān)系型數(shù)據(jù)據(jù)源高性能運(yùn)算Symphony解決方案大數(shù)據(jù)常見應(yīng)應(yīng)用場景舉例例影像管理（各各類單據(jù)的掃掃描件、地圖圖影像），非非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)據(jù)存儲(chǔ)和分析析（XML文件、文本日日志文件）典型應(yīng)用：測測繪行業(yè)系系統(tǒng)、地圖服服務(wù)提供商產(chǎn)產(chǎn)品、公安部部、銀行/稅務(wù)票據(jù)管理理、電信詳單單日志分析、、各類終端采采集數(shù)據(jù)分析析……常見痛點(diǎn)：存存儲(chǔ)成本/性能，關(guān)系型型數(shù)據(jù)庫性能能/功能問題。業(yè)務(wù)/產(chǎn)品/服務(wù)創(chuàng)新典型應(yīng)用：CDR分析，輿情分分析，LBS，廣告精準(zhǔn)投投放，移動(dòng)終終端服務(wù)/智慧XX（電表數(shù)據(jù)分分析、HIS，電子支付）），精益生產(chǎn)產(chǎn)、反洗錢……常見痛點(diǎn)：實(shí)實(shí)時(shí)性、數(shù)據(jù)據(jù)來源多樣、、數(shù)據(jù)量大計(jì)算密集型應(yīng)應(yīng)用高性能計(jì)算技技術(shù)非常適用用典型應(yīng)用：保保險(xiǎn)精算、銀銀行風(fēng)險(xiǎn)分析析、信用卡欺欺詐分析……常見痛點(diǎn)：實(shí)實(shí)時(shí)性、多多種數(shù)據(jù)源要要形成統(tǒng)一視視圖IBM大數(shù)據(jù)平臺(tái)優(yōu)勢1-高性能國內(nèi)運(yùn)營商進(jìn)進(jìn)行的基于Hbase的數(shù)據(jù)查詢測測試，取得3～15倍的性能優(yōu)勢勢國內(nèi)運(yùn)營商進(jìn)行行的基于Hive的數(shù)據(jù)分析測測試，取得9～11倍的性能優(yōu)勢數(shù)據(jù)加載場景景每核加載速度為為x86核的11.18倍數(shù)據(jù)分析場景每核分析析速度為x86核的9.63倍為什么Symphony更快？JobTracker/TaskTracker用C++/C編寫資源管理和任任務(wù)管理解耦耦.支持300并發(fā)jobtrackers;1000并發(fā)jobs/jobtrackerSOA架構(gòu)，共享服務(wù)(reuseJVMacrossmanytasks)使用TCP原語和二進(jìn)制制編碼，取代httpandtext/XMLPushprotocolavoidstasktrackerpullingtasksandthedelaycausedbypullinginterval專利的asynchronouspersistencyprotocol以保證可靠性性和性能Note:HadoopResultswerepublishedbyClouderaatHadoopWorldeventDec,2011.Hadoopjarexample.jarsleep–mt1––rt1––m5000––r1Testedon10hosts21IBM大數(shù)據(jù)平臺(tái)優(yōu)優(yōu)勢2-高可靠從硬件、文件系系統(tǒng)和分布式式計(jì)算框架所所有層面采用高可靠設(shè)設(shè)計(jì)架構(gòu)，杜杜絕基于開源源產(chǎn)品的不可可靠問題Symphony計(jì)算框架：經(jīng)過接接近20年全球成功企企業(yè)應(yīng)用考驗(yàn)驗(yàn)的高可靠性性框架，不僅僅本身可靠性高，不不存在單點(diǎn)故故障，而且通過對對下層硬件資資源的先進(jìn)管管理功能，實(shí)實(shí)現(xiàn)物理資源源與邏輯資源源的解耦，實(shí)實(shí)現(xiàn)資源的動(dòng)態(tài)加加減和黑名單單等機(jī)制，徹底底解決硬件故故障的透明failover問題GPFS-FPO文件系統(tǒng)：經(jīng)經(jīng)過20多年全球無數(shù)數(shù)應(yīng)用驗(yàn)證的的分布式文件件系統(tǒng)，成熟熟、可靠，GPFS-FPO采用去中心化設(shè)計(jì)計(jì)（元數(shù)據(jù)分散散存儲(chǔ)），天生不存在在NameNode的單點(diǎn)故障和和可靠性瓶頸頸問題PowerLinux在RAS特性方面全面領(lǐng)先X86平臺(tái)IBM大數(shù)據(jù)平臺(tái)優(yōu)勢3-好維護(hù)IBM大數(shù)據(jù)平臺(tái)優(yōu)勢4-高度兼容性性Symphony和GPFS具有最廣泛的的兼容性，只只要是基于Hadoop架構(gòu)標(biāo)準(zhǔn)接口口開發(fā)的軟件件都可以100%兼容，如HadoopHbase,Pig,Hive,JavaMR,Oozie等各種知名的的Hadoop開源方案不僅兼容開源源方案，還支支持各種商業(yè)分析軟件件，如SAS、SPSS、Murex,Algorithmics,Sugard,Calypso,TillingHast等兼容各種Java、R、C/C++等各種開發(fā)語言言，兼容各種文件系統(tǒng)統(tǒng)及數(shù)據(jù)庫，如HDFS,GPFS-FPO,RDMBS,MPP等，兼容Linux、Windows、AIX等各種OS平臺(tái)，兼容X86、Power等各種硬件平臺(tái)臺(tái)，支持虛擬機(jī)機(jī)和物理機(jī)混混合組網(wǎng)使用用IBM大數(shù)據(jù)平臺(tái)優(yōu)勢5-技術(shù)支持核心產(chǎn)品由IBM自主開發(fā)，擁擁有完全的技技術(shù)研發(fā)與支支持力量全球26個(gè)研發(fā)和銷售售機(jī)構(gòu)，300+的研發(fā)團(tuán)隊(duì)分分布在北京和和西安兩地強(qiáng)大的QA和服務(wù)支持團(tuán)隊(duì)，強(qiáng)大的的本地售后支支持力量專業(yè)的定制化化開發(fā)團(tuán)隊(duì)業(yè)界公認(rèn)的大大型網(wǎng)格/工作負(fù)載管理理的領(lǐng)導(dǎo)者全方位的技術(shù)支持服服務(wù)評估規(guī)劃與咨詢服服務(wù)建設(shè)設(shè)計(jì)與實(shí)施服服務(wù)管理管理與維護(hù)支支持服務(wù)IBM大數(shù)據(jù)平臺(tái)優(yōu)優(yōu)勢6-高效可靠文文件系統(tǒng)GPFS-FPO替換HDFS，更可靠、更更高效對于需要隨機(jī)機(jī)I/O的SQL查詢,JAQL查詢等對于需要線性性排序的sort操作來說BigInsights提供2至3倍與開源Hadoop技術(shù)的性能文件索引等查查找效率17倍于開源Hadoop技術(shù),得益于ClientCache能力Hadoop

Indexing(HDFS)Database

Upload(ext3)WebService

LayerCopyFetchHDFS:Extracopyoverheadandnetworkfetch,separateclustersforanalyticsanddatabaseHadoopIndexing+DatabaseUpload(GPFS)WebService

LayerCacheGPFS:Singleclusterforanalyticsanddatabase,nocopyingrequired,cachingforweblayerWorkloadIsolationProvendataintegrityReplicatedmetadataservicesYahookeeps3copiesof3versionsofHDFSbecauseofunknowndataintegrity[1]QuantcastdeletesfilesonceHDFSis50%full[2][1]CareandFeedingofHadoopClusters,MarcNicosia,Usenix2009

[2]TheKomosDistributedFileSystem,SriramRao,QuantcastInc.GPFS-FPOKeytechnologyLocalityawarenessWriteAffinityMetablocksPipelinedreplicationDistributedrecovery超過20年發(fā)展的成熟熟的企業(yè)級文文件系統(tǒng)vsHDFS4年發(fā)展歷史IBM企業(yè)級支持的的商用軟件vsHDFS開源軟件POSIX兼容，同時(shí)支支持傳統(tǒng)文件件訪問和Hadoop應(yīng)用vsHDFS不兼容POSIX內(nèi)建的安全特特性和高可用用性(集群管理節(jié)點(diǎn)點(diǎn)e.g.)vsHDFSnamenode單點(diǎn)跨數(shù)據(jù)中心復(fù)復(fù)制容災(zāi)vsHDFS無遠(yuǎn)程復(fù)制GPFS-FPO去中心化設(shè)計(jì)，，高性能與高高可靠可擴(kuò)展的IBMSystemsConfiguration初始配置半機(jī)柜配置1stThru4th

滿機(jī)柜附加滿機(jī)柜UsableStorageUpto108TBUpto324TBUpto684TBperrackUpto720TBperrackUserspaceUpto36TBUpto108TBUpto228TBperrackUpto240TBperrack可擴(kuò)展得多個(gè)個(gè)入門方式從很小的規(guī)模模起步逐步擴(kuò)擴(kuò)大支持多種工作作負(fù)載的靈活活的CPU,內(nèi)存,存儲(chǔ)和網(wǎng)絡(luò)選項(xiàng)IBMPowerLinux7R1–便捷、高效的的入門級產(chǎn)品品可靠設(shè)計(jì)Singlesocket,2Urack8-core3.55GHzPOWER7processorUpto128GBmemorywith8/16/32GBDIMMsFirst32GBincludedinbasepackage高擴(kuò)展性和強(qiáng)強(qiáng)大虛擬化能能力Upto24SFFharddrivesper2Ustorageexpansiondrawer(L1S)PowerVM?exploitingintegratedhypervisor8246-L1C/8246-L1SGAonAugustVirtualization&ManagementOperatingSystemsLinuxonlyPOWER7Onesocket,2UrackIBMPowerLinux7R2-高性能、靈活活配置OperatingSystemsVirtualization&Management高系統(tǒng)密度TwoSocket,2URack16-cores3.3GHzand3.55GHzPOWER7processor256GBmaximummemorywith2/4/8GBDIMMs-First32GBincludedin3.55GHzprocessorbasepackage-First64GBincludedin3.3GHzprocessorbasepackageUpto207R2sinasingle42Urack強(qiáng)大的I/O和硬盤擴(kuò)展性性Upto24SFFharddrivesper2UstorageexpansiondrawerPCIe(Gen1)ExpansionDrawers––4U––twoflavors(L2Sonly)高效的虛擬化化能力PowerVM?exploitingintegratedhypervisorSupportupto10VMs/core,160VMs/serverLinuxonlyPOWER7Twosocket,2Urack8246-L2C/8246-L2SGAonJuneIBMStorwizeV7000–在單一系統(tǒng)整整合了塊和文文件存儲(chǔ)自動(dòng)存儲(chǔ)分層層基于實(shí)時(shí)應(yīng)用用分析模式的的先進(jìn)的技術(shù)術(shù)，可以自動(dòng)動(dòng)在存儲(chǔ)層之之間遷移數(shù)據(jù)據(jù)新一代圖形化化界面（GUI）易于使用的數(shù)數(shù)據(jù)管理圖形形化用戶界面面，擁有極其其簡便的“點(diǎn)點(diǎn)選式”系統(tǒng)統(tǒng)管理功能性能針對在線備份份、測試和數(shù)數(shù)據(jù)挖掘，支支持更快和更更高效的數(shù)據(jù)據(jù)拷貝VirtualizedStorageSystem300%PerformanceImprovementAutomaticmigrationtohigh-performingSSD’sXIV系列為應(yīng)用程程序提供頂級級的性能OracleDataWarehouse(IOPS)OracleDHWWorkloadWatchthevideo:XIVGen3““StraightTalkonPerformance”SASBusinessAnalyticsWorkloadAnalyticsreportscreatedFlash無處不在的優(yōu)優(yōu)化和調(diào)節(jié)是是解決方案的的主題Flash將被同時(shí)部署署在整體架構(gòu)構(gòu)的每一層存儲(chǔ)子系統(tǒng)網(wǎng)絡(luò)設(shè)備PCIe設(shè)備ApplicationServerApplicationServerStoragesystemNetworkStoragebasedRemotereplicationSSDSSDVMVMVMVMVMVMEphemeralStorageHighperf,workingsetDataMoverEasyTierCoordinationDRAMSSDWhy？性能敏感的應(yīng)應(yīng)用程序HDD的性能優(yōu)勢Flash超越內(nèi)存的性性價(jià)比優(yōu)勢分離的緩存和和分層的協(xié)調(diào)調(diào)是至關(guān)重要要的效率數(shù)據(jù)完整性/緩存一致性DRAMDB2BLU助力高高性能能數(shù)據(jù)據(jù)集市市使用DB2BLUonPower構(gòu)建高高效內(nèi)內(nèi)存數(shù)數(shù)據(jù)集集市DB2BLU是一種種能極極大提提高OLAP業(yè)務(wù)性性能的的新技技術(shù)DB2BLU為DB2數(shù)據(jù)庫庫添加加列式存存儲(chǔ)功功能充分利用CPU架構(gòu)的的新運(yùn)行時(shí)時(shí)技術(shù)，，直接接內(nèi)置在DB2內(nèi)核中中高達(dá)10倍的壓壓縮比比極大提提升OLAP查詢性性能DB2BLU利用SIMD處理指指令獲獲得更更好的的性能能CognosBI，帶有BLUAcceleration多平臺(tái)軟件分析

數(shù)據(jù)集市

(BLU表)Oracle或Teradata倉庫的的性能能較差差創(chuàng)建表表，加載并并啟動(dòng)動(dòng)!即時(shí)性性能提提高處理TB級數(shù)據(jù)據(jù)無需創(chuàng)創(chuàng)建和和調(diào)優(yōu)優(yōu)索引引/聚合多平臺(tái)臺(tái)軟件件的靈靈活性性CognosBI，帶有有BLUAccelerationDB2BLUonPower用例1–企業(yè)數(shù)數(shù)據(jù)倉倉庫卸卸載數(shù)據(jù)集集市加加速EDW應(yīng)用程程序OLAP應(yīng)用程程序輕松創(chuàng)創(chuàng)建和和加載載BLUAcceleration內(nèi)存中中集市市多平臺(tái)軟件分析

數(shù)據(jù)集市

(BLU表)ERP或其他他事務(wù)務(wù)性系系統(tǒng)輕松創(chuàng)創(chuàng)建和和加載載BLUAcceleration內(nèi)存中中集市市事務(wù)性性數(shù)數(shù)據(jù)庫庫DB2BLUonPower用例2–分析數(shù)數(shù)據(jù)集集市從事務(wù)務(wù)性數(shù)數(shù)據(jù)庫庫創(chuàng)建表表，加載并并啟動(dòng)動(dòng)!即時(shí)性性能提提高處理TB級數(shù)據(jù)據(jù)無需創(chuàng)創(chuàng)建和和調(diào)優(yōu)優(yōu)索引引/聚合多平臺(tái)臺(tái)軟件件的靈靈活性性業(yè)務(wù)線線分析析數(shù)據(jù)據(jù)集市市運(yùn)營只需加加載數(shù)數(shù)據(jù)就就可以以啟動(dòng)動(dòng)像所宣宣稱的的那樣樣易于于評估估和執(zhí)執(zhí)行BI開發(fā)人人員和和DBA-更快地地交付付成果果無需配配置或或物理理建模模無需索索引或或調(diào)優(yōu)優(yōu)-開箱即即用的的性能能數(shù)據(jù)架架構(gòu)師師/DBA可專注注于業(yè)業(yè)務(wù)價(jià)價(jià)值，，而不不是物物理設(shè)設(shè)計(jì)ETL開發(fā)人人員無需聚聚合各各個(gè)表表-更簡單單的ETL邏輯更快的的加載載和轉(zhuǎn)轉(zhuǎn)換速速度業(yè)務(wù)分分析師師真正的的即席席查詢詢-無調(diào)優(yōu)優(yōu)，無無索引引針對大大型數(shù)數(shù)據(jù)集集提出出復(fù)雜雜的查查詢DB2BLU七大特特點(diǎn)之之一：簡單單易用用?2013IBMCorporationDB2BLU七大特特點(diǎn)之之二：卓越越的壓壓縮更少的的數(shù)據(jù)據(jù)存儲(chǔ)儲(chǔ)空間間同未壓壓縮數(shù)數(shù)據(jù)比比較，，平均均可以以節(jié)省省95%的數(shù)據(jù)據(jù)存儲(chǔ)儲(chǔ)空間間只需要要存儲(chǔ)儲(chǔ)表數(shù)數(shù)據(jù)，，不需需要額額外空空間來來存儲(chǔ)儲(chǔ)索引引等其其它類類型數(shù)數(shù)據(jù)應(yīng)用了了多種種壓縮縮技術(shù)術(shù)所有操操作都都在壓壓縮數(shù)數(shù)據(jù)上上進(jìn)行行針對不不同數(shù)數(shù)據(jù)類類型應(yīng)應(yīng)用最最優(yōu)的的壓縮縮算法法更多的的細(xì)節(jié)節(jié)參考考后面面的內(nèi)內(nèi)容42沒用SIMD技術(shù)的的CPU每條指指令職職能處處理一一個(gè)數(shù)數(shù)據(jù)DB2BLU七大特特點(diǎn)之之三：充分分利用用CPU的SIMD特性利用SingleInstructionMultipleData(SIMD)特性增增加性性能DB2BLU能夠在在一個(gè)個(gè)指令令中同同時(shí)對對多個(gè)個(gè)數(shù)據(jù)據(jù)進(jìn)行行操作作包括比比較，，Join,分組和和數(shù)學(xué)學(xué)計(jì)算算Compare=2005Compare=2005Compare=20052001指令結(jié)果數(shù)據(jù)200220032004200520052006200720082009201020112012Processor

CoreCompare=20052001指令結(jié)果數(shù)據(jù)200220032004200520062007Compare=2005Compare=2005Compare=2005Compare=2005Compare=2005Compare=20052005Processor

CoreDB2BLU七大特特點(diǎn)之之四：內(nèi)核友友好的的并行行化更加關(guān)關(guān)注于于服務(wù)務(wù)器的的硬件件設(shè)計(jì)計(jì)因素素DB2BLU中對表表的查查詢將將自動(dòng)動(dòng)以并并行化化的方方式處處理將CPU緩存，，高速速緩存存塊（（cacheline）的效效率最最大化化QUADCORECPUQUADCORECPUQUADCORECPUQUADCORECPU?2013IBMCorporation44DB2BLU七大特特點(diǎn)之之五：列式存存儲(chǔ)?2013IBMCorporation44?2013IBMCorporation44減少I/O只處理理查詢詢關(guān)注注的列列中的的數(shù)據(jù)據(jù)直接對對相關(guān)關(guān)列進(jìn)進(jìn)行運(yùn)運(yùn)算所有的的運(yùn)算算，Join僅對關(guān)關(guān)注列列進(jìn)行行在必須須返回回結(jié)果果集前前，數(shù)數(shù)據(jù)將將不會(huì)會(huì)組合合成行行的形形式提高內(nèi)內(nèi)存中中的數(shù)數(shù)據(jù)密密度列中的的數(shù)據(jù)據(jù)在內(nèi)內(nèi)存和和存儲(chǔ)儲(chǔ)中始始終保保持著著壓縮縮的形形態(tài)卓越的的壓縮縮提供更更高的的壓縮縮比10:1(DB2BLU)高效的的緩存存數(shù)據(jù)被被組合合成利利于緩緩存和和寄存存器處處理的的格式式?2013IBMCorporationDB2BLU七大特特點(diǎn)之之六：優(yōu)化內(nèi)內(nèi)存/緩存管管理?2013IBMCorporation?2013IBMCorporation全新的的緩存存算法法使內(nèi)內(nèi)存使使用更更高效效更高的的內(nèi)存存命中中率新算法法盡量量保證證熱點(diǎn)點(diǎn)數(shù)據(jù)據(jù)保存存在內(nèi)內(nèi)存中中數(shù)據(jù)可可以大大于內(nèi)內(nèi)存空空間不同于于常見見的內(nèi)內(nèi)存數(shù)數(shù)據(jù)庫庫，數(shù)數(shù)據(jù)不不必完完全在在內(nèi)存存中優(yōu)化以以減少少內(nèi)存存和存存儲(chǔ)的的I/O交互RAMDISKSNearoptimalcaching?2013IBMCorporationDB2BLU七大特特點(diǎn)之之七：數(shù)據(jù)據(jù)跳過過?2013IBMCorporation自動(dòng)監(jiān)監(jiān)測一一段數(shù)數(shù)據(jù)是是否符符合查查詢的的忽略略條件件能夠節(jié)節(jié)省大大量的的I/O，內(nèi)存存和CPU資源不需要要數(shù)據(jù)據(jù)庫管管理員員進(jìn)行行任何何定義義大數(shù)據(jù)據(jù)案例例分析析大數(shù)據(jù)據(jù)實(shí)施施案例例：某國外外大型型汽車車制造造企業(yè)業(yè)大數(shù)數(shù)據(jù)平平臺(tái)某市智智能交交通項(xiàng)項(xiàng)目50IBMPlatformComputing支持多多種不不同金金融應(yīng)應(yīng)用類類型工作負(fù)負(fù)載MurexMicrosoftExcelSungardFrontArena,AdaptivAlgorithmicsAlgoRiskMillimanHedge,AlfaPolysysMoodys/FermatCalypsoSASEnterpriseMiner/DataMinerSophis/MisysRisqueGGYAxisOpenlinkKondor+RevolutionRISV應(yīng)用軟軟件風(fēng)險(xiǎn)估估值VaR(valueatrisk)信用值值調(diào)整整CVA(creditvalueadjustmentsforCCR)資產(chǎn)負(fù)負(fù)債建建模ALM(assetliabilitymodeling)靈敏度度分析析信用等等級評評分抵押分分析可變年年金建建模模型回回溯測測試投資組組合壓壓力測測試數(shù)據(jù)的的提取取,轉(zhuǎn)換和和加載載ETL策略提提取Strategymining精算分分析在愛Citi分析網(wǎng)網(wǎng)格Citi––計(jì)算和和數(shù)據(jù)據(jù)結(jié)合合型網(wǎng)網(wǎng)格系系統(tǒng),主要為為風(fēng)險(xiǎn)險(xiǎn)分析析在一個(gè)個(gè)共享享的網(wǎng)網(wǎng)格資資源里里運(yùn)行行著200以上不不同的的BI和零售售分析析應(yīng)用用全球動(dòng)動(dòng)態(tài)共共享的的40,000cores能夠持持續(xù)維維持70%以上的的利用用率超強(qiáng)的的管理理效率率–管理者者與主主機(jī)的的比為為1:400作業(yè)吞吐吐量–400,000,000作業(yè)/天14條不同的的業(yè)務(wù)線線共享著著全球的的HPC資源為每個(gè)商商業(yè)業(yè)務(wù)務(wù)單元確確保SLAs時(shí)間指標(biāo)標(biāo),實(shí)現(xiàn)廣泛泛的資源源共享4個(gè)數(shù)據(jù)中中心包含含了異構(gòu)構(gòu)的Linux&Windows主機(jī),一處在倫倫敦,一處在香香港,還有兩處處在美國國處理國內(nèi)內(nèi)增長的的風(fēng)險(xiǎn),定價(jià)應(yīng)用用和其他他的商務(wù)務(wù)應(yīng)用,與SAS,Murex等集成.異構(gòu)的工工作內(nèi)容容(批處理,SOA,計(jì)劃部署署MapReduce)自定義服服務(wù),報(bào)表和退退款實(shí)時(shí)的監(jiān)監(jiān)控和管管理主機(jī)機(jī),所有全球球資產(chǎn)的的完全可可視化針對整個(gè)個(gè)企業(yè)相相關(guān)應(yīng)用用和風(fēng)險(xiǎn)險(xiǎn)控制的的全球資資源分配配方案在數(shù)據(jù)中中心和功功能域基基礎(chǔ)上的的有關(guān)LOBs和應(yīng)用的的彈性的的資源分分配模式式橫跨整個(gè)個(gè)地域的的有關(guān)LOBs和應(yīng)用的的全球資資源共享享視圖案例分析析–花旗銀行行根據(jù)銀監(jiān)監(jiān)會(huì)的要要求，國國內(nèi)商業(yè)業(yè)銀行需需要2015年前滿足足中國版巴巴塞爾協(xié)協(xié)議III對銀行業(yè)業(yè)風(fēng)險(xiǎn)控控制的要要求，國國內(nèi)目前前已經(jīng)有有多家銀銀行使用用Algo風(fēng)險(xiǎn)管理理模塊流動(dòng)性風(fēng)風(fēng)險(xiǎn)管理理模型屬屬于計(jì)算密集集型，RiskWatch階段占任任務(wù)的95%以上，可可以通過過Symphony將RW作業(yè)并行行化隨著銀行行業(yè)務(wù)及及數(shù)據(jù)量量的增加加，提高高計(jì)算效效率只需需要增加加Symphony的計(jì)算節(jié)節(jié)點(diǎn)數(shù)目目，可擴(kuò)擴(kuò)展性強(qiáng)強(qiáng)銀行業(yè)有有很多計(jì)計(jì)算模型型都可以以通過Symphony來解決問問題，比比如MOSES,CALYPSO,RMATLAB,RLanguage業(yè)務(wù)場景景FinancialRisks1.選擇感興興趣的地地理區(qū)域域客戶挑戰(zhàn)戰(zhàn)：目前基于Algo流動(dòng)性風(fēng)風(fēng)險(xiǎn)分析析系統(tǒng)風(fēng)風(fēng)險(xiǎn)管理理應(yīng)用每每周運(yùn)行行一次，，每次計(jì)計(jì)算需要要100+小時(shí)，不不能滿足足未來應(yīng)應(yīng)用擴(kuò)展展和可靠靠性需求求，不能能及時(shí)得得出風(fēng)險(xiǎn)險(xiǎn)分析結(jié)結(jié)果XX銀行風(fēng)險(xiǎn)險(xiǎn)管理系系統(tǒng)-業(yè)務(wù)描述述1/3AlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceAlgoEngineSymServiceSymComputeHosts:6nodes*32cores=192coresSymMasterSchedule,Monitor,ManagementSymMasterCandidateShareStorageSchedule,Monitor,ManagementSchedule,Monitor,ManagementAlgoEngineSymServiceScaleout53AlgoBatchCITICRWAnalysisAlgoEngineClientRequestSingleComputing“使用了PlatformSymphony軟件，計(jì)計(jì)算機(jī)資資源的利利用率大大幅提高高，Algo計(jì)算時(shí)間間大幅縮縮短，達(dá)達(dá)到了預(yù)預(yù)期的技技術(shù)指標(biāo)標(biāo)，且且Symphony軟件有豐豐富的API接口，易易于集成成其他軟軟件，為為以后的的業(yè)務(wù)拓拓展和升升級留下下了巨大大空間。。”--客戶證言言方案優(yōu)勢勢：單節(jié)點(diǎn)情情況下客客戶的任任務(wù)需要要100+小時(shí)完成成，使用用Symphony后業(yè)務(wù)計(jì)計(jì)算可以在10小時(shí)以內(nèi)內(nèi)完成，，速度提提高10倍以上上；例如：：晚上運(yùn)運(yùn)行風(fēng)險(xiǎn)險(xiǎn)分析任任務(wù)，次次日凌晨晨可得到到分析結(jié)結(jié)果，滿滿足業(yè)務(wù)務(wù)需求;可靠性大大大提高高，單一一節(jié)點(diǎn)故故障不影影響整體體系統(tǒng)運(yùn)運(yùn)行；銀行業(yè)務(wù)務(wù)數(shù)據(jù)增增加、業(yè)業(yè)務(wù)計(jì)算算時(shí)間要要求縮短短，可以以通過增增加Symphony的節(jié)點(diǎn)來來完成銀行風(fēng)險(xiǎn)險(xiǎn)管理系系統(tǒng)-方案結(jié)構(gòu)構(gòu)2/3CustomerCaseandPainPointSolutionsResultDemoPointsClientuseAlgofortheriskmanagement.It’sbasedonC/SarchitecturerunningSinglenode.Withthebusinessgrowth,theprocesscyclereached100+hoursperweek.Managementcouldnotgetthereportintheabusinessday.SymphonyScal-outtheAlgoapplicationfromsinglenodeto192nodes.SymphonyactingasmiddlewarerolesgettheAlgoclientinputandschedulethetaskinadistributedgrid.Thetaskscanbeprocessedinthegridconcurrently.SymphonyresponsetoAlgoclientoncethetaskfinished.Showthesingleserverprocessandsayitcannotbefinishedin10hoursandstopit.ShowthesimilarapplicationprocesswithsamedatainSymphonyGridandfinishedin10hours.SeetaskprogressontheGUISeethehostmanagerfromGUISeetheCPU,I/OandshowthefinishtimeClientcangettheresultin10hours.ThetimecanbecontrolledbyaddingmoreserverintheAlgogridwithbusinessgrowthandprocesstimeispredicable.Besides,Symphonyactingasgeneralmiddlewarecanscale-outapplicationlikeMurex,Moses,Calypso,Matlab,Retc.銀行風(fēng)險(xiǎn)險(xiǎn)管理系系統(tǒng)-案例總結(jié)結(jié)3/3某市人民民檢察院院客戶行行為分分析-業(yè)務(wù)流流程說說明北京電電信互互聯(lián)網(wǎng)網(wǎng)行為為標(biāo)簽簽系統(tǒng)統(tǒng)，是是匯聚聚電信信用戶戶通信信、終終端等等上網(wǎng)網(wǎng)數(shù)據(jù)據(jù)，解解析用用戶移移動(dòng)互互聯(lián)網(wǎng)網(wǎng)流量量行為為，全全角度度刻畫畫用戶戶，為為用戶戶畫像像，細(xì)細(xì)分客客戶群群的分分析系統(tǒng)，其輸入數(shù)數(shù)據(jù)為北京京電信信用戶戶DPI上網(wǎng)基基礎(chǔ)數(shù)數(shù)據(jù)，，輸出出為用用戶行行為分分析統(tǒng)統(tǒng)計(jì)報(bào)報(bào)表。。主要功功能模模塊APP數(shù)據(jù)采采集：：根據(jù)目目前各各市場場及各各省手手機(jī)應(yīng)應(yīng)用下載情況，選擇建建立標(biāo)標(biāo)準(zhǔn)APP庫。站點(diǎn)信信息采采集：：站點(diǎn)信信息定定期爬爬取及及更新新，建建立標(biāo)標(biāo)準(zhǔn)URL庫用戶行行為解解析識識別：：將用戶戶的上上網(wǎng)訪訪問信信息與與app庫進(jìn)行行比對對匹配配，對對用戶戶日志志進(jìn)行行處理理，解解析用用戶下下載和和使用用應(yīng)用用產(chǎn)生生的記錄分析統(tǒng)統(tǒng)計(jì)輸輸出：：根據(jù)用用戶的的應(yīng)用用下載載、使使用行行為，，輸出出滿足足客戶戶需求求的各各項(xiàng)報(bào)報(bào)表，，并上上傳數(shù)數(shù)據(jù)。。性能案案例:（來自自文獻(xiàn)獻(xiàn)：CloudBurst:highlysensitivereadmappingwithMapReduce）：輸入數(shù)數(shù)據(jù)：：測序序數(shù)據(jù)據(jù)7.06minllion條36bpreads，人基基因組組genome（2.87G）軟件環(huán)環(huán)境：：Hadoop0.15.3,CloudBurst硬件環(huán)環(huán)境：：12nodes,24cores（3.2GHzIntelXeon）,250G硬盤測試結(jié)結(jié)果：：如下下圖，，橫坐坐標(biāo)為為reads數(shù)，縱縱坐標(biāo)標(biāo)為運(yùn)運(yùn)行時(shí)時(shí)間，，“0、1、2、3、4”為容錯(cuò)錯(cuò)數(shù)。。DNA測序分分析平平臺(tái)：：Cloudburst數(shù)據(jù)過過濾插入/缺失失識別別基因組組學(xué)-SNP分析流流程FastQ-Progressing(MR)FastQC(Single)Crossbow(MR)CloudBurst(MR)Soap2(Single)Crossbow(MR)Soapsnp(Single)融合基基因發(fā)發(fā)現(xiàn)結(jié)構(gòu)變變異發(fā)發(fā)現(xiàn)全基因因組關(guān)關(guān)聯(lián)研研究BlueSNP(MR)輸入文文件用戶期期望和和挑戰(zhàn)戰(zhàn)：性能案案例中中的數(shù)數(shù)據(jù)量量（7.06minllion條36bpreads，人基基因組組genome，2.87G）在日日常分分析的的數(shù)據(jù)據(jù)量中中算一一般大大小。。一般般對兩兩個(gè)生生物學(xué)學(xué)樣品品進(jìn)行行對照照分析析，每每個(gè)樣樣品進(jìn)進(jìn)行三三次重重復(fù)，，產(chǎn)生生6倍于性性能案案例中中的數(shù)數(shù)據(jù)量量。而而CloudBurst所做的的map工作，，僅為為分析析流程程中的的一步步，用用戶希希望盡盡快得得到結(jié)結(jié)果進(jìn)進(jìn)行下下一步步工作作，故故6倍數(shù)據(jù)據(jù)的期期望運(yùn)運(yùn)行時(shí)時(shí)間為為2-3h。reads比比對SNP識別別質(zhì)量控控制DNA測序:確定序序列中中堿基基的排排列順順序,這項(xiàng)工工作不不僅可可以用用于物物種間間的比比較研研究，，也有有助于于發(fā)現(xiàn)現(xiàn)特定定基因因的功功能和和性狀狀表現(xiàn)現(xiàn)，尤尤其對對第三三代遺遺傳標(biāo)標(biāo)志(單核苷苷酸多多態(tài)性性,SNP）研究究有極極大的的意義義?；蚪M組測序序不但但幫助助人們們探索索