大數(shù)據(jù)培訓(xùn)教程大數(shù)據(jù)的來源和動(dòng)機(jī)

BeInternetional大數(shù)據(jù)，盛名難負(fù)Agenda1.大數(shù)據(jù)的時(shí)代背景2.大數(shù)據(jù)時(shí)代的典型技術(shù)1.大數(shù)據(jù)的時(shí)代背景大數(shù)據(jù)浪潮興起的主要脈絡(luò)2008年9月，NATURE，“SPECIALS:BigData”12月，計(jì)算社區(qū)聯(lián)盟，“BigDataComputing:CreatingRevolutionaryBreakthroughsinCommerce,Science,andSociety”2009年10月，ToyHey,“The4thParadigm:Data-IntensiveScienceDiscovery”2011年2月，SCIENCE，“SPECIALS:DealingwithData”5月，EMCWorld’2011,“CloudMeetsBigData”6月，麥肯錫，“BigData:TheNextFrontierforInnovation,competition,andproductivity”6月，IDC(SponsoredbyEMC)，“DIGTIALUNIVERSE:ExtractingValuefromChaos”2012年1月，達(dá)沃斯世界經(jīng)濟(jì)論壇，“BigData,BigImpact:NewPossibilitiesforInternationalDevelopment”3月，美國奧巴馬政府，“BigDataResearchandDevelopmentInitiative”5月，聯(lián)合國，“BigDataforDevelopment:ChallengesandOpportunities”美國政府的大數(shù)據(jù)計(jì)劃具有很強(qiáng)烈的宣傳符號(hào)色彩3月29日：奧巴馬政府以“BigDataisaBigDeal”為題發(fā)布新聞。宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”以圖增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。與工業(yè)界、大學(xué)研究界、非營利性機(jī)構(gòu)與管理者一起利用大數(shù)據(jù)所創(chuàng)造的機(jī)會(huì)。5月23日：在TechCrunchDisrupt大會(huì)上，透露了5項(xiàng)將要頒布的重要聯(lián)邦舉措。其核心是政府開放數(shù)據(jù)計(jì)劃，將政府?dāng)?shù)據(jù)和一些企業(yè)數(shù)據(jù)公開，以圖改善美國人的生活方式，進(jìn)而創(chuàng)造工作崗位。6個(gè)首先啟動(dòng)大數(shù)據(jù)計(jì)劃的政府部門中，國家科學(xué)基金會(huì)的研究內(nèi)容提到要“形成一個(gè)包含數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特科學(xué)”，其他大多是應(yīng)對(duì)挑戰(zhàn)的數(shù)據(jù)工程類項(xiàng)目，如國防部高級(jí)技術(shù)研究局多尺度異常檢測項(xiàng)目網(wǎng)絡(luò)內(nèi)部威脅項(xiàng)目INSIGHT(網(wǎng)絡(luò)威脅自動(dòng)識(shí)別)MachineReading項(xiàng)目Mind’sEys(機(jī)器視覺)項(xiàng)目VIRAT(軍事圖像分析與預(yù)警)XDATA(半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的計(jì)算技術(shù)與軟件工具)ObamaElectionTOPContributor麥肯錫的咨詢報(bào)告比較系統(tǒng)的確立了大數(shù)據(jù)的概念更為深遠(yuǎn)的可能是“數(shù)據(jù)科學(xué)”的最終興起Allthemodelsarewrong,andincreasinglyyoucansucceedwithoutthem.-FromPeterNorvig,GOOGLE2007年，已故圖靈獎(jiǎng)得主吉姆.格雷（JimGray）在他最后一次演講中描繪了數(shù)據(jù)密集型科研“第四范式”（The4thParadigm）的愿景。即相對(duì)于試驗(yàn)科學(xué)（第一范式）、理論科學(xué)（第二范式）、計(jì)算科學(xué)（第三范式）而言。數(shù)據(jù)科學(xué)繼承了統(tǒng)計(jì)學(xué)的很多東西。。。強(qiáng)調(diào)后見之明（hindsight）或預(yù)見（foresight）而非洞察（insight）強(qiáng)調(diào)相關(guān)關(guān)系（correlation）而非因果關(guān)系（causality）Correlationisenoughandtheendoftheory!*“DataScience”在字眼上最早由EMC提出。。。BigData是什么–用于承載所有的概念BigData的定義–盛名之下，其實(shí)難負(fù)廣義的:大數(shù)據(jù)已經(jīng)不再局限于技術(shù)領(lǐng)域。如今，大數(shù)據(jù)已成為一項(xiàng)業(yè)務(wù)上優(yōu)先考慮的工作任務(wù)，因?yàn)樗軌驅(qū)θ蛘辖?jīng)濟(jì)時(shí)代的商務(wù)產(chǎn)生深遠(yuǎn)的影響。除了為應(yīng)對(duì)長期存在的業(yè)務(wù)挑戰(zhàn)提供解決方案之外，大數(shù)據(jù)還為流程、組織、整個(gè)行業(yè)、甚至社會(huì)本身的轉(zhuǎn)型激發(fā)了許多新的方式。狹義的:BigData泛指數(shù)據(jù)集的大小，產(chǎn)生的速度和數(shù)據(jù)類型超過了通常的數(shù)據(jù)庫，數(shù)據(jù)管理軟件在限定的時(shí)間范圍內(nèi)所能獲取，存儲(chǔ)，管理和分析的范疇。這是一個(gè)相對(duì)的概念，不能從絕對(duì)意義上指明某一個(gè)數(shù)值來定義，而且這個(gè)相對(duì)的標(biāo)準(zhǔn)根據(jù)所處的行業(yè)和客戶的不同千差萬別市場曲線2.大數(shù)據(jù)時(shí)代的典型技術(shù)以GOOGLE為代表的互聯(lián)網(wǎng)公司是大數(shù)據(jù)發(fā)展的始作俑者大數(shù)據(jù)可以說發(fā)軔于GOOGLE于2003年陸續(xù)發(fā)表的一些技術(shù)論文-“TheGoogleFileSystem”“MapReduce:SimplifiedDataProcessingonLargeCluster”“Bigtable:ADistributedStorageSystemforStructuredData”HDFS是GFS的開源實(shí)現(xiàn)Fackbook的HayStack解決了海量小文件（如圖片）的存儲(chǔ)問題NoSQL(NotOnlySQL)GOOGLE的BIGTABLEAMAZON的DYNAMOYAHOO的PNUTSACIDvsBASEBasicallyavailableSoftstateEventuallyconsistent以弱一致獲取高可用基于SPANNER的混合型數(shù)據(jù)庫F1(用于GOOGLE的廣告系統(tǒng))融合兼有了BIGTABLE的高擴(kuò)展性與SQL數(shù)據(jù)庫的可用性和功能性BigData的代表技術(shù)

AgileprovisioningElasticcomputepowerScalablestorageresources

Devicemanagement

andanalyticsGeolocationinformationSocialbusiness

interactions

Datastreamsanalysis

HighperformanceInfrastructure

Ultralowresponsetime

HorizontalscalabilityHadoopNoSQLStreaming

PureSQLandRDBMSapproach

BetterhorizontalscalabilitythantraditionalRDBMS

RelativelowhardwareinfrastructureMPPDBSQLOnHadoop數(shù)據(jù)庫的擴(kuò)展，延伸和增強(qiáng)是Hadoop技術(shù)在目前企業(yè)市場最迫切，最可行和可落地的需求Hadoop技術(shù)的可接受度是一個(gè)大問題MapReduce運(yùn)算模式與以往的方式大相徑庭，具有比較陡峭的學(xué)習(xí)曲線以Hadoop技術(shù)為平臺(tái)的系統(tǒng)的設(shè)計(jì)，開發(fā)，實(shí)施，運(yùn)維，優(yōu)化對(duì)于企業(yè)來說是巨大的挑戰(zhàn)SQL支持為大數(shù)據(jù)技術(shù)的落地打開了一扇大門成熟的社區(qū)和技術(shù)體系架構(gòu)業(yè)界大量的數(shù)據(jù)依然是結(jié)構(gòu)化數(shù)據(jù)Pre-ProcessingHubQuery-ableArchiveExploratoryAnalysisInformationIntegrationDataWarehouseStreamsReal-time

processingHadoopLandingzoneforalldataDataWarehouseHadoopCancombinewithunstructuredinformationDataWarehouse1231.海量數(shù)據(jù)集成預(yù)處理2.歷史數(shù)據(jù)管理系統(tǒng)3.跨域探索性分析+ConsistencyAvailabilityTolerancetonetworkPartitionsCAPTheorem你只能最多同時(shí)具備兩個(gè)方面分布式計(jì)算之MPPShared-Nothing架構(gòu)演進(jìn)共享磁盤例如：InformixXPSOracleRACDB2pureScaleDBSAN/共享磁盤DBDBDB網(wǎng)絡(luò)SAN/FC完全共享例如：SMP服務(wù)器DB磁盤無共享例如：GreenplumDBDBDBDB網(wǎng)絡(luò)磁盤磁盤磁盤磁盤MasterMPP注：藍(lán)灰色表示共享資源動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)分析流數(shù)據(jù)結(jié)構(gòu)或非結(jié)構(gòu)化動(dòng)態(tài)數(shù)據(jù)流流計(jì)算實(shí)時(shí)對(duì)流數(shù)據(jù)進(jìn)行分析計(jì)算靜態(tài)數(shù)據(jù)上的歷史數(shù)據(jù)分析批處理模式查詢驅(qū)動(dòng)：靜態(tài)數(shù)據(jù)提交查詢依靠數(shù)據(jù)庫，數(shù)據(jù)倉庫傳統(tǒng)計(jì)算模式流計(jì)算模式QueriesMemoryDiskUpdatesMemoryDiskEventDataQueriesAlertsActions流計(jì)算3.互聯(lián)網(wǎng)和大數(shù)據(jù)環(huán)境下的金融實(shí)踐這表明了什么?商業(yè)模式的差異是巨大的互聯(lián)網(wǎng)所有的模式都是以客戶中心，流量，入口，體驗(yàn)至上(真正的以人為本),有兩個(gè)案例1.XX行的警告短信2.某歐洲企業(yè)的前臺(tái)，對(duì)于人的尊重，對(duì)比其他國內(nèi)企業(yè)傳統(tǒng)行業(yè)怎么賺錢怎么賣怎么盈利互聯(lián)網(wǎng)不懂傳統(tǒng)行業(yè)這是劣勢，也是優(yōu)勢(經(jīng)驗(yàn)是一種桎梏，守成也許適用，但是開拓未必)傳統(tǒng)行業(yè)門口的野蠻人整體趨勢脫媒和轉(zhuǎn)型是中國金融業(yè)當(dāng)前和未來的重要經(jīng)營主題。金融深化加劇金融脫媒效應(yīng)，中國金融業(yè)面臨轉(zhuǎn)型和分化?；ヂ?lián)網(wǎng)金融的快速崛起和迅猛發(fā)展帶來金融脫媒和互聯(lián)網(wǎng)脫媒的雙重挑戰(zhàn)。在這種背景下更新轉(zhuǎn)型思金融重構(gòu)價(jià)值鏈，是中國銀行業(yè)的重要變革方向?；ヂ?lián)網(wǎng)的本質(zhì)是通過技術(shù)手段，解決了信息不對(duì)稱的問題,解決了“溝通”的問題，一切仰賴于信息封閉與不對(duì)稱產(chǎn)生超額利潤的模式與行業(yè)都會(huì)收到?jīng)_擊與挑戰(zhàn)互聯(lián)網(wǎng)法則一.

用戶，個(gè)人用戶，尤其是有黏合性的用戶，基于社會(huì)、組織、商業(yè)活動(dòng)關(guān)系構(gòu)成的虛擬社區(qū)用戶，自組織的有目的的群體用戶二.贏者通吃三.分散合作+開放四.用戶體驗(yàn)至上總則：信息對(duì)稱、組織扁平、快速響應(yīng)，互聯(lián)網(wǎng)代表的是一種平民化思潮互聯(lián)網(wǎng)為金融帶來了什么極為低廉的交易成本(x86&Cloud)更有效的更快速的大數(shù)據(jù)分析方法(BigData&FastData)無組織的組織力量-極致與動(dòng)態(tài)的個(gè)性群體(以客戶為中心)新的自然壟斷平臺(tái)與生態(tài)環(huán)境(Unifiedplatform&Ecosystem)加上移動(dòng)互聯(lián)網(wǎng)之后更是如虎添翼，永遠(yuǎn)在線，模糊了線上線下的邊界(Neveroffline)全新的商業(yè)模式和意識(shí)形態(tài)互聯(lián)網(wǎng)金融環(huán)境下中國金融業(yè)面臨的挑戰(zhàn)除了數(shù)據(jù)本身的大規(guī)模增長以外，銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶來的業(yè)務(wù)挑戰(zhàn)，這包括：微型企業(yè)貸款市場上，銀行與互聯(lián)網(wǎng)起家的小額貸款公司難以競爭；在互聯(lián)網(wǎng)支付中，網(wǎng)銀支付所占比重越來越低，這使得銀行越來越難以知道客戶的消費(fèi)行為；互聯(lián)網(wǎng)融資模式的出現(xiàn)，在未來可能會(huì)超過以銀行為中心的間接融資和以交易所為中心的直接融資模式，這會(huì)使得銀行逐漸被邊緣化。所有這些挑戰(zhàn)，本質(zhì)上是因?yàn)殂y行對(duì)于客戶的了解程度，數(shù)據(jù)的理解相對(duì)越來越弱數(shù)據(jù)量大PBLevel的挑戰(zhàn)互聯(lián)網(wǎng)化帶來的靈活敏捷性挑戰(zhàn)對(duì)于數(shù)據(jù)價(jià)值的認(rèn)識(shí)與挖掘能力的挑戰(zhàn)互聯(lián)網(wǎng)金融的主要表現(xiàn)形式第三方支付平臺(tái)支付寶，快捷支付，PayPal，square移動(dòng)金融Orange+巴克萊，法國電信網(wǎng)+巴黎銀行，中移動(dòng)+浦發(fā)，M-PESA社交網(wǎng)絡(luò)金融Facebook

F幣，Twitter+PayPal

=

Twitpay網(wǎng)絡(luò)融資平臺(tái)P2P，眾籌，阿里小貸，鯰鄉(xiāng)小貸，余額寶以余額寶來分析產(chǎn)品特點(diǎn)有活期存款的流動(dòng)性，收益遠(yuǎn)高于活期，不設(shè)最低門檻的貨幣基金建行的觀察通過制度規(guī)避監(jiān)管風(fēng)險(xiǎn)通過客戶篩選控制市場風(fēng)險(xiǎn)借助大數(shù)據(jù)降低流動(dòng)性風(fēng)險(xiǎn)(海量taobao數(shù)據(jù)的深度挖掘，支付寶支付規(guī)律，消費(fèi)模式，實(shí)現(xiàn)實(shí)時(shí)流動(dòng)性預(yù)估)建行的啟示盡快推出類似產(chǎn)品強(qiáng)化“以客戶為中心”的創(chuàng)新意識(shí)(用戶想要什么樣的理財(cái)產(chǎn)品)加大信息技術(shù)與銀行經(jīng)營管理的深度融合(復(fù)雜的流程通過技術(shù)自動(dòng)化，簡化)基于海量消費(fèi)數(shù)據(jù)的動(dòng)態(tài)定價(jià)能力是互聯(lián)網(wǎng)金融的核心之一

風(fēng)險(xiǎn)的快速準(zhǔn)確定價(jià)仰賴多源與維度的信息分析盈利

=

收益

–

壞賬

–成本價(jià)格

&總貸款量

客戶響應(yīng)率

&平均貸款額

價(jià)格12價(jià)格總業(yè)務(wù)量1價(jià)格壞賬率2贏利驅(qū)動(dòng)成分收支平衡曲線逆向選擇測試模型Price(APR%)9.812壞賬率不斷測試和學(xué)習(xí)Price營業(yè)利潤TP0影響最優(yōu)價(jià)格的其它因素:市場競爭經(jīng)濟(jì)狀況Etc...TP1經(jīng)濟(jì)變好及競爭加劇TP2經(jīng)濟(jì)變壞未知的價(jià)格彈性價(jià)格降低LoanSize貸款量隨價(jià)格降低而增加觀察和分析Price最優(yōu)定價(jià)CreditLossRate$LoanSizeResponseRateTP考慮費(fèi)用因素Taobao基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)運(yùn)算與挖掘DataArchitectureofTaoBao-ForhugedatavolumeandhugetransactionHorizontalshardinginusercenterUserlogindata(90%log)andusermasterdata(10%log)areseparated,andstoredtodifferentdbclusters,OnlineandofflinedataisseparatedRead-writeseparationintradecenterChoosesuitablepartitionkeyRelievethereadbottleneckofmasterdb,scalereadnodesWriteonlyinonedatabaseforconsistency.DealwithcomplexquerySqlisfromcomplextosimpleMulti-tablejoin->complexqueryonsingletable->queryonprimarykeyRequestsPresentationSpringTradeCenter

ProductCenterCommentCenterUserCenterTairdistributedcacheDataAccessLayerHSFHorizontalshardinginusercenterread-writeseparationintradecenterCASE1CASE2CASE3AddsearchinproductcenterTFSTDDLSharddb,shardtableSupportsubsetofsql:joinisnotsupportednow.Limitedtransaction:notcrossdatabase,specialdatasourcesRead-writeseparationTairDistributedcacheTFSDistributedstorageformassive“small”file(<1M).HSFHighperformanceserviceframeworkforthecommunicationamongmodules業(yè)務(wù)模型?這是企業(yè)的隱私幾乎所有的客戶不愿意告訴其他人仰賴與對(duì)于業(yè)務(wù)的熟悉和創(chuàng)新仰賴于基于數(shù)據(jù)的建模數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量非常重要，并且是需要一開始就規(guī)劃和建立的(大多數(shù)傳統(tǒng)企業(yè)并不是這樣)需要數(shù)據(jù)科學(xué)家數(shù)據(jù)分析人員數(shù)據(jù)建模人員模型開發(fā)人員4.成功/失敗案例介紹典型場景與案例序號(hào)場景描述1歷史數(shù)據(jù)管理系統(tǒng)/平臺(tái)數(shù)據(jù)生命周期，全量數(shù)據(jù)存儲(chǔ)與管理2全息信息庫/渠道整合半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)與傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉庫的融合庫3日志分析管理平臺(tái)針對(duì)運(yùn)維，應(yīng)用日志的存儲(chǔ)，管理與挖掘4用戶情感分析與挖掘文本處理，NLP5市場趨勢與行情挖掘預(yù)測ML，業(yè)務(wù)建模大規(guī)模并行計(jì)算能力6高頻實(shí)時(shí)交易分析內(nèi)存計(jì)算，實(shí)時(shí)計(jì)算7歷史回放/市場監(jiān)管歷史數(shù)據(jù)管理系統(tǒng)的變種…歷史數(shù)據(jù)管理的現(xiàn)狀與需求1.歷史數(shù)據(jù)時(shí)間跨度長、數(shù)據(jù)量大，目前做法主要是從備份系統(tǒng)獲取數(shù)據(jù)，操作周期長，數(shù)據(jù)恢復(fù)、提取過程復(fù)雜，對(duì)于部分歷史數(shù)據(jù)，可能難以提供。2.隨著歷史數(shù)據(jù)的日益增長，歷史數(shù)據(jù)管理應(yīng)用己面臨著數(shù)據(jù)備份恢復(fù)時(shí)間長、運(yùn)維成本高、存儲(chǔ)彈性擴(kuò)展能力差、存儲(chǔ)成本高、無法滿足業(yè)務(wù)多維查詢的問題；3.電子影像及文檔服務(wù)平臺(tái)則存在海量歷史數(shù)據(jù)離線檢索不便、數(shù)據(jù)備份恢復(fù)時(shí)間長的問題。同時(shí)，隨著近年來業(yè)務(wù)的發(fā)展，產(chǎn)生了結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)整合存儲(chǔ)與聯(lián)動(dòng)查詢的新需求。4.基于全量數(shù)據(jù)挖掘與建模的需求歷史數(shù)據(jù)HDS能力需求序號(hào)能力描述1數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入導(dǎo)出1.1數(shù)據(jù)導(dǎo)入從整合層和從數(shù)據(jù)服務(wù)層導(dǎo)入至歷史數(shù)據(jù)平臺(tái)，進(jìn)行存儲(chǔ)的能力1.2數(shù)據(jù)導(dǎo)出從歷史數(shù)據(jù)平臺(tái)導(dǎo)出至數(shù)據(jù)整合層和數(shù)據(jù)服務(wù)層的能力2數(shù)據(jù)查詢兩種不同類型的查詢2.1簡單查詢基于單表或者兩個(gè)表的簡單在線查詢，基于關(guān)鍵id或者時(shí)間段的查詢，例如交易明細(xì)類查詢2.2復(fù)雜查詢多表連接查詢，批量在/離線查詢，支持多種查詢謂詞，多維報(bào)表類應(yīng)用，分析類型查詢，如審計(jì)，司法類查詢3數(shù)據(jù)分析基于應(yīng)用日志進(jìn)行各種海量數(shù)據(jù)數(shù)據(jù)挖掘分析，客戶行為分析，精準(zhǔn)營銷支持等4數(shù)據(jù)歸檔PB級(jí)別的歷史數(shù)據(jù)存儲(chǔ)，無需進(jìn)行傳統(tǒng)備份5低成本-高擴(kuò)展基于x86平臺(tái)，能夠上千節(jié)點(diǎn)的擴(kuò)展性應(yīng)用場景描述序號(hào)項(xiàng)目S1交易明細(xì)查詢S2外部，內(nèi)部司法審計(jì)查詢S3應(yīng)用日志分析S4數(shù)據(jù)導(dǎo)入導(dǎo)出S5數(shù)據(jù)模型與挖掘應(yīng)用場景1–歷史交易明細(xì)查詢

業(yè)務(wù)需求針對(duì)交易明細(xì)，放開給終端用戶進(jìn)行查詢，面向普通用戶和分行支持網(wǎng)銀或者柜臺(tái)進(jìn)行在線查詢，服務(wù)器響應(yīng)時(shí)間要求為在線SLA或者異步方式針對(duì)特殊帳號(hào)，如taobao類海量交易帳號(hào)，可適當(dāng)延長SLA具體查詢類型用戶帳號(hào)+查詢時(shí)間段基于單表或者少量表連接應(yīng)用場景2–司法與審計(jì)查詢業(yè)務(wù)需求支持離線批量查詢，查詢類型多變，不固定格式有單獨(dú)的審計(jì)數(shù)據(jù)庫，如審計(jì)庫無數(shù)據(jù)，需要在歷史數(shù)據(jù)HDS中進(jìn)行查詢，或能導(dǎo)入至審計(jì)數(shù)據(jù)庫針對(duì)特殊帳號(hào)，如taobao海量交易帳號(hào)，可適當(dāng)延長SLA具體查詢類型無具體類型ad-hoc查詢應(yīng)用場景3–應(yīng)用日志分析業(yè)務(wù)需求支持離線批量查詢和分析，查詢類型多變，不固定格式基于應(yīng)用程序日志等日志數(shù)據(jù)進(jìn)行用戶行為，用戶偏好等客戶化分析為精準(zhǔn)營銷進(jìn)行服務(wù)來自外部的半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與分析具體查詢類型復(fù)雜查詢，多表關(guān)聯(lián)應(yīng)用場景4–數(shù)據(jù)導(dǎo)入導(dǎo)出業(yè)務(wù)需求交易明細(xì)數(shù)據(jù)，加工后的數(shù)據(jù)，公共處理的數(shù)據(jù)，輕度加工匯總的數(shù)據(jù)以及其他各類數(shù)據(jù)的高速導(dǎo)入導(dǎo)出能力與其他各類源數(shù)據(jù)庫的交互能力高性能，大吞吐量并行導(dǎo)入導(dǎo)出應(yīng)用場景5–數(shù)據(jù)模型與挖掘業(yè)務(wù)需求海量歷史交易數(shù)據(jù)的數(shù)據(jù)建模與挖掘，產(chǎn)生用戶消費(fèi)行為數(shù)據(jù)分析圍繞以客戶為中心的各類應(yīng)用客戶360視圖客戶細(xì)分客戶生命周期管理宏觀經(jīng)濟(jì)類面向互聯(lián)網(wǎng)背景的業(yè)務(wù)探索已經(jīng)展開：服務(wù)營銷DDN專線連接一對(duì)一客戶信息綁定（唯一識(shí)別）基本的功能賬單、積分、額度。。。消費(fèi)提醒（取代短信？）還款（微信支付？？？）信息推送（較少）未來LBS->想象空間太大語音->機(jī)器人客服幾個(gè)數(shù)字3000千萬持卡人已粉100萬每年上億條的短信費(fèi)用呼叫中心成本技術(shù)性探索也已未雨綢繆：某商業(yè)銀行案例（續(xù)）打通社會(huì)化大數(shù)據(jù)庫，期待社會(huì)化數(shù)據(jù)內(nèi)外通達(dá)如何把品牌價(jià)值透過網(wǎng)絡(luò)雜音直擊目標(biāo)客戶，并及時(shí)發(fā)現(xiàn)客戶的需求做好精準(zhǔn)服務(wù)是考驗(yàn)自身技術(shù)段位的如果把銀行內(nèi)部的客戶號(hào)和新浪的微博號(hào)掛接起來，在一定程度上就可以做群體營銷了。外部數(shù)據(jù)引入的動(dòng)作很關(guān)鍵，把微博、QQ、郵箱等社交化的、能很快找到客戶的方式能通達(dá)起來。跟傳統(tǒng)的數(shù)據(jù)存儲(chǔ)放一起，同等對(duì)待，建立一個(gè)更加立體豐富的數(shù)據(jù)庫?；拘畔ⅰ酆眯畔?、行為信息、分析信息互聯(lián)網(wǎng)金融模式新浪微博開發(fā)平臺(tái)上做了一個(gè)繳費(fèi)應(yīng)用——“V繳費(fèi)”國外典型案例：摩根大通已經(jīng)開始使用Hadoop技術(shù)以滿足日益增多的用途，包括詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)150PB在線存儲(chǔ)數(shù)據(jù)、30,000個(gè)數(shù)據(jù)庫和35億個(gè)用戶登錄賬號(hào)Hadoop能夠存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲(chǔ)Web日志、交易數(shù)據(jù)和社交媒體數(shù)據(jù)。數(shù)據(jù)被匯集至一個(gè)通用平臺(tái)，以方便以客戶為中心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。BankingSolutionsTreeImproveCompanyPerformanceCustomerIdentificationCustomerAttractionCustomerRetentionCustomerDevelopmentEntityResolutionTargetCustomerAnalysisEconomicValueAddCustomerSegmentationLook-a-likeModelingOfferOptimizationNetLift/UpliftModelingChurnPredictionCustomerLifetimeValueSentimentAnalysisLoyaltyModelingComplaintsManagementCustomerProfilingUpSell/CrossSellOptimizationMarketBasketAnalysisPropensityModelingOperationsPlanningAdministrative/GeneralFacilitiesManagementIT/SecurityAnalyticsCostAnalysisDecisionSupportBusinessForecastingEventSimulationWorkforceAnalyticsEmployeeChurnEmployeeUtilizationMarketingServices/ProductsManagementConsumerCreditModelingRiskScorecardSpendAnalysisChannelPreferenceProductOptimizationAssetAllocationAnalysisCommercial/BusinessRiskandExposureAnalysisRetirementBenefitsAnalyticsTreasuryManagementAssetManagementModelingGeneralEconomicForecastingPricingStrategiesPortfolioOptimizationRegulatoryAdherenceAnalysisPhase1Phase2Phase3IncreaseSpendEfficiencyCampaignAnalyticsTradePromotionModelingMarketingMixModelingIncreaseCustomerAcquisitionCustomerSegmentationChurnPrediction,LoyaltyProgramAnalytics&TargetingCustomerLifetimeValueCustomerSegmentationSiteSelectionDigitalPresence&SocialMediaAnalyticsCrossChannelCustomerViewIncreaseBasketSizeCorrelationAnalysisAffinityAnalysisCross-sell/Upsell&NBO?Copyright2012EMCCorporation.Allrightsreserved.53發(fā)展方向建議-樣例5.超越大數(shù)據(jù)，發(fā)展與展望金融服務(wù)業(yè)“大數(shù)據(jù)”發(fā)展的10大趨勢（Sungard）對(duì)更大的歷史數(shù)據(jù)集的需要新的監(jiān)管和合規(guī)要求更加深入的數(shù)據(jù)分析自身風(fēng)險(xiǎn)管理框架的完善對(duì)風(fēng)險(xiǎn)可審性與管理強(qiáng)度的要求利用更多服務(wù)交付渠道帶來的更多數(shù)據(jù)及其分析需求市場中對(duì)數(shù)據(jù)處理基礎(chǔ)設(shè)施的大量投資幫助金融服務(wù)業(yè)充分掌握數(shù)據(jù)價(jià)值、降低成本并發(fā)現(xiàn)套利需要重新設(shè)計(jì)ETL流程以適應(yīng)數(shù)據(jù)擴(kuò)展使用預(yù)測信用風(fēng)險(xiǎn)模型移動(dòng)設(shè)備的普及要求處理和整合非結(jié)構(gòu)化數(shù)據(jù)推動(dòng)了對(duì)數(shù)據(jù)處理算法的需求風(fēng)險(xiǎn)管理數(shù)據(jù)集成分析&價(jià)值但最大的趨勢可能是。。。金融業(yè)發(fā)展互聯(lián)網(wǎng)金融和大數(shù)據(jù)的一些思考金融的客戶數(shù)據(jù)和交易數(shù)據(jù)是大數(shù)據(jù)的重要組成部分，是進(jìn)行金融互聯(lián)化最大的寶藏之一外部/線上數(shù)據(jù)作為銀行內(nèi)部數(shù)據(jù)的補(bǔ)充，現(xiàn)階段內(nèi)部的客戶行為數(shù)據(jù)和交易數(shù)據(jù)具有最大的價(jià)值大數(shù)據(jù)的技術(shù)架構(gòu)不一定馬上能夠解決，重要的是大數(shù)據(jù)應(yīng)用的理念金融機(jī)構(gòu)的比較優(yōu)勢壟斷性的線下能力金融專業(yè)能力強(qiáng)大的資本實(shí)力和雄厚的客戶資源積累了非常多的客戶資金數(shù)據(jù)當(dāng)前金融業(yè)從事互聯(lián)網(wǎng)金融和大數(shù)據(jù)的幾大缺陷戰(zhàn)略上重視度不夠，資源投入不足，缺乏有效的基礎(chǔ)架構(gòu)支持內(nèi)部管理中互聯(lián)網(wǎng)文化與傳統(tǒng)銀行文化存在沖突商業(yè)模式上對(duì)互聯(lián)網(wǎng)精神尊重不足銀行創(chuàng)設(shè)的平臺(tái)較為封閉，銀行服務(wù)反而是短板大數(shù)據(jù)人才(基礎(chǔ)架構(gòu)人才，應(yīng)用開發(fā)人才，大數(shù)據(jù)分析人才)的缺乏。為什么大數(shù)據(jù)現(xiàn)在在國內(nèi)叫好不叫座深層次的原因，數(shù)據(jù)化，量化管理和決策與我們的文化與習(xí)慣不太契合案例:一個(gè)做BI和前端展現(xiàn)的朋友和我講的一個(gè)企業(yè)老總的故事,數(shù)據(jù)裁剪不分緣由的問責(zé)制，缺乏支持創(chuàng)新的文化和氛圍現(xiàn)有的基礎(chǔ)架構(gòu)是面向功能性的，而不是面向主題和客戶，導(dǎo)致數(shù)據(jù)的不一致性，質(zhì)量問題和集成性問題。具有政治壁壘屬性技術(shù)的成熟度，最后一公里的實(shí)現(xiàn)缺乏相應(yīng)的技術(shù)人才，咨詢?nèi)瞬藕蜆I(yè)務(wù)人才能夠?qū)嵤┖瓦\(yùn)維的基礎(chǔ)技術(shù)人才–不多將業(yè)務(wù)問題轉(zhuǎn)換為大數(shù)據(jù)架構(gòu)上的模型的咨詢?nèi)瞬浓C非常少運(yùn)用新的技術(shù)力量提供的能力優(yōu)化業(yè)務(wù)模型的業(yè)務(wù)人才–幾乎沒有互聯(lián)網(wǎng)企業(yè)的比較優(yōu)勢創(chuàng)新基因更符合互聯(lián)網(wǎng)精神的企業(yè)文化監(jiān)管套利平臺(tái)競爭方面的先發(fā)優(yōu)勢如何將推進(jìn)大數(shù)據(jù)技術(shù)在傳統(tǒng)企業(yè)落地

BigData需要仰賴一個(gè)可擴(kuò)展的基礎(chǔ)架構(gòu)和大數(shù)據(jù)團(tuán)隊(duì)2BigData的應(yīng)用需要在一開始就找準(zhǔn)可度量的業(yè)務(wù)價(jià)值5圍繞推進(jìn)以客戶為中心的創(chuàng)新1BigData要真正發(fā)揮力量需要依靠先進(jìn)的分析技術(shù)4最初的努力需要著重于內(nèi)部已有數(shù)據(jù)的利用和挖掘3實(shí)驗(yàn)精神和試錯(cuò)精神-Readytofail!6大數(shù)據(jù)的愿景我堅(jiān)定的相信，如果傳統(tǒng)的行業(yè)，金融，電信，醫(yī)療，政府與公共事業(yè)等等，能夠善加利用和挖掘數(shù)據(jù)的寶藏一定會(huì)給人民群眾帶來更多的驚喜，便利，大幅的提高客戶的滿意度和生活的幸福感。如同目前的互聯(lián)網(wǎng)企業(yè)一樣對(duì)于企業(yè)的影響我的建議IT和業(yè)務(wù)部門需要能夠識(shí)別，利用大數(shù)據(jù)處理技術(shù)來給實(shí)際的業(yè)務(wù)，商業(yè)和企業(yè)發(fā)展以巨大的幫助CIO和IT領(lǐng)袖需要開始投入資源，或者使用一個(gè)實(shí)際的業(yè)務(wù)項(xiàng)目來演練大數(shù)據(jù)技術(shù)，鍛煉整個(gè)相關(guān)的團(tuán)隊(duì)IT部門將要全面的支持大數(shù)據(jù)的方案，并且這種支持并不是暫時(shí)，而是長遠(yuǎn)的在進(jìn)行技術(shù)路線或基礎(chǔ)設(shè)施規(guī)劃時(shí)，需要考慮投入適當(dāng)?shù)念A(yù)算，人力和項(xiàng)目來應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)企業(yè)的數(shù)據(jù)倉庫和數(shù)據(jù)集市面臨巨大的變革來迎接大數(shù)據(jù)的時(shí)代，或者面臨被淘汰的危險(xiǎn)考慮使用新興的大數(shù)據(jù)技術(shù)架構(gòu)或適合于本行業(yè)的大數(shù)據(jù)方案來擴(kuò)展和延伸當(dāng)前的企業(yè)數(shù)據(jù)倉庫商業(yè)分析人員在使用大數(shù)據(jù)處理技術(shù)對(duì)業(yè)務(wù)提供指導(dǎo)必須要謹(jǐn)慎的考慮數(shù)據(jù)的真實(shí)性和分析結(jié)果的可信度以及數(shù)據(jù)隱私，否者會(huì)對(duì)商業(yè)產(chǎn)生不可估量的損害上線試點(diǎn)項(xiàng)目或者系統(tǒng)，持續(xù)收集反饋信息，積累經(jīng)驗(yàn)，與成熟的有經(jīng)驗(yàn)的廠商進(jìn)行合作，確保整體規(guī)劃方向正確，確保初創(chuàng)項(xiàng)目得到最好的咨詢和實(shí)施服務(wù)大數(shù)據(jù)技術(shù)未來的熱點(diǎn)方向大數(shù)據(jù)時(shí)代的信息隱私保護(hù)–用戶偏好與客戶把握與隱私保護(hù)為天然的矛盾少數(shù)派報(bào)告關(guān)于一切數(shù)字化后，人類無處遁尋的災(zāi)難，信息隱私保護(hù)的問題，對(duì)于再無隱秘可言的擔(dān)心。人們會(huì)被預(yù)測將要犯罪而被逮捕。黑鏡子第三季關(guān)于虛擬人生的探討基于大數(shù)據(jù)的建模預(yù)測分析技術(shù)[真正帶來價(jià)值的部分]統(tǒng)計(jì)學(xué)習(xí),機(jī)器學(xué)習(xí)DeepLearning圖片視頻等非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)分析[非結(jié)構(gòu)化數(shù)據(jù)的處理]中文文本的語義級(jí)別信息挖掘[NLP,智能問答系統(tǒng)]冬天能穿多少穿多少，夏天能穿多少穿多少。。。StaticwebsiteWebfrontendUserDBQueueAnalyticsDBBackgroundworkersAPIendpointnginx1.5+modsecurity+openssl+bootstrap2postgresql+pgv8+v8hadoop+hive+thrift+OpenJDKRuby+Rails+sass+UnicornRedis+redis-sentinelPython3.0+celery+pyredis+libcurl+ffmpeg+libopencv+nodejs+phantomjsPython2.7+Flask+pyredis+celery+psycopg+postgresql-clientDevelopmentVMQAserverPublicCloudDisasterrecoveryContributor’slaptopProductionServersMultiplicityofStacksMultiplicityofhardwareenvironmentsProductionClusterCustomerDataCenterDoservicesandappsinteractappropriately?CanImigratesmoothlyandquickly?目前傳統(tǒng)IT架構(gòu)-非互聯(lián)網(wǎng)化架構(gòu)日益受到的挑戰(zhàn)超越大數(shù)據(jù),大數(shù)據(jù)已是過去時(shí)!Software-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETC超越大數(shù)據(jù)-云時(shí)代的新平臺(tái)建議NextGenerationPlatform大數(shù)據(jù)快數(shù)據(jù)快速迭代開發(fā)與集成FromVMwareFromEMCIaaS云抽象化與應(yīng)用自動(dòng)部署擴(kuò)容與運(yùn)維新一代金融的IT服務(wù)層次

以云服務(wù)為基礎(chǔ)，以數(shù)據(jù)為核心，以分析為手段基礎(chǔ)云服務(wù)數(shù)據(jù)云服務(wù)應(yīng)用云服務(wù)“整合”–互聯(lián)網(wǎng)基礎(chǔ)設(shè)施化，建立互聯(lián)網(wǎng)基礎(chǔ)設(shè)施云服務(wù)平臺(tái)，提供支撐互聯(lián)網(wǎng)銀行的IT基礎(chǔ)設(shè)施“創(chuàng)新”–以渠道拓展和風(fēng)控加強(qiáng)兩個(gè)層面為基礎(chǔ)，去進(jìn)行業(yè)務(wù)、服務(wù)、營銷和服務(wù)創(chuàng)新，提升業(yè)務(wù)“關(guān)鍵”–扎實(shí)的數(shù)據(jù)服務(wù)基礎(chǔ)和云服務(wù)能力是支撐互聯(lián)網(wǎng)銀行各服務(wù)正常和低風(fēng)險(xiǎn)運(yùn)轉(zhuǎn)的重要保障新一代金融的IT服務(wù)細(xì)化

數(shù)據(jù)的核心價(jià)值數(shù)據(jù)處理融合大數(shù)據(jù)的數(shù)據(jù)倉庫數(shù)據(jù)服務(wù)數(shù)據(jù)管控業(yè)務(wù)創(chuàng)新渠道創(chuàng)新互聯(lián)網(wǎng)、移動(dòng)、自助等營銷創(chuàng)新整合創(chuàng)新基礎(chǔ)設(shè)施接入和虛擬化管理存儲(chǔ)服務(wù)器網(wǎng)絡(luò)關(guān)鍵客戶賬戶交易數(shù)據(jù)操作系統(tǒng)風(fēng)控創(chuàng)新以數(shù)據(jù)為核心競爭力服務(wù)創(chuàng)新基礎(chǔ)云服務(wù)數(shù)據(jù)云服務(wù)應(yīng)用云服務(wù)...ETC支持開放標(biāo)準(zhǔn)并與開源有效互動(dòng)以數(shù)據(jù)為中心不與特定云平臺(tái)綁定,方便靈活部署針對(duì)企業(yè)的需求針對(duì)開發(fā)者的需求3個(gè)平臺(tái)無縫集成1.應(yīng)用虛擬化平臺(tái)，支持多種IaaS2.數(shù)據(jù)中心平臺(tái)3.應(yīng)用開發(fā)與服務(wù)平臺(tái)可伸縮的存儲(chǔ)和計(jì)算: