大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

目錄/CONTENTS數(shù)據(jù)管理系統(tǒng)大分析大資產(chǎn)大事務(wù)交易、對(duì)賬、社交、訂票統(tǒng)計(jì)報(bào)表用戶行為分析、智能推薦營(yíng)銷(xiāo)、預(yù)測(cè)性維護(hù)數(shù)據(jù)管理系統(tǒng)三明治理論應(yīng)用硬件對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、管理、加工支持上層的應(yīng)用磁帶存儲(chǔ)數(shù)據(jù)數(shù)據(jù)庫(kù)管理系統(tǒng)關(guān)系模型商用數(shù)據(jù)庫(kù)Oracle、DB2數(shù)據(jù)倉(cāng)庫(kù)，面向大型決策支持系統(tǒng)分布式數(shù)據(jù)庫(kù)1950-196019701980199020002010分布式系統(tǒng)HadoopHadoop生態(tài)+Spark開(kāi)源數(shù)據(jù)最新分布式數(shù)據(jù)庫(kù)MycatOracleRac面向大型金融機(jī)構(gòu)的交易系統(tǒng)，主要用來(lái)對(duì)賬互聯(lián)網(wǎng)應(yīng)用快速發(fā)展，要求分布式的架構(gòu)移動(dòng)互聯(lián)網(wǎng)/web2.0出現(xiàn)了平民化的開(kāi)源數(shù)據(jù)庫(kù)，同時(shí)面向分析的數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)了數(shù)據(jù)管理系統(tǒng)發(fā)展歷史數(shù)據(jù)管理系統(tǒng)在發(fā)展過(guò)程中分化為面向事務(wù)處理的OLTP數(shù)據(jù)庫(kù)和面向分析決策的OLAP數(shù)據(jù)庫(kù)在商業(yè)產(chǎn)品之外，誕生了開(kāi)源的數(shù)據(jù)庫(kù)產(chǎn)品，開(kāi)源成為一個(gè)主流方向，技術(shù)和產(chǎn)品百花齊放摩爾定律失效和互聯(lián)網(wǎng)業(yè)務(wù)推動(dòng)下，單機(jī)無(wú)法承載，系統(tǒng)必須向分布式架構(gòu)轉(zhuǎn)移目錄/CONTENTS數(shù)據(jù)管理系統(tǒng)大分析大資產(chǎn)大事務(wù)大分析：分析架構(gòu)的變化Teradata一體機(jī)IBMnetteza一體機(jī)銀行的報(bào)表谷歌的互聯(lián)網(wǎng)廣告用戶行為分析和用戶畫(huà)像推薦系統(tǒng)GFS、MapReduce、Bigtable，部署在X86服務(wù)器上Greenplum、Vertica等MPP數(shù)據(jù)庫(kù)Hadoop、Spark等開(kāi)源技術(shù)，部署在X86服務(wù)器上Greenplum在2016年進(jìn)行開(kāi)源金融、電信、公安、交通、政務(wù)、能源等行業(yè)報(bào)表、精準(zhǔn)營(yíng)銷(xiāo)、風(fēng)控、輿情、預(yù)測(cè)性維護(hù)等應(yīng)用互聯(lián)網(wǎng)業(yè)務(wù)推動(dòng)下，數(shù)據(jù)爆發(fā)式增長(zhǎng)，使得單機(jī)無(wú)法承受，系統(tǒng)必須向分布式架構(gòu)轉(zhuǎn)移從互聯(lián)網(wǎng)公司發(fā)動(dòng)的分析架構(gòu)的革命，借助開(kāi)源民眾化的思想，迅速擴(kuò)展，經(jīng)過(guò)10年的發(fā)展影響到了各個(gè)行業(yè)大數(shù)據(jù)分析架構(gòu)的另外一個(gè)主要特點(diǎn)，在線2003谷歌發(fā)布DFS的論文DougCutting與MikeCafarella一起基于谷歌論文實(shí)現(xiàn)了Hadoop的代碼。。2004谷歌發(fā)布MapReduce的論文20062006谷歌發(fā)布了Bigtable的論文。2007Powerset基于Bigtable研發(fā)了HBase2008雅虎在生產(chǎn)環(huán)境中使用Hadoop集群，Hadoop漸漸成為互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)2009Ucberkley的AMPlab研發(fā)出Spark第一個(gè)SQLonHadoop引擎Hive誕生20092012Hadoop成為企業(yè)級(jí)的成熟產(chǎn)品Spark成為下一代計(jì)算引擎20142016谷歌開(kāi)源深度學(xué)習(xí)框架Tensorflow大分析：大數(shù)據(jù)分析技術(shù)發(fā)展當(dāng)代數(shù)據(jù)架構(gòu)師面臨挑戰(zhàn)主要來(lái)自擴(kuò)展性和多種異構(gòu)硬件。由單核向多核的擴(kuò)展演變?yōu)槎喾N類型的GPU、FPGA、ASIC等存儲(chǔ)中的變量在于NVRAM有可能替換DRAM成為主存大分析：趨勢(shì)數(shù)據(jù)管理平臺(tái)HadoopMPP內(nèi)存數(shù)據(jù)庫(kù)元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)模型數(shù)據(jù)質(zhì)量數(shù)據(jù)挖掘數(shù)據(jù)可視化報(bào)表OLAP數(shù)據(jù)采集批量采集流式采集網(wǎng)絡(luò)爬蟲(chóng)NoSQL數(shù)據(jù)庫(kù)流計(jì)算批計(jì)算圖計(jì)算輿情大數(shù)據(jù)應(yīng)用風(fēng)控營(yíng)銷(xiāo)資源API數(shù)據(jù)API工具API混搭：企業(yè)像搭積木一樣使用開(kāi)源的大數(shù)據(jù)技術(shù)融合：以SQL為牽引力的在線分析和在線事務(wù)會(huì)趨向融合架構(gòu)分離：大數(shù)據(jù)平臺(tái)和深度學(xué)習(xí)平臺(tái)一段時(shí)間將持續(xù)分割狀態(tài)，直到迎來(lái)下一次融合描述發(fā)生了什么為什么發(fā)生全面了解原因，進(jìn)行預(yù)防對(duì)預(yù)測(cè)的可能結(jié)果進(jìn)行反饋處理描述預(yù)測(cè)解釋反饋分析本身將經(jīng)歷四個(gè)階段大分析：信通院和數(shù)促會(huì)開(kāi)展大數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)化與評(píng)測(cè)基礎(chǔ)產(chǎn)品數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)集成數(shù)據(jù)管理數(shù)據(jù)交換共享HadoopMPP數(shù)據(jù)庫(kù)NoSQL數(shù)據(jù)庫(kù)流處理分析應(yīng)用BI工具用戶行為分析用戶畫(huà)像輿情風(fēng)險(xiǎn)控制數(shù)據(jù)挖掘工具數(shù)據(jù)運(yùn)營(yíng)從2015到2017年啟動(dòng)Hadoop和MPP兩項(xiàng)評(píng)測(cè)，共31家企業(yè)的33個(gè)產(chǎn)品通過(guò)評(píng)測(cè)，其中26款Hadoop產(chǎn)品，7款MPP數(shù)據(jù)庫(kù)產(chǎn)品，總測(cè)試項(xiàng)目達(dá)52個(gè)致力于推動(dòng)大數(shù)據(jù)產(chǎn)品和工具的成熟，統(tǒng)一標(biāo)準(zhǔn)，輸出經(jīng)驗(yàn)?zāi)夸?CONTENTS數(shù)據(jù)管理系統(tǒng)大分析大資產(chǎn)大事務(wù)大資產(chǎn)：大數(shù)據(jù)意味著每個(gè)行業(yè)都將從數(shù)據(jù)貧農(nóng)過(guò)渡到數(shù)據(jù)大戶交通電信醫(yī)療社交網(wǎng)絡(luò)移動(dòng)互聯(lián)網(wǎng)能源大資產(chǎn)：數(shù)據(jù)資產(chǎn)管理的變遷數(shù)據(jù)盤(pán)點(diǎn)數(shù)據(jù)匯集數(shù)據(jù)治理數(shù)據(jù)應(yīng)用和評(píng)估數(shù)據(jù)運(yùn)營(yíng)需求梳理搭建組織架構(gòu)大資產(chǎn)：數(shù)據(jù)資產(chǎn)管理實(shí)施路徑有哪些數(shù)據(jù)、分散在哪里、規(guī)模多大、產(chǎn)生的頻率多高定義數(shù)據(jù)標(biāo)準(zhǔn)，建立大數(shù)據(jù)平臺(tái)，進(jìn)行數(shù)據(jù)匯集。根據(jù)應(yīng)用需要，引入外部數(shù)據(jù)規(guī)范化內(nèi)部外數(shù)據(jù)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行整治了解數(shù)據(jù)的分布和血緣關(guān)系劃分?jǐn)?shù)據(jù)安全等級(jí)、和數(shù)據(jù)權(quán)限構(gòu)建數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)使用活性、成本、應(yīng)用的價(jià)值進(jìn)行評(píng)估大資產(chǎn)：趨勢(shì)與挑戰(zhàn)企業(yè)和行業(yè)數(shù)據(jù)將實(shí)現(xiàn)匯聚企業(yè)和企業(yè)、行業(yè)和行業(yè)之間將形成安全合規(guī)的數(shù)據(jù)流通通道，使能全鏈路數(shù)據(jù)分析區(qū)塊鏈、機(jī)器學(xué)習(xí)、知識(shí)圖譜等技術(shù)將用于數(shù)據(jù)流通、數(shù)據(jù)管理等方向大集中新手段全鏈接數(shù)據(jù)歸屬和價(jià)值難估算數(shù)據(jù)流通不順暢、不規(guī)范數(shù)據(jù)基礎(chǔ)薄弱趨勢(shì)挑戰(zhàn)數(shù)據(jù)安全管理機(jī)制數(shù)據(jù)使用規(guī)范身份識(shí)別信息驗(yàn)證數(shù)據(jù)轉(zhuǎn)移方式授權(quán)方式及流程接口審計(jì)征信類產(chǎn)品及服務(wù)金融風(fēng)控類產(chǎn)品及服務(wù)數(shù)據(jù)交易平臺(tái)精準(zhǔn)營(yíng)銷(xiāo)類產(chǎn)品及服務(wù)位置信息類產(chǎn)品及服務(wù)第一批測(cè)試已完成第一批測(cè)試已完成標(biāo)準(zhǔn)制訂中標(biāo)準(zhǔn)待制訂第一批測(cè)試已完成維度大資產(chǎn)：信通院和數(shù)促會(huì)開(kāi)展數(shù)據(jù)資產(chǎn)管理研究開(kāi)展區(qū)塊鏈等新技術(shù)在數(shù)據(jù)流通中的應(yīng)用研究，啟動(dòng)數(shù)據(jù)價(jià)值評(píng)估等研究發(fā)布數(shù)據(jù)資產(chǎn)管理白皮書(shū)大數(shù)據(jù)服務(wù)規(guī)范與評(píng)測(cè)目錄/CONTENTS數(shù)據(jù)管理系統(tǒng)大分析大資產(chǎn)大事務(wù)大事務(wù)：事務(wù)數(shù)據(jù)發(fā)展對(duì)比銀行核心交易系統(tǒng)IBM大機(jī)、小機(jī)+DB2Oracle一體機(jī)從商業(yè)數(shù)據(jù)庫(kù)Oracle、DB2等遷移到MySQL+x86服務(wù)器1980年數(shù)據(jù)庫(kù)誕生以來(lái)1995年MySQL等開(kāi)源數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)的交易系統(tǒng)增加單機(jī)性能Scaleup利用中間件進(jìn)行開(kāi)源數(shù)據(jù)庫(kù)的分庫(kù)分表，集中管理，手工或者半自動(dòng)的進(jìn)行一致性補(bǔ)償Scaleout基于Paxos和Raft一致性協(xié)議的分布式事務(wù)數(shù)據(jù)庫(kù)，節(jié)點(diǎn)間互相感知、通信、自組織利用多臺(tái)小機(jī)來(lái)進(jìn)行擴(kuò)展CPU的摩爾定律失效業(yè)務(wù)量逐年增加（雙11、秒殺）單機(jī)數(shù)據(jù)庫(kù)的性能到瓶頸，需要換條車(chē)道國(guó)家安全考慮大事務(wù)：分布式數(shù)據(jù)庫(kù)發(fā)展歷程19782005商業(yè)數(shù)據(jù)庫(kù)Oracle、DB2等商業(yè)數(shù)據(jù)庫(kù)開(kāi)始興起，關(guān)系型模型、完整的事務(wù)。開(kāi)源數(shù)據(jù)庫(kù)標(biāo)題在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明。NoSQL數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)中間件在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明。NewSQL在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明，在此錄入上述圖表的描述說(shuō)明。199520121995年后出現(xiàn)了開(kāi)源數(shù)據(jù)庫(kù)MySQL和PostgreSQL數(shù)據(jù)庫(kù)本身對(duì)單機(jī)性能不斷的優(yōu)化，和遵循摩爾定律的硬件性能提升BigTable，彌補(bǔ)了分布式文件系統(tǒng)對(duì)小對(duì)象的插入、更新、隨機(jī)讀請(qǐng)求的缺陷。解決了擴(kuò)展性的問(wèn)題。HBase是BigTable的開(kāi)源實(shí)現(xiàn)，MongoDB、Redis、Cassandra等一系列優(yōu)秀NoSQL數(shù)據(jù)庫(kù)興起關(guān)系數(shù)據(jù)庫(kù)中間件和分庫(kù)分表方案谷歌Spanner和F1實(shí)現(xiàn)了關(guān)系型模型和流暢擴(kuò)展性的融合，支持分布式事務(wù)，全球分布國(guó)內(nèi)在2013、2014年開(kāi)始探索分布式數(shù)據(jù)庫(kù)，螞蟻金服Oceanbase、PingCAPTidb大事務(wù)：趨勢(shì)云化數(shù)據(jù)庫(kù)會(huì)隨著業(yè)務(wù)云化，這對(duì)數(shù)據(jù)庫(kù)也是一個(gè)挑戰(zhàn)，因?yàn)閿?shù)據(jù)庫(kù)天生就是有狀態(tài)的，數(shù)據(jù)總是要存儲(chǔ)在物理的磁盤(pán)上A運(yùn)維自動(dòng)化通過(guò)機(jī)器學(xué)習(xí)等算法，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的輔助運(yùn)維BOLTP和OLAP融合減少了數(shù)據(jù)的移動(dòng)，一套標(biāo)準(zhǔn)語(yǔ)法和規(guī)則對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)和分析C多租戶數(shù)據(jù)在底層打通，上層通過(guò)權(quán)限，容器等技術(shù)進(jìn)行隔離D大事務(wù)：行業(yè)使用的挑戰(zhàn)A多種技術(shù)路線，定義爭(zhēng)議大不清楚什么是分布式事務(wù)數(shù)據(jù)庫(kù)不清楚技術(shù)方案有哪些如何使用分布式事務(wù)數(shù)據(jù)庫(kù)CBD行業(yè)使用經(jīng)驗(yàn)和遷移路徑不明確各個(gè)行業(yè)的實(shí)踐剛剛開(kāi)始需求不明確，需要什么樣的技術(shù)和產(chǎn)品如何從原有系統(tǒng)遷移到分布式數(shù)據(jù)庫(kù)遷移的風(fēng)險(xiǎn)不清楚如何后續(xù)進(jìn)行運(yùn)維標(biāo)準(zhǔn)和評(píng)價(jià)指標(biāo)缺失缺少評(píng)價(jià)分布式數(shù)據(jù)庫(kù)的體系缺少標(biāo)準(zhǔn)化的面向分布式數(shù)據(jù)庫(kù)的測(cè)試場(chǎng)景和測(cè)試用例缺少分布式數(shù)據(jù)庫(kù)的遷移規(guī)范缺少分布式數(shù)據(jù)庫(kù)的運(yùn)維規(guī)范評(píng)測(cè)工具缺失國(guó)內(nèi)外沒(méi)有相應(yīng)的性能和基礎(chǔ)能力評(píng)測(cè)工具更缺少面向金融行業(yè)場(chǎng)景的評(píng)測(cè)工具大事務(wù)：信通院和數(shù)促會(huì)工作計(jì)劃編寫(xiě)發(fā)布國(guó)內(nèi)第一個(gè)金融行業(yè)分布式事務(wù)數(shù)據(jù)庫(kù)白皮書(shū)，定義、技術(shù)路線、使用場(chǎng)景、建設(shè)和遷移經(jīng)驗(yàn)、案例。圍繞金融分布式事務(wù)數(shù)據(jù)庫(kù)的選型、遷移、建設(shè)、運(yùn)維，形成系列配套的技術(shù)規(guī)范。詳細(xì)理論指導(dǎo)。將推出國(guó)內(nèi)外第一個(gè)金融分布式事務(wù)數(shù)據(jù)庫(kù)的基準(zhǔn)測(cè)試工具，引領(lǐng)國(guó)際基準(zhǔn)測(cè)試的方向。對(duì)國(guó)內(nèi)分布式數(shù)據(jù)庫(kù)進(jìn)行評(píng)測(cè)，了解最新技術(shù)進(jìn)展，將實(shí)際情況反饋回白皮書(shū)、技術(shù)規(guī)范中。白皮書(shū)測(cè)試工具技術(shù)規(guī)范測(cè)試活動(dòng)成立金融分布式事務(wù)數(shù)據(jù)庫(kù)項(xiàng)目組:支付清算協(xié)會(huì)、中國(guó)信息通信研究院中信銀行、建設(shè)銀行、光大銀行、民生銀行、北京銀行螞蟻金服、華為、中興、騰訊、南大