大數(shù)據(jù)技術(shù)專題研究

大數(shù)據(jù)技術(shù)專題研究2017.3.3大數(shù)據(jù)概述1大數(shù)據(jù)主要技術(shù)、廠商、產(chǎn)品2目錄能力儲(chǔ)備分析3討論4大數(shù)據(jù)概述大數(shù)據(jù)概念大數(shù)據(jù)（bigdata）是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)概述體量大Volume類型多Variety價(jià)值密度低Value速度快Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效大數(shù)據(jù)的4V特性文件存儲(chǔ)數(shù)據(jù)分析數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)平臺(tái)管理數(shù)據(jù)集成數(shù)據(jù)源Database

Web

Log…現(xiàn)代數(shù)據(jù)處理

能力組件現(xiàn)代數(shù)據(jù)處理框架

計(jì)算存儲(chǔ)｝容錯(cuò)｝｝大數(shù)據(jù)概述大數(shù)據(jù)的三大關(guān)鍵問(wèn)題——存儲(chǔ)、計(jì)算、容錯(cuò)大數(shù)據(jù)概述大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價(jià)值發(fā)現(xiàn)相關(guān)的企業(yè)經(jīng)濟(jì)活動(dòng)的集合產(chǎn)業(yè)鏈環(huán)節(jié)包含內(nèi)容IT基礎(chǔ)設(shè)施層包括提供硬件、軟件、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施以及提供咨詢、規(guī)劃和系統(tǒng)集成服務(wù)的企業(yè)，比如，提供數(shù)據(jù)中心解決方案的IBM、惠普和戴爾等，提供存儲(chǔ)解決方案的EMC，提供虛擬化管理軟件的微軟、思杰、SUN、Redhat等數(shù)據(jù)源層大數(shù)據(jù)生態(tài)圈里的數(shù)據(jù)提供者，是生物大數(shù)據(jù)（生物信息學(xué)領(lǐng)域的各類研究機(jī)構(gòu)）、交通大數(shù)據(jù)（交通主管部門(mén)）、醫(yī)療大數(shù)據(jù)（各大醫(yī)院、體檢機(jī)構(gòu)）、政務(wù)大數(shù)據(jù)（政府部門(mén)）、電商大數(shù)據(jù)（淘寶、天貓、蘇寧云商、京東等電商）、社交網(wǎng)絡(luò)大數(shù)據(jù)（微博、微信、人人網(wǎng)等）、搜索引擎大數(shù)據(jù)（百度、谷歌等）等各種數(shù)據(jù)的來(lái)源數(shù)據(jù)管理層包括數(shù)據(jù)抽取、轉(zhuǎn)換、存儲(chǔ)和管理等服務(wù)的各類企業(yè)或產(chǎn)品，比如分布式文件系統(tǒng)（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)（Oracle、MySQL、SQLServer、HBase、GreenPlum等）數(shù)據(jù)分析層包括提供分布式計(jì)算、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等服務(wù)的各類企業(yè)或產(chǎn)品，比如，分布式計(jì)算框架MapReduce、統(tǒng)計(jì)分析軟件SPSS和SAS、數(shù)據(jù)挖掘工具Weka、數(shù)據(jù)可視化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等數(shù)據(jù)平臺(tái)層包括提供數(shù)據(jù)分享平臺(tái)、數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)租售平臺(tái)等服務(wù)的企業(yè)或產(chǎn)品，比如阿里巴巴、谷歌、中國(guó)電信、百度等數(shù)據(jù)應(yīng)用層提供智能交通、智慧醫(yī)療、智能物流、智能電網(wǎng)等行業(yè)應(yīng)用的企業(yè)、機(jī)構(gòu)或政府部門(mén)，比如交通主管部門(mén)、各大醫(yī)療機(jī)構(gòu)、菜鳥(niǎo)網(wǎng)絡(luò)、國(guó)家電網(wǎng)等大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者相輔相成，既有聯(lián)系又有區(qū)別云計(jì)算實(shí)現(xiàn)了通過(guò)網(wǎng)絡(luò)提供可伸縮的、廉價(jià)的分布式計(jì)算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時(shí)隨地獲得所需的各種IT資源。云計(jì)算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲(chǔ)、分布式計(jì)算、多租戶等。云計(jì)算大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者相輔相成，既有聯(lián)系又有區(qū)別物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過(guò)新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實(shí)現(xiàn)信息化和遠(yuǎn)程管理控制。物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)包括識(shí)別和感知技術(shù)（二維碼、RFID、傳感器等）、網(wǎng)絡(luò)與通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等。物聯(lián)網(wǎng)大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系大數(shù)據(jù)概述1大數(shù)據(jù)主要技術(shù)、廠商、產(chǎn)品2目錄能力儲(chǔ)備分析3討論4大數(shù)據(jù)主要技術(shù)技術(shù)體系數(shù)據(jù)可視化技術(shù)數(shù)據(jù)處理技術(shù)數(shù)據(jù)存儲(chǔ)技術(shù)數(shù)據(jù)采集技術(shù)數(shù)據(jù)安全技術(shù)系統(tǒng)運(yùn)維技術(shù)大數(shù)據(jù)主要技術(shù)主要技術(shù)說(shuō)明數(shù)據(jù)采集技術(shù)通過(guò)ETL抽取、文件適配器、網(wǎng)絡(luò)抓取、實(shí)時(shí)數(shù)據(jù)采集等多種技術(shù)從外部數(shù)據(jù)源導(dǎo)入結(jié)構(gòu)化數(shù)據(jù)（關(guān)系庫(kù)記錄）、半結(jié)構(gòu)化數(shù)據(jù)（日志、郵件等）、非結(jié)構(gòu)化數(shù)據(jù)（文件、視頻、音頻、網(wǎng)絡(luò)數(shù)據(jù)流等）及實(shí)時(shí)數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)技術(shù)負(fù)責(zé)進(jìn)行大數(shù)據(jù)的存儲(chǔ)，針對(duì)全數(shù)據(jù)類型和多樣計(jì)算需求，以海量規(guī)模存儲(chǔ)、快速查詢讀取為特征，存儲(chǔ)來(lái)自外部數(shù)據(jù)源的各類數(shù)據(jù)，支撐數(shù)據(jù)處理層的高級(jí)應(yīng)用。數(shù)據(jù)處理技術(shù)對(duì)多樣化的大數(shù)據(jù)進(jìn)行加工、處理、分析、挖掘，產(chǎn)生新的業(yè)務(wù)價(jià)值，發(fā)現(xiàn)業(yè)務(wù)發(fā)展方向，提供業(yè)務(wù)決策依據(jù)。數(shù)據(jù)可視化技術(shù)是關(guān)于數(shù)據(jù)之視覺(jué)表現(xiàn)形式的研究，主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息數(shù)據(jù)安全技術(shù)解決從大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用等過(guò)程中產(chǎn)生的諸如身份驗(yàn)證、授權(quán)過(guò)程和輸入驗(yàn)證等大量安全問(wèn)題。由于在數(shù)據(jù)分析、挖掘過(guò)程中涉及企業(yè)各業(yè)務(wù)的核心數(shù)據(jù)，防止數(shù)據(jù)泄露，控制訪問(wèn)權(quán)限等安全措施在大數(shù)據(jù)應(yīng)用中尤為關(guān)鍵。系統(tǒng)運(yùn)維技術(shù)全面監(jiān)測(cè)大數(shù)據(jù)處理全過(guò)程中各參與方的整體狀態(tài)，支持大數(shù)據(jù)應(yīng)用功能的配置化定義，可快速擴(kuò)展應(yīng)用功能。技術(shù)分類大數(shù)據(jù)主要技術(shù)兩大核心技術(shù)分布式存儲(chǔ)分布式處理GFS\HDFSBigTable\HBaseNoSQL（鍵值、列族、圖形、文檔數(shù)據(jù)庫(kù)）NewSQL（如：SQLAzure）MapReduce大數(shù)據(jù)大數(shù)據(jù)主要技術(shù)hadoopHDFS（HadoopDistributedFileSystem）sparkopenstackMapReduceStormHPCCNoSqlgfsApacheDrillRapidMinerPentahoBIZookeeper關(guān)鍵技術(shù)介紹大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹-Hadoop一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)所開(kāi)發(fā)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹-HDFSHadoopDistributedFileSystem，簡(jiǎn)稱HDFS[1]，是一個(gè)分布式文件系統(tǒng)。HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現(xiàn)流的形式訪問(wèn)（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。HDFS開(kāi)始是為開(kāi)源的apache項(xiàng)目nutch的基礎(chǔ)結(jié)構(gòu)而創(chuàng)建，HDFS是hadoop項(xiàng)目的一部分，而hadoop又是lucene的一部分。大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹-NoSQLNoSQL(NoSQL=NotOnlySQL)，意即“不僅僅是SQL”，是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng)，早期就有人提出，發(fā)展至2009年趨勢(shì)越發(fā)高漲NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)，相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫(kù)運(yùn)用，這一概念無(wú)疑是一種全新的思維的注入?？梢蕴幚沓罅康臄?shù)據(jù)。NoSQL對(duì)大型企業(yè)來(lái)說(shuō)還不是主流。大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹–其他大數(shù)據(jù)廠商及產(chǎn)品大數(shù)據(jù)應(yīng)用類大數(shù)據(jù)數(shù)據(jù)源類大數(shù)據(jù)基礎(chǔ)設(shè)施類大數(shù)據(jù)分析類大數(shù)據(jù)廠商及產(chǎn)品1.大數(shù)據(jù)基礎(chǔ)設(shè)施類1)硬件類主要廠商有華為、中興、聯(lián)想、浪潮、IBM、HP、戴爾等。2)軟件類基于大數(shù)據(jù)基礎(chǔ)設(shè)施提供云服務(wù)的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure，阿里云等。軟件類主要廠商有達(dá)夢(mèng)、南大通用、人大金倉(cāng)、博曉通等。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類1)分析解決方案在這里，最耀眼的明星當(dāng)屬Hadoop，Hadoop已被公認(rèn)為是新一代的大數(shù)據(jù)處理平臺(tái)，Cloudera、Hortonworks、MapR、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。其他還包括HP的Vertica、EMC的GreenplumHD、IBM的BigInsights、用友、久其、永洪科技、星圖數(shù)據(jù)、北斗天成、智慧圖等。2)數(shù)據(jù)可視化主要廠商有TeraDataAster、SAS、TableauSoftware、Tibco、EMCGreenplum、海云數(shù)據(jù)、國(guó)云數(shù)據(jù)、數(shù)字冰雹、曼恒數(shù)字等。3)精準(zhǔn)營(yíng)銷有騰訊、新浪、搜狐、網(wǎng)易、微眾、迅雷、今日頭條、博易智訊等。4)分析服務(wù)提供輿情分析的服務(wù)主要有方正、Talkingdata、中科數(shù)據(jù)、紅麥、拓爾思等。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類-分析解決方案平臺(tái)解決方案廠商除去IBM、SAP、Oracle、微軟、惠普國(guó)外代表廠商，在國(guó)內(nèi)有星環(huán)科技、帆軟軟件、用友、永洪等等。星環(huán)科技星環(huán)信息科技主要從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫(kù)軟件的研發(fā)與服務(wù)，被Gartner列為國(guó)際主流Hadoop發(fā)行版廠商。其產(chǎn)品TranswarpDataHub提供高速SQL引擎TranswarpInceptor,NoSQL搜索引擎TranswarpHyperbase、流處理引擎TranswarpStream和數(shù)據(jù)挖掘組件TranswarpDiscover。帆軟軟件帆軟軟件由報(bào)表軟件FineReport起家，目前已成為報(bào)表領(lǐng)域的權(quán)威者，擁有10年企業(yè)數(shù)據(jù)分析的行業(yè)經(jīng)驗(yàn)。后發(fā)布的商業(yè)智能自助式BI工具FineBI，提供包括Hadoop、分布式數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)的大數(shù)據(jù)可視化分析；提供PC端、移動(dòng)端、大屏的可視化方案，廣泛應(yīng)用于銀行、電商、地產(chǎn)、醫(yī)藥、制造、電信、制造、化工等行業(yè)，擁有成熟的行業(yè)化解決方案。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類-數(shù)據(jù)可視化數(shù)字冰雹數(shù)字冰雹主營(yíng)大數(shù)據(jù)可視化業(yè)務(wù)，提供集設(shè)計(jì)、程序開(kāi)發(fā)、硬件集成為一體的解決方案，廣泛應(yīng)用于航天戰(zhàn)場(chǎng)、智慧城市、網(wǎng)絡(luò)安全、企業(yè)管理、工業(yè)監(jiān)控等領(lǐng)域。海云數(shù)據(jù)海云數(shù)據(jù)的產(chǎn)品——圖易能夠集成用戶內(nèi)部系統(tǒng)大量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，在真實(shí)的數(shù)據(jù)源上，將行業(yè)大數(shù)據(jù)進(jìn)行多維度的可視分析。目前主要應(yīng)用于公安、航空、快消、制造、金融、醫(yī)療、信息安全等領(lǐng)域。

星圖數(shù)據(jù)星圖數(shù)據(jù)是互聯(lián)網(wǎng)大數(shù)據(jù)服務(wù)公司，涉及線上零售、線上娛樂(lè)、線上教育等領(lǐng)域。基于分布式大數(shù)據(jù)獲取與存儲(chǔ)系統(tǒng)進(jìn)行大數(shù)據(jù)處理及分析，具有自有的大數(shù)據(jù)分析體系和云計(jì)算處理技術(shù)。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類-精準(zhǔn)營(yíng)銷分析大數(shù)據(jù)技術(shù)使得用戶在互聯(lián)網(wǎng)的行為，得到精準(zhǔn)定位，從而細(xì)化營(yíng)銷方案、快速迭代產(chǎn)品。這方面的廠商有GrowingIO、神策數(shù)據(jù)等。GrowingIOGrowingIO是基于互聯(lián)網(wǎng)的用戶行為數(shù)據(jù)分析產(chǎn)品，具有無(wú)埋點(diǎn)的數(shù)據(jù)采集技術(shù)，可以通過(guò)網(wǎng)頁(yè)或APP的瀏覽軌跡、點(diǎn)擊記錄和鼠標(biāo)滑動(dòng)軌跡等行為數(shù)據(jù)，進(jìn)行實(shí)時(shí)的用戶行為數(shù)據(jù)分析，用于優(yōu)化產(chǎn)品體驗(yàn)，實(shí)現(xiàn)精益化運(yùn)營(yíng)。神策數(shù)據(jù)與GrowingIO類似，也是基于用戶網(wǎng)絡(luò)行為，采集數(shù)據(jù)進(jìn)行分析。技術(shù)上提供開(kāi)放的查詢API和完整的SQL接口，同時(shí)與MapReduce和

Spark等計(jì)算引擎無(wú)縫融合，隨時(shí)以最高效的方式來(lái)訪問(wèn)干凈、規(guī)范的數(shù)據(jù)。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類-分析服務(wù)提供輿情分析的有百度統(tǒng)計(jì)、品友互動(dòng)、Talkingdata、友盟、中科數(shù)據(jù)等等。百度統(tǒng)計(jì)百度統(tǒng)計(jì)是專業(yè)的網(wǎng)站流量分析工具，和GA類似，提供免費(fèi)的流量分析、來(lái)源分析、網(wǎng)站分析等多種統(tǒng)計(jì)分析服務(wù)，能夠告訴用戶訪客是如何找到并瀏覽用戶的網(wǎng)站，在網(wǎng)站上做了些什么，以此來(lái)改善訪客在用戶的網(wǎng)站上的使用體驗(yàn)。Talking

DataTalkingData是獨(dú)立的第三方移動(dòng)數(shù)據(jù)服務(wù)品牌。其產(chǎn)品及服務(wù)涵蓋移動(dòng)應(yīng)用數(shù)據(jù)統(tǒng)計(jì)、移動(dòng)廣告監(jiān)測(cè)、移動(dòng)游戲運(yùn)營(yíng)、公共數(shù)據(jù)查詢、綜合數(shù)據(jù)管理等多款極具針對(duì)性的產(chǎn)品及服務(wù)。在銀行、互聯(lián)網(wǎng)、電商行業(yè)有廣泛的數(shù)據(jù)服務(wù)應(yīng)用。友盟+第三方全域大數(shù)據(jù)服務(wù)提供商，通過(guò)全面覆蓋PC、手機(jī)、傳感器、無(wú)線路由器等多種設(shè)備數(shù)據(jù)，打造全域數(shù)據(jù)平臺(tái)。提供全業(yè)務(wù)鏈數(shù)據(jù)應(yīng)用解決方案，包括基礎(chǔ)統(tǒng)計(jì)、運(yùn)營(yíng)分析、數(shù)據(jù)決策和數(shù)據(jù)業(yè)務(wù)等，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營(yíng)和管理。大數(shù)據(jù)廠商及產(chǎn)品3.大數(shù)據(jù)應(yīng)用類1)商業(yè)智能產(chǎn)品BI產(chǎn)品主要有Oracle的Hyperion、SAPBusinessObjects，MicrosoftBusinessIntelligence、IBMCongnos，SAS，HP的Autonomy、QlikView等