大數(shù)據(jù)技術(shù)專題研究課件

1、大數(shù)據(jù)技術(shù)專題研究2017.3.3大數(shù)據(jù)概述1大數(shù)據(jù)主要技術(shù)、廠商、產(chǎn)品2目 錄能力儲(chǔ)備分析3討論4大數(shù)據(jù)概述大數(shù)據(jù)概念大數(shù)據(jù)（big data）是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)概述體量大Volume類型多Variety價(jià)值密度低Value速度快Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的8090%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連

2、貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效大數(shù)據(jù)的4V特性文件存儲(chǔ)數(shù)據(jù)分析數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)平臺(tái)管理數(shù)據(jù)集成數(shù)據(jù)源Database Web Log現(xiàn)代數(shù)據(jù)處理能力組件現(xiàn)代數(shù)據(jù)處理框架計(jì)算存儲(chǔ)容錯(cuò)大數(shù)據(jù)概述大數(shù)據(jù)的三大關(guān)鍵問(wèn)題存儲(chǔ)、計(jì)算、容錯(cuò)大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者相輔相成，既有聯(lián)系又有區(qū)別云計(jì)算實(shí)現(xiàn)了通過(guò)網(wǎng)絡(luò)提供可伸縮的、廉價(jià)的分布式計(jì)算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可

3、以隨時(shí)隨地獲得所需的各種IT資源。云計(jì)算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲(chǔ)、分布式計(jì)算、多租戶等。云計(jì)算大數(shù)據(jù)概述大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢(shì)，三者相輔相成，既有聯(lián)系又有區(qū)別物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過(guò)新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實(shí)現(xiàn)信息化和遠(yuǎn)程管理控制。物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)包括識(shí)別和感知技術(shù)（二維碼、RFID、傳感器等）、網(wǎng)絡(luò)與通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等。物聯(lián)網(wǎng)大數(shù)據(jù)概述1大數(shù)據(jù)主要技術(shù)、廠商、產(chǎn)品2目 錄能力儲(chǔ)備分析3討論4大數(shù)據(jù)主要技術(shù)技

4、術(shù)體系數(shù)據(jù)安全技術(shù)系統(tǒng)運(yùn)維技術(shù)大數(shù)據(jù)主要技術(shù)主要技術(shù)說(shuō)明數(shù)據(jù)采集技術(shù)通過(guò)ETL抽取、文件適配器、網(wǎng)絡(luò)抓取、實(shí)時(shí)數(shù)據(jù)采集等多種技術(shù)從外部數(shù)據(jù)源導(dǎo)入結(jié)構(gòu)化數(shù)據(jù)（關(guān)系庫(kù)記錄）、半結(jié)構(gòu)化數(shù)據(jù)（日志、郵件等）、非結(jié)構(gòu)化數(shù)據(jù)（文件、視頻、音頻、網(wǎng)絡(luò)數(shù)據(jù)流等）及實(shí)時(shí)數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)技術(shù)負(fù)責(zé)進(jìn)行大數(shù)據(jù)的存儲(chǔ)，針對(duì)全數(shù)據(jù)類型和多樣計(jì)算需求，以海量規(guī)模存儲(chǔ)、快速查詢讀取為特征，存儲(chǔ)來(lái)自外部數(shù)據(jù)源的各類數(shù)據(jù)，支撐數(shù)據(jù)處理層的高級(jí)應(yīng)用。數(shù)據(jù)處理技術(shù)對(duì)多樣化的大數(shù)據(jù)進(jìn)行加工、處理、分析、挖掘，產(chǎn)生新的業(yè)務(wù)價(jià)值，發(fā)現(xiàn)業(yè)務(wù)發(fā)展方向，提供業(yè)務(wù)決策依據(jù)。數(shù)據(jù)可視化技術(shù)是關(guān)于數(shù)據(jù)之視覺(jué)表現(xiàn)形式的研究，主要旨在借助于圖形化手段，清晰

5、有效地傳達(dá)與溝通信息數(shù)據(jù)安全技術(shù)解決從大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用等過(guò)程中產(chǎn)生的諸如身份驗(yàn)證、授權(quán)過(guò)程和輸入驗(yàn)證等大量安全問(wèn)題。由于在數(shù)據(jù)分析、挖掘過(guò)程中涉及企業(yè)各業(yè)務(wù)的核心數(shù)據(jù)，防止數(shù)據(jù)泄露，控制訪問(wèn)權(quán)限等安全措施在大數(shù)據(jù)應(yīng)用中尤為關(guān)鍵。系統(tǒng)運(yùn)維技術(shù)全面監(jiān)測(cè)大數(shù)據(jù)處理全過(guò)程中各參與方的整體狀態(tài)，支持大數(shù)據(jù)應(yīng)用功能的配置化定義，可快速擴(kuò)展應(yīng)用功能。技術(shù)分類大數(shù)據(jù)主要技術(shù)hadoopHDFS（Hadoop Distributed File System）sparkopenstackMapReduceStormHPCCNoSqlgfsApache DrillRapidMinerPent

6、aho BIZookeeper關(guān)鍵技術(shù)介紹大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹 - Hadoop一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)所開(kāi)發(fā)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoo

7、p的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹 - NoSQLNoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng)，早期就有人提出，發(fā)展至2009年趨勢(shì)越發(fā)高漲NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)，相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫(kù)運(yùn)用，這一概念無(wú)疑是一種全新的思維的注入?？梢蕴幚沓罅康臄?shù)據(jù)。NoSQL對(duì)大型企業(yè)來(lái)說(shuō)還不是主流。

8、大數(shù)據(jù)主要技術(shù)關(guān)鍵技術(shù)介紹 其他大數(shù)據(jù)廠商及產(chǎn)品大數(shù)據(jù)廠商及產(chǎn)品1.大數(shù)據(jù)基礎(chǔ)設(shè)施類1)硬件類主要廠商有華為、中興、聯(lián)想、浪潮、IBM、HP、戴爾等。2)軟件類基于大數(shù)據(jù)基礎(chǔ)設(shè)施提供云服務(wù)的有Amazon Web Service Elastic MapReduce、Google Big Query、Infochimps、Microsoft Windows Azure，阿里云等。軟件類主要廠商有達(dá)夢(mèng)、南大通用、人大金倉(cāng)、博曉通等。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類1)分析解決方案在這里，最耀眼的明星當(dāng)屬Hadoop，Hadoop已被公認(rèn)為是新一代的大數(shù)據(jù)處理平臺(tái)，Cloudera、Hortonwo

9、rks、MapR、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。其他還包括HP的Vertica、EMC的GreenplumHD、IBM的Big Insights、用友、久其、永洪科技、星圖數(shù)據(jù)、北斗天成、智慧圖等。2)數(shù)據(jù)可視化主要廠商有TeraDataAster、SAS、Tableau Software、Tibco、EMC Greenplum、海云數(shù)據(jù)、國(guó)云數(shù)據(jù)、數(shù)字冰雹、曼恒數(shù)字等。3) 精準(zhǔn)營(yíng)銷有騰訊、新浪、搜狐、網(wǎng)易、微眾、迅雷、今日頭條、博易智訊等。4)分析服務(wù)提供輿情分析的服務(wù)主要有方正、Talking data、中科數(shù)據(jù)、紅麥、拓爾思等

10、。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類 - 分析解決方案平臺(tái)解決方案廠商除去IBM、SAP、Oracle、微軟、惠普國(guó)外代表廠商，在國(guó)內(nèi)有星環(huán)科技、帆軟軟件、用友、永洪等等。星環(huán)科技星環(huán)信息科技主要從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫(kù)軟件的研發(fā)與服務(wù)，被Gartner列為國(guó)際主流Hadoop發(fā)行版廠商。其產(chǎn)品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, NoSQL搜索引擎Transwarp Hyperbase、流處理引擎Transwarp Stream和數(shù)據(jù)挖掘組件Transwarp Discover。帆軟軟件帆軟軟件由報(bào)表軟件FineReport起家，目前

11、已成為報(bào)表領(lǐng)域的權(quán)威者，擁有10年企業(yè)數(shù)據(jù)分析的行業(yè)經(jīng)驗(yàn)。后發(fā)布的商業(yè)智能自助式BI工具FineBI，提供包括Hadoop、分布式數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)的大數(shù)據(jù)可視化分析；提供PC端、移動(dòng)端、大屏的可視化方案，廣泛應(yīng)用于銀行、電商、地產(chǎn)、醫(yī)藥、制造、電信、制造、化工等行業(yè)，擁有成熟的行業(yè)化解決方案。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類 - 精準(zhǔn)營(yíng)銷分析大數(shù)據(jù)技術(shù)使得用戶在互聯(lián)網(wǎng)的行為，得到精準(zhǔn)定位，從而細(xì)化營(yíng)銷方案、快速迭代產(chǎn)品。這方面的廠商有GrowingIO、神策數(shù)據(jù)等。GrowingIOGrowingIO是基于互聯(lián)網(wǎng)的用戶行為數(shù)據(jù)分析產(chǎn)品，具有無(wú)埋點(diǎn)的數(shù)據(jù)采集技術(shù)，可以通過(guò)網(wǎng)頁(yè)或APP的瀏覽軌跡

12、、點(diǎn)擊記錄和鼠標(biāo)滑動(dòng)軌跡等行為數(shù)據(jù)，進(jìn)行實(shí)時(shí)的用戶行為數(shù)據(jù)分析，用于優(yōu)化產(chǎn)品體驗(yàn)，實(shí)現(xiàn)精益化運(yùn)營(yíng)。神策數(shù)據(jù)與GrowingIO類似，也是基于用戶網(wǎng)絡(luò)行為，采集數(shù)據(jù)進(jìn)行分析。技術(shù)上提供開(kāi)放的查詢 API 和完整的 SQL 接口，同時(shí)與 MapReduce 和Spark等計(jì)算引擎無(wú)縫融合，隨時(shí)以最高效的方式來(lái)訪問(wèn)干凈、規(guī)范的數(shù)據(jù)。大數(shù)據(jù)廠商及產(chǎn)品2.大數(shù)據(jù)分析類 - 分析服務(wù)提供輿情分析的有百度統(tǒng)計(jì)、品友互動(dòng)、Talking data、友盟、中科數(shù)據(jù)等等。百度統(tǒng)計(jì)百度統(tǒng)計(jì)是專業(yè)的網(wǎng)站流量分析工具，和GA類似，提供免費(fèi)的流量分析、來(lái)源分析、網(wǎng)站分析等多種統(tǒng)計(jì)分析服務(wù)，能夠告訴用戶訪客是如何找到并瀏覽用戶的網(wǎng)站，在網(wǎng)站上做了些什么，以此來(lái)改善訪客在用戶的網(wǎng)站上的使用體驗(yàn)。TalkingDataTalkingData是獨(dú)立的第三方移動(dòng)數(shù)據(jù)服務(wù)品牌。其產(chǎn)品及服務(wù)涵蓋移動(dòng)應(yīng)用數(shù)據(jù)統(tǒng)計(jì)、移動(dòng)廣告監(jiān)測(cè)、移動(dòng)游戲運(yùn)營(yíng)、公共數(shù)據(jù)查詢、綜合數(shù)據(jù)管理等多款極具針對(duì)性的產(chǎn)品及服務(wù)。在銀行、互聯(lián)網(wǎng)、電商行業(yè)有廣泛的數(shù)據(jù)服務(wù)應(yīng)用。友盟+第三方全域大數(shù)據(jù)服務(wù)提供商，通過(guò)全面覆蓋PC、手機(jī)、傳感器、無(wú)線路由器等多種設(shè)備數(shù)據(jù)，打造全域數(shù)據(jù)平