深度解析大數(shù)據(jù)技術(shù)解決方案

1、深度解析大數(shù)據(jù)技術(shù)解決方案技術(shù)創(chuàng)新，變革未來(lái)目錄123大數(shù)據(jù)平臺(tái)介紹案例分享大數(shù)據(jù)概述4通用電氣大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概述2006年全球新產(chǎn)生180EB數(shù)據(jù)GBTBPBEBZB數(shù)據(jù)大爆炸的時(shí)代2011年，這個(gè)數(shù)字達(dá)到了1.8ZB據(jù)市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：2020年整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)45倍想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。大數(shù)據(jù)的4V特征非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)大數(shù)據(jù)4V特征體量Volume 多樣性Variety 價(jià)值Value速度Velocity總數(shù)據(jù)量的8090%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）大量的不相關(guān)信息對(duì)未來(lái)趨

2、勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能VS傳統(tǒng)商務(wù)智能）實(shí)時(shí)分析而非批量式分析立竿見(jiàn)影而非事后見(jiàn)效大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀百花齊放，企業(yè)大力投入尚未完全定型、潛力巨大大數(shù)據(jù)與工業(yè)4.0在工業(yè)4.0中大數(shù)據(jù)變身“智能數(shù)據(jù)”，隨著傳感器之類的設(shè)備的廣泛應(yīng)用，現(xiàn)代生產(chǎn)設(shè)施產(chǎn)生的數(shù)據(jù)也越來(lái)越多，企業(yè)收集這些數(shù)據(jù)并把這些數(shù)據(jù)轉(zhuǎn)換成有意義的信息并最終幫助企業(yè)優(yōu)化產(chǎn)品和提高生產(chǎn)力。大數(shù)據(jù)分析平臺(tái)簡(jiǎn)介企業(yè)大數(shù)據(jù)之旅1獲得數(shù)據(jù)2匯集數(shù)據(jù)3存儲(chǔ)數(shù)據(jù)4運(yùn)算數(shù)據(jù)5挖掘和分析數(shù)據(jù)6使用數(shù)據(jù)大數(shù)據(jù)分析平臺(tái)層次結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)流數(shù)據(jù)分布式文件系統(tǒng)/HDFS分布式計(jì)算框架/MapReduce/YARN內(nèi)存計(jì)

3、算SparkGemfireSAP HANA 數(shù)據(jù)倉(cāng)庫(kù)HIVE數(shù)據(jù)挖掘R/Mahout流計(jì)算Storm數(shù)據(jù)抽取、轉(zhuǎn)換和加載Sqoop/Flume/FTPSQLGbase/MonetDBNoSQLHbase/Cassandra/MongoDB緩存RedisWS/REST等接口服務(wù)頁(yè)面數(shù)據(jù)推送數(shù)據(jù)源計(jì)算與存儲(chǔ)層服務(wù)層配置、管理、監(jiān)控和計(jì)劃Ambari/ZooKeeper/Oozie認(rèn)證、授權(quán)、審計(jì)和數(shù)據(jù)保護(hù)Falcon/Knox/ranger統(tǒng)一管理安全管理分布式存儲(chǔ)架構(gòu)概述集中存儲(chǔ)架構(gòu)分布式存儲(chǔ)架構(gòu)分布式存儲(chǔ)架構(gòu)特點(diǎn)：橫向擴(kuò)展能力強(qiáng)，處理能力線性增長(zhǎng)；能夠處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)；有效支

4、撐百億數(shù)據(jù)量、PB級(jí)數(shù)據(jù)實(shí)時(shí)查詢；能夠針對(duì)全量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)；Hadoop與大數(shù)據(jù)Hadoop是致力于“大數(shù)據(jù)”處理的最重要平臺(tái)之一能夠輕松擴(kuò)展到PB級(jí)別的數(shù)據(jù)存儲(chǔ)的處理規(guī)模帶有高度容錯(cuò)能力的并行處理架構(gòu)基于普通的X86平臺(tái)硬件架構(gòu)成本低廉用內(nèi)置格式存儲(chǔ)、處理數(shù)據(jù)基于開(kāi)源項(xiàng)目，并行處理架構(gòu)標(biāo)準(zhǔn)之一Hadoop的主要用途Hadoop架構(gòu)計(jì)算數(shù)據(jù)3份副本Hadoop工作流程獲得原始數(shù)據(jù)數(shù)據(jù)分級(jí)Map數(shù)據(jù)Reduce數(shù)據(jù)匯總結(jié)果復(fù)制結(jié)果顯示結(jié)果獲取數(shù)據(jù) 導(dǎo)入 Hadoop刪除數(shù)據(jù)Hadoop從中Hadoop整體解決方案Hadoop物理架構(gòu)InfiniBand 交換機(jī)堆疊交換機(jī)服務(wù)器內(nèi)置硬

5、盤核心交換機(jī)堆疊交換機(jī)分布式存儲(chǔ)分布式存儲(chǔ)分布式存儲(chǔ)分布式存儲(chǔ)服務(wù)器內(nèi)置硬盤服務(wù)器內(nèi)置硬盤服務(wù)器內(nèi)置硬盤NameNodeDataNodeNameNodeDataNodeHadoop生態(tài)系統(tǒng)發(fā)行版ClouderaPivotal HortonworksApache HadoopMapRIBMIntelHDFS 替代品NetAppEMC（Isilon）IBM(GPFS)LustreRedHat（GlusterFS）CassandraCephCleversafe重新包裝OracleTeradataDDNMicrosoftHPNutanixSGIDell第三方管理軟件Zetta setApache Me

6、sosCorona(facebook)StackIQWANdisco大數(shù)據(jù)時(shí)代信息安全風(fēng)險(xiǎn)大數(shù)據(jù)成為網(wǎng)絡(luò)攻擊的顯著目標(biāo)大數(shù)據(jù)加大隱私泄露風(fēng)險(xiǎn) 大數(shù)據(jù)威脅現(xiàn)有的存儲(chǔ)和安防措施大數(shù)據(jù)技術(shù)成為黑客的攻擊手段大數(shù)據(jù)成為高級(jí)可持續(xù)攻擊的載體 大數(shù)據(jù)時(shí)代信息安全風(fēng)險(xiǎn)大數(shù)據(jù)時(shí)代信息安全風(fēng)險(xiǎn)應(yīng)對(duì)DDOS攻擊防護(hù)APT：高級(jí)持續(xù)性安全威脅（Advanced Persistent Threat ） 數(shù)據(jù)加密APT防護(hù)APT防護(hù)界限劃分邊界在邊界處部署防護(hù)設(shè)備，阻斷病毒及惡意郵件，發(fā)現(xiàn)和阻止釣魚(yú)網(wǎng)站及非法URL。終端加強(qiáng)對(duì)終端設(shè)備的管控，包括漏洞修復(fù)，病毒查殺，外設(shè)管理，軟件及進(jìn)程管理。用戶4A標(biāo)準(zhǔn)：用戶賬戶管理，

7、用戶認(rèn)證，用戶權(quán)限分配，用戶行為審計(jì)等。監(jiān)控1.邊界處監(jiān)控上網(wǎng)應(yīng)用類型，審計(jì)各種事件。2.內(nèi)網(wǎng)實(shí)時(shí)監(jiān)控病毒及漏洞攻擊情況。目錄大數(shù)據(jù)案例介紹大數(shù)據(jù)在航空領(lǐng)域的運(yùn)用維修記錄追蹤 飛機(jī)使用率追蹤與預(yù)測(cè)滯地時(shí)間分析與預(yù)測(cè)運(yùn)行情況研究分析研發(fā)設(shè)計(jì) 節(jié)油策略飛行員操作習(xí)慣制造商大數(shù)據(jù)金融沿途分析、簽派可靠度資產(chǎn)追蹤飛機(jī)使用率追蹤航空公司運(yùn)行基準(zhǔn)評(píng)效，準(zhǔn)點(diǎn)抵達(dá)率，輪擋時(shí)間最優(yōu)化機(jī)場(chǎng)機(jī)場(chǎng)運(yùn)行基準(zhǔn)評(píng)效機(jī)門使用率研發(fā)設(shè)計(jì) 發(fā)動(dòng)機(jī)性能大數(shù)據(jù)在航空領(lǐng)域的運(yùn)用交通行業(yè)金融行業(yè)醫(yī)療衛(wèi)生行業(yè)通用電氣大數(shù)據(jù)運(yùn)用通用電氣傳感器+大數(shù)據(jù)的工業(yè)互聯(lián)網(wǎng)2013年4月 EMC、VMware、Ge共同投資成立了Pivotal公司 GE

8、公司為工業(yè)互聯(lián)網(wǎng)應(yīng)用建立了一個(gè)叫做Predix的軟件平臺(tái)，它可以容納包括從飛機(jī)發(fā)動(dòng)機(jī)到醫(yī)療磁共振設(shè)備在內(nèi)的任何系統(tǒng)和機(jī)器的數(shù)據(jù)，可以實(shí)現(xiàn)遠(yuǎn)程管理，并與客戶現(xiàn)有的軟件和數(shù)據(jù)管理系統(tǒng)結(jié)合。 GE公司目前已經(jīng)推出24種工業(yè)互聯(lián)網(wǎng)產(chǎn)品，其中包括今天發(fā)布的14種，涵蓋了石油天然氣平臺(tái)監(jiān)測(cè)管理、鐵路機(jī)車效率分析、醫(yī)院管理系統(tǒng)、提升風(fēng)電機(jī)組電力輸出、電力公司配電系統(tǒng)優(yōu)化、醫(yī)療云影像技術(shù)等一系列提升管理效率、降低運(yùn)營(yíng)成本的軟件產(chǎn)品 GE Predix的核心是APM（資產(chǎn)績(jī)效管理）系統(tǒng)，而APM是工業(yè)互聯(lián)網(wǎng)核心靈魂 GE APM系統(tǒng)每天共監(jiān)控和分析來(lái)自1萬(wàn)億設(shè)備資產(chǎn)上的1000萬(wàn)個(gè)傳感器發(fā)回的5000萬(wàn)條數(shù)據(jù)，其終極目標(biāo)是幫助客戶實(shí)現(xiàn)100%的無(wú)故障運(yùn)行。Predix簡(jiǎn)介G