大數(shù)據(jù)及其相關(guān)新興技術(shù)課件

大數(shù)據(jù)及其相關(guān)新興技術(shù)

BigDataandIt’sRelatedEmergingTechnologies大數(shù)據(jù)及其相關(guān)新興技術(shù)

BigDataandIt’2摘要：大數(shù)據(jù)、物聯(lián)網(wǎng)和云計(jì)算是新一代信息技術(shù)發(fā)展中的華彩樂章。物聯(lián)網(wǎng)使成千上萬(wàn)的網(wǎng)絡(luò)傳感器嵌入到現(xiàn)實(shí)世界中，云計(jì)算為物聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)提供了存儲(chǔ)空間和在線處理，而大數(shù)據(jù)則讓海量數(shù)據(jù)產(chǎn)生了價(jià)值。本報(bào)告，首先介紹大數(shù)據(jù)世界和大數(shù)據(jù)潮流；其次講解什么是大數(shù)據(jù)和大數(shù)據(jù)的一般處理流程；接著介紹產(chǎn)生大數(shù)據(jù)來(lái)源之一的物聯(lián)網(wǎng)的產(chǎn)生、發(fā)展及其系統(tǒng)架構(gòu)；然后講述大數(shù)據(jù)與云計(jì)算的關(guān)系和兩者的異同點(diǎn)；最后在簡(jiǎn)介高性能計(jì)算與高性能計(jì)算機(jī)的基礎(chǔ)上，闡述了在大數(shù)據(jù)面前高性能計(jì)算本身所面臨的技術(shù)挑戰(zhàn)等。2摘要：目錄3大數(shù)據(jù)浪潮洶涌澎湃1.1大數(shù)據(jù)世界1.2大數(shù)據(jù)潮流1.3什么是大數(shù)據(jù)1.4變革思維研究大數(shù)據(jù)1.5大數(shù)據(jù)的價(jià)值1.6大數(shù)據(jù)的管理1.7大數(shù)據(jù)時(shí)代的產(chǎn)業(yè)界情況大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技發(fā)展2.1大數(shù)據(jù)對(duì)國(guó)家社會(huì)的作用2.2大數(shù)據(jù)推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展2.3大數(shù)據(jù)促進(jìn)科技發(fā)展2.4大數(shù)據(jù)應(yīng)用及實(shí)例大數(shù)據(jù)的處理流程3.1大數(shù)據(jù)的采集與預(yù)處理3.2大數(shù)據(jù)的傳輸3.3大數(shù)據(jù)的存儲(chǔ)3.4大數(shù)據(jù)的處理3.5大數(shù)據(jù)的展現(xiàn)大數(shù)據(jù)與物聯(lián)網(wǎng)4.1物聯(lián)網(wǎng)4.2物聯(lián)網(wǎng)的發(fā)展歷程4.3大數(shù)據(jù)與物聯(lián)網(wǎng)大數(shù)據(jù)與云計(jì)算5.1什么是云計(jì)算5.2大數(shù)據(jù)與云計(jì)算的關(guān)系5.3大數(shù)據(jù)與云計(jì)算的不同點(diǎn)高性能計(jì)算與高性能計(jì)算機(jī)6.1什么是高性能計(jì)算6.2高性能計(jì)算機(jī)系統(tǒng)舉例6.3高性能計(jì)算應(yīng)用高性能計(jì)算面臨大數(shù)據(jù)的挑戰(zhàn)7.1計(jì)算模型的轉(zhuǎn)變7.2系統(tǒng)結(jié)構(gòu)的轉(zhuǎn)變7.3編程模型的轉(zhuǎn)變7.4應(yīng)用方式的轉(zhuǎn)變7.5其他方面的轉(zhuǎn)變結(jié)論8.1從量變到質(zhì)變8.2各領(lǐng)風(fēng)騷十?dāng)?shù)年目錄3大數(shù)據(jù)浪潮洶涌澎湃1、大數(shù)據(jù)浪潮洶涌澎湃1.1大數(shù)據(jù)世界網(wǎng)絡(luò)連接的世界涌現(xiàn)出大數(shù)據(jù)互聯(lián)網(wǎng)和社交網(wǎng)產(chǎn)生的數(shù)據(jù)：現(xiàn)代網(wǎng)絡(luò)社會(huì)中，人們?cè)谕ㄟ^電子郵件、維基、微博、博客、娛樂節(jié)目、網(wǎng)上購(gòu)物、銀行交易、股票數(shù)據(jù)等進(jìn)行互動(dòng)和交易，每個(gè)人在分享網(wǎng)上數(shù)據(jù)的同時(shí)，又在不斷制造數(shù)據(jù)。無(wú)線移動(dòng)互聯(lián)網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)：移動(dòng)智能終端接入互聯(lián)網(wǎng)就形成了移動(dòng)互聯(lián)網(wǎng)，它雖兼具了通信網(wǎng)之“隨時(shí)、隨地、隨身”和互聯(lián)網(wǎng)之“共享、開放、交互”的優(yōu)勢(shì)，但仍面臨著海量數(shù)據(jù)通信對(duì)網(wǎng)絡(luò)帶寬帶來(lái)的巨大負(fù)擔(dān)；而移動(dòng)互聯(lián)網(wǎng)的無(wú)線接入網(wǎng)絡(luò)使得數(shù)據(jù)流量劇增，迫使網(wǎng)絡(luò)運(yùn)營(yíng)商不斷增加基站數(shù)和進(jìn)一步挖掘頻譜利用率；網(wǎng)絡(luò)應(yīng)用和服務(wù)的多元化使得傳統(tǒng)的微觀小尺度（分組級(jí)和數(shù)據(jù)幀級(jí)）的業(yè)務(wù)規(guī)律分析無(wú)法從宏觀上描述業(yè)務(wù)特征規(guī)律。物聯(lián)網(wǎng)上采集和觀測(cè)數(shù)據(jù)：在遍布全球各地的移動(dòng)傳感器、無(wú)線傳感器、空間遙感器、射頻識(shí)讀器和攝像、照相機(jī)等各種采集和觀測(cè)數(shù)據(jù)設(shè)備，都在時(shí)時(shí)、處處捕獲大量諸如位置數(shù)據(jù)、傳感數(shù)據(jù)、衛(wèi)星圖像數(shù)據(jù)、氣象數(shù)據(jù)等。社會(huì)發(fā)布的信息數(shù)據(jù)：現(xiàn)代社會(huì)中，政府、企事業(yè)、行業(yè)等機(jī)關(guān)部門都不斷地向社會(huì)發(fā)布政務(wù)信息、公共服務(wù)信息、衛(wèi)生保健信息、社會(huì)保險(xiǎn)信息、科技教育信息、安全預(yù)警信息、金融服務(wù)信息、證據(jù)投資信息等數(shù)據(jù)。41、大數(shù)據(jù)浪潮洶涌澎湃1.1大數(shù)據(jù)世界41、大數(shù)據(jù)浪潮洶涌澎湃大科學(xué)工程產(chǎn)生了大數(shù)據(jù)*大型強(qiáng)子碰撞（LHC：LargeHadronCollider）試驗(yàn)：美國(guó)大數(shù)據(jù)研究計(jì)劃中專門列出尋找希格斯粒子（被稱為“上帝粒子”）的LHC實(shí)驗(yàn)。據(jù)說(shuō)至少要1萬(wàn)億個(gè)事例中才可能找出一個(gè)希格斯粒子。在發(fā)生碰撞時(shí)，LHC檢測(cè)器（Detector）在一秒鐘內(nèi)能捕獲到其臨近0.4億（40million）個(gè)快照。當(dāng)LHC試驗(yàn)時(shí)，約有1.5億個(gè)傳感器（Sensor）每秒傳遞數(shù)據(jù)0.4億次，大約每秒近6.0億碰撞。如果所有的傳感器數(shù)據(jù)均記錄在LHC中，則在重復(fù)之前每天將近有500EB（E=1018）數(shù)據(jù)流量，幾乎是世界上所有其他資源的200倍。*希格斯粒子以2013年諾貝爾獎(jiǎng)獲主之一現(xiàn)年84歲的英國(guó)科學(xué)家彼得·希格斯命名。他在1964年曾預(yù)言玻色子粒子的存在。時(shí)隔50年之后，被總部設(shè)在瑞士日內(nèi)瓦的歐洲核子研究中心LHC實(shí)驗(yàn)項(xiàng)目所證實(shí)。因?yàn)橹Z貝爾獎(jiǎng)至多3人分享，所以歐洲核子研究中心參與發(fā)現(xiàn)這種粒子的數(shù)以千計(jì)的研究人員就成了無(wú)名英雄了。*參與“上帝粒子”項(xiàng)目的28歲小伙子，計(jì)昊爽，合肥廬江人，畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)，后去美國(guó)威斯康辛大學(xué)讀博士。他是歐洲核子研究組織（CERN）團(tuán)隊(duì)成員，他在計(jì)算和實(shí)驗(yàn)證明出“上帝粒子”存在功不可沒。他首次計(jì)算得到了5倍西格瑪（Sigma）的顯著度，有99.9999%的可信度表明了該粒子的存在。這在科學(xué)界被認(rèn)為已經(jīng)證明了上帝粒子的存在。斯隆數(shù)字天空勘探（SDSS：SloanDigitalSkySurvey）計(jì)劃：從2008年開始收集天文數(shù)據(jù)，并且每晚以200GB的速率繼續(xù)收集，到2012年，SDSS已積累了超過140TB的信息。基因測(cè)序：2013年全球至少有30萬(wàn)個(gè)人類個(gè)體基因組被全部或部分測(cè)序，這就意味著將會(huì)產(chǎn)生30Pb的序列數(shù)據(jù)，至少需要相當(dāng)150PB的存儲(chǔ)和分析計(jì)算能力。51、大數(shù)據(jù)浪潮洶涌澎湃大科學(xué)工程產(chǎn)生了大數(shù)據(jù)51、大數(shù)據(jù)浪潮洶涌澎湃新技術(shù)新應(yīng)用催生的大數(shù)據(jù)新技術(shù)：傳感技術(shù)、新型通信技術(shù)、物聯(lián)網(wǎng)技術(shù)等高速發(fā)展，讓人們感知的東西很多；人與人、人與機(jī)器、機(jī)器與機(jī)器時(shí)刻都在互聯(lián)互動(dòng)；新的獲取、搜索、發(fā)現(xiàn)和分析工具更使人們獲得更豐富的數(shù)據(jù)。新應(yīng)用：物聯(lián)網(wǎng)（使成千上萬(wàn)的網(wǎng)絡(luò)傳感器嵌入到現(xiàn)實(shí)世界中）和云計(jì)算（為海量數(shù)據(jù)提供了存儲(chǔ)空間和在線處理）等新型應(yīng)用更使得數(shù)據(jù)激增。大數(shù)據(jù)發(fā)展的主要推動(dòng)力大數(shù)據(jù)推動(dòng)者是企業(yè)界：企業(yè)界的經(jīng)濟(jì)效益推動(dòng)了大數(shù)據(jù)的發(fā)展。IBM、Oracle、微軟、谷歌、亞馬遜、Facebook等跨國(guó)巨頭是大數(shù)據(jù)處理技術(shù)的主要推動(dòng)者。O’Reilly公司斷言：數(shù)據(jù)是下一個(gè)“IntelInside”，未來(lái)屬于將數(shù)據(jù)轉(zhuǎn)換成產(chǎn)品的公司和人們。大數(shù)據(jù)主要消費(fèi)者是網(wǎng)民：近年來(lái)大數(shù)據(jù)驟增主要還是來(lái)自人們的日常生活（圖片、視頻、音樂等），特別是互聯(lián)網(wǎng)公司的服務(wù)。傳感網(wǎng)和物聯(lián)網(wǎng)等相關(guān)技術(shù)催生了大數(shù)據(jù)的蓬勃發(fā)展。61、大數(shù)據(jù)浪潮洶涌澎湃新技術(shù)新應(yīng)用催生的大數(shù)據(jù)61、大數(shù)據(jù)浪潮洶涌澎湃1.2大數(shù)據(jù)潮流大數(shù)據(jù)時(shí)代大數(shù)據(jù)的價(jià)值21世紀(jì)數(shù)據(jù)的價(jià)值有可能等同于20世紀(jì)的石油，但石油資源會(huì)不斷耗盡，而數(shù)據(jù)會(huì)隨應(yīng)用不斷增長(zhǎng)，呈“無(wú)限增長(zhǎng)”的趨勢(shì)。信息經(jīng)濟(jì)早期，數(shù)據(jù)只作為一種“資源”；后來(lái)人們逐漸把它視為一種“資產(chǎn)”；而現(xiàn)今數(shù)據(jù)卻成了一種“能力”，是企業(yè)的核心競(jìng)爭(zhēng)力。大數(shù)據(jù)成了國(guó)際業(yè)界熱門話題21世紀(jì)是個(gè)數(shù)據(jù)為王的時(shí)代，每個(gè)人都必須“用數(shù)據(jù)說(shuō)話”，誰(shuí)擁有了數(shù)據(jù)，誰(shuí)就有了話語(yǔ)權(quán)。大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后的IT界又一次顛覆性技術(shù)變革。2012年世界經(jīng)濟(jì)論壇發(fā)布了“BigData,BigImpact”的報(bào)告，闡述了大數(shù)據(jù)對(duì)農(nóng)業(yè)、金融、醫(yī)療、健康、教育等發(fā)展帶來(lái)了新機(jī)遇。71、大數(shù)據(jù)浪潮洶涌澎湃1.2大數(shù)據(jù)潮流71、大數(shù)據(jù)浪潮洶涌澎湃大數(shù)據(jù)研究計(jì)劃美國(guó)“大數(shù)據(jù)研發(fā)創(chuàng)新”計(jì)劃計(jì)劃概況：2012年3月，美國(guó)Obama政府宣布了“BigDataResearch

andDevelopmentInitiative”計(jì)劃，探討如何利用大數(shù)據(jù)分析來(lái)應(yīng)對(duì)政府所面臨的一些重大問題。該計(jì)劃由跨6個(gè)部門的84個(gè)大數(shù)據(jù)項(xiàng)目組成，總投資共$200million（2億美元）。計(jì)劃目的：通過抽取知識(shí)和洞察大而復(fù)雜的數(shù)據(jù)，改進(jìn)工作能力；通過創(chuàng)新，加速科學(xué)和工程發(fā)現(xiàn)的步伐；增強(qiáng)國(guó)家安全和改觀國(guó)民教育現(xiàn)狀與面貌等。計(jì)劃落實(shí)實(shí)施：除了投放2億美元資金外，政府希望工業(yè)界、大學(xué)、非盈利企事業(yè)單位加入聯(lián)邦政府，利用大數(shù)據(jù)所提供的機(jī)遇?？偨y(tǒng)號(hào)召：“allhandsondeck”（各就各位，全體出場(chǎng)），共同努力。在此形勢(shì)下，美國(guó)有些公司已為大學(xué)提供大數(shù)據(jù)方面的研究項(xiàng)目與資金；大學(xué)已開設(shè)大數(shù)據(jù)的課程，為培養(yǎng)下一代“數(shù)據(jù)科學(xué)家”做準(zhǔn)備等。日本“新ICT戰(zhàn)略研究”計(jì)劃計(jì)劃發(fā)起：2012年7月日本推出“新ICT戰(zhàn)略研究計(jì)劃”，在新一輪IT振興計(jì)劃中日本政府把大數(shù)據(jù)發(fā)展作為國(guó)家層面戰(zhàn)略提出。這是日本新啟動(dòng)的2011年大地震一度擱置的政府ICT戰(zhàn)略研究。計(jì)劃關(guān)注點(diǎn)：所推出的新的綜合戰(zhàn)略“活力ICT日本”，“提升日本競(jìng)爭(zhēng)力，大數(shù)據(jù)應(yīng)用不可缺少”，重點(diǎn)在大數(shù)據(jù)的應(yīng)用所需的云計(jì)算、傳感器、社會(huì)化媒體等智能技術(shù)開發(fā)，大數(shù)據(jù)將為新醫(yī)療技術(shù)開發(fā)、交通擁堵的緩解等帶來(lái)方便和貢獻(xiàn)。81、大數(shù)據(jù)浪潮洶涌澎湃大數(shù)據(jù)研究計(jì)劃81、大數(shù)據(jù)浪潮洶涌澎湃英國(guó)“聚焦大數(shù)據(jù)和節(jié)能計(jì)算”計(jì)劃做好準(zhǔn)備：英國(guó)認(rèn)為自己為大數(shù)據(jù)革命做好了準(zhǔn)備，英國(guó)把大數(shù)據(jù)看作是自己的優(yōu)勢(shì)，政府加大對(duì)大數(shù)據(jù)等IT技術(shù)的投入，并帶動(dòng)企業(yè)對(duì)該領(lǐng)域的投資。資金投入：英國(guó)政府宣稱投資6億英鎊科學(xué)資金，并計(jì)劃在未來(lái)兩年內(nèi)在大數(shù)據(jù)和節(jié)能計(jì)算研究投資1.89億英鎊。政府把大量的資金投入到計(jì)算基礎(chǔ)設(shè)施，用以捕捉并分析通過開放式數(shù)據(jù)革命獲得的數(shù)據(jù)流，帶動(dòng)企業(yè)投入更多的資金。我國(guó)大數(shù)據(jù)論壇及研究計(jì)劃在2013年：中國(guó)計(jì)算機(jī)學(xué)會(huì)率先于2013年成立“大數(shù)據(jù)專業(yè)委員會(huì)”，李國(guó)杰院士任主任。在2011~2014年：2013年3月國(guó)家自然基金委在上海舉行規(guī)模浩大的“大數(shù)據(jù)雙清論壇”。中國(guó)分別舉辦了第一屆（2011年）和第二屆（2012年）“大數(shù)據(jù)世界論壇”。IT時(shí)代周刊等舉辦了“大數(shù)據(jù)2012論壇”，中國(guó)計(jì)算機(jī)學(xué)會(huì)舉辦了“CNCC2012大數(shù)據(jù)論壇”。國(guó)家自然科學(xué)基金委，2014年立項(xiàng)重點(diǎn)和重大項(xiàng)目“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”研究，擬從10個(gè)方向中選擇資助8個(gè)重點(diǎn)項(xiàng)目。國(guó)家科技部，863計(jì)劃信息技術(shù)領(lǐng)域2015年備選項(xiàng)目包括超級(jí)計(jì)算機(jī)、大數(shù)據(jù)、云計(jì)算、信息安全、第五代移動(dòng)通信系統(tǒng)（5G）等。91、大數(shù)據(jù)浪潮洶涌澎湃英國(guó)“聚焦大數(shù)據(jù)和節(jié)能計(jì)算”計(jì)劃91、大數(shù)據(jù)浪潮洶涌澎湃Gartner預(yù)測(cè)大數(shù)據(jù)的發(fā)展周期2011年：大數(shù)據(jù)進(jìn)入技術(shù)導(dǎo)入期（Trigger），呈上升發(fā)展趨勢(shì)；同時(shí)大數(shù)據(jù)預(yù)測(cè)分析等相關(guān)技術(shù)已較為成熟，而云計(jì)算、內(nèi)存數(shù)據(jù)庫(kù)管理和社會(huì)分析等也處于期望膨脹期（InflatedExpectation）。2012年：大數(shù)據(jù)已進(jìn)入井噴期（Inflated），處于接近高峰期，同時(shí)大數(shù)據(jù)相關(guān)預(yù)測(cè)分析、云計(jì)算、內(nèi)存數(shù)據(jù)庫(kù)管理、社會(huì)分析等技術(shù)已逐步發(fā)展且趨于成熟。10導(dǎo)入上脹低落回升穩(wěn)定1、大數(shù)據(jù)浪潮洶涌澎湃Gartner預(yù)測(cè)大數(shù)據(jù)的發(fā)展周期101、大數(shù)據(jù)浪潮洶涌澎湃2013年：大數(shù)據(jù)帶動(dòng)了數(shù)據(jù)科學(xué)的研究熱潮和相關(guān)使能技術(shù)的興起。111、大數(shù)據(jù)浪潮洶涌澎湃2013年：大數(shù)據(jù)帶動(dòng)了數(shù)據(jù)科學(xué)的研究1、大數(shù)據(jù)浪潮洶涌澎湃1.3什么是大數(shù)據(jù)認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)一般來(lái)源于網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)應(yīng)用、智能終端、政府、企業(yè)和個(gè)人，所以大數(shù)據(jù)包含了互動(dòng)數(shù)據(jù)、交易數(shù)據(jù)和觀測(cè)數(shù)據(jù)等。所謂大數(shù)據(jù)（BigData）就是指用目前常用的軟件工具無(wú)法在容許的時(shí)間（可接受的時(shí)間）內(nèi)進(jìn)行獲取、存儲(chǔ)、管理和分析等的數(shù)據(jù)集（Datasets）。數(shù)據(jù)之所以稱為大數(shù)據(jù)，首先是因?yàn)槠淞看螅↙argeQuantity），而量大對(duì)不同的領(lǐng)域的界定也不同；目前，大數(shù)據(jù)一般典型范圍為幾十TB（T=1012）到PB（PB=1015），將來(lái)會(huì)更大。大數(shù)據(jù)的4V定義

大數(shù)據(jù)可按其大容量、快速率、多樣性和高價(jià)值等4個(gè)“V”進(jìn)行定義如下：Volume（AmountofData）：大容量

（主要體現(xiàn)數(shù)據(jù)存儲(chǔ)量大和計(jì)算量大）Velocity（SpeedofDatain&out）：快速率

（主要指數(shù)據(jù)更新、增長(zhǎng)速度快，數(shù)據(jù)存儲(chǔ)、傳輸、處理速度快）Variety（RangeofDataTypes&Sources）：多樣性

（包括結(jié)構(gòu)化的原數(shù)據(jù)庫(kù)表格數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化的文本、視頻、圖像等信息）Value（UsefulnessofData）：高價(jià)值

（大海撈針，“在大數(shù)據(jù)困難面前，不被利用就是成本”）121、大數(shù)據(jù)浪潮洶涌澎湃1.3什么是大數(shù)據(jù)121、大數(shù)據(jù)浪潮洶涌澎湃處理大數(shù)據(jù)的基本原理數(shù)據(jù)量的巨大（本身也包含著數(shù)據(jù)大小變化范圍大）使得數(shù)據(jù)無(wú)法集中存儲(chǔ)和必須使用并行與分布計(jì)算技術(shù)。數(shù)據(jù)的快速，使得數(shù)據(jù)到達(dá)速率快和輸出結(jié)果快，這就需要實(shí)時(shí)處理和快速?zèng)Q策。數(shù)據(jù)的多樣性，數(shù)據(jù)結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化甚至不可預(yù)知的結(jié)構(gòu)使得數(shù)據(jù)難以統(tǒng)一表達(dá)、處理系統(tǒng)極其復(fù)雜。大數(shù)據(jù)的價(jià)值彌足珍貴，但大數(shù)據(jù)的價(jià)值密度低，在浩瀚的大數(shù)據(jù)海洋中，如何挖掘有用的東西，似如“大海撈針”！利用好大數(shù)據(jù)的價(jià)值并非易事！大數(shù)據(jù)的研究大體上包含數(shù)據(jù)獲取、存儲(chǔ)、傳輸、分析、管理與應(yīng)用等諸多方面，顯然涉及到物理、材料、電子、計(jì)算機(jī)、通信、數(shù)學(xué)、統(tǒng)計(jì)、信息管理以及各應(yīng)用行業(yè)，不是單一學(xué)科能解決的問題，需要多學(xué)科交叉綜合研究！大數(shù)據(jù)的4層技術(shù)架構(gòu)基礎(chǔ)層：橫向可擴(kuò)展存儲(chǔ)和計(jì)算平臺(tái)；虛擬化、網(wǎng)絡(luò)化的分布式架構(gòu)。管理層：并行、分布式管理平臺(tái)；結(jié)構(gòu)化和非結(jié)構(gòu)化的統(tǒng)一管理。分析層：基于統(tǒng)計(jì)學(xué)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法；分析和解釋數(shù)據(jù)，提供自動(dòng)服務(wù)。應(yīng)用層：提供實(shí)時(shí)決策；內(nèi)置預(yù)測(cè)能力。131、大數(shù)據(jù)浪潮洶涌澎湃處理大數(shù)據(jù)的基本原理131、大數(shù)據(jù)浪潮洶涌澎湃大數(shù)據(jù)所帶來(lái)的技術(shù)挑戰(zhàn)大數(shù)據(jù)存儲(chǔ)與管理：雖然大數(shù)據(jù)價(jià)值稀疏，但保留它還是非常有價(jià)值的！解決大數(shù)據(jù)的存儲(chǔ)問題首先是對(duì)其進(jìn)行去重和壓縮；其次是降低副本比，提高存儲(chǔ)效率和降低存儲(chǔ)成本。傳統(tǒng)IT系統(tǒng)到大數(shù)據(jù)系統(tǒng)的過渡：在現(xiàn)有的數(shù)據(jù)軟/硬件平臺(tái)基礎(chǔ)上做漸進(jìn)式改進(jìn)；大數(shù)據(jù)分析要平民化；大數(shù)據(jù)應(yīng)用要直觀、易用和網(wǎng)絡(luò)化。大數(shù)據(jù)分析：需要革命性理論和新算法；不能抽樣分析，要全數(shù)據(jù)聚合分析；以計(jì)算為中心轉(zhuǎn)移到以數(shù)據(jù)為中心；系統(tǒng)架構(gòu)應(yīng)分布式和并行化兼顧；將結(jié)構(gòu)化數(shù)據(jù)的分析方法、工具與新興的非結(jié)構(gòu)化數(shù)據(jù)方法、工具相結(jié)合；提供數(shù)據(jù)實(shí)時(shí)分析能力；云計(jì)算是提高大數(shù)據(jù)分析能力的一種可行方案等。大數(shù)據(jù)安全：發(fā)展信息安全技術(shù)；加強(qiáng)技術(shù)保護(hù)；提高全民信息安全意識(shí)；完善信息安全政策和流程；完備信息安全標(biāo)準(zhǔn)等。大數(shù)據(jù)的興起催生了數(shù)據(jù)科學(xué)：數(shù)據(jù)科學(xué)可簡(jiǎn)單理解為預(yù)測(cè)分析和數(shù)據(jù)挖掘，是統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)的結(jié)合，相關(guān)方法包括回歸分析、關(guān)聯(lián)規(guī)則、優(yōu)化技術(shù)和仿真建模。大數(shù)據(jù)所帶來(lái)的威脅無(wú)處不在的“第三只眼”和大數(shù)據(jù)的二次利用會(huì)使人們惶恐不安，威脅公眾的隱私，傷害人類的自由和尊嚴(yán)。運(yùn)用大數(shù)據(jù)預(yù)測(cè)來(lái)判斷和懲罰人類潛在行為，會(huì)給社會(huì)和人類帶來(lái)不公和無(wú)法彌補(bǔ)的損傷。數(shù)據(jù)的質(zhì)量不高、數(shù)據(jù)的不客觀性、數(shù)據(jù)分析中的差錯(cuò)等所導(dǎo)致的人們對(duì)數(shù)據(jù)的執(zhí)迷和崇拜，形成了數(shù)據(jù)獨(dú)裁是可怕的，應(yīng)引以為戒！141、大數(shù)據(jù)浪潮洶涌澎湃大數(shù)據(jù)所帶來(lái)的技術(shù)挑戰(zhàn)141、大數(shù)據(jù)浪潮洶涌澎湃1.4變革思維研究大數(shù)據(jù)數(shù)據(jù)的獲取不能依靠隨機(jī)采樣進(jìn)行分析，采樣無(wú)法揭示細(xì)節(jié)信息，不能期望像小數(shù)據(jù)時(shí)代那樣，可用最少的數(shù)據(jù)獲得最多的信息。大數(shù)據(jù)時(shí)代要利用盡可能多的全樣數(shù)據(jù)，收集與某事物相關(guān)的所有的數(shù)據(jù)。數(shù)據(jù)的分析在大數(shù)據(jù)時(shí)代，分析如此之多的數(shù)據(jù)，不能熱衷于追求精確性，也無(wú)法實(shí)現(xiàn)精確性。須知，大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的精確復(fù)雜算法會(huì)更有效。數(shù)據(jù)的解釋大數(shù)據(jù)時(shí)代，無(wú)需緊緊盯著事物之間為什么的因果關(guān)系，要側(cè)重尋找事物之間是什么的相關(guān)關(guān)系。知道“是什么”是大數(shù)據(jù)從業(yè)人員急需的，知道“為什么”可容后讓科學(xué)家們?nèi)シ治?。?shù)據(jù)的處理面對(duì)數(shù)據(jù)紛繁雜亂的局面，要接受處理大數(shù)據(jù)無(wú)理論、無(wú)模型的理念與現(xiàn)實(shí)。不能避免數(shù)據(jù)紛繁多樣、優(yōu)劣共存的混雜性，要容忍模糊性和不精確性的處理方法。不建立新模型，沒有統(tǒng)一的理論和機(jī)械式的證明，科學(xué)也可以照樣進(jìn)步。151、大數(shù)據(jù)浪潮洶涌澎湃1.4變革思維研究大數(shù)據(jù)151、大數(shù)據(jù)浪潮洶涌澎湃1.5大數(shù)據(jù)的價(jià)值數(shù)據(jù)的用途數(shù)據(jù)的基本用途：數(shù)據(jù)的分析、處理和使用提供定量可信的科學(xué)依據(jù)。數(shù)據(jù)不限于特定用途：數(shù)據(jù)可以為同一目的而多次重復(fù)使用，它也可以用于不同目的。數(shù)據(jù)的潛在價(jià)值數(shù)據(jù)的再利用：對(duì)收集、處理和使用過的數(shù)據(jù)，存儲(chǔ)下來(lái)備以后再利用。數(shù)據(jù)的重組：對(duì)數(shù)據(jù)而言，將多個(gè)數(shù)據(jù)集進(jìn)行重組總和的價(jià)值比單個(gè)總和的價(jià)值更大。數(shù)據(jù)的可擴(kuò)展：將相同數(shù)據(jù)集設(shè)計(jì)成可擴(kuò)展的各種潛在的二次用途。數(shù)據(jù)的折舊：所收集的數(shù)據(jù)，做盡可能多的和盡可能長(zhǎng)的時(shí)間保存，以便再次用于相同或類似的用途。數(shù)據(jù)的開放：特別是“開放政府?dāng)?shù)據(jù)”，供全民使用，更廣泛地服務(wù)于社會(huì)。大數(shù)據(jù)的商業(yè)價(jià)值大數(shù)據(jù)掌控公司的發(fā)展：掌握大數(shù)據(jù)，多渠道獲取擁有大數(shù)據(jù)，巧妙地挖掘大數(shù)據(jù)的價(jià)值，使數(shù)據(jù)能優(yōu)化生產(chǎn)和服務(wù)，甚至催生新的行業(yè)，便會(huì)使公司大放異彩。大數(shù)據(jù)決定企業(yè)的競(jìng)爭(zhēng)力：大數(shù)據(jù)是企業(yè)的雙刃劍——因大數(shù)據(jù)誕生了很多公司，也倒閉破產(chǎn)了很多公司。在激烈的競(jìng)爭(zhēng)中，所有行業(yè)均存在著威脅、挑戰(zhàn)、轉(zhuǎn)型與機(jī)遇！161、大數(shù)據(jù)浪潮洶涌澎湃1.5大數(shù)據(jù)的價(jià)值161、大數(shù)據(jù)浪潮洶涌澎湃1.6大數(shù)據(jù)的管理隱私保護(hù)對(duì)大數(shù)據(jù)的使用進(jìn)行正規(guī)評(píng)測(cè)和正確引導(dǎo)，將隱私保護(hù)的責(zé)任從民眾轉(zhuǎn)移到數(shù)據(jù)使用者，讓他（她）們對(duì)自己的行為負(fù)責(zé)。設(shè)立數(shù)據(jù)隱私保護(hù)模式，將數(shù)據(jù)的使用權(quán)從收集數(shù)據(jù)進(jìn)行“個(gè)人許可”的擁有者轉(zhuǎn)移到承擔(dān)責(zé)任的數(shù)據(jù)使用者（他們是數(shù)據(jù)二級(jí)應(yīng)用的受益者）。公正評(píng)判在大數(shù)據(jù)時(shí)代，有了大數(shù)據(jù)我們可以預(yù)測(cè)人的行為，這很容易誘使我們依據(jù)預(yù)測(cè)行為進(jìn)行評(píng)判。在大數(shù)據(jù)時(shí)代，在利用“客觀”數(shù)據(jù)進(jìn)行預(yù)測(cè)評(píng)判時(shí)，要考慮個(gè)人動(dòng)因，而個(gè)人可以而且應(yīng)該為他們的實(shí)際行為而不是傾向負(fù)責(zé)。反對(duì)數(shù)據(jù)壟斷大亨我們應(yīng)借鑒當(dāng)年的鐵路和鋼鐵等強(qiáng)盜大亨，防止他們壟斷一切。反對(duì)數(shù)據(jù)壟斷大亨，就可以將大數(shù)據(jù)的不利影響得到控制，相應(yīng)的法律、法規(guī)支持不可缺少。反對(duì)對(duì)數(shù)據(jù)的執(zhí)迷和崇拜所形成的數(shù)據(jù)獨(dú)裁！171、大數(shù)據(jù)浪潮洶涌澎湃1.6大數(shù)據(jù)的管理171、大數(shù)據(jù)浪潮洶涌澎湃1.7大數(shù)據(jù)時(shí)代的產(chǎn)業(yè)界情況傳統(tǒng)IT巨頭（IBM、微軟、惠普、Oracle等）通過“硬件+軟件+數(shù)據(jù)”整合平臺(tái)，向用戶提供大數(shù)據(jù)完備的基礎(chǔ)設(shè)施和服務(wù)，實(shí)現(xiàn)“處理-存儲(chǔ)-網(wǎng)絡(luò)設(shè)備-軟件-應(yīng)用”，即所謂“大數(shù)據(jù)一體機(jī)”。通過并購(gòu)大數(shù)據(jù)分析企業(yè)，迅速增強(qiáng)大數(shù)據(jù)分析實(shí)力和擴(kuò)展市場(chǎng)份額。但依賴廠商自身原有技術(shù)優(yōu)勢(shì)和收購(gòu)整合不同公司，不能從根本上突破大數(shù)據(jù)發(fā)展的關(guān)鍵核心技術(shù)和實(shí)現(xiàn)對(duì)大數(shù)據(jù)各個(gè)領(lǐng)域的覆蓋。商務(wù)智能廠商（SAS，Teradata等）長(zhǎng)期專注行業(yè)（銀行、電信等）智能數(shù)據(jù)分析，技術(shù)實(shí)力強(qiáng)，產(chǎn)品線豐富，行業(yè)業(yè)務(wù)精。在大數(shù)據(jù)時(shí)代，這些廠商在原有結(jié)構(gòu)化數(shù)據(jù)處理的同時(shí)，開始加大在可擴(kuò)展計(jì)算、內(nèi)存計(jì)算、庫(kù)內(nèi)分析、實(shí)時(shí)流處理和非結(jié)構(gòu)化數(shù)據(jù)處理等方面的投入。這些廠商憑借在以往數(shù)據(jù)建模和分析方面的長(zhǎng)期積累，雖處于行業(yè)領(lǐng)導(dǎo)地位，但面臨大數(shù)據(jù)，它們的諸多產(chǎn)品性能仍跟不上大數(shù)據(jù)的需求?；ヂ?lián)網(wǎng)公司（Google、Facebook、阿里巴巴、百度、騰訊等）這些公司基于自身應(yīng)用平臺(tái)、龐大的用戶群、海量用戶信息以及互聯(lián)網(wǎng)處理平臺(tái)，可提供精確營(yíng)銷、個(gè)性化推介等商務(wù)活動(dòng)。在大數(shù)據(jù)時(shí)代，催生了大數(shù)據(jù)分布式處理軟件框架Hadoop：包括分布式文件系統(tǒng)HDFS，并行編程框架Map-Reduce，數(shù)據(jù)倉(cāng)庫(kù)工具Hive和大數(shù)據(jù)分析平臺(tái)Pig等。國(guó)內(nèi)阿里巴巴推出“淘寶指數(shù)”，用于商家指導(dǎo)生產(chǎn)、制定價(jià)格和控制庫(kù)存；百度從數(shù)據(jù)、工具和應(yīng)用三個(gè)層面規(guī)劃大數(shù)據(jù)時(shí)代的企業(yè)戰(zhàn)略；騰訊通過大數(shù)據(jù)挖掘社會(huì)網(wǎng)絡(luò)中的商業(yè)價(jià)值等。大數(shù)據(jù)的“春秋戰(zhàn)國(guó)”目前，世界上各企業(yè)產(chǎn)業(yè)界正處于群雄并行的“大數(shù)據(jù)春秋時(shí)期”。可以預(yù)計(jì)，今后的五至十年，大數(shù)據(jù)領(lǐng)域?qū)?huì)聚集成若干個(gè)核心企業(yè)、公司和典型應(yīng)用的“大數(shù)據(jù)戰(zhàn)國(guó)時(shí)代”。181、大數(shù)據(jù)浪潮洶涌澎湃1.7大數(shù)據(jù)時(shí)代的產(chǎn)業(yè)界情況182、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.1大數(shù)據(jù)對(duì)國(guó)家社會(huì)的作用增強(qiáng)國(guó)家安全通過海量數(shù)據(jù)挖掘出高價(jià)值的軍事情報(bào)。通過海量數(shù)據(jù)的分析迅速布置軍事行動(dòng)。通過海量數(shù)據(jù)處理實(shí)現(xiàn)軍事決策自動(dòng)化、精準(zhǔn)化和快速化。促進(jìn)政府開發(fā)數(shù)據(jù)開放：通過數(shù)據(jù)開放，可為政府決策提供真實(shí)數(shù)據(jù)。世界上不少國(guó)家已推出各自國(guó)家的公共數(shù)據(jù)庫(kù)開放網(wǎng)站，網(wǎng)站數(shù)據(jù)庫(kù)公布的數(shù)據(jù)不受私人或國(guó)家部門的限制?；跀?shù)據(jù)驅(qū)動(dòng)的政府決策：利用“基于實(shí)證的事實(shí)”可更加有效、更加開放、更加負(fù)責(zé)地引導(dǎo)政府前進(jìn)，而不是“意識(shí)形態(tài)”，也不是利益集團(tuán)對(duì)政府決策施加影響。使用大數(shù)據(jù)可以提升公共服務(wù)的透明度，通過數(shù)據(jù)模塊等形式，輔助公共服務(wù)部門更好地發(fā)現(xiàn)需求、提升績(jī)效、降低運(yùn)營(yíng)開支成本等。提高政策預(yù)見性和響應(yīng)性利用互聯(lián)網(wǎng)、社交網(wǎng)和手機(jī)信息等，對(duì)社會(huì)輿論、失業(yè)率、疾病爆發(fā)、天氣預(yù)報(bào)、股票走勢(shì)等，進(jìn)行：情緒分析趨勢(shì)預(yù)測(cè)分析早期預(yù)警192、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.1大數(shù)據(jù)對(duì)國(guó)家社會(huì)2、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.2大數(shù)據(jù)推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展人類社會(huì)的三次浪潮給人類社會(huì)帶來(lái)了巨大深刻的影響，極大地推動(dòng)了人類社會(huì)經(jīng)濟(jì)的發(fā)展農(nóng)業(yè)社會(huì)工業(yè)社會(huì)信息社會(huì)大數(shù)據(jù)是第三次浪潮的華彩樂章，在新一代信息技術(shù)發(fā)展中：物聯(lián)網(wǎng)：使成千上萬(wàn)的網(wǎng)絡(luò)傳感器嵌入到現(xiàn)實(shí)世界中。云計(jì)算：使物聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)提供了存儲(chǔ)空間和在線處理變得可能。大數(shù)據(jù)：則讓海量數(shù)據(jù)產(chǎn)生價(jià)值，使數(shù)據(jù)成為寶貴“資產(chǎn)”。大數(shù)據(jù)產(chǎn)生大價(jià)值大數(shù)據(jù)所催生的硬件、軟件及服務(wù)市場(chǎng)產(chǎn)生了巨大的價(jià)值。通過大數(shù)據(jù)推動(dòng)的相關(guān)行業(yè)（制造業(yè)、醫(yī)療業(yè)、零售業(yè)等）產(chǎn)生巨大的價(jià)值。202、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.2大數(shù)據(jù)推動(dòng)國(guó)民經(jīng)2、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.3大數(shù)據(jù)促進(jìn)科技發(fā)展科學(xué)發(fā)現(xiàn)的“第四范型”（TheFourthParadigm）2007年，圖靈獎(jiǎng)得主JimGray曾在美國(guó)國(guó)家科學(xué)研究會(huì)發(fā)表演講，指出：第一范型-實(shí)驗(yàn)科學(xué)：幾千年前憑經(jīng)驗(yàn)描述自然現(xiàn)象。第二范型-理論科學(xué)：過去幾百年靠理論分析（牛頓定律、麥克斯韋方程式等）研究自然規(guī)律。第三范型-計(jì)算科學(xué)：過去幾十年用計(jì)算機(jī)仿真模擬復(fù)雜現(xiàn)象。第四范型-數(shù)據(jù)密集型科學(xué)：基于大規(guī)模數(shù)據(jù)獲取、分析、處理的科學(xué)發(fā)現(xiàn)。大數(shù)據(jù)引領(lǐng)互聯(lián)網(wǎng)技術(shù)創(chuàng)新大數(shù)據(jù)的快速率：促使互聯(lián)網(wǎng)行業(yè)推出諸如流式處理、實(shí)時(shí)計(jì)算、內(nèi)存計(jì)算等技術(shù)。大數(shù)據(jù)的大容量：促使互聯(lián)網(wǎng)公司構(gòu)造分布式架構(gòu)，利用大量廉價(jià)的服務(wù)器與存儲(chǔ)器來(lái)應(yīng)付大數(shù)據(jù)集，并靈活進(jìn)行彈性部署。大數(shù)據(jù)的多樣性：促使互聯(lián)網(wǎng)公司采用非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)，不斷強(qiáng)化對(duì)日益增加的非結(jié)構(gòu)化數(shù)據(jù)的駕馭能力。212、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.3大數(shù)據(jù)促進(jìn)科技發(fā)2、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.4大數(shù)據(jù)應(yīng)用及實(shí)例應(yīng)用場(chǎng)合（UseCases）：政府運(yùn)作（國(guó)家檔案管理，人口普查，政府發(fā)布的信息…）國(guó)防安全（軍事情報(bào)，軍事決策，軍事行動(dòng)…）社會(huì)民生（社會(huì)網(wǎng)絡(luò)，淘寶網(wǎng)，支付寶…）健康醫(yī)療（疾病檔案，流行病傳播，遠(yuǎn)程醫(yī)療…）商業(yè)金融（商業(yè)新聞，投資風(fēng)險(xiǎn)，股票走勢(shì)…）地球海洋（地震預(yù)報(bào)，檢測(cè)冰川雪崩，風(fēng)暴潮海嘯預(yù)報(bào)…）能源環(huán)境（能源挖掘與利用，消耗與再生，能源與環(huán)境…）大科學(xué)工程（大型強(qiáng)子LHC，斯隆數(shù)字天空勘探，基因測(cè)序…）…大數(shù)據(jù)來(lái)源網(wǎng)絡(luò)服務(wù)器日志數(shù)據(jù)（WebServersLogs）互聯(lián)網(wǎng)點(diǎn)擊流數(shù)據(jù)（InternetClickstreamData）社會(huì)媒體發(fā)布（SocialMedialActivityReports）移動(dòng)呼叫記錄（Mobile-phoneCallRecords）傳感器或IOT設(shè)備捕獲信息（InformationCapturedbySensorsorIODDevices）大數(shù)據(jù)實(shí)例中國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心統(tǒng)計(jì)：淘寶網(wǎng)同時(shí)每天在線商品數(shù)已超過8億件，平均出售4.8萬(wàn)件/分鐘。Facebook網(wǎng)站上每天的評(píng)論達(dá)32億條，新上傳照片3億張/天。Youtube每天頁(yè)面瀏覽數(shù)達(dá)20億次，上傳15萬(wàn)部電影/周；上傳83萬(wàn)部視頻/天。新浪微博注冊(cè)用戶超過3億，用戶發(fā)布超過1億條微博/天。大數(shù)據(jù)有多大？2011年時(shí)，全球數(shù)據(jù)規(guī)模約1.8ZB（Z=1021），可以填滿575個(gè)32GB的ipad，它們?nèi)绻?dāng)磚頭使用，可以修建2座中國(guó)長(zhǎng)城。到2020年，全求數(shù)據(jù)規(guī)模將達(dá)40ZB，可以修建45座中國(guó)長(zhǎng)城。222、大數(shù)據(jù)引領(lǐng)社會(huì)、經(jīng)濟(jì)和科技的發(fā)展2.4大數(shù)據(jù)應(yīng)用及實(shí)例3、大數(shù)據(jù)處理流程3.1大數(shù)據(jù)的采集與預(yù)處理網(wǎng)絡(luò)采集的大數(shù)據(jù)互聯(lián)網(wǎng)上系統(tǒng)日志信息的采集?；ヂ?lián)網(wǎng)上非結(jié)構(gòu)化數(shù)據(jù)的采集。采集數(shù)據(jù)的觀測(cè)設(shè)備傳感器：無(wú)線傳感器、移動(dòng)傳感器、空間傳感器。射頻識(shí)讀器（RFID）。攝像機(jī)、照相機(jī)等。采集數(shù)據(jù)的ETL預(yù)處理技術(shù)數(shù)據(jù)提取（Extraction）：通過接口設(shè)備從分布的、異構(gòu)的數(shù)據(jù)源中提取數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換（Transformation）：將提取的數(shù)據(jù)轉(zhuǎn)換成業(yè)務(wù)需要的目標(biāo)數(shù)據(jù)結(jié)構(gòu)并實(shí)現(xiàn)匯總。數(shù)據(jù)加載（Loading）：將轉(zhuǎn)換和匯總后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫(kù)或相應(yīng)的文件存儲(chǔ)系統(tǒng)中。233、大數(shù)據(jù)處理流程3.1大數(shù)據(jù)的采集與預(yù)處理233、大數(shù)據(jù)處理流程3.2大數(shù)據(jù)的傳輸(1)加速海量數(shù)據(jù)近實(shí)時(shí)傳輸（near-realtimedelivery）的關(guān)鍵在于研發(fā)超高速的交換與傳輸設(shè)備。傳輸介質(zhì)寬帶接入銅退光進(jìn)：光纖以石英材質(zhì)為主，具有綠色和寬帶的優(yōu)勢(shì)，可進(jìn)一步提升大數(shù)據(jù)傳輸所需要的帶寬。有線與無(wú)線結(jié)合：無(wú)線可為基站和終端間構(gòu)筑泛在網(wǎng)絡(luò)；有線光纖可為基站和城域間提供高效傳輸平臺(tái)。傳輸設(shè)備光電結(jié)合：電子屬于費(fèi)米子，電處理在邏輯和緩存等功能上具有優(yōu)勢(shì)；光子屬于玻色子，光處理在高速并行傳輸和交叉上具有優(yōu)勢(shì)，所以兩者結(jié)合有可能應(yīng)對(duì)大容量節(jié)點(diǎn)交換的需求。傳輸與交換相結(jié)合：使用光聯(lián)網(wǎng)可將單純的傳輸功能集成到節(jié)點(diǎn)設(shè)備中去，利于網(wǎng)絡(luò)規(guī)劃和運(yùn)維。傳輸協(xié)議多復(fù)用方式：使用光纖接入可從時(shí)分發(fā)展到時(shí)分、波分和頻發(fā)等多復(fù)用方式。電路與分組相結(jié)合：前者利于大粒度數(shù)據(jù)流；后者利于小粒度數(shù)據(jù)流，兩者結(jié)合大大有利于減少功耗和成本。243、大數(shù)據(jù)處理流程3.2大數(shù)據(jù)的傳輸243、大數(shù)據(jù)處理流程(2)數(shù)據(jù)增長(zhǎng)速度超過通信能力的增長(zhǎng)，單純依賴物理層技術(shù)的提升無(wú)法滿足大數(shù)據(jù)的需求。物理層：超大規(guī)模集成電路、高速路由器/交換機(jī)、全光網(wǎng)絡(luò)、4G/5G…等等面臨著物理極限。網(wǎng)絡(luò)結(jié)構(gòu)與核心協(xié)議：30多年基本沒有太大的變化——IP設(shè)計(jì)的初始理念是用戶少、設(shè)備貴、流量小、應(yīng)用簡(jiǎn)單，確立了簡(jiǎn)單清晰的網(wǎng)絡(luò)結(jié)構(gòu)；當(dāng)物聯(lián)網(wǎng)和社交網(wǎng)的出現(xiàn)和發(fā)展，迫使IP網(wǎng)絡(luò)架構(gòu)不斷“打補(bǔ)丁”，結(jié)果弄得“雜亂臃腫”。存在的問題：不能充分利用帶寬而效率低；難以有效支持多徑路由而不靈活；無(wú)法進(jìn)行統(tǒng)一的流量管理。253、大數(shù)據(jù)處理流程(2)數(shù)據(jù)增長(zhǎng)速度超過通信能力的增長(zhǎng)，單3、大數(shù)據(jù)處理流程(3)軟件定義網(wǎng)絡(luò)（SoftwareDefinedNetwork，SDN，由斯坦福大學(xué)提出）是解決大數(shù)據(jù)傳輸?shù)挠行Х椒?。SDN的核心思想：其核心技術(shù)OpenFlow將網(wǎng)絡(luò)設(shè)備控制面（ControlPlane）與數(shù)據(jù)傳輸面（ForwardingandDataPlane）分離開來(lái)?？刂泼妫簺Q定網(wǎng)絡(luò)設(shè)備中路由表的內(nèi)容，即路由算法。數(shù)據(jù)面：決定網(wǎng)絡(luò)設(shè)備如何對(duì)數(shù)據(jù)包進(jìn)行轉(zhuǎn)發(fā)，即轉(zhuǎn)發(fā)表本身。SDN的意義：可實(shí)現(xiàn)網(wǎng)絡(luò)流量的靈活控制——路由算法可以運(yùn)行在與網(wǎng)絡(luò)設(shè)備獨(dú)立的節(jié)點(diǎn)上（SDN控制器），以實(shí)現(xiàn)集中式路由算法控制。SDN的優(yōu)點(diǎn)：可有效利用空閑帶寬，提高帶寬利用率；可靈活利用多條路徑進(jìn)行數(shù)據(jù)傳輸；易于對(duì)數(shù)據(jù)傳輸進(jìn)行有效管理。SDN的問題：集中式的SDN控制器存在單節(jié)點(diǎn)失效問題和網(wǎng)絡(luò)可擴(kuò)展性問題；SDN包含多個(gè)物理和邏輯層面，含有大量的異構(gòu)設(shè)備和協(xié)議，管理很復(fù)雜；這種全新的架構(gòu)在基礎(chǔ)理論、網(wǎng)絡(luò)協(xié)議、路由算法、網(wǎng)絡(luò)安全等方面有大量亟待解決的問題。263、大數(shù)據(jù)處理流程(3)軟件定義網(wǎng)絡(luò)（SoftwareD3、大數(shù)據(jù)處理流程3.3大數(shù)據(jù)的存儲(chǔ)新型存儲(chǔ)技術(shù)要研發(fā)高密度、低功耗、速度快、非易失的新型存儲(chǔ)器件，要研究固態(tài)存儲(chǔ)陣列和大容量混合存儲(chǔ)技術(shù)，要研究高性能、大容量、低延遲、高可靠的I/O存儲(chǔ)技術(shù)。新型存儲(chǔ)結(jié)構(gòu)直接連接存儲(chǔ)（DAS，Direct-AttachedStorage）結(jié)構(gòu)：通過總線適配器將硬盤等存儲(chǔ)介質(zhì)直接連到主機(jī)上。大數(shù)據(jù)從業(yè)人員不喜歡慢速昂貴的共享的外存，而希望不同形式的，包括固態(tài)硬盤（SSD，SolidStateDisk）、埋置在并行處理節(jié)點(diǎn)內(nèi)的高容量SATA（SerialAdvancedTechnologyAttachment）磁盤等。智能化分布存儲(chǔ)結(jié)構(gòu)：大數(shù)據(jù)不可能集中存儲(chǔ)，要構(gòu)建智能化的分布式存儲(chǔ)結(jié)構(gòu)。改變傳統(tǒng)“啞存儲(chǔ)設(shè)備”的觀點(diǎn)，可將部分公共數(shù)據(jù)處理和管理任務(wù)下移至存儲(chǔ)設(shè)備，達(dá)到數(shù)據(jù)就地、就近處理，充分利用存儲(chǔ)設(shè)備的處理能力，減輕網(wǎng)絡(luò)傳輸?shù)膲毫Α?73、大數(shù)據(jù)處理流程3.3大數(shù)據(jù)的存儲(chǔ)273、大數(shù)據(jù)處理流程新型存儲(chǔ)級(jí)內(nèi)存（SCM，StorageClassMemory）：它是將SCM設(shè)計(jì)成整個(gè)存儲(chǔ)系統(tǒng)的一部分，而非作為虛擬內(nèi)存交換區(qū)域和外存補(bǔ)充，使得計(jì)算不僅僅存在傳統(tǒng)的內(nèi)存Memory上，同時(shí)也在SCM存儲(chǔ)設(shè)備上。大數(shù)據(jù)分布、容錯(cuò)、列存儲(chǔ)通過分布式實(shí)時(shí)列存儲(chǔ)可對(duì)數(shù)據(jù)統(tǒng)一進(jìn)行結(jié)構(gòu)化存儲(chǔ)管理，避免了傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式的關(guān)聯(lián)查詢。分布式存儲(chǔ)主從控制模式：主節(jié)點(diǎn)存元數(shù)據(jù)，且負(fù)責(zé)接收請(qǐng)求并應(yīng)答；從節(jié)點(diǎn)負(fù)責(zé)存數(shù)據(jù)。冗余存儲(chǔ)：為可靠起見，文件塊被復(fù)制到三個(gè)不同的存儲(chǔ)位置。用列存儲(chǔ)代替行存儲(chǔ)：將記錄按行排序、按列存儲(chǔ)，將相同字段數(shù)據(jù)作為一個(gè)列族而聚合存儲(chǔ)之。去重和壓縮：研究表明，應(yīng)用數(shù)據(jù)近75%是副本，原本只占25%，降低副本是提高存儲(chǔ)效率的首要因素。283、大數(shù)據(jù)處理流程新型存儲(chǔ)級(jí)內(nèi)存（SCM，StorageC3、大數(shù)據(jù)處理流程3.4大數(shù)據(jù)的處理大數(shù)據(jù)的管理在線事務(wù)處理OLTP（OnLineTransactionProcessing）數(shù)據(jù)加載：將多個(gè)OLTP系統(tǒng)通過ETL工具將其中的數(shù)據(jù)導(dǎo)入到一個(gè)或多個(gè)數(shù)據(jù)倉(cāng)庫(kù)中，以滿足高吞吐量和實(shí)時(shí)分析的需求。并發(fā)查詢：NoSQL是對(duì)不同于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)的總稱，它不使用SQL作為查詢語(yǔ)言（SQL是結(jié)構(gòu)化的查詢語(yǔ)言，它接收記錄條目<Records>集作為輸入，輸出也是條目集）。區(qū)別于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的按行存儲(chǔ)，NoSQL支持列存數(shù)據(jù)庫(kù)按列存儲(chǔ)。在線分析處理OLAP（OnLineAnalysisProcessing）大規(guī)模并行數(shù)據(jù)庫(kù)：是無(wú)共享數(shù)據(jù)庫(kù)，可以有效提高查詢效率和平臺(tái)的可擴(kuò)展性，主要用在數(shù)據(jù)倉(cāng)庫(kù)和大規(guī)模分析處理應(yīng)用中。分布式大規(guī)模批處理（MapReduce）：它是一個(gè)支持非結(jié)構(gòu)化大數(shù)據(jù)分析的分布式編程模型。MR來(lái)源于函數(shù)式編程語(yǔ)言LISP中兩個(gè)高階函數(shù)Map和Reduce。Map被用來(lái)遍歷輸入數(shù)據(jù)，并進(jìn)行劃分，再以Key/Value對(duì)方式輸出中間結(jié)果；然后這些中間結(jié)果按Key的取值聚集到Reducer上執(zhí)行Reduce操作，產(chǎn)生最終計(jì)算結(jié)果。293、大數(shù)據(jù)處理流程3.4大數(shù)據(jù)的處理293、大數(shù)據(jù)處理流程大數(shù)據(jù)的挖掘定義：從大量、隨機(jī)的、不完整的、有噪聲的、模糊的數(shù)據(jù)中，提取隱含的事先不知道的，但有潛在應(yīng)用價(jià)值的信息和知識(shí)的過程。數(shù)據(jù)挖掘的一般步驟：數(shù)據(jù)篩選：從目標(biāo)數(shù)據(jù)中提取與分析相關(guān)的數(shù)據(jù)。數(shù)據(jù)預(yù)處理：清除目標(biāo)數(shù)據(jù)中的噪聲或不一致的數(shù)據(jù)。數(shù)據(jù)變換：將已預(yù)處理的數(shù)據(jù)統(tǒng)一成適合挖掘的格式。數(shù)據(jù)挖掘：從變換后的數(shù)據(jù)中，使用智能方法提取數(shù)據(jù)模式。評(píng)估與展現(xiàn)：識(shí)別真正有用的模式并進(jìn)行可視化展現(xiàn)。大數(shù)據(jù)挖掘的幾個(gè)階段：數(shù)據(jù)預(yù)處理階段：包括數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)提取，數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換等。數(shù)據(jù)挖掘階段：包括確定挖掘目標(biāo)，選擇合適的挖掘算法，從數(shù)據(jù)庫(kù)中提取用戶感興趣的知識(shí)。數(shù)據(jù)評(píng)估與展示階段：包括對(duì)發(fā)現(xiàn)的模式（知識(shí)）評(píng)估，向用戶呈現(xiàn)所挖掘的知識(shí)等。新型挖掘技術(shù)：大數(shù)據(jù)的異構(gòu)性、非確定性、關(guān)聯(lián)性、結(jié)構(gòu)不一致性、稀疏泛分布性、數(shù)據(jù)流動(dòng)性、動(dòng)態(tài)變化性等復(fù)雜因素需要研究諸如迭代性和探索性分析等新型數(shù)據(jù)挖掘技術(shù)。例如，Hive是在Hadoop之上的，管理和查詢結(jié)構(gòu)化數(shù)據(jù)，可完成PB級(jí)數(shù)據(jù)的挖掘。303、大數(shù)據(jù)處理流程大數(shù)據(jù)的挖掘303、大數(shù)據(jù)處理流程大數(shù)據(jù)的分析大數(shù)據(jù)的描述分析關(guān)聯(lián)分析（AssociationAnalysis）：是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式（關(guān)聯(lián)規(guī)則），其形式表達(dá)為X=>

Y，即“數(shù)據(jù)庫(kù)中滿足條件的X的記錄多半也滿足條件Y”。聚類分析（ClusteringAnalysis）：是將數(shù)據(jù)對(duì)象劃分成多個(gè)類或簇，使之同簇中對(duì)象有較高的相似度。離群點(diǎn)分析（OutlierAnalysis）：分析數(shù)據(jù)集合中那些與絕大多數(shù)數(shù)據(jù)特性或模型不一致的數(shù)據(jù)對(duì)象（稱之為離群點(diǎn)，Outlier）。演化分析（EvolutionAnalysis）：其目的是挖掘隨時(shí)間變化的數(shù)據(jù)對(duì)象的變化規(guī)律和趨勢(shì)，并對(duì)其建模。大數(shù)據(jù)的實(shí)時(shí)分析庫(kù)內(nèi)分析：數(shù)據(jù)分析在數(shù)據(jù)庫(kù)內(nèi)可以即時(shí)完成，這樣既節(jié)省時(shí)間又提高了安全性。內(nèi)存計(jì)算：在服務(wù)器的主存中處理分析數(shù)據(jù)。流處理：實(shí)時(shí)處理新數(shù)據(jù)和更新數(shù)據(jù)庫(kù)。連續(xù)計(jì)算：對(duì)數(shù)據(jù)進(jìn)行連續(xù)查詢、邊計(jì)算邊以流的形式輸出之。集成多種學(xué)習(xí)算法：包括人工智能有關(guān)的機(jī)器學(xué)習(xí)算法、A/BTest法、分類/聚類算法、學(xué)習(xí)與演化算法、識(shí)別和預(yù)測(cè)算法、監(jiān)督與非監(jiān)督學(xué)習(xí)算法等。313、大數(shù)據(jù)處理流程大數(shù)據(jù)的分析313、大數(shù)據(jù)處理流程(4)大數(shù)據(jù)信息處理平臺(tái)高通量計(jì)算結(jié)構(gòu)：改變傳統(tǒng)的以計(jì)算為中心的高性能（HP，HighPerformance）計(jì)算結(jié)構(gòu)為以數(shù)據(jù)為中心的高通量（HT，HighThroughput）計(jì)算結(jié)構(gòu)。高通量計(jì)算結(jié)構(gòu)特別適合于來(lái)自Web服務(wù)的大量面向網(wǎng)絡(luò)的日志（Log）信息的處理。端云協(xié)同計(jì)算系統(tǒng)：該系統(tǒng)在終端低層硬件上集成多種異構(gòu)并行的計(jì)算設(shè)施，將其與虛擬化的云計(jì)算網(wǎng)絡(luò)構(gòu)成端云協(xié)同的大數(shù)據(jù)信息處理計(jì)算平臺(tái)。高性能云計(jì)算（HighPerformanceCloudComputing）數(shù)據(jù)中心基礎(chǔ)設(shè)施：普及型高性能計(jì)算機(jī)（PHPC，PopularHighPerformanceComputing）可以應(yīng)對(duì)大數(shù)據(jù)應(yīng)用中數(shù)據(jù)量大（Volume）和處理速度要求高（Velocity）等方面的挑戰(zhàn)。323、大數(shù)據(jù)處理流程(4)大數(shù)據(jù)信息處理平臺(tái)323、大數(shù)據(jù)處理流程大數(shù)據(jù)分布式處理軟件架構(gòu)：HadoopHadoop的優(yōu)點(diǎn)：它是一種能處理PB級(jí)數(shù)據(jù)應(yīng)用程序的分布式計(jì)算平臺(tái)，其優(yōu)點(diǎn)是：高可靠性：能自動(dòng)保存多個(gè)副本的存儲(chǔ)數(shù)據(jù)，可自動(dòng)將失敗的任務(wù)重新分配處理。高可擴(kuò)展性：Hadoop可在機(jī)群間分配數(shù)據(jù)和完成計(jì)算，機(jī)群可以方便地?cái)U(kuò)展數(shù)以千計(jì)的節(jié)點(diǎn)。高效性：Hadoop可在節(jié)點(diǎn)間移動(dòng)數(shù)據(jù)，保證負(fù)載動(dòng)態(tài)平衡，以實(shí)現(xiàn)快速高效處理。Hadoop的組成：Hadoop的組成元素如下：分布式文件系統(tǒng)HDFS：其架構(gòu)由一個(gè)Namenode節(jié)點(diǎn)（提供元數(shù)據(jù)服務(wù)）和多個(gè)Datanode節(jié)點(diǎn)（為HDFS提供存儲(chǔ)塊）組成的Master-Slave架構(gòu)，Datanode在在Namenode的調(diào)度下進(jìn)行數(shù)據(jù)的創(chuàng)建、刪除和復(fù)制。HDFS內(nèi)部通信基于標(biāo)準(zhǔn)的TCP/IP協(xié)議。MapReduce并行編程框架：其中Map把輸入分解成Key/Value對(duì)；Reduce把Key/Value合并成最終的輸出，而對(duì)Key/Value的操作是可以并行完成的。數(shù)據(jù)倉(cāng)庫(kù)工具Hive：它提供了一系列工具用來(lái)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換、加載（ETL）；定義了類SQL的HQL查詢語(yǔ)言，供用戶查詢數(shù)據(jù)；提供通過Web瀏覽器WUI用戶接口來(lái)訪問Hive。Hive將元數(shù)據(jù)（包括表名、表列、分區(qū)屬性等）存儲(chǔ)在數(shù)據(jù)庫(kù)中，可用HQL進(jìn)行查詢等。大數(shù)據(jù)分析平臺(tái)Pig：提供類SQL的PigLatin語(yǔ)言，將請(qǐng)求轉(zhuǎn)換成一系列優(yōu)化后的MapReduce運(yùn)算；Pig為海量數(shù)據(jù)并行計(jì)算提供簡(jiǎn)單的編程接口，用戶可通過Python或者Javascript編寫Java程序。333、大數(shù)據(jù)處理流程大數(shù)據(jù)分布式處理軟件架構(gòu)：Hadoop333、大數(shù)據(jù)處理流程大數(shù)據(jù)工具軟件：Ysmart&RCFileYSmart(YetanotherSql-to-MApReduceTranslator)：SQL-to-MapReduce高效翻譯器將用類SQL說(shuō)明性語(yǔ)言描述的某一“運(yùn)算”（Operation）翻譯成MapReduce的“作業(yè)”（Job）的步驟：識(shí)別“運(yùn)算”的主句（如Join）；主句中的每一“運(yùn)算”生成相應(yīng)MR的“作業(yè)”（如joinop→joinMRjob）；將諸如選擇、投影等其他運(yùn)算加入相應(yīng)的MR作業(yè)中。為了提高SQL-to-MR翻譯的性能，對(duì)于一個(gè)SQL-like的提問，首先要轉(zhuǎn)換成原語(yǔ)MR作業(yè)；其次進(jìn)行相關(guān)性識(shí)別；再歸并相關(guān)的MR作業(yè)；最后Ysmart被集成到數(shù)據(jù)倉(cāng)庫(kù)Hive中。RCFile(RecordColumnarFile)：高效數(shù)據(jù)存放結(jié)構(gòu)RCFile是Facebook公司數(shù)據(jù)分析系統(tǒng)中的標(biāo)準(zhǔn)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，該結(jié)構(gòu)集行存儲(chǔ)和列存儲(chǔ)的優(yōu)點(diǎn)為一體，在MR環(huán)境下的大數(shù)據(jù)分析中扮演重要角色。在Hadoop系統(tǒng)中，常用文件存儲(chǔ)格式有：支持文本的TextFile和支持二進(jìn)制的SequenceFile，它們都是按行存儲(chǔ)的；Facebook工程師們將來(lái)自Web服務(wù)器的大量日志（Log）數(shù)據(jù)經(jīng)由數(shù)據(jù)加載器，按列存儲(chǔ)的方式存入數(shù)據(jù)倉(cāng)庫(kù)中。343、大數(shù)據(jù)處理流程大數(shù)據(jù)工具軟件：Ysmart&RCFi3、大數(shù)據(jù)處理流程HDFS塊內(nèi)RCFile方式的存儲(chǔ)示例：首先將關(guān)系表劃分成若干個(gè)行組（RowGroup）；在一個(gè)行組內(nèi)，將原關(guān)系表中的數(shù)據(jù)按逐列存放之。如此可確保同一行的數(shù)據(jù)位于同一節(jié)點(diǎn)；同時(shí)與傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)相比，RCFile能更有效地滿足基于MR的數(shù)據(jù)倉(cāng)庫(kù)的快速加載、加速處理提問、高效利用存儲(chǔ)空間等需求。353、大數(shù)據(jù)處理流程HDFS塊內(nèi)RCFile方式的存儲(chǔ)示例：33、大數(shù)據(jù)處理流程3.5大數(shù)據(jù)的展現(xiàn)數(shù)據(jù)可視化的定義：將數(shù)據(jù)處理的結(jié)果（圖片、表格、映射關(guān)系等）以簡(jiǎn)單、友好、易用的圖形化、智能化、可視化形式呈現(xiàn)給用戶。數(shù)據(jù)可視化模式時(shí)間趨勢(shì)的可視化離散型數(shù)據(jù)可視化：常見的有柱狀圖及其變形。連續(xù)型數(shù)據(jù)可視化：常見的有線型圖（LineChart）或時(shí)間線型圖（TimeLineChart），在小間隔時(shí)間步和大數(shù)據(jù)范圍內(nèi)畫出擬合曲線展示連續(xù)變化趨勢(shì)。利用線性回歸方程的最小平方函數(shù)來(lái)描繪自變量和因變量之間的關(guān)系曲線函數(shù)?？臻g趨勢(shì)的可視化點(diǎn)數(shù)據(jù)可視化：根據(jù)地理元素特性、特點(diǎn)和地圖有機(jī)結(jié)合起來(lái)，再使用Delaunay三角剖分算法將相近的點(diǎn)用不重復(fù)的三角形連接在一起。區(qū)域數(shù)據(jù)可視化：根據(jù)數(shù)據(jù)的特性（例如高、中、低等），對(duì)不同的區(qū)域進(jìn)行著色，可直觀地體現(xiàn)出區(qū)域數(shù)據(jù)的不同。363、大數(shù)據(jù)處理流程3.5大數(shù)據(jù)的展現(xiàn)363、大數(shù)據(jù)處理流程數(shù)據(jù)可視化工具簡(jiǎn)單型：常見的有Microsoft

Excel、AppleiWorkNumbers、GoogleSpreadsheets等。編程型：常見的有Flash/ActionScript、Processing、R和D3.js等。大數(shù)據(jù)的處理及可視化技術(shù)小結(jié)使用分布式文件系統(tǒng)（例如HDFS）存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)。使用Hadoop的MR框架處理海量非結(jié)構(gòu)化數(shù)據(jù)；將結(jié)果存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。將結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，經(jīng)ETL存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。使用機(jī)群或分布式架構(gòu)對(duì)大數(shù)據(jù)進(jìn)行分析、處理和生成可視化結(jié)果。對(duì)于實(shí)時(shí)性要求較高的數(shù)據(jù)分析，可采用流處理方式，在數(shù)據(jù)存儲(chǔ)之前就完成分析并生成可視化結(jié)果。373、大數(shù)據(jù)處理流程數(shù)據(jù)可視化工具374、大數(shù)據(jù)與物聯(lián)網(wǎng)4.1物聯(lián)網(wǎng)物聯(lián)網(wǎng)定義、特征與技術(shù)基礎(chǔ)物聯(lián)網(wǎng)（InternetofThings,IOT）定義：通過裝置在物體上的各種信息傳感設(shè)備（如RFID、紅外傳感器、GPS、激光掃描器等等）賦予物體智能，并通過接口與互聯(lián)網(wǎng)相連而形成的一個(gè)物品與物品相連的巨大分布式協(xié)同網(wǎng)絡(luò)。物聯(lián)網(wǎng)三大特征：它具有普通對(duì)象設(shè)備化，自治終端互聯(lián)化和普適服務(wù)智能化三個(gè)重要特征。物聯(lián)網(wǎng)技術(shù)基礎(chǔ)物聯(lián)網(wǎng)的發(fā)展得益于傳感器和射頻識(shí)讀（RFID）技術(shù)：當(dāng)物品附以傳感器或標(biāo)以RFID后，人們便可主動(dòng)獲取、處理和控制數(shù)據(jù)。物聯(lián)網(wǎng)的核心網(wǎng)絡(luò)是互聯(lián)網(wǎng)和電信網(wǎng)；物聯(lián)網(wǎng)與互聯(lián)網(wǎng)、移動(dòng)通信網(wǎng)、無(wú)線傳感器等有密切的關(guān)系。物聯(lián)網(wǎng)本身具有智能得益于網(wǎng)絡(luò)終端設(shè)備從“機(jī)”到“物”，這些物品賦予了終端設(shè)備的智能。物聯(lián)網(wǎng)的四層體系結(jié)構(gòu)模型感知識(shí)別層：包含智能設(shè)備，GPS，RFID，傳感器等。網(wǎng)絡(luò)構(gòu)建層：包括無(wú)線個(gè)域網(wǎng)、局域網(wǎng)、城域網(wǎng)、廣域網(wǎng)，Internet互聯(lián)網(wǎng)，移動(dòng)通信網(wǎng)等。管理服務(wù)層：包括數(shù)據(jù)中心，搜索引擎，數(shù)據(jù)挖掘，智能決策，信息安全等。綜合應(yīng)用層：諸如智能物流，智能交通，精細(xì)農(nóng)業(yè)，安全環(huán)保，醫(yī)療保健等。384、大數(shù)據(jù)與物聯(lián)網(wǎng)4.1物聯(lián)網(wǎng)384、大數(shù)據(jù)與物聯(lián)網(wǎng)4.2物聯(lián)網(wǎng)的發(fā)展歷程互聯(lián)網(wǎng)及其應(yīng)用擴(kuò)展互聯(lián)網(wǎng)的誕生、成長(zhǎng)和發(fā)展互聯(lián)網(wǎng)誕生于20世紀(jì)60年代末和70年代初，最初是一個(gè)ARPANET?；ヂ?lián)網(wǎng)于20世紀(jì)90年代發(fā)展成為公眾互聯(lián)網(wǎng)。到了21世紀(jì)初發(fā)展為全球互聯(lián)網(wǎng)。互聯(lián)網(wǎng)的應(yīng)用擴(kuò)展：早期以傳輸文件、電子郵件應(yīng)用為主的“計(jì)算機(jī)與計(jì)算機(jī)”互聯(lián)。近期以萬(wàn)維網(wǎng)、電子商務(wù)、視頻點(diǎn)播、在線游戲和社交網(wǎng)等應(yīng)用的“人與人”交互?，F(xiàn)代以物品跟蹤、環(huán)境感知、自動(dòng)識(shí)別、智能信息管理等應(yīng)用的“物與物”相聯(lián)。無(wú)線寬帶網(wǎng)使物聯(lián)網(wǎng)消除了接入設(shè)備位置限制無(wú)線寬帶消除接入設(shè)備位置限制，節(jié)省傳輸介質(zhì)和成本，覆蓋范圍廣闊，傳輸速度快，獲取信息方便等無(wú)線寬帶技術(shù)（無(wú)線局域網(wǎng)WiFi，無(wú)線城域網(wǎng)WiMAX等）勢(shì)必在物聯(lián)網(wǎng)時(shí)代扮演重要角色。394、大數(shù)據(jù)與物聯(lián)網(wǎng)4.2物聯(lián)網(wǎng)的發(fā)展歷程394、大數(shù)據(jù)與物聯(lián)網(wǎng)移動(dòng)通信網(wǎng)使物聯(lián)網(wǎng)實(shí)現(xiàn)了無(wú)所不在的感知一個(gè)完整的物聯(lián)網(wǎng)系統(tǒng)是由前（終）端信息生成、中間傳輸網(wǎng)絡(luò)和后端應(yīng)用平臺(tái)所組成。如果將信息終端（如RFID等）都局限在固定網(wǎng)絡(luò)中，則無(wú)法實(shí)現(xiàn)無(wú)所不在的感知識(shí)別，要采用第三代移動(dòng)通信網(wǎng)絡(luò)（3G），實(shí)現(xiàn)“全面、隨時(shí)、隨地”傳輸信息。低速網(wǎng)絡(luò)協(xié)議更適合于物聯(lián)網(wǎng)場(chǎng)景在物聯(lián)網(wǎng)中，網(wǎng)絡(luò)中的設(shè)備不可能像互聯(lián)網(wǎng)中的個(gè)人計(jì)算機(jī)、PDA等那樣通過路由器、交換機(jī)等級(jí)聯(lián)起來(lái)使用了高速網(wǎng)絡(luò)協(xié)議；而要采用適應(yīng)于物聯(lián)網(wǎng)中那些計(jì)算能力較低、速度較慢、通信半徑較小和能量消耗低的傳感器設(shè)備的低速網(wǎng)絡(luò)協(xié)議（如藍(lán)牙、紅外等）。404、大數(shù)據(jù)與物聯(lián)網(wǎng)移動(dòng)通信網(wǎng)使物聯(lián)網(wǎng)實(shí)現(xiàn)了無(wú)所不在的感知404、大數(shù)據(jù)與物聯(lián)網(wǎng)4.3大數(shù)據(jù)與物聯(lián)網(wǎng)物聯(lián)網(wǎng)釀成了大數(shù)據(jù)各種傳感器（移動(dòng)的、無(wú)線的、空間的等）采集了大量的數(shù)據(jù)。各種觀測(cè)設(shè)備（射頻識(shí)讀器、攝像機(jī)和照相機(jī)等）捕獲了大量的數(shù)據(jù)。物聯(lián)網(wǎng)感知識(shí)別數(shù)據(jù)的設(shè)備自動(dòng)產(chǎn)生數(shù)據(jù)的感知設(shè)備射頻識(shí)別技術(shù)（RFID）：RFID系統(tǒng)一般由閱讀器（即封裝在一起的接收器、傳送器和微處理器）、天線（用于傳遞標(biāo)簽和閱讀器之間的射頻信號(hào)）和標(biāo)簽（其原理和條形碼相似，內(nèi)部存有唯一的編碼，附著在物體上，用來(lái)標(biāo)識(shí)目標(biāo)對(duì)象）三部分組成。無(wú)線傳感器：包括傳感器（光傳感器、溫度傳感器、二氧化碳傳感器等）、微處理器（片內(nèi)集成了內(nèi)存、閃存、A/D轉(zhuǎn)換器、數(shù)字I/O等）和無(wú)線通信芯片（如常用的符合IEEE802.15物理層協(xié)議規(guī)范的低功耗通信芯片）以及供能裝置電池。人工生成數(shù)據(jù)的聯(lián)網(wǎng)電子產(chǎn)品智能信息設(shè)備：包括傳統(tǒng)智能設(shè)備（如個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理PDA等）和新一代智能設(shè)備（如車載設(shè)備、數(shù)字標(biāo)牌、醫(yī)療設(shè)備、智能電視、智能手機(jī)等）。定位系統(tǒng)：包括GPS、蜂窩基站定位、無(wú)線室內(nèi)環(huán)境定位和一些諸如A-GPS（輔助GPS）和無(wú)線AP（無(wú)線接入點(diǎn)）等新興定位系統(tǒng)。大數(shù)據(jù)技術(shù)使物聯(lián)網(wǎng)采集的數(shù)據(jù)產(chǎn)生了價(jià)值物聯(lián)網(wǎng)使成千上萬(wàn)的傳感器嵌入到了現(xiàn)實(shí)世界中。物聯(lián)網(wǎng)采集的數(shù)據(jù)通過存儲(chǔ)處理后，使得海量的大數(shù)據(jù)產(chǎn)生了價(jià)值，使數(shù)據(jù)變成了“資產(chǎn)”。414、大數(shù)據(jù)與物聯(lián)網(wǎng)4.3大數(shù)據(jù)與物聯(lián)網(wǎng)415、大數(shù)據(jù)與云計(jì)算5.1什么是云計(jì)算基本概念云計(jì)算模式：用戶終端通過互聯(lián)網(wǎng)向“云”提出服務(wù)請(qǐng)求；“云”收到服務(wù)請(qǐng)求后，組織計(jì)算資源和存儲(chǔ)資源，對(duì)請(qǐng)求進(jìn)行處理；然后將處理的結(jié)果通過網(wǎng)絡(luò)返回給用戶。云計(jì)算的定義：云計(jì)算是提供便捷的、通過互聯(lián)網(wǎng)訪問一個(gè)可定制的、能夠快速部署的IT資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用服務(wù)等）共享池能力的、按使用量付費(fèi)的計(jì)算服務(wù)模式。云計(jì)算的核心技術(shù)：云計(jì)算利用分布式計(jì)算和虛擬資源管理等技術(shù)，通過互聯(lián)網(wǎng)將分散的IT資源集中起來(lái)形成共享資源池，并以動(dòng)態(tài)按需、按量向用戶提供服務(wù)。云計(jì)算四層體系架構(gòu)物理層：包括支持系統(tǒng)運(yùn)行的計(jì)算設(shè)備、存儲(chǔ)設(shè)備及其他硬件設(shè)備等。虛擬層：包括虛擬主機(jī)、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)等虛擬設(shè)備。管理層：包括用戶管理、資源管理、安全管理等。業(yè)務(wù)層：包括IaaS服務(wù)、PaaS服務(wù)、SaaSQL服務(wù)等。云計(jì)算關(guān)鍵技術(shù)存儲(chǔ)技術(shù)：分布式和冗余存儲(chǔ)方式（如Hadoop的分布式文件系統(tǒng)HDFS）。管理技術(shù)：如谷歌公司的BigTable數(shù)據(jù)管理技術(shù)采用了列存儲(chǔ)方式。編程模式：云計(jì)算采用類似于Map-Reduce的編程模式。425、大數(shù)據(jù)與云計(jì)算5.1什么是云計(jì)算425、大數(shù)據(jù)與云計(jì)算5.2大數(shù)據(jù)與云計(jì)算的關(guān)系兩者的側(cè)重點(diǎn)不同大數(shù)據(jù)側(cè)重于“數(shù)據(jù)”的采集、分析挖掘、數(shù)據(jù)的存儲(chǔ)能力。云計(jì)算側(cè)重于“計(jì)算”，關(guān)注IT基礎(chǔ)架構(gòu)、數(shù)據(jù)處理計(jì)算能力。兩者相輔相成若沒有大數(shù)據(jù)的沉淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大也難以找到用武之地。若沒有云計(jì)算的處理能力，則大數(shù)據(jù)的信息沉淀再豐富，也終究只是鏡花水月。兩者優(yōu)勢(shì)互補(bǔ)利用云計(jì)算的強(qiáng)大計(jì)算能力，則可迅速處理大數(shù)據(jù)，即時(shí)提供服務(wù)。通過大數(shù)據(jù)的業(yè)務(wù)需求，則可為云計(jì)算落地找到更多的實(shí)際應(yīng)用。云計(jì)算為大數(shù)據(jù)提供彈性可擴(kuò)展的存儲(chǔ)和高效的數(shù)據(jù)并行處理能力；云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。435、大數(shù)據(jù)與云計(jì)算5.2大數(shù)據(jù)與云計(jì)算的關(guān)系435、大數(shù)據(jù)與云計(jì)算大數(shù)據(jù)根植于云計(jì)算云計(jì)算技術(shù)：包括虛擬化技術(shù)、平臺(tái)管理技術(shù)、MR編程技術(shù)、海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)等。大數(shù)據(jù)關(guān)鍵技術(shù)：MR編程技術(shù)、海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)。結(jié)論：云計(jì)算中的海量數(shù)據(jù)存儲(chǔ)、管理技術(shù)和MR編程技術(shù)都是大數(shù)據(jù)的技術(shù)基礎(chǔ)。兩者的相同點(diǎn)均為數(shù)據(jù)的存儲(chǔ)和處理服務(wù)。都需要占用大量的存儲(chǔ)資源和計(jì)算資源。都要用到海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)和Mapreduce并行編程技術(shù)。445、大數(shù)據(jù)與云計(jì)算大數(shù)據(jù)根植于云計(jì)算445、大數(shù)據(jù)與云計(jì)算5.3大數(shù)據(jù)和云計(jì)算的不同點(diǎn)45不同點(diǎn)大數(shù)據(jù)云計(jì)算出現(xiàn)背景現(xiàn)有數(shù)據(jù)處理技術(shù)不能勝任社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)中的大量異構(gòu)數(shù)據(jù)基于互聯(lián)網(wǎng)的相關(guān)服務(wù)日益豐富和頻繁主要目的充分挖掘海量數(shù)據(jù)中的信息通過互聯(lián)網(wǎng)更好地調(diào)用、擴(kuò)展和管理計(jì)算及存儲(chǔ)資源和能力研究對(duì)象數(shù)據(jù)IT資源、能力和應(yīng)用推動(dòng)力量來(lái)自于從事數(shù)據(jù)存儲(chǔ)與處理的軟件廠商和擁有大量數(shù)據(jù)的企業(yè)來(lái)自于生產(chǎn)計(jì)算及存儲(chǔ)設(shè)備的廠商和擁有計(jì)算和存儲(chǔ)資源的企業(yè)帶來(lái)價(jià)值發(fā)現(xiàn)數(shù)據(jù)中的價(jià)值節(jié)省IT的部署成本5、大數(shù)據(jù)與云計(jì)算5.3大數(shù)據(jù)和云計(jì)算的不同點(diǎn)45不同點(diǎn)大6、高性能計(jì)算與高性能計(jì)算機(jī)6.1什么是高性能計(jì)算高性能計(jì)算的含義高性能計(jì)算，簡(jiǎn)稱HPC（highPerformanceComputing），泛指計(jì)算速度快、計(jì)算量大、效率高等的運(yùn)算。HPC主要包括向量計(jì)算、并行計(jì)算、分布式計(jì)算、網(wǎng)格計(jì)算、效用計(jì)算等。高性能與并行密切相關(guān)：欲達(dá)到高性能，則應(yīng)采用并行，運(yùn)用了并行，必可達(dá)到高性能。高性能計(jì)算的戰(zhàn)略地位HPC是一個(gè)國(guó)家綜合國(guó)力的體現(xiàn)。HPC是支撐國(guó)家實(shí)力持續(xù)發(fā)展和確保國(guó)防安全的關(guān)鍵技術(shù)之一。一些重大挑戰(zhàn)問題（大飛機(jī)設(shè)計(jì)、全球氣候預(yù)測(cè)、人類基因、油藏模擬、海洋環(huán)流、藥物設(shè)計(jì)、超導(dǎo)材料等）都離不開HPC。466、高性能計(jì)算與高性能計(jì)算機(jī)6.1什么是高性能計(jì)算466、高性能計(jì)算與高性能計(jì)算機(jī)高性能計(jì)算的度量高性能計(jì)算的千進(jìn)位量綱HPC主要采用峰值速度（單CPU速度×CPU數(shù)目，單位是每秒百萬(wàn)次浮點(diǎn)運(yùn)算，即MFlops）、Linpack實(shí)測(cè)速度（求解高階線性方程組的基準(zhǔn)測(cè)試程序，單位是MFlops）和性能/功耗比（Flops/W）等來(lái)度量。47前綴縮寫基冪含意數(shù)值KiloK103Thousand千MegaM106Million兆，百萬(wàn)GigaG109Billion千兆，10億TeraT1012Trillion垓，萬(wàn)億PetaP1015Quadrillion千萬(wàn)億ExaE1018Quitillion百億億Flops：每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)(Floating-pointoperationspersecond)目前的PC機(jī)運(yùn)算速度通常在GFlops量級(jí)，高性能計(jì)算機(jī)運(yùn)算速度通常在TFlops至PFlops量級(jí)。6、高性能計(jì)算與高性能計(jì)算機(jī)高性能計(jì)算的度量47前綴縮寫基冪6、高性能計(jì)算與高性能計(jì)算機(jī)6.2高性能計(jì)算機(jī)系統(tǒng)舉例美國(guó)：曾經(jīng)是超級(jí)計(jì)算機(jī)霸主的2008年和2009年兩年奪冠的IBMRoadrunner（走鵑）中國(guó)：曾在2010年11月排在世界第一的TH-1A（天河一號(hào)）486、高性能計(jì)算與高性能計(jì)算機(jī)6.2高性能計(jì)算機(jī)系統(tǒng)舉例486、高性能計(jì)算與高性能計(jì)算機(jī)日本：2011年11月曾排在世界第一的K-Computer（京計(jì)算機(jī)）496、高性能計(jì)算與高性能計(jì)算機(jī)日本：2011年11月曾排在世界6、高性能計(jì)算與高性能計(jì)算機(jī)近幾年來(lái)Top1的機(jī)器2001年，為IBMASCIWHITE，LINPACK峰值為12TFLOPS，處理器數(shù)目為8192。2002年—2004年上半年，為NECEarth-Simulator，LINPACK峰值為40TFLOPS，處理器數(shù)目為5120。2004年下半年—2007年11月，為IBMBlueGene，LINPACK峰值為478TFLOPS，處理器數(shù)目為212992。2008年6月，為IBMRoadrunner（走鵑），LINPACK峰值為1.026PFLOPS，處理器核數(shù)目為122400。2009年6月，為IBMRoadrunner（走鵑），LINPACK峰值為1.105PFLOPS，處理器核數(shù)目為129600。2009年11月-2010年6月，為Jaguar，峰值為1.759PFLOPS，處理器核數(shù)目為224162。2010年11月，為TH-1A，峰值為2.566PFLOPS，處理器核數(shù)目為186368。2011年6月-11月，為Kcomputer，峰值為10.51PFLOPS，處理器核數(shù)目為705024。2012年6月，為Sequoia，峰值為16.325PFLOPS，處理器核數(shù)目為1572864。2012年11月，為Titan，峰值為17.59PFLOPS，處理器核數(shù)目為560640。2013年11月，為Tianhe-2，峰值為33.86PFLOPS，處理器核數(shù)目為3120000。506、高性能計(jì)算與高性能計(jì)算機(jī)近幾年來(lái)Top1的機(jī)器506、高性能計(jì)算與高性能計(jì)算機(jī)6.3高性能計(jì)算的應(yīng)用從傳統(tǒng)的應(yīng)用到新興應(yīng)用過去：物理和工程科學(xué)是計(jì)算和計(jì)算機(jī)科學(xué)應(yīng)用驅(qū)動(dòng)者?，F(xiàn)今：像生物科學(xué)(從基于實(shí)驗(yàn)發(fā)展為基于計(jì)算、從個(gè)體研究發(fā)展為跨學(xué)科研究、從注意數(shù)值技術(shù)發(fā)展為生物醫(yī)學(xué)計(jì)算方法等)等是計(jì)算和計(jì)算機(jī)科學(xué)的受益者。將來(lái)：社會(huì)科學(xué)和人文科學(xué)則是計(jì)算和計(jì)算機(jī)科學(xué)的主要消費(fèi)者。傳統(tǒng)的科學(xué)與工程計(jì)算科學(xué)工程計(jì)算的共性：在過去20年，計(jì)算物理是應(yīng)用的主要驅(qū)動(dòng)力，這類應(yīng)用具有如下共同特點(diǎn)：應(yīng)用程序常常由定義在R3×t子空間的一組PDE所描述。多物理模擬的不同物理區(qū)域的計(jì)算方法各不相同。很多應(yīng)用均主要集中在大學(xué)和研究所。研究側(cè)重點(diǎn)離散化PDE及其相應(yīng)的線性/非線性方程的求解。強(qiáng)調(diào)并行機(jī)的速度和問題求解精度。很少關(guān)心相關(guān)的I/O操作。516、高性能計(jì)算與高性能計(jì)算機(jī)6.3高性能計(jì)算的應(yīng)用516、高性能計(jì)算與高性能計(jì)算機(jī)并行化方法與編程模型并行化方法：最常使用區(qū)域分解法。編程模型：最常使用數(shù)據(jù)并行。與社會(huì)相關(guān)的新興應(yīng)用新應(yīng)用的共性：最近幾年，與社會(huì)相關(guān)的應(yīng)用急劇增加與傳統(tǒng)的計(jì)算應(yīng)用分享市場(chǎng)空間，其共性是：應(yīng)用問題常常由圖來(lái)定義，而不是離散的R3空間。計(jì)算過程中的交互常是全局性的，而不是通過邊界來(lái)交換信息的。新出現(xiàn)的應(yīng)用，無(wú)相應(yīng)的使用經(jīng)驗(yàn)和成熟的軟件。很多應(yīng)用常集中在與社會(huì)相關(guān)的國(guó)計(jì)民生方面。研究側(cè)重點(diǎn)建立誠(chéng)信機(jī)制：包括硬件、軟件、人機(jī)界面、安全協(xié)議的使用等。巨量的數(shù)據(jù)，而不是科學(xué)計(jì)算，將是此類應(yīng)用的主要處理對(duì)象，I/O是最為關(guān)心的。數(shù)據(jù)的安全、屬主、管理等帶來(lái)一系列技術(shù)、法律和人道等問題。526、高性能計(jì)算與高性能計(jì)算機(jī)并行化方法與編程模型527、高性能計(jì)算面臨大數(shù)據(jù)的挑戰(zhàn)7.1計(jì)算模型的轉(zhuǎn)變：從Scale-up到Scale-out傳統(tǒng)的高性能（HighPerformance）并行處理模型基于“Scale-up”所謂機(jī)器的性能（Performance）是指：機(jī)器能做計(jì)算的能力（Capability，Abilitytodocomputation）。所謂“Scale-up”意思是指：在并行系統(tǒng)中，利用增多處理器的數(shù)目而維持機(jī)器性能（即計(jì)算能力）的