云計算與大數(shù)據(jù)時代教材課件

大數(shù)據(jù)云計算CloudComputing引言《紐約時報》租用亞馬遜的云計算服務，使用基于云計算的開源軟件Hadoop，將其自1851年以來的1100萬份報道轉變成可搜索的數(shù)字化文檔，耗時僅一天。如果用傳統(tǒng)方法，這項工作可能要數(shù)月才能完成。最近興起的云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發(fā)展趨勢。云計算——方便您的生活數(shù)據(jù)中心（多終端同步-透明）PC/筆記本客戶端瀏覽器PDA/手機/相機電子相冊電視運算中心拍出的相片立即編輯修改在線編寫文檔、報告隨時隨地寫日志隨時隨地的身體健康狀況監(jiān)控云計算云——提供超大規(guī)模計算資源的服務器集群超大規(guī)模虛擬化（透明）云云計算的產(chǎn)生和演進計算能力的需求的增長什么是云計算云計算相關概念云計算云計算是為用戶提供無限計算資源的商業(yè)服務，是能夠自我管理計算資源的系統(tǒng)平臺，是應用服務按需定制、易于擴展的軟件架構。并行計算分布式計算網(wǎng)格計算CPU運算資源存儲資源網(wǎng)絡帶寬云計算相關概念云云是一些可以自我維護和管理的虛擬計算資源，通常為一些大型服務器集群，包括計算服務器、存儲服務器、寬帶資源等等。云計算將所有的計算資源集中起來，并由軟件實現(xiàn)自動管理，無需人為參與。這使得應用提供者無需為繁瑣的細節(jié)而煩惱，能夠更加專注于自己的業(yè)務，有利于創(chuàng)新和降低成本。計算資源的演進：從集中到分散再到集中全世界只需要5臺電腦就足夠了

——托馬斯·沃森個人用戶的內存只需640K足矣

——比爾·蓋茨計算時代網(wǎng)絡時代云時代云計算的領跑者“世界上不過有5臺真正的計算機?！薄呕⒀芯恐鞴?普拉巴卡·拉加萬，他認為Google、雅虎、微軟、IBM和亞馬遜這幾家公司是云計算的引領者。

大數(shù)據(jù)大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數(shù)據(jù)的方法。大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。數(shù)據(jù)又并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。對于“大數(shù)據(jù)”（Bigdata）研究機構Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。數(shù)據(jù)的換算關系最小的基本單位是Byte，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它們按照進率1024（2的十次方）來計算：1Byte=8bit

1KB=1,024Bytes

1MB=1,024KB=1,048,576Bytes

1GB=1,024MB=1,048,576KB

1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,024ZB=1,048,576EB1BB=1,024YB=1,048,576ZB1NB=1,024BB=1,048,576YB1DB=1,024NB=1,048,576BBGoogle數(shù)據(jù)中心比利時的圣吉蘭（SaintGhislain）數(shù)據(jù)中心完全依靠數(shù)據(jù)中心外面的空氣來冷卻系統(tǒng)。13Dalles數(shù)據(jù)中心位于俄勒岡州的哥倫比亞河旁，河上的Dalles大壩為數(shù)據(jù)中心提供電力。數(shù)據(jù)中心有2座4層樓高的冷卻塔。Google數(shù)據(jù)中心Google數(shù)據(jù)中心以集裝箱為單位，每個集裝箱有1160臺服務器，每個數(shù)據(jù)中心有眾多集裝箱。14Google一次搜索查詢的能耗能點亮100瓦的燈泡11秒鐘。Microsoft數(shù)據(jù)中心微軟在美國芝加哥的數(shù)據(jù)中心.總面積為70萬平方英尺。即使只啟用半數(shù)服務器,能耗也達到30兆瓦。15美國華盛頓州GrandCoulee水壩是世界第三大混合電力水壩，供電量是650萬千瓦。Microsoft在水壩邊上建一個有10個沃爾瑪商店那么大的數(shù)據(jù)中心。Microsoft數(shù)據(jù)中心16第二代移動通信系統(tǒng)（2G）第一代移動通信系統(tǒng)（1G）第1代移動通信系統(tǒng)（1G）是模擬式通信系統(tǒng)，模擬式是代表在無線傳輸采用模擬式的FM調制，將介于300Hz到3400Hz的語音轉換到高頻的載波頻率MHz上。一部大哥大在當時的售價為21000元，除了手機價格昂貴之外，手機網(wǎng)絡資費的價格也讓普通老百姓難以消費。當時的入網(wǎng)費高達6000元，而每分鐘通話的資費也有0.5元。不過由于模擬通信系統(tǒng)有著很多缺陷，經(jīng)常出現(xiàn)串號、盜號等現(xiàn)象，給運營商和用戶帶來了不少煩惱。于是在1999年A網(wǎng)和B網(wǎng)被正式關閉。從1G跨入2G的分水嶺則是從模擬調制進入到數(shù)字調制，相比于第1代移動通信，第二代移動通信具備高度的保密性，系統(tǒng)的容量也在增加，同時能夠提高多種業(yè)務服務。從這一代開始手機也可以上網(wǎng)了。第一款支持WAP的GSM手機是諾基亞7110，它的出現(xiàn)標志著手機上網(wǎng)時代的開始，而那個時代GSM的網(wǎng)速僅有9.6KB/s。數(shù)字網(wǎng)有以下優(yōu)點：1.頻譜利用率高，有利于提高系統(tǒng)容量；2.提供多種業(yè)務服務，提高通信系統(tǒng)通用性；3.抗噪聲、抗干擾、抗多徑衰落能力強；4.能實現(xiàn)更有效、靈活的網(wǎng)絡管理和控制；5.便于實現(xiàn)通信的安全保密；6.可降低設備成本。

1998年，黃宏、宋丹丹小品《回家》oppoA209,作者本人自用2G手機。第四代移動通信系統(tǒng)（4G）第三代移動通信系統(tǒng)（3G）國際電信聯(lián)盟（ITU）發(fā)布了官方第3代移動通信（3G）標準IMT-2000（國際移動通信2000標準）。3G存在四種標準制式，分別是CDMA2000，WCDMA，TD-SCDMA，WiMAX。在3G的眾多標準之中，CDMA這個字眼曝光率最高，CDMA（碼分多址)是第三代移動通信系統(tǒng)的技術基礎。中國在2009年的1月7日頒發(fā)了3張3G牌照，分別是中國移動的TD-SCDMA，中國聯(lián)通的WCDMA和中國電信的WCDMA2000。4G包括TD-LTE和FDD-LTE兩種制式，是集3G與WLAN于一體，并能夠快速傳輸數(shù)據(jù)、高質量、音頻、視頻和圖像等。4G能夠以100Mbps以上的速度下載（大約是12.5MB/s~18.75MB/s的下行速度），比目前的家用寬帶ADSL（4兆）快20倍，并能夠滿足幾乎所有用戶對于無線服務的要求。此外，4G可以在DSL和有線電視調制解調器沒有覆蓋的地方部署，然后再擴展到整個地區(qū)。很明顯，4G有著不可比擬的優(yōu)越性。2013年12月4日，工業(yè)和信息化部向中國移動、中國電信、中國聯(lián)通正式發(fā)放了第四代移動通信業(yè)務牌照（即4G牌照），中國移動、中國電信、中國聯(lián)通三家均獲得TD-LTE牌照，此舉標志著中國電信產(chǎn)業(yè)正式進入了4G時代。簡析4G4G通常被用來描述相對于3G的下一代通信網(wǎng)絡，但很少有人明確4G的含義，實際上，4G在開始階段也是由眾多自主技術提供商和電信運營商合力推出的，技術和效果也參差不齊。后來，國際電信聯(lián)盟（ITU）重新定義了4G的標準——符合100Mbps/s傳輸數(shù)據(jù)的速度。達到這個標準的通信技術，理論上都可以稱之為4G。4G移動系統(tǒng)網(wǎng)絡結構可分為三層：物理網(wǎng)絡層、中間環(huán)境層、應用網(wǎng)絡層。物理網(wǎng)絡層提供接入和路由選擇功能，它們由無線和核心網(wǎng)的結合格式完成。中間環(huán)境層的功能有QoS映射、地址變換和完全性管理等。物理網(wǎng)絡層與中間環(huán)境層及其應用環(huán)境之間的接口是開放的，它使發(fā)展和提供新的應用及服務變得更為容易，提供無縫高數(shù)據(jù)率的無線服務，并運行于多個頻帶。5G與4G的對比4G·在4G技術支持100Mbps~150Mbps的下行網(wǎng)絡帶寬·仍處在3GHz一下的頻段范圍內·開啟了全球移動通信標準全面融合的趨勢；但仍存在TD-LTE與LTE-FDD的標準之爭·是專為移動互聯(lián)網(wǎng)而設計的通信技術，是單一的無線接入技術。5G·將可提供超級容量的帶寬，短距離傳輸速率是10Gbps；·高頻段頻譜資源將更多地應用于5G；·超高容量、超可靠性、隨時隨地可接入性，有望解決“流量風暴”；·在通信、智能性、資源利用率、無線覆蓋性能、傳輸時延、系統(tǒng)安全和用戶體驗都比4G有了數(shù)以倍計的增加；·全球5G技術有望共用一個標準；·5G并不是一個單一的無線接入技術，也不是幾個全新的無線接入技術，而是多種新型無線接入技術和現(xiàn)有無線接入技術集成后的解決方案總稱。所以說5G是一個真正意義上的融合網(wǎng)絡。云計算特點超大規(guī)模：服務器群虛擬化：可以看作是一片用于計算的云高可靠性：冗余副本、負載均衡通用性：支撐千變萬化的實際應用高可擴展性：靈活、動態(tài)伸縮按需服務：按需購買極其廉價：不再需要一次性購買超級電腦安全：擺脫數(shù)據(jù)丟失、病毒入侵方便：支持多終端、數(shù)據(jù)共享DigitalMedicalTechnologies,Ltd.云計算的幾大形式云計算服務類形基礎設施即服務（IaaS）軟件即服務（SaaS）網(wǎng)絡服務平臺即服務（PaaS）管理服務提供商（MSP）商業(yè)服務平臺云安全基礎設施即服務（實用計算、虛擬化）IaaS——InfrastructureasaService

是為IT行業(yè)創(chuàng)造虛擬的計算和數(shù)據(jù)中心，使得其能夠把計算單元、存儲器、I/O設備、帶寬等計算機基礎設施，集中起來成為一個虛擬的資源池來為整個網(wǎng)絡提供服務。用多少算多少AmazonWebServices，簡作AWS彈性計算云EC2（ElasticComputeCloud）——計算簡單存儲服務S3（SimpleStorageService）——存儲GoogleAppEngine軟件即服務SaaS——SoftwareasaServiceSaaS是一種基于互聯(lián)網(wǎng)提供軟件服務的應用模式。軟件租賃：用戶按使用時間和使用規(guī)模付費綠色部署：用戶不需安裝，打開瀏覽器即可運行不需要額外的服務器硬件軟件（應用服務）按需定制軟件即服務SaaS產(chǎn)品SalesforceCRM阿里軟件GoogleappsAlexa排名：第一名Salesforce第二名阿里軟件第三名銘萬第四名金算盤第五名中企動力第六名神碼在線第七名商務領航第八名友商網(wǎng)第九名八百客第十名網(wǎng)絡服務網(wǎng)絡服務WebService提供API讓開發(fā)者能夠開發(fā)更多基于互聯(lián)網(wǎng)的應用中移動的FetionWebService云計算——中小企業(yè)的機遇創(chuàng)業(yè)前期成本大大降低IT硬件投入低按需租用云計算發(fā)展的障礙云計算目前的困境云計算何時從云端到地面標準不統(tǒng)一Google、Amazon、IBM、微軟等的平臺互不兼容兩大巨頭的“云計算”之爭

云計算何時從云端到地面數(shù)據(jù)真的安全？云服務提供商的信譽——留后門？！面臨著全世界的黑客——需要高強度的安全系統(tǒng)云計算何時從云端到地面網(wǎng)絡帶寬3G尚未普及，費用極高云計算何時從云端到地面耗電量巨大主旋律——節(jié)能減排終端設備的電池容量有限并行計算、分布式計算和網(wǎng)格計算并行計算ParallelComputing是指同時使用多種計算資源解決計算問題的過程，其主要目的是快速解決大型且復雜的計算問題特點：把計算任務分派給系統(tǒng)內的多個運算單元大型機的多CPU和多存儲器并行計算問題的特征將工作分離成離散部分，有助于同時解決隨時并及時地執(zhí)行多個程序指令（多條線同時運行）多計算資源下解決問題的耗時要少于單個計算資源下的耗時分布式計算DistributedComputing所謂分布式計算是一門計算機科學，它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，