物聯(lián)網(wǎng)第10章-物聯(lián)網(wǎng)的數(shù)據(jù)處理課件

第10章物聯(lián)網(wǎng)的數(shù)據(jù)處理10.1數(shù)據(jù)中心10.2大數(shù)據(jù)與物聯(lián)網(wǎng)10.3數(shù)據(jù)庫系統(tǒng) 10.4數(shù)據(jù)挖掘10.5搜索引擎第10章物聯(lián)網(wǎng)的數(shù)據(jù)處理--續(xù)10.6海量數(shù)據(jù)存儲(chǔ)10.7云計(jì)算10.8普適計(jì)算10.9數(shù)據(jù)呈現(xiàn)10.1數(shù)據(jù)中心10.1.1數(shù)據(jù)中心的組成10.1.2數(shù)據(jù)中心的分類與分級(jí)10.1.3數(shù)據(jù)中心的建設(shè)數(shù)據(jù)中心的定義可以實(shí)現(xiàn)信息的集中處理、存儲(chǔ)、傳輸、交換和管理等功能的基礎(chǔ)設(shè)施計(jì)算機(jī)設(shè)備服務(wù)器網(wǎng)絡(luò)設(shè)備通信設(shè)備存儲(chǔ)設(shè)備《物聯(lián)網(wǎng)概論》-韓毅剛4數(shù)據(jù)中心外部Google《物聯(lián)網(wǎng)概論》-韓毅剛5IDC《物聯(lián)網(wǎng)概論》-韓毅剛6數(shù)據(jù)中心內(nèi)部《物聯(lián)網(wǎng)概論》-韓毅剛7數(shù)據(jù)中心內(nèi)部《物聯(lián)網(wǎng)概論》-韓毅剛810.1.1數(shù)據(jù)中心的組成《物聯(lián)網(wǎng)概論》-韓毅剛9物理組成邏輯組成數(shù)據(jù)中心物理組成計(jì)算機(jī)設(shè)備服務(wù)器網(wǎng)絡(luò)設(shè)備通信設(shè)備存儲(chǔ)設(shè)備《物聯(lián)網(wǎng)概論》-韓毅剛10數(shù)據(jù)中心邏輯組成支撐系統(tǒng)計(jì)算設(shè)備業(yè)務(wù)信息系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛11數(shù)據(jù)中心的邏輯組成示意圖《物聯(lián)網(wǎng)概論》-韓毅剛1210.1.2數(shù)據(jù)中心的分類與分級(jí)分類EDCIDC分級(jí)國(guó)標(biāo)GB50174-92《物聯(lián)網(wǎng)概論》-韓毅剛13數(shù)據(jù)中心分類EDC企業(yè)數(shù)據(jù)中心IDC互聯(lián)網(wǎng)數(shù)據(jù)中心《物聯(lián)網(wǎng)概論》-韓毅剛14分級(jí)國(guó)標(biāo)GB50174-92A（容錯(cuò)型）B（冗余型）C（基本型）國(guó)際TIA-942標(biāo)準(zhǔn)TierⅠTierⅡTierⅢTierⅣ《物聯(lián)網(wǎng)概論》-韓毅剛1510.1.3數(shù)據(jù)中心的建設(shè)建筑裝修設(shè)備安裝《物聯(lián)網(wǎng)概論》-韓毅剛16數(shù)據(jù)中心部分機(jī)柜《物聯(lián)網(wǎng)概論》-韓毅剛17數(shù)據(jù)中心部分通信設(shè)備機(jī)柜《物聯(lián)網(wǎng)概論》-韓毅剛18走線架《物聯(lián)網(wǎng)概論》-韓毅剛19數(shù)據(jù)中心的電源組《物聯(lián)網(wǎng)概論》-韓毅剛20UPC供電系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛21發(fā)電機(jī)供電《物聯(lián)網(wǎng)概論》-韓毅剛22空調(diào)系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛23監(jiān)控系統(tǒng)單個(gè)機(jī)房《物聯(lián)網(wǎng)概論》-韓毅剛24計(jì)算機(jī)網(wǎng)絡(luò)

TCP/IP

TCP/IPAgent軟件或Client軟件機(jī)房環(huán)境

TCP/IPWeb軟件

TCP/IP網(wǎng)絡(luò)設(shè)備嵌入式系統(tǒng)消防系統(tǒng)原理《物聯(lián)網(wǎng)概論》-韓毅剛25防雷接地系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛2610.2大數(shù)據(jù)與物聯(lián)網(wǎng)10.2.1大數(shù)據(jù)的概念10.2.2物聯(lián)網(wǎng)與大數(shù)據(jù)的關(guān)系10.2.3物聯(lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)10.2.4大數(shù)據(jù)的分析與處理27《物聯(lián)網(wǎng)概論》-韓毅剛10.2.1大數(shù)據(jù)的概念4個(gè)“V”Volume（大量）Variety（多樣）Value（價(jià)值）Velocity（高速），《物聯(lián)網(wǎng)概論》-韓毅剛2810.2.2物聯(lián)網(wǎng)與大數(shù)據(jù)的關(guān)系物聯(lián)網(wǎng)催生了大數(shù)據(jù)大數(shù)據(jù)豐富了物聯(lián)網(wǎng)應(yīng)用《物聯(lián)網(wǎng)概論》-韓毅剛2910.2.3物聯(lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)1）數(shù)據(jù)量更大2）數(shù)據(jù)速率更高3）數(shù)據(jù)更加多樣化4）物聯(lián)網(wǎng)對(duì)數(shù)據(jù)真實(shí)性的要求更高《物聯(lián)網(wǎng)概論》-韓毅剛3010.2.4大數(shù)據(jù)的分析與處理1）批量數(shù)據(jù)處理系統(tǒng)2）流式數(shù)據(jù)處理系統(tǒng)3）交互式數(shù)據(jù)處理系統(tǒng)4）圖數(shù)據(jù)處理系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛3110.3數(shù)據(jù)庫系統(tǒng) 10.3.1數(shù)據(jù)庫的類型10.3.2數(shù)據(jù)庫的操作10.3.3數(shù)據(jù)庫與物聯(lián)網(wǎng)32《物聯(lián)網(wǎng)概論》-韓毅剛10.3.1數(shù)據(jù)庫的類型《物聯(lián)網(wǎng)概論》-韓毅剛33關(guān)系數(shù)據(jù)庫層次數(shù)據(jù)庫網(wǎng)狀數(shù)據(jù)庫新型數(shù)據(jù)庫演繹數(shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫分布式數(shù)據(jù)庫分布式實(shí)時(shí)數(shù)據(jù)庫工程數(shù)據(jù)庫時(shí)態(tài)數(shù)據(jù)庫模糊數(shù)據(jù)庫《物聯(lián)網(wǎng)概論》-韓毅剛3410.3.2數(shù)據(jù)庫的操作DBMSSQL《物聯(lián)網(wǎng)概論》-韓毅剛35DBMS桌面數(shù)據(jù)庫AccessFoxProdBase客戶/服務(wù)器數(shù)據(jù)庫SQLServerOracleSybase《物聯(lián)網(wǎng)概論》-韓毅剛36SQL查詢更新添加刪除《物聯(lián)網(wǎng)概論》-韓毅剛3710.3.3數(shù)據(jù)庫與物聯(lián)網(wǎng)非關(guān)系數(shù)據(jù)庫系統(tǒng)物聯(lián)網(wǎng)數(shù)據(jù)庫特征《物聯(lián)網(wǎng)概論》-韓毅剛38非關(guān)系數(shù)據(jù)庫系統(tǒng)非SQL亞馬遜的Dynamo臉譜的Cassandra阿帕奇的HBase《物聯(lián)網(wǎng)概論》-韓毅剛39物聯(lián)網(wǎng)數(shù)據(jù)庫特征數(shù)據(jù)量大數(shù)據(jù)異構(gòu)性強(qiáng)數(shù)據(jù)關(guān)聯(lián)性復(fù)雜分布式存儲(chǔ)數(shù)據(jù)實(shí)時(shí)性《物聯(lián)網(wǎng)概論》-韓毅剛40物聯(lián)網(wǎng)數(shù)據(jù)庫舉例分布式實(shí)時(shí)數(shù)據(jù)庫主動(dòng)數(shù)據(jù)庫《物聯(lián)網(wǎng)概論》-韓毅剛4110.4數(shù)據(jù)挖掘10.4.1數(shù)據(jù)挖掘的過程10.4.2數(shù)據(jù)挖掘的方法10.4.3物聯(lián)網(wǎng)中的數(shù)據(jù)挖掘42《物聯(lián)網(wǎng)概論》-韓毅剛10.4.1數(shù)據(jù)挖掘的過程《物聯(lián)網(wǎng)概論》-韓毅剛431.數(shù)據(jù)處理2.數(shù)據(jù)挖掘3.知識(shí)評(píng)估與表示1.數(shù)據(jù)處理1）數(shù)據(jù)準(zhǔn)備2）數(shù)據(jù)選取3）數(shù)據(jù)預(yù)處理4）數(shù)據(jù)變換《物聯(lián)網(wǎng)概論》-韓毅剛44

2.數(shù)據(jù)挖掘1）選擇算法2）數(shù)據(jù)挖掘。《物聯(lián)網(wǎng)概論》-韓毅剛45

3.知識(shí)評(píng)估與表示模式選擇知識(shí)評(píng)估結(jié)果可視化《物聯(lián)網(wǎng)概論》-韓毅剛4610.4.2數(shù)據(jù)挖掘的方法集合論方法信息論方法仿生學(xué)方法其他方法《物聯(lián)網(wǎng)概論》-韓毅剛47數(shù)據(jù)挖掘的具體方法1）統(tǒng)計(jì)分析方法2）決策樹3）神經(jīng)網(wǎng)絡(luò)4）遺傳算法5）粗糙集6）聯(lián)機(jī)分析處理技術(shù)《物聯(lián)網(wǎng)概論》-韓毅剛4810.4.3物聯(lián)網(wǎng)中的數(shù)據(jù)挖掘1.異構(gòu)數(shù)據(jù)的處理2.分布式數(shù)據(jù)挖掘《物聯(lián)網(wǎng)概論》-韓毅剛491.異構(gòu)數(shù)據(jù)的處理結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)《物聯(lián)網(wǎng)概論》-韓毅剛502.分布式數(shù)據(jù)挖掘集中式局部式《物聯(lián)網(wǎng)概論》-韓毅剛51

10.5搜索引擎10.5.1搜索引擎的分類10.5.2搜索引擎的組成和工作原理10.5.3面向物聯(lián)網(wǎng)的搜索引擎52《物聯(lián)網(wǎng)概論》-韓毅剛10.5.1搜索引擎的分類《物聯(lián)網(wǎng)概論》-韓毅剛53全文搜索引擎目錄索引類搜索引擎元搜索引擎10.5.2搜索引擎的組成和工作原理工作過程組成工作原理《物聯(lián)網(wǎng)概論》-韓毅剛54搜索引擎工作過程搜索信息整理信息，建立索引結(jié)果排序《物聯(lián)網(wǎng)概論》-韓毅剛55搜索引擎系統(tǒng)結(jié)構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛56搜索引擎的組成1.搜索器2.索引器3.檢索器4.用戶接口《物聯(lián)網(wǎng)概論》-韓毅剛5710.5.3面向物聯(lián)網(wǎng)的搜索引擎數(shù)據(jù)特征搜索引擎特征《物聯(lián)網(wǎng)概論》-韓毅剛58搜索引擎特征1）搜索內(nèi)容的時(shí)空性強(qiáng)2）實(shí)體搜索3）查詢輸入方式多樣4）安全和隱私問題5）多媒體搜索《物聯(lián)網(wǎng)概論》-韓毅剛5910.6海量數(shù)據(jù)存儲(chǔ)10.6.1磁盤陣列10.6.2網(wǎng)絡(luò)存儲(chǔ)10.6.3云存儲(chǔ)60《物聯(lián)網(wǎng)概論》-韓毅剛10.6.1磁盤陣列《物聯(lián)網(wǎng)概論》-韓毅剛611．RAID級(jí)別2.RAID技術(shù)特點(diǎn)3.RAID的實(shí)現(xiàn)磁盤陣列《物聯(lián)網(wǎng)概論》-韓毅剛624盤位磁盤陣列存儲(chǔ)器《物聯(lián)網(wǎng)概論》-韓毅剛63機(jī)柜式磁盤陣列《物聯(lián)網(wǎng)概論》-韓毅剛64RAID級(jí)別RAID分為0～7個(gè)級(jí)別RAID10RAID0與RAID1的組合RAID50RAID0與RAID5的組合《物聯(lián)網(wǎng)概論》-韓毅剛65RAID優(yōu)點(diǎn)傳輸速率高容錯(cuò)《物聯(lián)網(wǎng)概論》-韓毅剛66RAID的具體實(shí)現(xiàn)軟件RAID硬件RAID《物聯(lián)網(wǎng)概論》-韓毅剛6710.6.2網(wǎng)絡(luò)存儲(chǔ)1.直接附加存儲(chǔ)DAS2.網(wǎng)絡(luò)附加存儲(chǔ)NAS3.存儲(chǔ)區(qū)域網(wǎng)SAN《物聯(lián)網(wǎng)概論》-韓毅剛681.直接附加存儲(chǔ)DAS直附式存儲(chǔ)DirectAttachedStorage電纜直接相連《物聯(lián)網(wǎng)概論》-韓毅剛69

2.網(wǎng)絡(luò)附加存儲(chǔ)NAS網(wǎng)附式存儲(chǔ)NetworkAttachedStorage通過網(wǎng)絡(luò)接口連接《物聯(lián)網(wǎng)概論》-韓毅剛703.存儲(chǔ)區(qū)域網(wǎng)SANSANStorageAreaNetwork《物聯(lián)網(wǎng)概論》-韓毅剛7110.6.3云存儲(chǔ)概念結(jié)構(gòu)模型《物聯(lián)網(wǎng)概論》-韓毅剛72云存儲(chǔ)的概念一種服務(wù)模式云計(jì)算的延伸《物聯(lián)網(wǎng)概論》-韓毅剛73云存儲(chǔ)的體系結(jié)構(gòu)訪問層應(yīng)用接口層基礎(chǔ)管理層存儲(chǔ)層《物聯(lián)網(wǎng)概論》-韓毅剛7410.7云計(jì)算10.7.1云計(jì)算的概念10.7.2云計(jì)算系統(tǒng)的組成和結(jié)構(gòu)10.7.3云計(jì)算系統(tǒng)實(shí)例10.7.4云計(jì)算系統(tǒng)的開發(fā)75《物聯(lián)網(wǎng)概論》-韓毅剛10.7.1云計(jì)算的概念《物聯(lián)網(wǎng)概論》-韓毅剛76定義分類延伸云計(jì)算的定義一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式《物聯(lián)網(wǎng)概論》-韓毅剛77云計(jì)算的服務(wù)模式基礎(chǔ)設(shè)施即服務(wù)IaaSInfrastructureasaService平臺(tái)即服務(wù)PaaSPlatformasaService軟件即服務(wù)SaaSSoftwareasaService《物聯(lián)網(wǎng)概論》-韓毅剛78云計(jì)算的類型公共云私有云企業(yè)云《物聯(lián)網(wǎng)概論》-韓毅剛79云計(jì)算的延伸云存儲(chǔ)云安全云電視云手機(jī)海計(jì)算框計(jì)算風(fēng)計(jì)算《物聯(lián)網(wǎng)概論》-韓毅剛8010.7.2云計(jì)算系統(tǒng)的組成和結(jié)構(gòu)SOA層中間管理層資源池層物理資源層《物聯(lián)網(wǎng)概論》-韓毅剛81云計(jì)算體系結(jié)構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛8210.7.3云計(jì)算系統(tǒng)實(shí)例1.亞馬遜云計(jì)算2.微軟云計(jì)算WindowsAzure《物聯(lián)網(wǎng)概論》-韓毅剛831.亞馬遜云計(jì)算彈性計(jì)算云EC2ElasticComputeCloud簡(jiǎn)單存儲(chǔ)服務(wù)S3SimpleStorageService簡(jiǎn)單數(shù)據(jù)庫服務(wù)SDBSimpleDB《物聯(lián)網(wǎng)概論》-韓毅剛84EC2基本架構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛85S3基本數(shù)據(jù)結(jié)構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛86

2.微軟云計(jì)算WindowsAzure云計(jì)算操作系統(tǒng)SQLAzure云計(jì)算數(shù)據(jù)庫.NET服務(wù)《物聯(lián)網(wǎng)概論》-韓毅剛87WindowsAzure主要部分《物聯(lián)網(wǎng)概論》-韓毅剛8810.7.4云計(jì)算系統(tǒng)的開發(fā)1.開源云計(jì)算系統(tǒng)Hadoop2.開源云計(jì)算系統(tǒng)Spark3.云計(jì)算虛擬化技術(shù)4.云計(jì)算仿真器CloudSim《物聯(lián)網(wǎng)概論》-韓毅剛891.開源云計(jì)算系統(tǒng)HadoopHDFS分布式文檔系統(tǒng)MapReduce分布式平行計(jì)算框架Hbase分布式數(shù)據(jù)庫《物聯(lián)網(wǎng)概論》-韓毅剛90Hadoop的云計(jì)算架構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛91

2.云計(jì)算虛擬化技術(shù)全虛擬化半虛擬化硬件輔助虛擬化《物聯(lián)網(wǎng)概論》-韓毅剛92

3.云計(jì)算仿真器CloudSim用戶代碼層CloudSim層GridSim層SimJava層《物聯(lián)網(wǎng)概論》-韓毅剛93CloudSim體系結(jié)構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛9410.8普適計(jì)算10.8.1普適計(jì)算技術(shù)的特征10.8.2普適計(jì)算的組成10.8.3普適計(jì)算的體系結(jié)構(gòu)10.8.4普適計(jì)算的關(guān)鍵技術(shù)95《物聯(lián)網(wǎng)概論》-韓毅剛普適計(jì)算的概念《物聯(lián)網(wǎng)概論》-韓毅剛9610.8.1普適計(jì)算技術(shù)的特征《物聯(lián)網(wǎng)概論》-韓毅剛97信息空間與物理空間間斷連接與輕量計(jì)算信息空間與物理空間的融合《物聯(lián)網(wǎng)概論》-韓毅剛9810.8.2普適計(jì)算的組成普適計(jì)算設(shè)備普適計(jì)算網(wǎng)絡(luò)系統(tǒng)軟件人機(jī)交互《物聯(lián)網(wǎng)概論》-韓毅剛99普適計(jì)算系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛10010.8.3普適計(jì)算的體系結(jié)構(gòu)層次模型見仁見智4層模型8層模型《物聯(lián)網(wǎng)概論》-韓毅剛101應(yīng)用環(huán)境中的普適計(jì)算體系結(jié)構(gòu)《物聯(lián)網(wǎng)概論》-韓毅剛10210.8.4普適計(jì)算的關(guān)鍵技術(shù)1.人機(jī)接口技術(shù)2.上下文感知計(jì)算3.服務(wù)的組合4.自適應(yīng)技術(shù)《物聯(lián)網(wǎng)概論》-韓毅剛1031.人機(jī)接口技術(shù)1）接口的自適應(yīng)性2）不可見的用戶接口《物聯(lián)網(wǎng)概論》-韓毅剛104

2.上下文感知計(jì)算上下文信息“5何”何時(shí)、何地、何人、何事、何因5Wwhen,where,who,what,why《物聯(lián)網(wǎng)概論》-韓毅剛1053.服務(wù)的組合組合服務(wù)的發(fā)現(xiàn)服務(wù)的匹配服務(wù)的選擇服務(wù)協(xié)調(diào)器錯(cuò)誤檢測(cè)與修復(fù)《物聯(lián)網(wǎng)概論》-韓毅剛1064.自適應(yīng)技術(shù)對(duì)用戶情境自適應(yīng)對(duì)設(shè)備資源自適應(yīng)對(duì)系統(tǒng)資源狀態(tài)自適應(yīng)保留系統(tǒng)《物聯(lián)網(wǎng)概論》-韓毅剛10710.9數(shù)據(jù)呈現(xiàn)10.9.1實(shí)時(shí)推送技術(shù)10.9.2數(shù)據(jù)可視化10.9.3HTML510.9.4數(shù)據(jù)呈現(xiàn)開發(fā)實(shí)例108《物聯(lián)網(wǎng)概論》-韓毅剛10.9.1