物聯(lián)網(wǎng)基礎(chǔ)架構(gòu)設(shè)備接入與大數(shù)據(jù)分析

物聯(lián)網(wǎng)根底架構(gòu)：設(shè)備接入與大數(shù)據(jù)分析TableofContents云效勞面臨大規(guī)模設(shè)備接入挑戰(zhàn)新的解決方案：EventHub效勞EventHub平安模型云效勞面臨大規(guī)模設(shè)備接入挑戰(zhàn)可變速率可預(yù)測和不可預(yù)測的突發(fā)事件流的特性千變?nèi)f化tInactivityPeriodComputeOnandoffOnandoffworkloads(e.g.batchjob)Overprovisionedcapacityiswasted.tBurstsPeaksduetoperiodicincreaseddemandITcomplexityandwastedcapacity.ComputeHalo4在線游戲數(shù)據(jù)〔一周的統(tǒng)計數(shù)據(jù)〕事件發(fā)生率各式各樣設(shè)備信息溫控傳感器每十五分鐘上報一次數(shù)據(jù)智能汽車每分鐘上報一次數(shù)據(jù)應(yīng)用的信息應(yīng)用的性能監(jiān)測效勞每秒鐘上報數(shù)據(jù)到效勞器移動應(yīng)用捕獲并上報你的每一次操作!應(yīng)用和運維的信息Halo游戲引擎每秒要處理1,000,000消息事件的來源種類繁多1B智能電視2.5B個人電腦>5B智能手機和平板電腦>10B物聯(lián)網(wǎng)數(shù)據(jù)來源:Gartner,IDC,StrategyAnalytics,MachinaResearch,Companyfilings,BIIntelligence,Accentureanalysis盈利模式內(nèi)容設(shè)備設(shè)備應(yīng)用設(shè)備應(yīng)用與效勞垂直領(lǐng)域中的效勞設(shè)備IoT的影響力GridRenewablesOil/Gas/Coal

Recoveryand

DistributionPoints

ofSaleRestaurantsHotelsFuel

StationsPatientsClinicsHospitalsNursing

HomesMobile

CareSafetySecurityComfortLightingAutomationManufacturingIntegrationandAutomationRemote

ServicingPredictiveand

Reactive

MaintenanceWaterWastePollution

ControlFireEmergencyPublicSafetyLaw

EnforcementLettersPackagesContainersTanksBulkwareGamesEventsSportsTelevisionStreamingTrafficBusesCarsTrucksTrainsVesselsAircraftBikes智慧能源智慧零售智能移動智慧物流智慧工廠智慧城市智慧娛樂智慧醫(yī)療智能建筑/家居對云效勞的挑戰(zhàn)設(shè)備接入效勞必須能夠支持高并發(fā)性(如超過百萬級的并發(fā)設(shè)備接入)高速率(如每秒超過百萬事件)高吞吐量(如每100秒處理超過TB)同時還要支持事件緩沖來提高可用性持久性低處理延遲高平安性最后還要價格合理！GridRenewablesOil/Gas/Coal

Recoveryand

DistributionPoints

ofSaleRestaurantsHotelsFuel

StationsPatientsClinicsHospitalsNursing

HomesMobile

CareSafetySecurityComfortLightingAutomationManufacturingIntegrationandAutomationRemote

ServicingPredictiveand

Reactive

MaintenanceWaterWastePollution

ControlFireEmergencyPublicSafetyLaw

EnforcementLettersPackagesContainersTanksBulkwareGamesEventsSportsTelevisionStreamingTrafficBusesCarsTrucksTrainsVesselsAircraftBikesSmartEnergySmartRetailSmartMobilitySmartLogisticsSmartFactorySmartCitiesSmartEntertain-mentSmartHealth-careSmartBuildingHome新的解決方案：EventHub效勞EventHub是大規(guī)模數(shù)據(jù)接入效勞設(shè)備容量:通過HTTP/AMQP可接收超過百萬的數(shù)據(jù)源〔設(shè)備〕處理速度:每秒處理超百萬的事件輸入吞吐量:超過GB/s輸出: 發(fā)布－訂閱模型，可并發(fā)連接多個用戶應(yīng)用平安性: 基于SAS，每個發(fā)布者有唯一的令牌事件緩沖:每個用戶的應(yīng)用擁有自己的指針和偏移量持久性：每個事件可保存1~7天處理時延：端到端50ms內(nèi)價格: PaaS模式，按實際使用量計費EventHub在物聯(lián)網(wǎng)中的應(yīng)用場景展現(xiàn)與操作數(shù)據(jù)改造事件代理永久性存儲事件采集事件源設(shè)備嵌入式設(shè)備(如RTOS)支持IP的設(shè)備

(Windows/Linux)用戶處網(wǎng)關(guān)設(shè)備EventHub傳統(tǒng)物聯(lián)網(wǎng)

(私有協(xié)議)協(xié)議轉(zhuǎn)換網(wǎng)關(guān)AMQP/HTTPC,.NET,Java…MQTT/COAP/Custom定制數(shù)據(jù)的保存時間,用戶分組,接收者分區(qū),檢查點,分區(qū)分發(fā)API低處理時延方便集成分析平臺與效勞定制代碼流分析Storm存儲適配器可以配置的存儲效勞適配器App監(jiān)控數(shù)據(jù)分析狀態(tài)監(jiān)控Dashboard服務(wù)搜索分布式事件跟蹤-用戶應(yīng)用AMQP/HTTP,C,.NET,Java…可根據(jù)吞吐量和并發(fā)數(shù)量擴展Azure數(shù)據(jù)庫Azure存儲HDInsightEventHub如何采集事件事件就是設(shè)備和應(yīng)用上傳的消息EventHub以〞分區(qū)〞〔Partition〕為接收單元一個分區(qū)就是就是一個事件隊列一個EventHub效勞包含多個分區(qū)分區(qū)之間相互獨立<256KBEventHub事件采集的高擴展性設(shè)備發(fā)送到EventHub效勞的事件包含分區(qū)鍵值(Key)EventHub通過靜態(tài)哈希函數(shù)將事件分發(fā)到分區(qū)如果發(fā)布事件時未指定分區(qū)鍵，那么會使用循環(huán)分配或者其他〔如根據(jù)地理位置〕屬性分配EventHub的流量控制EventHub的流控通過流控單元實現(xiàn)輸入流控：每個單元限定1MB/s或1000events/s輸出流控：每個單元限定2MB/sEventHub如何傳遞消息到使用者從EventHub讀取事件數(shù)據(jù)的任何實體稱為事件使用者IoT場景下，事件使用者就是IoT應(yīng)用的后臺效勞事件使用者通過使用者組中的分區(qū)讀取事件流AMQP1.0EventHub如何支持故障轉(zhuǎn)移和彈性EventHub的分區(qū)支持偏移量〔Offset〕偏移量是事件的編號事件使用者可以在事件流中指定要從其開始讀取事件的點EventHub的分區(qū)支持檢查點〔Checkpointing〕檢查點記錄分區(qū)中的事件處理的狀態(tài)當(dāng)一個使用者發(fā)生故障的時候，備份的使用者可以從檢查點開始，繼續(xù)處理未經(jīng)處理的事件多個使用者可以并行處理同一分區(qū)內(nèi)的不同事件EventHub平安模型EventHub發(fā)布者發(fā)布者是設(shè)備接入EventHub效勞的端點發(fā)布者具有接入控制和流控的功能每個設(shè)備都把消息發(fā)送給發(fā)布者每一個發(fā)布者有唯一的URL:EventHubpublisher“dev-01〞device“dev-01〞publisher“dev-02〞device“dev-02〞publisher“dev-n〞device“dev-n〞基于令牌的平安模型每一個設(shè)備都有自己的共享訪問簽名(SAS)令牌設(shè)備長期持有令牌設(shè)備在發(fā)送的每條消息里攜帶令牌發(fā)布者根據(jù)令牌授權(quán)設(shè)備接入設(shè)備通過以下方式之一獲得令牌:離線獲取并燒入設(shè)備.通過用戶的配置效勞獲取令牌所有的令牌都被分配一個密鑰分配密鑰所有的令牌都被分配了一個密鑰密鑰保存在EventHub效勞中，用于驗證令牌設(shè)備不知道密鑰密鑰永遠不會在網(wǎng)上傳輸實時大數(shù)據(jù)分析–待續(xù)。。。共享資源LearningMicrosof