大數(shù)據(jù)、云計算與移動應用(講)云計算應用實例

1、大數(shù)據(jù)、云計算與移動應用劉 鵬 專注云計算中國云計算 中國大數(shù)據(jù) 第5講云計算應用實例Big Data & Cloud Computing2網(wǎng)格計算池國內(nèi)云計算的提出反垃圾郵件網(wǎng)格云安全的前身RAID-M：磁盤矩陣海量存儲系統(tǒng)世界計算機排序比賽冠軍大數(shù)據(jù)存儲與分析7城市級別的視頻監(jiān)控傳統(tǒng)視頻監(jiān)控的局限性多攝頭與單監(jiān)視器的矛盾人類注意力的不集中被動錄像，事后查詢海量視頻圖像無法利用目標描述大整合、高共享，多平臺多格式的視頻監(jiān)控資源需要統(tǒng)一納入到大平臺管理； 以云計算技術解決海量視頻數(shù)據(jù)的存儲、檢索、訪問、管理問題；提供社會監(jiān)控資源并網(wǎng)、多級聯(lián)動及資源共享服務平安城市云技術架構(gòu)平安城市建設面臨的主

2、要挑戰(zhàn)平安城市建設面臨的主要挑戰(zhàn)分級資源虛擬化一級監(jiān)控中心二級監(jiān)控中心三級監(jiān)控中心四級監(jiān)控中心省廳監(jiān)控中心市局監(jiān)控中心分局監(jiān)控中心派出所監(jiān)控中心1其他業(yè)務部門監(jiān)控中心派出所監(jiān)控中心N視頻圖像采集設備聲音采集設備報警設備數(shù)據(jù)社會監(jiān)控中心監(jiān)控資源公安用戶終端社會用戶終端用戶終端傳輸網(wǎng)絡傳輸網(wǎng)絡傳輸網(wǎng)絡傳輸網(wǎng)絡傳輸網(wǎng)絡系統(tǒng)網(wǎng)絡結(jié)構(gòu)公安外網(wǎng)系統(tǒng)公安內(nèi)網(wǎng)系統(tǒng)物理隔離網(wǎng)閘防火墻互聯(lián)網(wǎng)移動公網(wǎng)公安專網(wǎng)模擬攝像機DVR網(wǎng)絡攝像機移動用戶終端網(wǎng)絡攝像機用戶終端接入轉(zhuǎn)碼存儲控制大屏省廳/市局監(jiān)控中心系統(tǒng)檢索識別分局/派出所監(jiān)控中心系統(tǒng)模擬攝像機DVR網(wǎng)絡攝像機轉(zhuǎn)發(fā)監(jiān)控終端調(diào)度GIS管理終端服務器集群系統(tǒng)綜合警務O

3、A系統(tǒng)情報系統(tǒng)pGIS等分局/派出所監(jiān)控中心系統(tǒng)公安內(nèi)部專網(wǎng)分局/派出所內(nèi)網(wǎng)系統(tǒng)云視頻接入模擬攝像機網(wǎng)絡攝像機現(xiàn)有的視頻服務器API接口模擬攝像機云接入服務器集群接入認證、負載均衡、流轉(zhuǎn)發(fā)、設備注冊服務等傳輸網(wǎng)絡（互聯(lián)網(wǎng)、移動公網(wǎng)、公安專網(wǎng)）網(wǎng)關社會監(jiān)控資源模擬攝像機網(wǎng)絡攝像機RTSP/RTP/RTCP協(xié)議分布式中心控制服務器 云轉(zhuǎn)碼、云存儲服務器集群信令處理/任務調(diào)度監(jiān)控終端管理終端平安城市建設面臨的主要挑戰(zhàn)云存儲系統(tǒng)云存儲管理界面云存儲性能大數(shù)據(jù)讀性能大數(shù)據(jù)寫性能超低功耗云存儲節(jié)點1PB 云存儲系統(tǒng)1.8PB CSTOR云存儲系統(tǒng)CSTOR云存儲系統(tǒng)工作原理CSTOR A8000云存儲系統(tǒng)

4、MINICLOUD平安城市建設面臨的主要挑戰(zhàn)智能分析功能特征提取圖像質(zhì)量分析圖像拼接人員行為檢測智能分析核心技術類檢測類煙霧檢測火焰檢測目標跟蹤圖像處理類人員密度分析統(tǒng)計類人流量統(tǒng)計車流量統(tǒng)計圖像智能檢索對已有海量視頻的事件檢索技術以及對事件發(fā)生視頻的切片回放、運動幀提取，對象跟蹤；基于事件檢測的防范禁區(qū)檢測，過線檢測，遺留物檢測，物品丟失檢測，人員徘徊檢測等一系列智能分析。云計算智能安防例：打架檢測圖像智能檢索云計算智能安防目標運動視頻DNA序列生成視頻DNA可視化圖譜云視頻監(jiān)控界面平安城市建設面臨的主要挑戰(zhàn)云轉(zhuǎn)碼平安城市云1.6槍擊案圖偵工作1.6槍擊案圖偵工作1.6槍擊案圖偵工作1.6槍

5、擊案圖偵工作1.6槍擊案圖偵工作1.6槍擊案圖偵工作1.6槍擊案圖偵工作南京公安局采用云存儲部署到鎮(zhèn)江市“云神工程”部署于蘭州市政府數(shù)據(jù)中心部署于浪潮展示中心部署于中科院電子所平安城市云的意義全面掌握：對各種來源數(shù)據(jù)進行匯聚，原來散落在不同系統(tǒng)、描述不同內(nèi)容的局部數(shù)據(jù)發(fā)揮整體作用。智能分析：依靠云的大規(guī)模處理能力對視頻數(shù)據(jù)進行精確智能的分析。及時預警：通過將各種物聯(lián)網(wǎng)傳感器和信息系統(tǒng)自動綜合，可以及時發(fā)現(xiàn)危險信號并預警。長效管理：依靠云計算平臺的海量存儲能力，不斷積累歷史數(shù)據(jù)，可以對監(jiān)測對象和整體環(huán)境趨勢進行長期的跟蹤和分析。大數(shù)據(jù)管理與處理51云處理平臺數(shù)據(jù)立方(DATACUBE)JOBKE

6、EPERJOBKEEPER特點入庫性能100倍查詢性能100倍數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機管理系統(tǒng)數(shù)據(jù)立方云計算一體機介紹英特爾最新的硬件平臺和管理技術英特爾E5家族系列CPU英特爾服務器組件DataCenterMa

7、nager能耗管理云創(chuàng)存儲自主知識產(chǎn)權(quán)的軟件架構(gòu)分布式文件系統(tǒng)cStor/HDFS分布式數(shù)據(jù)庫DataCube任務執(zhí)行引擎TaskMaster數(shù)據(jù)立方云計算一體機管理系統(tǒng)大數(shù)據(jù)處理利器，極具突破性的整柜解決方案74INTEL-云創(chuàng)數(shù)據(jù)立方云計算一體機INTEL-云創(chuàng)數(shù)據(jù)立方云計算一體機數(shù)據(jù)立方云計算一體機應用應用范圍應用描述成功案例客戶平安城市海量數(shù)據(jù)存儲、實時視頻流處理、視頻內(nèi)容識別南京智能安防監(jiān)控平臺南京市公安局智能交通數(shù)據(jù)集中式存儲、智能識別道路車流和排隊情況，向各種終端提供自適應的并發(fā)訪問智能交通云平臺南京市交管局移動網(wǎng)絡優(yōu)化海量數(shù)據(jù)存儲、結(jié)構(gòu)化數(shù)據(jù)實時索引、實時處理、提供API接口、

8、Web Services接口，與應用層無縫對接。廣東移動信令共享云平臺、江蘇移動信令共享云平臺、遼寧移動信令共享云平臺中國移動、中國聯(lián)通、中國電信互聯(lián)網(wǎng)數(shù)據(jù)挖掘互聯(lián)網(wǎng)數(shù)據(jù)的實時采集與統(tǒng)計分析互聯(lián)網(wǎng)業(yè)務分析系統(tǒng)埃法迪媒體處理海量數(shù)據(jù)存儲、海量數(shù)據(jù)處理天華傳媒云轉(zhuǎn)碼系統(tǒng)深圳天華傳媒電力數(shù)據(jù)分析海量數(shù)據(jù)實時采集與分析電網(wǎng)用電數(shù)據(jù)分析系統(tǒng)庚頓.某省移動目標信令流峰值為7200Mb/s挑戰(zhàn)：實時性、可靠性由世紀鼎利和云創(chuàng)存儲共同完成2011.8-2012.6某省移動網(wǎng)絡優(yōu)化測評鼎利ClouDiL+數(shù)據(jù)立方 端到端全程綜合解決方案CS/PS/LTE數(shù)據(jù)立方自動路測，A, Abis, Iub, IuPS,

9、IuCS，LTE X2，LTE S1MAP, CAP，Gn, GiOMC報表網(wǎng)絡優(yōu)化漫游分析VIP與用戶體驗終端分析客戶關系管理業(yè)務優(yōu)化更多BI分析具備大數(shù)據(jù)量的應用分析能力數(shù)據(jù)立方性能測試測試項時間結(jié)果行業(yè)參考值隨機話單查詢10秒內(nèi)領先30秒-60秒批量話單查詢根據(jù)數(shù)據(jù)量領先1倍時延KPI數(shù)據(jù)統(tǒng)計結(jié)果2秒內(nèi)領先20秒-60秒某省移動信令監(jiān)測系統(tǒng)測試結(jié)果：省級信令共享平臺應用每日CDR約1.2TBIF2訂閱，秒級生效海量數(shù)據(jù)中查詢，秒級呈現(xiàn)通過全分布式架構(gòu)和分級數(shù)據(jù)模型設計，系統(tǒng)處理性能得到充分驗證，優(yōu)勢完整體現(xiàn)，并且經(jīng)過商用嚴格測試。ClouDiL+數(shù)據(jù)立方優(yōu)勢85海量信令數(shù)據(jù)實時處理基于分

10、布式的架構(gòu)，數(shù)據(jù)立方將海量實時信令數(shù)據(jù)的壓力均勻分散到每個處理節(jié)點上，實現(xiàn)負載均衡，充分利用多磁盤優(yōu)勢，每個磁盤可視為一個準節(jié)點，極大的提高了IO性能；云端編解碼、云計算在云計算平臺上采用高效實時編解碼技術，將采集到的各接口信令數(shù)據(jù)解碼合成，并實時轉(zhuǎn)發(fā)，本地數(shù)據(jù)本地處理， “移動計算，而不移動數(shù)據(jù)”；部署靈活部署靈活、方便，已經(jīng)完成省級信令共享平臺部署；高性價比和動態(tài)伸縮性低廉、高可靠性的海量存儲能力、數(shù)據(jù)處理能力和無限可擴展能力；存儲/處理服務器的負載應用界面某省中國移動比賽現(xiàn)場部署到江蘇移動智能交通成功案例卡口數(shù)據(jù)處理云平臺卡口數(shù)據(jù)處理云平臺最新的國家電網(wǎng)測試結(jié)果用例數(shù)據(jù)量耗費時間結(jié)果集用

11、例454.4億，6.225TB827毫秒33211條用例454.4億，6.225TB840毫秒33211條用例454.4億，6.225TB727毫秒33211條select t.tmnl_task_id, t.terminal_id from e_mp_power_curve p , a_tmnl_task t , a_tmnl_task_obj o where p.data_date=to_date( ? , yyyymmdd) and (instr(substr(DATA_WHOLE_FLAG,0,96), 0) 0 or instr(substr(DATA_WHOLE_FLAG,0,96

12、), 4) 0 or instr(substr(DATA_WHOLE_FLAG,0,96), 9) 0 ) and t.task_id = ? and t.tmnl_task_id = o.tmnl_task_id and o.obj_id = p.idPM2.5云監(jiān)測平臺 94PM2.5 監(jiān)測節(jié)點PM2.5 云監(jiān)測平臺與權(quán)威PM2.5監(jiān)測數(shù)據(jù)的對比PM2.5監(jiān)測平臺用戶訪問界面用戶地圖江蘇省軟件企業(yè)專利商標申請序號申請?zhí)柹虡嗣Q類別主要內(nèi)容申請時間197059499計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機(攝影)；測量儀器；放大鏡（光學）；傳

13、感器；音響警報器；電池。2011-07-122970594842技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；計算機程序和數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換（非有形轉(zhuǎn)換）；藝術品鑒定。2011-07-1239705951云創(chuàng)存儲9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機(攝影)；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-07-1249705950云創(chuàng)存儲42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；

14、計算機程序和數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換（非有形轉(zhuǎn)換）；藝術品鑒定。2011-07-1259705953云創(chuàng)存9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機(攝影)；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-07-1269705952云創(chuàng)存42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；計算機程序和數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換（非有形轉(zhuǎn)換）；藝術品鑒定。2011-07-1279705955Cstor9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；

15、照相機(攝影)；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-07-1289705954Cstor42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；計算機程序和數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換（非有形轉(zhuǎn)換）；藝術品鑒定。2011-07-1299713428cvideo42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011video9計算機；已錄制的計算機程序（程序）；

16、電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011trans9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011trans42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011-07-131310373156datacube

17、9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-12-301410373155datacube42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011-12-301510373149數(shù)據(jù)立方9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-12

18、-301610373150數(shù)據(jù)立方42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011-12-301710373151cprocess9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-12-301810373152cprocess42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011-12-301910373153cproc9計算機；已錄制的計算機程序（程序）；電腦軟件（錄制好的）；計算機程序（可下載軟件）；照相機（攝影）；測量儀器；放大鏡（光學）；傳感器；音響警報器；電池。2011-12-302010373154cproc42技術項目研究；物理研究；工業(yè)品外觀設計；計算機編程；計算機軟件設計；計算機硬件咨詢；計算機數(shù)據(jù)的復原；計算機系統(tǒng)設計；為計算機用戶間交換數(shù)據(jù)提供即時連接服務；藝術品鑒定。2011-12-302110971972mini