空間大數(shù)據(jù)概述

1、空間大數(shù)據(jù)目錄一、大數(shù)據(jù)的涵義與與研究意義二、與空空間信息息和位置置相關(guān)的的大數(shù)據(jù)三、空間間大數(shù)據(jù)據(jù)的應(yīng)用四、空間間大數(shù)據(jù)據(jù)的存儲(chǔ)五、總結(jié)結(jié)一、大數(shù)據(jù)的涵義與與研究意義義大數(shù)據(jù)：大型復(fù)雜雜數(shù)據(jù)集集的聚合合，這些些數(shù)據(jù)集集的規(guī)模模和復(fù)雜雜程度常常超出目目前數(shù)據(jù)據(jù)庫(kù)管理理軟件和和傳統(tǒng)數(shù)數(shù)據(jù)處理理技術(shù)在在可接受受時(shí)間下下的獲取取、管理理、檢索索、分析析、挖掘掘和可視視化能力力。一、大數(shù)據(jù)的涵義與與研究意義義大數(shù)據(jù)的特點(diǎn)：）Volume（體量大）：大大量TB級(jí)以上已有有的數(shù)據(jù)等待處理；）Velocity（速度快快）：需需要響應(yīng)以s甚至ms計(jì)的流數(shù)據(jù)據(jù)不斷產(chǎn)生；）Variety（模態(tài)多多樣）：數(shù)據(jù)來(lái)源和

2、類類型繁多文本本、圖片片、視頻頻等結(jié)構(gòu)化化和非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)并存；）Veracity（真?zhèn)坞y辨）：由由于數(shù)據(jù)的噪音、缺缺失、不不一致性性、歧義義等引起的的數(shù)據(jù)不確定性性；）Value（價(jià)值）：大數(shù)據(jù)使得得人們以以前所未有有的維度量量化和理理解世界，蘊(yùn)蘊(yùn)含了巨大的的價(jià)值，大大數(shù)據(jù)的終極目目標(biāo)在于于從數(shù)據(jù)據(jù)中挖掘掘價(jià)值。大數(shù)據(jù)的核核心：預(yù)預(yù)測(cè)一、大數(shù)據(jù)的涵義與與研究意義義研究大數(shù)據(jù)的的意義：科學(xué)進(jìn)步步圖靈獎(jiǎng)獲獲得者吉姆格雷提出：大數(shù)據(jù)是科科學(xué)研究究的第四四范式，是從計(jì)算密密集型科科研發(fā)展展到以大大數(shù)據(jù)為為基礎(chǔ)的的數(shù)據(jù)密密集型科科研方法?？茖W(xué)實(shí)驗(yàn)?zāi)Ｐ蜌w納模擬仿真數(shù)據(jù)密集型科學(xué)研究究方法的的發(fā)展真正的

3、革革命并不不發(fā)生在在分析數(shù)數(shù)據(jù)的機(jī)機(jī)器，而而在于數(shù)數(shù)據(jù)本身身和我們們?nèi)绾芜\(yùn)運(yùn)用數(shù)據(jù)據(jù)。一、大數(shù)據(jù)的涵義與與研究意義義研究大數(shù)據(jù)的的意義：社會(huì)變革革2009至今美國(guó)國(guó)政府全全面開(kāi)放放了40萬(wàn)聯(lián)邦政政府原始始數(shù)據(jù)集集。大數(shù)數(shù)據(jù)已成成為美國(guó)國(guó)國(guó)家創(chuàng)創(chuàng)新戰(zhàn)略略、國(guó)家家安全戰(zhàn)戰(zhàn)略、國(guó)國(guó)家IT產(chǎn)業(yè)發(fā)展展戰(zhàn)略以以及國(guó)家家信息網(wǎng)網(wǎng)絡(luò)戰(zhàn)略略的交叉叉領(lǐng)域、核心領(lǐng)域。21世紀(jì)數(shù)據(jù)據(jù)的價(jià)值值有可能能等同于于20世紀(jì)的石石油，大大數(shù)據(jù)研研究使得得人們降降低了對(duì)對(duì)因果關(guān)關(guān)系的渴渴求，而而關(guān)注相相關(guān)關(guān)系系。只需需要知道道是什么么，而不不需知道道為什么么。這將將使得理理解現(xiàn)實(shí)實(shí)和做決決定的基基礎(chǔ)也將將受到根根本性挑戰(zhàn)。社會(huì)價(jià)

4、值一、大數(shù)據(jù)的涵義與與研究意義義研究大數(shù)據(jù)的的意義：經(jīng)濟(jì)增長(zhǎng)長(zhǎng)新的職業(yè)新的企業(yè)新的應(yīng)用新的產(chǎn)值二、與空間信息息和位置置相關(guān)的的大數(shù)據(jù)據(jù)指直接或或間接關(guān)關(guān)聯(lián)著相對(duì)于地球的的某個(gè)地地點(diǎn)的數(shù)數(shù)據(jù)，包括自然地理理數(shù)據(jù)和社會(huì)經(jīng)濟(jì)濟(jì)數(shù)據(jù)?？臻g媒體體數(shù)據(jù)地理數(shù)據(jù)據(jù)軌跡數(shù)據(jù)據(jù)包含位置置的數(shù)字字化的文字、圖圖形、圖像、視視頻影像像等媒體數(shù)據(jù)據(jù)，主要來(lái)源于移移動(dòng)社交交網(wǎng)絡(luò)、微博等新型型互聯(lián)網(wǎng)網(wǎng)應(yīng)用指通過(guò)GNSS等測(cè)量手手段以及及網(wǎng)絡(luò)簽簽到等方方法獲得得的用戶戶活動(dòng)數(shù)數(shù)據(jù)，可可以被用用來(lái)反映映用戶的的位置和和用戶的的社會(huì)偏偏好。位置大數(shù)數(shù)據(jù)的分分類二、與空間信信息和位位置相關(guān)關(guān)的大數(shù)數(shù)據(jù)地理數(shù)據(jù)據(jù)內(nèi)容：土土地覆蓋蓋

5、類型數(shù)數(shù)據(jù)、地地貌數(shù)據(jù)據(jù)、土壤壤數(shù)據(jù)、水文數(shù)數(shù)據(jù)、植植被數(shù)據(jù)據(jù)、居民民地?cái)?shù)據(jù)據(jù)、河流流數(shù)據(jù)、行政境境界及社社會(huì)經(jīng)濟(jì)濟(jì)方面的的數(shù)據(jù)等。特點(diǎn)：數(shù)數(shù)據(jù)體量量大、較較為規(guī)則則化、變變化較慢。二、與空間信信息和位位置相關(guān)關(guān)的大數(shù)數(shù)據(jù)軌跡數(shù)據(jù)據(jù)內(nèi)容：個(gè)個(gè)人軌跡數(shù)據(jù)據(jù)、群體體軌跡數(shù)數(shù)據(jù)、車(chē)車(chē)輛軌跡跡數(shù)據(jù)等等特點(diǎn)：數(shù)數(shù)據(jù)體量大、信息碎碎片化、準(zhǔn)確性性較低、半結(jié)構(gòu)構(gòu)化出租車(chē)軌軌跡數(shù)據(jù)據(jù)示例二、與空間信信息和位位置相關(guān)關(guān)的大數(shù)數(shù)據(jù)空間媒體體數(shù)據(jù)內(nèi)容：互聯(lián)網(wǎng)網(wǎng)圖像視視頻數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)據(jù)在線電子商務(wù)務(wù)數(shù)據(jù)、城城市監(jiān)控?cái)z像像頭數(shù)據(jù)據(jù)特點(diǎn)：數(shù)據(jù)來(lái)源源混雜、數(shù)據(jù)異異構(gòu)性大大、數(shù)據(jù)據(jù)價(jià)值密度低，實(shí)時(shí)性強(qiáng)二、與空間信信息和

6、位位置相關(guān)關(guān)的大數(shù)數(shù)據(jù)社會(huì)交流流、個(gè)性性化信息息推送、駕駛安全、智智能駕駛駛為個(gè)人生生活服務(wù)務(wù)城市規(guī)劃劃、疾病病控制、智能交通、節(jié)能減排、環(huán)環(huán)境保護(hù)護(hù)、應(yīng)急急響應(yīng)企業(yè)調(diào)度度、門(mén)店店選址、廣告推送、位位置營(yíng)銷(xiāo)銷(xiāo)為企業(yè)經(jīng)經(jīng)濟(jì)服務(wù)務(wù)為城市運(yùn)運(yùn)行服務(wù)務(wù)位置大數(shù)數(shù)據(jù)的作作用三、空間大數(shù)據(jù)的的應(yīng)用1.空間大數(shù)據(jù)與與智能交交通Inrix是美國(guó)的的一家交交通數(shù)據(jù)據(jù)處理公公司，也是全球領(lǐng)先的道道路交通通信息和和駕駛員員服務(wù)供供應(yīng)商。他們?cè)O(shè)計(jì)的APP是一款致致力于為為全球交交通問(wèn)題題帶來(lái)智智能數(shù)據(jù)據(jù)和先進(jìn)進(jìn)的分析析方法的的交通智智能化平平臺(tái)。三、空間大數(shù)據(jù)的的應(yīng)用利用大數(shù)數(shù)據(jù)預(yù)判判未來(lái)交交通信息息和路況況是核心心

7、2012年英國(guó)倫倫敦奧運(yùn)會(huì)利用INRIX軟件和在在線服務(wù)務(wù)確保交交通順暢暢;在美國(guó)有有超過(guò)25個(gè)州的交交通部門(mén)門(mén)使用INRIX數(shù)據(jù)輔助助交通管理。三、空間間大數(shù)據(jù)的應(yīng)應(yīng)用2015年2月11日，國(guó)內(nèi)智能交通通行業(yè)領(lǐng)領(lǐng)軍企業(yè)業(yè)北京千千方科技技股份有有限公司司與INRIX簽署戰(zhàn)略合作作協(xié)議。千方科技在在國(guó)內(nèi)智智能交通通行業(yè)具具有深厚厚的理解解和市場(chǎng)場(chǎng)、技術(shù)術(shù)積累，INRIX在歐美地地區(qū)具有有成熟的的交通信信息化解解決方案案和先進(jìn)進(jìn)理念。雙方將將結(jié)合各各自的優(yōu)優(yōu)勢(shì)，整整合交通通信息化化及數(shù)據(jù)據(jù)分析解解決方案案和產(chǎn)品品，共同同拓展智智能交通通行業(yè)市場(chǎng)，雙方將在交通通大數(shù)據(jù)據(jù)分析、增值挖挖掘、交交通仿真真

8、等技術(shù)術(shù)方向深深度交流流，提升升雙方專專業(yè)化及及技術(shù)能能力。不過(guò)，由于涉涉及國(guó)內(nèi)內(nèi)職能部部門(mén)的數(shù)數(shù)據(jù)保護(hù)護(hù)問(wèn)題，國(guó)內(nèi)手手機(jī)用戶戶還未能能夠體驗(yàn)驗(yàn)這款A(yù)pp。三、空間大大數(shù)據(jù)的應(yīng)應(yīng)用2.空間大數(shù)數(shù)據(jù)與社社會(huì)生活活2014年春節(jié)期間，百度地圖定定位可視視化大數(shù)數(shù)據(jù)播報(bào)的國(guó)國(guó)內(nèi)春節(jié)人口口遷徙情況。2015年最近一一周南京京夫子廟廟景區(qū)熱熱力圖三、空間大大數(shù)據(jù)的應(yīng)應(yīng)用3.空間大數(shù)據(jù)與與應(yīng)急管管理2013年4月15日，波士士頓馬拉拉松爆炸炸案事發(fā)發(fā)幾小時(shí)時(shí)內(nèi)，數(shù)數(shù)以千計(jì)計(jì)的在場(chǎng)場(chǎng)群眾將將事發(fā)現(xiàn)現(xiàn)場(chǎng)拍攝攝的照片片和視頻頻放到了了公共網(wǎng)網(wǎng)絡(luò)平臺(tái)臺(tái)上，這這些照片片和視頻頻圖像來(lái)來(lái)自各種種相機(jī)，手機(jī)和和平板電電

9、腦。不不到一天天時(shí)間，嫌犯被被確認(rèn)并并在紐約約被抓獲獲這是一種典典型的利利用空間間社會(huì)媒媒體的位位置大數(shù)數(shù)據(jù)與反反犯罪機(jī)機(jī)構(gòu)的專專業(yè)能力力結(jié)合，建立的的城市安安全與應(yīng)應(yīng)急新體體制位置大數(shù)數(shù)據(jù)研究究涉及到到數(shù)據(jù)采采集、數(shù)數(shù)據(jù)處理理、計(jì)算算和存儲(chǔ)儲(chǔ)以及可可視化等等一套完完整的方方法體系系數(shù)據(jù)采集泛在測(cè)繪數(shù)據(jù)分析重?cái)?shù)據(jù)輕算法數(shù)據(jù)存儲(chǔ)NOSQL數(shù)據(jù)表達(dá)可視化四、空間大數(shù)據(jù)的的存儲(chǔ)四、空間大數(shù)據(jù)的的存儲(chǔ)海量數(shù)據(jù)據(jù)的高效效存儲(chǔ)支持豐富富的數(shù)據(jù)據(jù)類型處理速度度快數(shù)據(jù)庫(kù)應(yīng)應(yīng)當(dāng)易于于擴(kuò)展大數(shù)據(jù)下下對(duì)于數(shù)數(shù)據(jù)庫(kù)的的需求四、空間大數(shù)據(jù)的的存儲(chǔ)CAPNOSQLBASE不保證遵遵循ACID原則分布式的的非關(guān)系型型的四、

10、位置大數(shù)數(shù)據(jù)的存存儲(chǔ)必須保證證兩者權(quán)衡衡一致性可用性分區(qū)容錯(cuò)錯(cuò)性BASE四、空間大數(shù)據(jù)的的存儲(chǔ)靈活高可用性性高性能易擴(kuò)展NoSQL數(shù)據(jù)庫(kù)的的特點(diǎn)四、空間大數(shù)據(jù)的的存儲(chǔ)Key-value型文檔型圖形數(shù)據(jù)據(jù)庫(kù)列式存儲(chǔ)儲(chǔ)四、空間大數(shù)據(jù)的的存儲(chǔ)定義一個(gè)個(gè)大的有有序結(jié)構(gòu)數(shù)組HashValuem，用來(lái)存放放各信息息查詢哈希表哈希函數(shù)數(shù)當(dāng)查詢的的時(shí)候再使用哈哈希函數(shù)數(shù)得到這個(gè)個(gè)下標(biāo)值值編寫(xiě)一個(gè)個(gè)哈希函函數(shù)將關(guān)關(guān)鍵值的的名字轉(zhuǎn)轉(zhuǎn)換為HashValuem中的某個(gè)個(gè)下標(biāo)值值xKey-value型四、空間大數(shù)據(jù)的的存儲(chǔ)文檔集合數(shù)據(jù)庫(kù)集合就是是一組文文檔。集合是無(wú)無(wú)模式的的。多個(gè)文檔檔組成集集合多個(gè)集合合數(shù)據(jù)庫(kù)庫(kù)。它

11、包含多多個(gè)鍵/值對(duì)文檔中的的鍵/值對(duì)是有序的文檔型數(shù)數(shù)據(jù)庫(kù)四、空間大數(shù)據(jù)的的存儲(chǔ)四、空間大數(shù)據(jù)的的存儲(chǔ)四、空間大數(shù)據(jù)的的存儲(chǔ)分類Examples舉例典型應(yīng)用場(chǎng)景數(shù)據(jù)模型優(yōu)點(diǎn)缺點(diǎn)鍵值（key-value）Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪問(wèn)負(fù)載，也用于一些日志系統(tǒng)等等。Key 指向 Value 的鍵值對(duì)，通常用hash table來(lái)實(shí)現(xiàn)查找速度快數(shù)據(jù)無(wú)結(jié)構(gòu)化，通常只被當(dāng)作字符串或者二進(jìn)制數(shù)據(jù)列存儲(chǔ)數(shù)據(jù)庫(kù)Cassandra, HBase, Riak分布式的文件系統(tǒng)以列簇式存儲(chǔ)，將同一列數(shù)據(jù)存在一起

12、查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展功能相對(duì)局限文檔型數(shù)據(jù)庫(kù)CouchDB, MongoDbWeb應(yīng)用（與Key-Value類似，Value是結(jié)構(gòu)化的，不同的是數(shù)據(jù)庫(kù)能夠了解Value的內(nèi)容）Key-Value對(duì)應(yīng)的鍵值對(duì)，Value為結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格，表結(jié)構(gòu)可變，不需要像關(guān)系型數(shù)據(jù)庫(kù)一樣需要預(yù)先定義表結(jié)構(gòu)查詢性能不高，而且缺乏統(tǒng)一的查詢語(yǔ)法。圖形(Graph)數(shù)據(jù)庫(kù)Neo4J, InfoGrid, Infinite Graph社交網(wǎng)絡(luò)，推薦系統(tǒng)等。專注于構(gòu)建關(guān)系圖譜圖結(jié)構(gòu)利用圖結(jié)構(gòu)相關(guān)算法。比如最短路徑尋址，N度關(guān)系查找等很多時(shí)候需要對(duì)整個(gè)圖做計(jì)算才能得出需要的信息，而且

13、這種結(jié)構(gòu)不太好做分布式的集群方案。四、空間大數(shù)據(jù)的的存儲(chǔ)四、空間大數(shù)據(jù)的的存儲(chǔ)這便是一一個(gè)document，使用JSON格式，一一目了然然。其中中的geom即為Geometry類型的數(shù)數(shù)據(jù)，即即地理空空間數(shù)據(jù)據(jù)，也是是采用JSON格式存儲(chǔ)儲(chǔ)，這樣樣后續(xù)的的空間索索引與空空間查詢?cè)儗⑹址址奖?。四、空間大數(shù)據(jù)的的存儲(chǔ)db.xqpoint.find(geom.coordinates:122.53233,52.968872)精確查詢?cè)冟徲虿樵冊(cè)僤b.xqpoint.find(geom.coordinates:$near:122,52)db.xqpoint.find(geom.coordinates:$near:122,52).limit(5)db.xqpoint.find(geom.coordinates:$near:122,52,$maxDistance:5).limit(5)四、空間大數(shù)據(jù)的的存儲(chǔ)范圍查詢?cè)?box= 80,40,100,50db.xqpoint.find(geom.coordinates:$within:$box:box) center= 80,44radius =5 db.xqpoint.find(geo