《智能建造技術(shù)與裝備》 課件 第三章 大數(shù)據(jù)技術(shù)與應(yīng)用

智能建造技術(shù)與裝備第三章：大數(shù)據(jù)技術(shù)與應(yīng)用目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用一、大數(shù)據(jù)技術(shù)概述——大數(shù)據(jù)的概念大數(shù)據(jù)技術(shù)

本質(zhì)上是從類型各異、內(nèi)容龐大的數(shù)據(jù)中快速獲得有價值信息的技術(shù)海量用戶的一次次的行為數(shù)據(jù)形成巨大的數(shù)據(jù)集合通過處理與分析的數(shù)據(jù)，結(jié)合各行各業(yè)的應(yīng)用場景和業(yè)務(wù)需求，提供處理依據(jù)和應(yīng)用依據(jù)在維克托·邁爾—舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中，大數(shù)據(jù)是指不用隨機分析法這樣捷徑，而采用所有數(shù)據(jù)進行分析處理的方式。其中，作者還指出，大數(shù)據(jù)技術(shù)的核心就是預(yù)測。包括分布式計算、數(shù)據(jù)挖掘、機器學(xué)習(xí)等關(guān)鍵技術(shù)，這些技術(shù)被設(shè)計用來處理海量數(shù)據(jù)，并從中提取有價值的知識和見解數(shù)據(jù)技術(shù)應(yīng)用大數(shù)據(jù)技術(shù)=“數(shù)據(jù)+技術(shù)+應(yīng)用”成熟期2001—2010年一、大數(shù)據(jù)技術(shù)概述——大數(shù)據(jù)的發(fā)展歷程大數(shù)據(jù)基礎(chǔ)技術(shù)成熟之后，學(xué)術(shù)界及企業(yè)界紛紛開始轉(zhuǎn)向應(yīng)用研究，2013年大數(shù)據(jù)技術(shù)開始向商業(yè)、醫(yī)療、政府、教育及社會的各個領(lǐng)域滲透，因此2013年也被稱為大數(shù)據(jù)元年。03大數(shù)據(jù)作為一個新興名詞開始被理論界所關(guān)注，其概念和特點被進一步豐富，相關(guān)的數(shù)據(jù)處理技術(shù)相繼出現(xiàn)，大數(shù)據(jù)開始展現(xiàn)活力。02大數(shù)據(jù)作為一種構(gòu)想或者假設(shè)被極少數(shù)的學(xué)者進行僅限于數(shù)據(jù)量的研究和討論，并沒有進一步探索數(shù)據(jù)的收集、處理和存儲等問題。萌芽期20世紀(jì)90年代—21世紀(jì)初01大規(guī)模應(yīng)用期2001—2010年大數(shù)據(jù)技術(shù)的發(fā)展歷程可以分為3個階段：萌芽期、成熟期和大規(guī)模應(yīng)用期目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀美國大數(shù)據(jù)技術(shù)發(fā)展“大數(shù)據(jù)”這一概念最早由美國科學(xué)家約翰·馬西(JohnMashey)，在1998年的一個國際會議報告中指出：隨著數(shù)據(jù)量的快速增長，必將出現(xiàn)數(shù)據(jù)難理解、難獲取、難處理和難組織等四個難題，并用“BigData(大數(shù)據(jù))”來描述這一挑戰(zhàn)，在計算領(lǐng)域引發(fā)思考。1989年8月所召開的第11屆國際人工智能聯(lián)合會議KDD(KnowledgeDiscoveryinDatabases)，其應(yīng)用部分的數(shù)據(jù)挖掘(DataMining)則是知識發(fā)現(xiàn)(KDD)的核心部分。知識發(fā)現(xiàn)是指利用深度學(xué)習(xí)從觀測數(shù)據(jù)或?qū)嶒灁?shù)據(jù)中挖掘控制方程，推進人類認知。在教育領(lǐng)域，美國教育部教育技術(shù)辦公室利用大數(shù)據(jù)分析來監(jiān)測在線課程學(xué)習(xí)的學(xué)生是否出現(xiàn)困惑，并適時給予指導(dǎo)，幫助學(xué)生調(diào)整學(xué)習(xí)方向。此外，他們還能通過學(xué)生的按鍵點擊模式判斷其對課程的興趣度，以便適時調(diào)整教學(xué)內(nèi)容。在執(zhí)法領(lǐng)域，波士頓馬拉松爆炸案偵辦中，大數(shù)據(jù)技術(shù)發(fā)揮了關(guān)鍵作用。警方利用大數(shù)據(jù)技術(shù)快速分析了48萬多幅圖像，這些圖像屬于非結(jié)構(gòu)化數(shù)據(jù)。通過對嫌疑犯的特征描述，分析人員編寫了代碼和算法，快速分析了這些圖像，尋找異常情況與特定模式。在美國的先進制藥行業(yè)，藥物開發(fā)領(lǐng)域的最新前沿技術(shù)是機器學(xué)習(xí)，即算法利用數(shù)據(jù)和經(jīng)驗教會自己辨別哪種化合物同哪個靶點相結(jié)合，并且發(fā)現(xiàn)對人眼來說不可見的模式。二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀美國大數(shù)據(jù)技術(shù)發(fā)展美國政府將大數(shù)據(jù)視為強化美國競爭力的關(guān)鍵因素之一，把大數(shù)據(jù)研究和生產(chǎn)計劃提高到國家戰(zhàn)略層面。美國在大數(shù)據(jù)技術(shù)應(yīng)用上有很多典型案例：二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀歐盟大數(shù)據(jù)技術(shù)發(fā)展歐盟對于大數(shù)據(jù)時代中數(shù)據(jù)對各方面的重要意義以及歐洲在數(shù)據(jù)方面的潛力具有深刻認識。目前，歐盟在大數(shù)據(jù)方面的活動主要涉及四方面內(nèi)容：研究數(shù)據(jù)價值鏈戰(zhàn)略因素1實施開放數(shù)據(jù)政策2資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動3促進公共資助科研實驗成果和數(shù)據(jù)的使用及再利用4二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀歐盟大數(shù)據(jù)技術(shù)發(fā)展法案要求互聯(lián)網(wǎng)平臺對虛假信息采取更有力的措施。及時刪除非法和有害的在線內(nèi)容，包括仇恨言論、虛假信息和假貨交易信息等。法案規(guī)定了對數(shù)字服務(wù)提供商的追責(zé)新標(biāo)準(zhǔn)。要求他們在發(fā)現(xiàn)其在線平臺出現(xiàn)非法內(nèi)容后必須在24小時內(nèi)予以刪除，并檢查供應(yīng)商的商品真?zhèn)?，以減少假冒產(chǎn)品的出現(xiàn)。法案提出了一個共同監(jiān)管框架。要求相關(guān)平臺保護用戶基本權(quán)利、公共利益、公共衛(wèi)生和安全，鼓勵刪除有害信息和內(nèi)容，防止超大型數(shù)字平臺被濫用。歐盟在大數(shù)據(jù)技術(shù)的發(fā)展上，注重保護個人隱私、促進數(shù)據(jù)共享與開放、推動數(shù)據(jù)標(biāo)準(zhǔn)化、關(guān)注數(shù)據(jù)治理和倫理以及加強數(shù)據(jù)安全和網(wǎng)絡(luò)安全方面的工作。基于以上，歐盟在2022年10月27日提出《數(shù)字服務(wù)法案》。二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀英國大數(shù)據(jù)技術(shù)發(fā)展英國在多個領(lǐng)域廣泛應(yīng)用了大數(shù)據(jù)技術(shù)：財政監(jiān)督：英國財政部利用社交媒體，如Twitter和圖片分享網(wǎng)站Flickr公布政府財政信息，實現(xiàn)了財政透明度，并允許公眾隨時查看政府的支出情況；防范詐騙：英國政府通過大數(shù)據(jù)技術(shù)檢測行為模式，成功追回了數(shù)十億美元的逃稅和詐騙資金。這種分析技術(shù)在發(fā)放許可證之前，通過分析公民的行為模式來判斷其是否有資格獲得許可。精準(zhǔn)農(nóng)業(yè)：英國啟動了“農(nóng)業(yè)技術(shù)戰(zhàn)略”，旨在利用大數(shù)據(jù)和信息技術(shù)提高農(nóng)業(yè)生產(chǎn)效率。該策略的核心是建立一個基于農(nóng)業(yè)信息技術(shù)和可持續(xù)發(fā)展指標(biāo)的農(nóng)業(yè)創(chuàng)新中心，并實施開放數(shù)據(jù)政策，以便所有參與者能夠共享數(shù)據(jù)和成果。城市規(guī)劃：英國政府利用大數(shù)據(jù)技術(shù)進行城市規(guī)劃，通過研究客觀環(huán)境數(shù)據(jù)來優(yōu)化城市設(shè)計和管理。在政府的戰(zhàn)略設(shè)計中，大數(shù)據(jù)被列為英國的八大領(lǐng)先科技之一。英國大數(shù)據(jù)技術(shù)的發(fā)展起源可以追溯到20世紀(jì)80年代，英國在大數(shù)據(jù)領(lǐng)域的發(fā)展受到政府的高度重視和支持，并逐漸形成了完整的產(chǎn)業(yè)鏈。二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀各國大數(shù)據(jù)技術(shù)發(fā)展許多國家的政府和國際組織都認識到了大數(shù)據(jù)的重要作用，紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手，實施大數(shù)據(jù)戰(zhàn)略，對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有著高度的熱情。法國

政府發(fā)布《數(shù)字化路線圖》，表示將大力支持“大數(shù)據(jù)”在內(nèi)的戰(zhàn)略性高新技術(shù)，法國軟件聯(lián)盟曾號召政府部門和私人企業(yè)共同合作，投入3億歐元資金用于推動大數(shù)據(jù)領(lǐng)域的發(fā)展。法國政府投資這些項目的目的在于，通過發(fā)展創(chuàng)新性解決方案并實踐，促進法國在大數(shù)據(jù)領(lǐng)域的發(fā)展。日本

2013年6月安倍內(nèi)閣正式公布了新IT戰(zhàn)略“創(chuàng)建最尖端IT國家宣言”。“宣言”全面闡述了2013～2020年期間以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略，提出要把日本建設(shè)成為一個具有“世界最高水準(zhǔn)的廣泛運用信息產(chǎn)業(yè)技術(shù)的社會”。印度

2016年，印度全國軟件與服務(wù)企業(yè)協(xié)會預(yù)計，印度大數(shù)據(jù)行業(yè)規(guī)模在3年內(nèi)將到12億美元，是當(dāng)前規(guī)模的6倍，同時還是全球大數(shù)據(jù)行業(yè)平均增長速度的兩倍。在數(shù)據(jù)開放方面，印度效仿美國政府的做法，制定了一個一站式政府?dāng)?shù)據(jù)門戶網(wǎng)站datagovin，把政府收集的所有非涉密數(shù)據(jù)集中起來，包括全國的人口、經(jīng)濟和社會信息。二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀國外大數(shù)據(jù)技術(shù)在城市建設(shè)領(lǐng)域的應(yīng)用迪比克市：迪比克市政府與IBM合作，計劃利用大數(shù)據(jù)技術(shù)將城市的所有資源數(shù)字化并連接起來，含水、電、油、氣、交通、公共服務(wù)等。通過監(jiān)測、分析和整合各種數(shù)據(jù)智能化地響應(yīng)市民的需求，并降低城市的能耗和成本。美國：紐約市：紐約市消防部門通過大數(shù)據(jù)分析，預(yù)測可能發(fā)生火災(zāi)的建筑物，并采取相應(yīng)的預(yù)防措施。他們將可能導(dǎo)致房屋起火的因素細分為60個，如貧困家庭、建筑年代、是否有電梯等，并通過特定算法對城市中的建筑物進行打分，計算火災(zāi)危險指數(shù)，劃分出重點監(jiān)測和檢查對象。大數(shù)據(jù)與市民需求大數(shù)據(jù)與火災(zāi)預(yù)測二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國外研究現(xiàn)狀國外大數(shù)據(jù)技術(shù)在城市建設(shè)領(lǐng)域的應(yīng)用悉尼：悉尼在城市建設(shè)中通過收集和分析城市的各種數(shù)據(jù)，如交通流量、空氣質(zhì)量、能源消耗等，來優(yōu)化城市規(guī)劃和管理。例如，通過分析交通數(shù)據(jù)，優(yōu)化道路設(shè)計和交通信號燈配置，緩解交通擁堵；通過分析能源數(shù)據(jù)，優(yōu)化能源供應(yīng)和使用，減少能源浪費。澳大利亞：大數(shù)據(jù)與城市資源分配大數(shù)據(jù)與交通狀況新加坡是全球智慧城市建設(shè)的先驅(qū)之一，大力推廣大數(shù)據(jù)技術(shù)在城市建設(shè)中的應(yīng)用。例如，通過收集和分析交通數(shù)據(jù)，優(yōu)化公共交通系統(tǒng)，提高出行效率；通過收集和分析環(huán)境數(shù)據(jù)，實時監(jiān)測空氣質(zhì)量，采取相應(yīng)的措施改善環(huán)境質(zhì)量。新加坡：二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國內(nèi)研究現(xiàn)狀我國大數(shù)據(jù)技術(shù)的發(fā)展中國的大數(shù)據(jù)技術(shù)起源可以追溯到20世紀(jì)90年代末和本世紀(jì)初，當(dāng)時數(shù)據(jù)的產(chǎn)生速度和規(guī)模急劇增長，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無法滿足需求。為了有效地處理和利用這些數(shù)據(jù)，中國開始關(guān)注和研究大數(shù)據(jù)技術(shù)。2000年：中國開始在大數(shù)據(jù)領(lǐng)域進行研究，但還處于起步階段。2006年：中國政府提出“國家信息化”戰(zhàn)略，將大數(shù)據(jù)作為戰(zhàn)略重點發(fā)展方向。2010年：中國開始建設(shè)國家級大數(shù)據(jù)產(chǎn)業(yè)園區(qū)，并出臺相關(guān)政策支持大數(shù)據(jù)技術(shù)發(fā)展。2014年：中國政府發(fā)布《中國大數(shù)據(jù)發(fā)展行動綱要》，明確了大數(shù)據(jù)發(fā)展的目標(biāo)和重點領(lǐng)域。2015年：中國成立了國家大數(shù)據(jù)（深圳）綜合試驗區(qū)，推動大數(shù)據(jù)技術(shù)在實踐中的應(yīng)用。2017年：中國政府發(fā)布《國家大數(shù)據(jù)戰(zhàn)略》，提出了加快發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的政策措施。2018年：中國成立了國家大數(shù)據(jù)管理局，負責(zé)統(tǒng)籌大數(shù)據(jù)發(fā)展和管理工作。2019年：中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模達到5.5萬億元人民幣，成為全球最大的大數(shù)據(jù)市場之一。2020年：中國在大數(shù)據(jù)領(lǐng)域取得了一些重要的科研成果，如人工智能、云計算等技術(shù)的快速發(fā)展。起步階段重點發(fā)展階段飛速發(fā)展階段二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國內(nèi)研究現(xiàn)狀我國大數(shù)據(jù)技術(shù)的發(fā)展目前，中國在大數(shù)據(jù)技術(shù)領(lǐng)域已經(jīng)取得了一些重要的成果。例如：阿里巴巴集團——分布式計算框架Hadoop和分布式數(shù)據(jù)庫Ocean

Base騰訊公司——實時計算引擎Flink和分布式存儲系統(tǒng)TBase百度公司——深度學(xué)習(xí)框架Paddle

Paddle等。中國的大數(shù)據(jù)技術(shù)起初主要側(cè)重于數(shù)據(jù)的存儲和處理能力。隨著技術(shù)的不斷進步和創(chuàng)新，中國的大數(shù)據(jù)技術(shù)逐漸發(fā)展成為一個完整的生態(tài)系統(tǒng)，包括數(shù)據(jù)采集、存儲、處理、分析和應(yīng)用等各個環(huán)節(jié)。分布式計算框架Hadoop深度學(xué)習(xí)框架Paddle

Paddle二、大數(shù)據(jù)技術(shù)的國內(nèi)外研究現(xiàn)狀——國內(nèi)研究現(xiàn)狀大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀及技術(shù)發(fā)展趨勢中國擁有全球最龐大的數(shù)據(jù)生產(chǎn)群體，目前大數(shù)據(jù)平臺軟件市場規(guī)模發(fā)展迅速，預(yù)測在2025年市場規(guī)模能達到約3600億美元。中國大數(shù)據(jù)平臺軟件市場規(guī)模及預(yù)測圖我國大數(shù)據(jù)企業(yè)主要分布受政策環(huán)境、人才創(chuàng)新、資金資源等因素的影響較大中國大數(shù)據(jù)企業(yè)分布情況中國大數(shù)據(jù)技術(shù)的未來發(fā)展趨勢主要在數(shù)據(jù)融合與數(shù)據(jù)價值挖掘、產(chǎn)業(yè)物聯(lián)網(wǎng)提速、與云計算/人工智能等前沿技術(shù)的深度融合、應(yīng)用領(lǐng)域的擴展等方面。中國大數(shù)據(jù)技術(shù)的未來發(fā)展將呈現(xiàn)出快速發(fā)展、廣泛應(yīng)用、技術(shù)融合和創(chuàng)新驅(qū)動的特點，同時也面臨著數(shù)據(jù)安全、隱私保護等挑戰(zhàn)。目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用展示技術(shù)三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集技術(shù)大數(shù)據(jù)采集技術(shù)

是指通過RFID數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。運營數(shù)據(jù)庫社交網(wǎng)絡(luò)感知設(shè)備系統(tǒng)日志的采集網(wǎng)絡(luò)數(shù)據(jù)的采集數(shù)據(jù)庫的采集數(shù)據(jù)來源數(shù)據(jù)采集采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘全局常量屬性均值可能值填充直接忽略該數(shù)據(jù)三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)

主要是指完成對已接收數(shù)據(jù)的辨析、抽取、清洗、填補、平滑、合并、規(guī)格化及檢查一致性等操作。數(shù)據(jù)清理01分箱聚類計算機人工檢查回歸

遺漏值處理

噪音數(shù)據(jù)處理

不一致數(shù)據(jù)處理手動更正數(shù)據(jù)集成02變換及數(shù)據(jù)規(guī)約03模式匹配數(shù)據(jù)冗余數(shù)據(jù)值沖突檢測與處理數(shù)據(jù)屬性命名的不一致——皮爾遜積矩，衡量數(shù)值屬性離散數(shù)據(jù)——卡方檢驗，檢測兩個屬性之間的關(guān)聯(lián)數(shù)據(jù)變換：平滑→聚集→數(shù)據(jù)泛化→規(guī)范化→屬性構(gòu)造數(shù)據(jù)規(guī)約：數(shù)據(jù)方聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值規(guī)約和概念分層等。展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)存儲及管理技術(shù)大數(shù)據(jù)存儲及管理

主要目的是用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。技術(shù)難題：從多渠道獲得的原始數(shù)據(jù)常常缺乏一致性，數(shù)據(jù)結(jié)構(gòu)混雜，并且數(shù)據(jù)不斷增長，導(dǎo)致傳統(tǒng)的處理和存儲技術(shù)失去可行性。大數(shù)據(jù)存儲及管理技術(shù)重點研究：復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)解決關(guān)鍵問題：海量文件的存儲與管理海量小文件的存儲、索引和管理海量大文件的分塊與存儲系統(tǒng)可擴展性與可靠性大數(shù)據(jù)存儲及管理平臺功能架構(gòu)展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)的處理模式大數(shù)據(jù)的處理模式

可以分為流處理模式和批處理模式兩種。數(shù)據(jù)流本身具有持續(xù)到達、速度快、規(guī)模巨大通常不會對所有的數(shù)據(jù)進行永久化存儲系統(tǒng)很難準(zhǔn)確掌握整個數(shù)據(jù)的全貌依賴于在內(nèi)存中設(shè)計巧妙的概要數(shù)據(jù)結(jié)構(gòu)流處理是將數(shù)據(jù)直接處理——流處理模式將數(shù)據(jù)視為流，將源源不斷的數(shù)據(jù)組成數(shù)據(jù)流，新的數(shù)據(jù)到來時就立刻處理并返回所需的結(jié)果?；纠砟睿簲?shù)據(jù)的價值會隨著時間的流逝而不斷減少。主要目標(biāo)：盡可能快地對最新的數(shù)據(jù)做出分析并給出結(jié)果。應(yīng)用場景：網(wǎng)頁點擊數(shù)的實時統(tǒng)計，傳感器網(wǎng)絡(luò)，金融中的高頻交易等。內(nèi)存容量是限制流處理模式的一個主要瓶頸技術(shù)特點展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)的處理模式大數(shù)據(jù)的處理模式

可以分為流處理模式和批處理模式兩種。MapReduce模型運行示意圖將問題分而治之，把待處理的數(shù)據(jù)分成多個模塊分別交給多個Map任務(wù)去并發(fā)處理用計算推導(dǎo)數(shù)據(jù)而不是把數(shù)據(jù)堆到計算，從而有效地避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通信開銷Google公司在2004年提出的MapReduce編程模型是最具代表性的批處理模式MapReduce的核心設(shè)計思想批處理是先存儲后處理的處理模式展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘該方法可產(chǎn)生一個將數(shù)據(jù)項，映射到一個實值預(yù)測變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系主要研究問題包括數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預(yù)測及數(shù)據(jù)間的相關(guān)關(guān)系等三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)分析及挖掘技術(shù)大數(shù)據(jù)分析及挖掘技術(shù)

目的是從海量的數(shù)據(jù)信息中獲取更多智能的、深入的、有價值的信息分類找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到某個給定的類別聚類聚類是把一組數(shù)據(jù)按照相似性和差異性分為幾個類別其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小回歸分析關(guān)聯(lián)規(guī)則描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的關(guān)系的規(guī)則根據(jù)一個事務(wù)中某些項的出現(xiàn)可推導(dǎo)出另一些項在同一事務(wù)中也會出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)展示技術(shù)大數(shù)據(jù)展示技術(shù)

目的是通過清晰的圖形、圖像展示，直觀地反映出最終結(jié)果，將數(shù)據(jù)更加直觀地展現(xiàn)給用戶展示技術(shù)采集技術(shù)預(yù)處理技術(shù)存儲及管理技術(shù)處理模式分析及挖掘可視化技術(shù)是最佳的結(jié)果展示方式之一傳統(tǒng)的數(shù)據(jù)可視化工具僅僅將數(shù)據(jù)加以組合，通過不同的展現(xiàn)方式提供給用戶。新型的數(shù)據(jù)可視化產(chǎn)品實現(xiàn)了快速收集、篩選、歸納、分析、展現(xiàn)決策者所需要的信息，并根據(jù)新增的數(shù)據(jù)進行實時更新。實時性直觀易用豐富的展現(xiàn)形式多種數(shù)據(jù)集成支持方式兼用性數(shù)據(jù)交互性三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)技術(shù)特點大數(shù)據(jù)技術(shù)具有五大特點（5V）容量大(Volume）1多樣性(Variety)2快速化(Velocity）3價值性(Value)4真實性(Veracity)5三、典型的大數(shù)據(jù)技術(shù)——大數(shù)據(jù)技術(shù)特點容量大隨著信息化技術(shù)的高速發(fā)展，數(shù)據(jù)開始爆發(fā)性增長，從數(shù)據(jù)存儲的單位的變化可以得知。1多樣性多樣性主要體現(xiàn)在數(shù)據(jù)來源多樣性、數(shù)據(jù)類型多樣性和數(shù)據(jù)之間關(guān)聯(lián)性強三個方面。2快速化大數(shù)據(jù)技術(shù)是對處理數(shù)據(jù)實時分析而非批量分析，數(shù)據(jù)輸入、處理與丟棄立刻見效，幾乎無延遲。數(shù)據(jù)的增長速度和處理速度是大數(shù)據(jù)快速化的重要體現(xiàn)。3價值性大數(shù)據(jù)技術(shù)可以從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出有價值的數(shù)據(jù)，并通過深度分析，將數(shù)據(jù)運用于各個領(lǐng)域，以期創(chuàng)造更大的價值。4真實性大數(shù)據(jù)的質(zhì)量具有真實性，因為該數(shù)據(jù)是基于真實的交易與行為產(chǎn)生的。5大數(shù)據(jù)技術(shù)具有五大特點（5V）目錄一、大數(shù)據(jù)技術(shù)概述二、大數(shù)據(jù)技術(shù)的國內(nèi)外發(fā)展現(xiàn)狀三、典型大數(shù)據(jù)技術(shù)四、大數(shù)據(jù)技術(shù)在智能建造的應(yīng)用四、大數(shù)據(jù)在智能建造的應(yīng)用——智能建造中大數(shù)據(jù)的應(yīng)用價值大數(shù)據(jù)技術(shù)可以為智能建筑的構(gòu)建和運行提供有效參考和指導(dǎo)，促使其能夠在多個方面符合智能建筑運行要求，具備智慧化特點。為建筑內(nèi)部系統(tǒng)，如安防系統(tǒng)、家居系統(tǒng)、能源管理系統(tǒng)等，提供較為豐富全面的數(shù)據(jù)信息資料支持，實現(xiàn)系統(tǒng)的協(xié)調(diào)與配合借助于海量數(shù)據(jù)信息分析結(jié)果，促使各個系統(tǒng)和設(shè)備的運用符合人的預(yù)期，可以為智能建筑使用者做出更大貢獻，服務(wù)性能更強通過收集和分析應(yīng)用數(shù)據(jù)，更好優(yōu)化建筑各個智能系統(tǒng)的運行參數(shù)，便于促使其更為符合節(jié)能環(huán)保訴求，降低整個建筑的能耗損失協(xié)調(diào)各個系統(tǒng)人性化特點優(yōu)化系統(tǒng)運行參數(shù)01020304大數(shù)據(jù)技術(shù)在智能建造中的應(yīng)用價值預(yù)測事故對建筑中的數(shù)據(jù)進行分析，可實現(xiàn)事故預(yù)測、預(yù)警，案件分析、規(guī)劃和引導(dǎo)等智能應(yīng)用，還能將這些大數(shù)據(jù)信息與移動智能端相連，同步享有各種信息。四、大數(shù)據(jù)在智能建造的應(yīng)用——大數(shù)據(jù)在智能建造選址中的應(yīng)用建筑選址對于建筑自身價值至關(guān)重要，建筑要與周圍環(huán)境和人相適應(yīng)和諧，充分考慮到各因素之間的相互關(guān)系和影響，確保在技術(shù)實施上具有可行性。

結(jié)合氣候特點制定合理的產(chǎn)業(yè)定位建筑的合理分布大型基礎(chǔ)場館公共建筑選址統(tǒng)計當(dāng)?shù)氐臍夂颦h(huán)境特點，優(yōu)化設(shè)計方案，減少室內(nèi)設(shè)備使用率，優(yōu)化建筑布局，提高建筑對風(fēng)能、太陽能等自然能源的利用率綜合分析所選地區(qū)的數(shù)據(jù)信息，并與同類型的城市將進行有效比較，從而制定合理的產(chǎn)業(yè)定位，挖掘出海量數(shù)據(jù)之中的潛在價值信息，有針對性制定營銷策略。通過大數(shù)據(jù)技術(shù)對范圍內(nèi)居民的消費傾向、活動意愿、行為目的等方面數(shù)據(jù)進行整合、分析，從而為建筑的合理分布提供直觀的規(guī)劃。通過大數(shù)據(jù)技術(shù)的應(yīng)用，預(yù)測片區(qū)的人口規(guī)模、人流變化、人群結(jié)構(gòu)、房屋供給量和需求量，基于這些數(shù)據(jù)進行公共場館資源配置和商業(yè)建筑開發(fā)等收集并分析片區(qū)社會環(huán)境和人文環(huán)境的數(shù)據(jù)，掌握該區(qū)域的政治文化、教育、城市配套等資源配比情況