《大數(shù)據(jù)通識教程》 課件 第6章 大數(shù)據(jù)與城市大腦

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識教程第6章楊武劍周蘇主編大數(shù)據(jù)與城市大腦01智慧交通駛?cè)肟燔嚨?2城市大腦建設(shè)03大數(shù)據(jù)——智慧城市的核心04城市大數(shù)據(jù)治理目錄/CONTENTSPART01智慧交通駛?cè)肟燔嚨佬畔r代的生產(chǎn)生活越來越便捷，這種變化其實跟身邊的新型基礎(chǔ)設(shè)施建設(shè)密切相關(guān)。在新基建中，智慧交通是重要領(lǐng)域之一?？v橫交錯的交通基礎(chǔ)設(shè)施，是中國經(jīng)濟發(fā)展的強勁動脈。那么，大力發(fā)展的智慧交通新在哪里？會有哪些傳統(tǒng)交通所不具有的獨特智慧？6.1智慧交通駛?cè)肟燔嚨涝谒拇ǔ啥嫉揭速e路段的成宜高速，正在進行基于智慧高速系統(tǒng)的高精度導航測試。不僅界面呈現(xiàn)從二維變成更加直觀的三維，區(qū)別于目前大多數(shù)的普通導航只能做到本車模糊定位，無法提供周邊車輛動態(tài)等信息，這個新的導航系統(tǒng)，可以達到車道厘米級的精度，并且可以精準感知周邊乃至遠端車輛信息。圖6-4智慧交通管理6.1智慧交通駛?cè)肟燔嚨阑谥腔刍男禄ㄙx能，導航和感知更精準。作為國家交通運輸領(lǐng)域新型基礎(chǔ)設(shè)施重點工程之一，2021年，成宜高速開始智慧化改造，在中間隔離帶，每隔800米就設(shè)立一根智慧桿柱，除了集合各種攝像機等傳統(tǒng)視覺監(jiān)控設(shè)備，還專門安裝新型設(shè)備毫米波雷達（圖6-5）作為核心傳感器，實現(xiàn)對道路24小時實時精準感知。不僅是感知，所有這些數(shù)據(jù)信息，都接入這個高速整體監(jiān)控中心系統(tǒng)的大數(shù)據(jù)處理單元，通過大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、人工智能、雷視融合等新一代信息技術(shù)，這些數(shù)據(jù)被迅速處理分析后，生成一條條的服務信息，返回到車里。6.1.1導航和感知更精準

圖6-5低速車毫米波雷達避障解決方案6.1.1導航和感知更精準精準感知、精確分析。在新基建賦能下，人、車、路正在實現(xiàn)協(xié)同，讓行駛在智慧高速上的車有了“千里眼”。新基建的交通基礎(chǔ)設(shè)施把大數(shù)據(jù)、網(wǎng)絡(luò)、人工智能等先進技術(shù)引入傳統(tǒng)的道路和交通基礎(chǔ)設(shè)施中。使得作為一種實現(xiàn)人和貨物移動的傳統(tǒng)物理通道交通基礎(chǔ)設(shè)施，通過新基建的賦能增加了信息通道的功能。人、車、路的協(xié)同不僅讓開車的人更方便，更重要的是，還大大助力了路段通行效率，同時也為下一步在真實道路上大規(guī)模實現(xiàn)無人駕駛，提供了基礎(chǔ)。6.1.1導航和感知更精準近年來，我國綜合立體交通網(wǎng)加速成形，已建成全球最大的高速鐵路網(wǎng)、高速公路網(wǎng)、世界級港口群，航空海運通達全球。與此同時，以互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能為基礎(chǔ)的信息技術(shù)發(fā)展迅速，新基建賦能正成為促進交通設(shè)施提質(zhì)增效、交通運輸事業(yè)高質(zhì)量發(fā)展的重要抓手。通過新基建的賦能賦智，可以用較少的資源和資金投入實現(xiàn)現(xiàn)有基礎(chǔ)設(shè)施能力和效率的提升，這也是進一步提升交通運輸行業(yè)，服務國家經(jīng)濟發(fā)展、服務人民出行的重要機遇。6.1.1導航和感知更精準新基建賦能，讓百姓出行更美好。現(xiàn)在，自助值機、自助行李托運、刷臉安檢、刷臉登機、智慧問詢等便民“黑科技”，在越來越多的機場被運用，獲得了不少旅客點贊。6.1.1導航和感知更精準除了服務更精心，新基建賦能還讓機場的管理更精細。怎樣讓飛機更準點是機場管理的重點之一。旅客、行李、機務、航食、航油等都是保障的關(guān)鍵節(jié)點，這些環(huán)節(jié)有沒有做好準備？飛機是不是可以準點起飛？以往這類信息大部分依賴人工上報，不僅容易有誤差，即時性差，溯源追蹤也很麻煩。現(xiàn)在，基于大數(shù)據(jù)和人工智能的新基建，讓管理人員足不出戶也能做到一目了然。6.1.2機場管理更精細青島膠東國際機場的智能管理系統(tǒng)將所有可能導致航班延誤的因素和環(huán)節(jié)都納入其中。監(jiān)測是基礎(chǔ)，通過智能視頻分析技術(shù)，對異常事件可以自動預警，比如作業(yè)人員未正確穿戴反光服、反光錐桶違規(guī)擺放、異常時段人員入侵等，系統(tǒng)都能迅速精準識別并且做出提示。圖6-6機場智能管理6.1.2機場管理更精細不僅助力某個具體任務，隨著民航新基建的推進，基于室內(nèi)高精度定位和數(shù)字孿生三維建模等領(lǐng)先技術(shù)的支撐，有些機場已經(jīng)實現(xiàn)了全場景、全流程的數(shù)字化。北京首都國際機場是一個三座航站樓、三條跑道、雙塔臺同時運營的超大型國際機場，年旅客吞吐量多次破億。通過智慧機場建設(shè)，每天1000多萬條航空器位置數(shù)據(jù)、2000多萬條車輛位置數(shù)據(jù)，23000余個傳感器采集的近億條環(huán)境監(jiān)測數(shù)據(jù)等等，都匯集在這個實體機場的數(shù)字孿生世界，成為機場智能管理和智慧決策的底座。6.1.2機場管理更精細長江作為貨運量位居全球內(nèi)河第一的黃金水道，是連接我國東、中、西部的重要紐帶。2754公里的長江干線航道，流經(jīng)沿江七省二市。因為有豐水期和枯水期，長江的航道也隨時在變化。看得見的是水漲水落，看不見的是水面下的河床。以前在長江上行船，只能靠航行圖作參考，但紙質(zhì)版的航行圖三五年才更新一次，跟不上航道的變化，船走哪條路，裝載量多少，大多要船長憑經(jīng)驗判斷?，F(xiàn)在，隨著數(shù)字航道的建設(shè)，這一切發(fā)生了不小的改變（圖6-7）。6.1.3數(shù)字航道動態(tài)監(jiān)測圖6-7機場智能管理6.1.3數(shù)字航道動態(tài)監(jiān)測用于水上導航的長江電子航道圖App是國內(nèi)內(nèi)河航道首個高精度、標準化“一張圖”。作為我國交通新基建重點工程之一，2019年長江干線數(shù)字航道全面聯(lián)通運行。從宜賓到長江入?？诘拈L江干線航道上，總共有5200多套航標遙測遙控終端、155座自動水位站、219艘航道維護工作船舶、34個通行信號臺，這些設(shè)施都是數(shù)字航道的重要數(shù)據(jù)來源。在上面加裝航標遙測遙控、加裝水位遙測遙報以及一系列自動化信息采集系統(tǒng)，通過這些系統(tǒng)，再加上北斗、5G、物聯(lián)網(wǎng)等技術(shù)，把數(shù)據(jù)實時傳輸?shù)綌?shù)據(jù)中心。6.1.3數(shù)字航道動態(tài)監(jiān)測數(shù)據(jù)進入動態(tài)監(jiān)測系統(tǒng)后，通過數(shù)據(jù)中心處理，從水面到水底，干線航道清晰立體地展現(xiàn)在人們面前。這些精準及時的信息，不僅讓行船安全更有保障，運營效率也更高。過去，由于無法及時了解水深變化，為了安全，就要少裝貨，現(xiàn)在，基于長江數(shù)字航道新基建，航道深度和寬度每3天更新一次，并且還可以預測未來一周水深和船舶通航情況，載量就可以實現(xiàn)最大化。新基建促進新增長，在數(shù)字航道的助力下，2021年長江干線港口完成貨物吞吐量超35億噸，同比增長6%以上，創(chuàng)歷史新高。6.1.3數(shù)字航道動態(tài)監(jiān)測以高質(zhì)量發(fā)展為主題，統(tǒng)籌推進交通新基建，2020年以來，交通運輸部先后出臺了推動交通運輸領(lǐng)域新型基礎(chǔ)設(shè)施建設(shè)的指導意見、五年行動方案等政策文件，以數(shù)字化、網(wǎng)絡(luò)化、智能化為主線，推進智慧公路、智慧航道、智慧民航等建設(shè)行動。6.1.4創(chuàng)新驅(qū)動賦能增效總的來說，交通新基建發(fā)展仍處于起步探索階段。由國家層面主導的交通產(chǎn)業(yè)智能升級已經(jīng)全面開啟。下一步，國家將結(jié)合有關(guān)規(guī)劃政策實施，營造創(chuàng)新發(fā)展環(huán)境，激發(fā)市場活力，積極推進重點工程落地見效，打造有影響力的交通新基建樣板，持續(xù)推動建設(shè)交通運輸領(lǐng)域新型基礎(chǔ)設(shè)施，為加快交通強國建設(shè)提供有力支撐。智慧交通走上快車道，水陸空齊頭并進，不僅有助于解決傳統(tǒng)交通領(lǐng)域存在的諸多難題，而且讓交通向著發(fā)展綠色化、運行自動化、出行人性化前行，出行圖景更加豐富生動，也為交通強國建設(shè)提供戰(zhàn)略支撐。6.1.4創(chuàng)新驅(qū)動賦能增效PART02城市大腦建設(shè)“城市大腦”是創(chuàng)新運用大數(shù)據(jù)、云計算及智能技術(shù)等前沿科技構(gòu)建的平臺型城市協(xié)同和智能中樞，它整合匯集政府、企業(yè)和社會數(shù)據(jù)，在城市治理領(lǐng)域進行融合計算，實現(xiàn)城市運行的生命體征感知、公共資源配置、宏觀決策指揮、事件預測預警、“城市病”治理等功能。當前，城市大腦已經(jīng)在多地開始建設(shè)，全國宣布要做城市大腦的城市就達500多個，幾乎涵蓋所有副省級以上城市和地級市。阿里巴巴的ET城市大腦、百度的AICITY、騰訊的數(shù)字城市、華為的城市神經(jīng)等解決方案讓各個城市可以選擇適合自己的智能城市建設(shè)方案。6.2城市大腦建設(shè)如何高質(zhì)量推進數(shù)字政府建設(shè)？相關(guān)專家認為，政務大數(shù)據(jù)體系建設(shè)面臨政務數(shù)據(jù)統(tǒng)籌管理機制有待完善、數(shù)據(jù)基礎(chǔ)制度有待健全、政務數(shù)據(jù)共享質(zhì)量有待提高等挑戰(zhàn)。隨著《全國一體化政務大數(shù)據(jù)體系建設(shè)指南》的出臺，將厘清國家平臺和地方部門平臺之間的關(guān)系，建立以國家政務大數(shù)據(jù)平臺為中心的全國一體化政務數(shù)據(jù)共享交換和服務體系，有效促進政務數(shù)據(jù)縱向貫通、橫向聯(lián)通，有力推進全國一體化政務大數(shù)據(jù)體系建設(shè)。6.2城市大腦建設(shè)2020年以來，城市大腦伴隨著新基建，數(shù)字社會的發(fā)展成為新的產(chǎn)業(yè)熱點。但作為一個新興的科技概念，究竟如何理解城市大腦，不同領(lǐng)域的專家和企業(yè)有著不同的解讀。6.2.1對城市大腦的認識2015年，科學網(wǎng)《基于互聯(lián)網(wǎng)大腦架構(gòu)的智慧城市建設(shè)探討》一文中提出：“城市大腦是城市建設(shè)伴隨著21世紀互聯(lián)網(wǎng)架構(gòu)的類腦化過程，逐步形成自己的中樞神經(jīng)（云計算）、城市感覺神經(jīng)（物聯(lián)網(wǎng)）、城市運動神經(jīng)（工業(yè)4.0，工業(yè)互聯(lián)網(wǎng)）、城市神經(jīng)末梢發(fā)育（邊緣計算）、城市智慧的產(chǎn)生與應用（大數(shù)據(jù)與人工智能）、城市神經(jīng)纖維（5G、光纖、衛(wèi)星等通訊技術(shù)），在上述城市類腦神經(jīng)的支撐下，形成城市建設(shè)的兩大核心：第一是城市神經(jīng)元網(wǎng)絡(luò)（城市大社交網(wǎng)絡(luò)），實現(xiàn)城市中人與人，人與物，物與物的信息交互。第二是城市大腦的云反射弧，實現(xiàn)城市服務的快速智能反應。云機器智能和云群體智慧是城市智慧涌現(xiàn)的核心動力。這樣基于互聯(lián)網(wǎng)大腦模型的類腦城市架構(gòu)稱之為城市大腦。”6.2.1對城市大腦的認識基于人工智能的解讀，“城市大腦要搭建的是整個城市的人工智能中樞，是一個對城市信息進行處理和調(diào)度的超級人工智能系統(tǒng)?！被诔鞘猩w的解讀，“城市大腦是基于城市生命體理念，以系統(tǒng)科學為指引，將散落在城市各個角落的數(shù)據(jù)（包括政務數(shù)據(jù)、企業(yè)數(shù)據(jù)、社會數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等）匯聚起來，用云計算、大數(shù)據(jù)、人工智能等前沿技術(shù)構(gòu)建的平臺型人工智能中樞。通過對城市進行全域的即時分析、指揮、調(diào)動、管理，從而實現(xiàn)對城市的精準分析、整體研判、協(xié)同指揮，幫助管理城市”。6.2.1對城市大腦的認識作為一個新生事物和新科技概念，對于城市大腦如何理解出現(xiàn)不同認知和定義，說明這個領(lǐng)域正處于從萌芽到快速發(fā)展的階段。但每一種理解對于如何建設(shè)城市大腦，在頂層設(shè)計和戰(zhàn)略定位上會有重大影響。6.2.1對城市大腦的認識互聯(lián)網(wǎng)經(jīng)過50年發(fā)展，從網(wǎng)狀結(jié)構(gòu)發(fā)展成為大腦模型，到21世紀，數(shù)十億人類群體智慧與數(shù)百億智能設(shè)備機器智能通過互聯(lián)網(wǎng)大腦架構(gòu)形成一個世界級的復雜智能巨系統(tǒng)。

圖6-10互聯(lián)網(wǎng)大腦架構(gòu)6.2.2城市大腦產(chǎn)生根源和背景城市大腦是互聯(lián)網(wǎng)大腦發(fā)育過程中與城市建設(shè)結(jié)合的產(chǎn)物，一方面會繼承互聯(lián)網(wǎng)大腦的特征，同時作為互聯(lián)網(wǎng)大腦的子集，通過互聯(lián)網(wǎng)大腦全球架構(gòu)，城市大腦之間也將進行信息互動。前沿科技如物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、云計算人、人工智能、邊緣計算、數(shù)字孿生等，都是互聯(lián)網(wǎng)大腦架構(gòu)發(fā)育過程的產(chǎn)物，它們也是支撐城市大腦運轉(zhuǎn)的技術(shù)基礎(chǔ)。從互聯(lián)網(wǎng)大腦模型中可以看出，建設(shè)城市大腦的兩個關(guān)鍵要素分別是連接人、物、系統(tǒng)的類腦神經(jīng)元網(wǎng)絡(luò)，和能夠?qū)Τ鞘懈鞣N問題，各種需求進行解決的云反射弧。6.2.2城市大腦產(chǎn)生根源和背景城市大腦的發(fā)展和規(guī)劃不應局限在一個城市，一個地區(qū)或一個國家內(nèi)部，而應該實現(xiàn)世界范圍科技生態(tài)的應用層對人，物，系統(tǒng)交互的規(guī)范，進而推動形成一個為人類協(xié)同發(fā)展提供支撐的世界級類腦智能平臺。6.2.3城市大腦的未來目標由此，可以形成如下對城市大腦的解讀和定義：城市大腦是互聯(lián)網(wǎng)大腦架構(gòu)與智慧城市建設(shè)結(jié)合的產(chǎn)物，是城市級的類腦復雜智能巨系統(tǒng)，在人類智慧和機器智能的共同參與下，在物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、邊緣計算、5G、云機器人、數(shù)字孿生等前沿技術(shù)的支撐下，城市神經(jīng)元網(wǎng)絡(luò)和城市云反射弧將是城市大腦建設(shè)的重點，城市大腦的作用是提高城市的運行效率，解決城市運行中面臨的復雜問題，更好的滿足城市各成員的不同需求。城市大腦的發(fā)展目標不僅僅局限在一個城市或一個地區(qū)，當世界范圍的城市大腦連接在一起，城市大腦最終將形成世界神經(jīng)系統(tǒng)（世界腦），為人類協(xié)同發(fā)展提供一個全球性的類腦智能支撐平臺（圖6-11）。6.2.3城市大腦的未來目標

圖6-11城市大腦架構(gòu)6.2.3城市大腦的未來目標城市大腦指的是城市智能化管理系統(tǒng)。城市大腦利用人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等先進技術(shù)，為城市交通治理、環(huán)境保護、城市精細化管理、區(qū)域經(jīng)濟管理等構(gòu)建一個后臺系統(tǒng)，打通不同平臺，推動城市數(shù)字化管理。城市大腦是支撐未來城市可持續(xù)發(fā)展的全新基礎(chǔ)設(shè)施，其核心是利用實時全量的城市數(shù)據(jù)資源全局優(yōu)化城市公共資源，即時修正城市運行缺陷，實現(xiàn)城市治理模式突破、城市服務模式突破、城市產(chǎn)業(yè)發(fā)展突破。6.2.4城市大腦的重要性（1）城市大腦是智慧城市發(fā)展到高級階段的必然產(chǎn)物。新型智慧城市建設(shè)借助物聯(lián)網(wǎng)、5G移動通訊、云計算、人工智能、區(qū)塊鏈、大數(shù)據(jù)等新一代信息技術(shù)，將商業(yè)、交通、通信、水和能源等城市運行要素整合在一起，匯聚了海量數(shù)據(jù)，其架構(gòu)體系和協(xié)同關(guān)系十分復雜，必須通過建設(shè)城市大腦這一智慧中樞，才能實現(xiàn)對新型智慧城市規(guī)劃設(shè)計、建設(shè)管理、運維服務的全方位管控。6.2.4城市大腦的重要性（2）城市大腦是構(gòu)建智慧城市框架體系的核心單元。智慧城市是一個跨系統(tǒng)交互的大系統(tǒng)，不是硬件的堆疊與軟件的重復建設(shè)，而是需要有一個中樞神經(jīng)式的城市指揮系統(tǒng)。這個系統(tǒng)必須具備全面、實時、全量的決策能力——這就成為城市大腦誕生的基礎(chǔ)，換言之，城市大腦是“系統(tǒng)的系統(tǒng)”。6.2.4城市大腦的重要性PART03大數(shù)據(jù)——智慧城市的“核心”在“新基建”和5G趨向商用的背景之下，物聯(lián)網(wǎng)、人工智能和大數(shù)據(jù)等技術(shù)的發(fā)展使得數(shù)據(jù)智能滲透率迅速增加，“智慧”一詞不再僅僅用來形容人類，還可以形容一座城市或一個國家。從政府決策與服務，到人們衣食住行的生活方式，再到城市的產(chǎn)業(yè)布局和規(guī)劃以及城市的運營和管理方式，都將在大數(shù)據(jù)的支撐下走向“智慧化”。大數(shù)據(jù)遍布新型智慧城市的方方面面，成為新型智慧城市各領(lǐng)域都能夠?qū)崿F(xiàn)“智慧化”的關(guān)鍵性支撐技術(shù)。6.3大數(shù)據(jù)——智慧城市的“核心”做一個形象的比喻，如果將智慧城市比喻為人，將組成智慧城市感知功能的傳感器比作人的五官，將連接傳感器的網(wǎng)絡(luò)比作神經(jīng)，將控制和存儲信息的云技術(shù)比作中樞，那么大數(shù)據(jù)就是智慧城市的核心大腦?；谖锫?lián)網(wǎng)、云計算、大數(shù)據(jù)等信息技術(shù)，以城市為單元，結(jié)合地理信息，對城市運行的各類信息實現(xiàn)一張圖的綜合監(jiān)管，向城市管理者進行科學有效的決策輔助支撐，實現(xiàn)“以數(shù)據(jù)信息為基礎(chǔ)，以指揮調(diào)度為核心，以決策指揮為目標”的系統(tǒng)構(gòu)建。集成地理信息、北斗導航數(shù)據(jù)、建筑物三維數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、攝像頭采集畫面等多類數(shù)據(jù)，把市政、警務、消防、交通、通訊、商業(yè)等各部門各類型的數(shù)據(jù)融合打通，匯集在統(tǒng)一的大數(shù)據(jù)平臺上。6.3大數(shù)據(jù)——智慧城市的“核心”一座城市離不開水、電、氣、路，它們無限交織，為城市運轉(zhuǎn)提供源源不斷的資源。而今，還有一張巨大的無形之網(wǎng)——數(shù)據(jù)。數(shù)據(jù)資源成為城市最重要的資源，有效運用數(shù)據(jù)實現(xiàn)城市的科學治理和智慧決策。智慧城市大腦能夠?qū)⒊鞘羞\行核心系統(tǒng)的各項關(guān)鍵數(shù)據(jù)進行可視化呈現(xiàn)，對包括應急指揮、城市管理、公共安全、環(huán)境保護、智能交通、基礎(chǔ)設(shè)施等領(lǐng)域進行管理決策支持，進而實現(xiàn)城市智慧式管理和運行。6.3.1城市大腦與數(shù)據(jù)可視化城市大腦通過打通各個行業(yè)領(lǐng)域的數(shù)據(jù)，包括對市政、警務、消防、交通、通信、商業(yè)等各個智慧應用橫向融合打通，為整個城市的經(jīng)營管理決策提供服務，驅(qū)動城市治理體系和治理能力現(xiàn)代化，使民生服務更到位、城市環(huán)境更友好、經(jīng)濟運行更合理、行政管理更高效、萬眾創(chuàng)新更活躍、社會生活更和諧。智慧城市的本質(zhì)是信息共享，關(guān)鍵是大數(shù)據(jù)融合，用數(shù)據(jù)驅(qū)動城市管理和發(fā)展。未來，隨著我國的城市一個個變得“智慧”起來，必將助推一個生機活躍的“智慧城市”盛世到來。6.3.2城市大腦與數(shù)據(jù)共享給城市裝上一個智慧城市大腦，城市也能像人一樣智慧起來，由大數(shù)據(jù)幫助城市來思考、決策，使得城市能夠自我調(diào)節(jié)，與人類實現(xiàn)良性互動，讓所有的城市數(shù)據(jù)都通過這個大腦進行最合理的配置和調(diào)度，從而有效提升城市交通的承載力和運行效率，是符合現(xiàn)代城市管理和運行要求的。6.3.3大數(shù)據(jù)驅(qū)動城市大腦在城市大腦中，海量數(shù)據(jù)被集中輸入，這些數(shù)據(jù)成為城市大腦智慧的起源。有了豐富的數(shù)據(jù)之后，城市大腦便構(gòu)建算法模型，然后自動調(diào)配公共資源。相比人腦，該大腦的優(yōu)勢是：全局分析、響應速度快、智能化。并且人工智能擁有人類無法比擬的一個天然強項，它可通過機器學習不斷迭代及依靠外部系統(tǒng)插件等進行優(yōu)化，隨著運行時間增加可計算出更“聰明”的方案，處理問題變得越來越順手。6.3.3大數(shù)據(jù)驅(qū)動城市大腦大數(shù)據(jù)時代的到來以及對大數(shù)據(jù)的運用，讓城市更有思想，讓居民更有夢想，既是對大數(shù)據(jù)這項高科技成果的最大褒賞，也是對大數(shù)據(jù)的最大期許，更是科技工作者和相關(guān)企業(yè)帶給人類的最好禮物。在未來，互聯(lián)網(wǎng)會變成水電一樣的基礎(chǔ)設(shè)施，每一個角落都能嗅到智慧城市的氣息。數(shù)據(jù)分析將推動智慧城市邁向未來，一座能夠自我調(diào)節(jié)、與市民良性互動的城市，正在不遠處向我們招手。6.3.3大數(shù)據(jù)驅(qū)動城市大腦PART04城市大數(shù)據(jù)治理數(shù)據(jù)治理是組織中涉及數(shù)據(jù)使用的一整套管理行為，由數(shù)據(jù)治理部門發(fā)起并推行，關(guān)于如何制定和實施針對整個企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應用和技術(shù)管理的一系列政策和流程。圖6-12大數(shù)據(jù)治理6.4城市大數(shù)據(jù)治理國際數(shù)據(jù)管理協(xié)會（DAMA）給出的定義是：數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合。國際數(shù)據(jù)治理研究所（DGI）給出的定義：數(shù)據(jù)治理是一個通過一系列信息相關(guān)的過程來實現(xiàn)決策權(quán)和職責分工的系統(tǒng)，這些過程按照達成共識的模型來執(zhí)行，該模型描述了誰能根據(jù)什么信息，在什么時間和情況下，用什么方法，采取什么行動。數(shù)據(jù)治理的最終目標是提升數(shù)據(jù)的價值，數(shù)據(jù)治理非常必要，是企業(yè)實現(xiàn)數(shù)字戰(zhàn)略的基礎(chǔ)，它是一個管理體系，包括組織、制度、流程、工具。6.4城市大數(shù)據(jù)治理以企業(yè)財務管理為例，會計負責管理企業(yè)的金融資產(chǎn)，遵守相關(guān)制度和規(guī)定，同時接受審計員的監(jiān)督；審計員負責監(jiān)管金融資產(chǎn)的管理活動。數(shù)據(jù)治理扮演的角色與審計員類似，其作用就是確保企業(yè)的數(shù)據(jù)資產(chǎn)得到正確有效的管理。由于切入視角和側(cè)重點不同，業(yè)界給出的數(shù)據(jù)治理定義已經(jīng)不下幾十種，到目前為止還未形成一個統(tǒng)一標準的定義。6.4.1數(shù)據(jù)治理內(nèi)容ITSS的中文意思是信息技術(shù)服務標準，是在國家工業(yè)和信息化部、國家標準化委的領(lǐng)導和支持下，由ITSS工作組研制的一套IT服務領(lǐng)域的標準庫和一套提供IT服務的方法論。ITSSWG1認為數(shù)據(jù)治理包含以下幾方面內(nèi)容：圖6-13數(shù)據(jù)治理體系6.4.1數(shù)據(jù)治理內(nèi)容（1）確保信息利益相關(guān)者的需要評估，以達成一致的企業(yè)目標，這些企業(yè)目標需要通過對信息資源的獲取和管理實現(xiàn)；（2）確保有效助力業(yè)務的決策機制和方向；（3）確?？冃Ш秃弦?guī)進行監(jiān)督。6.4.1數(shù)據(jù)治理內(nèi)容關(guān)于數(shù)據(jù)治理的過程，從范圍來講，數(shù)據(jù)治理涵蓋了從前端事務處理系統(tǒng)、后端業(yè)務數(shù)據(jù)庫到終端的數(shù)據(jù)分析，從源頭到終端再回到源頭形成一個閉環(huán)負反饋系統(tǒng)（控制理論中趨穩(wěn)的系統(tǒng)）。從目的來講，數(shù)據(jù)治理就是要對數(shù)據(jù)的獲取、處理、使用進行監(jiān)管（監(jiān)管就是我們在執(zhí)行層面對信息系統(tǒng)的負反饋），而監(jiān)管的職能主要通過五個方面的執(zhí)行力來保證——發(fā)現(xiàn)、監(jiān)督、控制、溝通、整合。6.4.1數(shù)據(jù)治理內(nèi)容數(shù)據(jù)治理有應對型和主動型兩種類型。1.應對型治理應對型數(shù)據(jù)治理是指通過客戶關(guān)系管理（CRM）等“前臺”應用程序和諸如企業(yè)資源規(guī)劃（ERP）等“后臺”應用程序授權(quán)主數(shù)據(jù)，例如客戶、產(chǎn)品、供應商、員工等。然后，數(shù)據(jù)移動工具將最新的或更新的主數(shù)據(jù)移動到多領(lǐng)域MDM（主數(shù)據(jù)管理）系統(tǒng)中。它整理、匹配和合并數(shù)據(jù)，以創(chuàng)建或更新“黃金記錄”，然后同步回原始系統(tǒng)、其他企業(yè)應用程序以及數(shù)據(jù)倉庫或商業(yè)智能分析系統(tǒng)。6.4.2數(shù)據(jù)治理類型批量集成和應對型數(shù)據(jù)治理方法引入的時間延遲可能導致業(yè)務部門繼續(xù)操作重復、不完整且不精確的主數(shù)據(jù)。因此，這會降低多領(lǐng)域MDM方案實現(xiàn)在正確的時間向正確的人員提供正確數(shù)據(jù)這一預期業(yè)務目標的能力。在期望被設(shè)定為數(shù)據(jù)將變得干凈、精確且及時之后，批量集成引入的時間延遲讓人感到沮喪。應對型數(shù)據(jù)治理（下游數(shù)據(jù)管理員小組負責整理、去重復、糾正和完成關(guān)鍵主數(shù)據(jù)）可能導致讓人認為“數(shù)據(jù)治理官僚化”。6.4.2數(shù)據(jù)治理類型應對型數(shù)據(jù)治理還會導致最終用戶將數(shù)據(jù)管理團隊看作“數(shù)據(jù)質(zhì)量警察”，并產(chǎn)生相應的官僚化和延遲以及主數(shù)據(jù)仍然不干凈的負面認識。這還將使得MDM方案更難實現(xiàn)它的所有預期優(yōu)勢，并可能導致更高的數(shù)據(jù)管理總成本。此方法的風險是組織可能以“兩個領(lǐng)域中的最差”而告終，至少部分上會如此——已在MDM方案中投資，但是只能實現(xiàn)一些潛在優(yōu)勢，即在整個企業(yè)內(nèi)獲得干凈、精確、及時以及一致的主數(shù)據(jù)。6.4.2數(shù)據(jù)治理類型有三個方法可改進和超越應對型數(shù)據(jù)治理。（1）用戶將數(shù)據(jù)直接輸入到多領(lǐng)域MDM系統(tǒng)中：用戶使用界面友好的前端將數(shù)據(jù)直接輸入到多領(lǐng)域MDM系統(tǒng)中，但是他們的新記錄和現(xiàn)有記錄的更新留在暫存區(qū)域或保留區(qū)域，直到數(shù)據(jù)管理員審核和認證為止。這之后，MDM系統(tǒng)才接受插入或更新，以便進行完整的整理、匹配、合并，并將“最佳記錄”發(fā)布到企業(yè)的所有其他應用程序。此方法好過將一個完全不同的應用程序（例如CRM或ERP系統(tǒng)）作為“錄入系統(tǒng)”，但是它仍然會出現(xiàn)延遲和效率低下。6.4.2數(shù)據(jù)治理類型盡管存在這些缺點，使用暫存區(qū)域確實解決了大部分問題。例如不用強制執(zhí)行重要屬性的錄入或在創(chuàng)建前不必進行徹底搜索。此外，由于我們并不受傳統(tǒng)應用程序或現(xiàn)代CRM或ERP應用程序如何處理數(shù)據(jù)錄入功能的影響，通過批量數(shù)據(jù)移動可以大大縮短時間安排。6.4.2數(shù)據(jù)治理類型（2）用戶輸入直接傳送到多領(lǐng)域MDM系統(tǒng)中的數(shù)據(jù)：在外面輸入新記錄或更新，但是會立即傳送到MDM系統(tǒng)，以便自動整理、匹配和合并。異常或例外傳送到數(shù)據(jù)管理員的隊列，幾個管理員便可支持更多最終用戶。這是第一個主動方法的改進，因為利用MDM系統(tǒng)的業(yè)務規(guī)則、數(shù)據(jù)整理和匹配功能，只要求管理員查看作為整理、匹配和合并流程的例外而彈出的插入或更新。6.4.2數(shù)據(jù)治理類型（3）用戶使用特定的數(shù)據(jù)治理前端輸入數(shù)據(jù)：這是允許最終用戶使用專為主動數(shù)據(jù)治理方法而設(shè)計的前端直接錄入到多領(lǐng)域MDM系統(tǒng)中?？蓪ｉT為最終用戶數(shù)據(jù)錄入設(shè)定屏幕，利用功能齊全的MDM系統(tǒng)允許的自動化、數(shù)據(jù)整理、業(yè)務規(guī)則、搜索和匹配等所有功能。因此，不必首先將數(shù)據(jù)輸入到MDM系統(tǒng)的暫存區(qū)域中，并且不需要系統(tǒng)外的單獨工作流應用程序。6.4.2數(shù)據(jù)治理類型2.主動型治理主動數(shù)據(jù)治理的第一個優(yōu)勢是可在源頭獲得主數(shù)據(jù)。具有嚴格的“搜索后再創(chuàng)建”功能和強大的業(yè)務規(guī)則，確保關(guān)鍵字段填充經(jīng)過批準的值列表或依據(jù)第三方數(shù)據(jù)驗證過，新記錄的初始質(zhì)量級別將非常高。主數(shù)據(jù)管理工作通常著重于數(shù)據(jù)質(zhì)量的“使它干凈”或“保持它干凈”方面。如果MDM系統(tǒng)中的數(shù)據(jù)質(zhì)量初始級別非常高，并且如果不會通過從CRM或ERP源系統(tǒng)中傳入不精確、不完整或不一致的數(shù)據(jù)來連續(xù)污染系統(tǒng)，則主數(shù)據(jù)管理的“保持它干凈”方面非常容易。6.4.2數(shù)據(jù)治理類型主動數(shù)據(jù)治理還可有效消除新主記錄的初始錄入和其認證以及通過中間件發(fā)布到企業(yè)其余領(lǐng)域之間的所有時間延遲。由用戶友好的前端支持的主動數(shù)據(jù)治理可將數(shù)據(jù)直接錄入到多領(lǐng)域MDM系統(tǒng)中，可應用所有典型的業(yè)務規(guī)則，以整理、匹配和合并數(shù)據(jù)。當初始數(shù)據(jù)錄入經(jīng)過整理、匹配和合并流程后，此方法還允許數(shù)據(jù)管理員通過企業(yè)總線將更新發(fā)布到組織的其他領(lǐng)域。6.4.2數(shù)據(jù)治理類型因為主數(shù)據(jù)的授權(quán)已推給上游的業(yè)務用戶，使數(shù)據(jù)管理員處于很少被打擾的角色，他們將不會成為諸如訂單管理或出具發(fā)票等關(guān)鍵業(yè)務流程的瓶頸。銷售和營銷均受益，因為可更迅速且經(jīng)濟有效地完成營銷活動，在啟動活動之前無需前期數(shù)據(jù)糾正。財務上也受益，因為將一次性捕獲新客戶需要的所有數(shù)據(jù)元素，添加新客戶的流程包括提取第三方內(nèi)容并計算信貸限額，然后將該信息傳回ERP系統(tǒng)。6.4.2數(shù)據(jù)治理類型沒有直接訪問MDM系統(tǒng)權(quán)限的客戶服務代表通常必須搜索幾個系統(tǒng)，找到他們需要的信息，從而采取措施。當通話中的客戶沒有耐心時，很難提供高級別的服務。當所有信息存儲在MDM系統(tǒng)中并可通過有效、用戶友好的前端進行訪問時，客戶服務代表將能夠訪問每個客戶交互需要的所有數(shù)據(jù)，并能夠在需要時授權(quán)新數(shù)據(jù)。通過使MDM成為錄入系統(tǒng)及記錄系統(tǒng)，能從本質(zhì)上將數(shù)據(jù)維持在“零延遲”狀態(tài)，適合企業(yè)中的任何預期使用場景，同步到CRM和ERP系統(tǒng)的數(shù)據(jù)的清潔性、精確性、時效性以及一致性應當處于最高級別。6.4.2數(shù)據(jù)治理類型3.最適合領(lǐng)域什么因素會阻止公司采用主動數(shù)據(jù)治理方法呢？總的來說，問題在于它們在數(shù)據(jù)治理成熟度等級中處于什么位置。通常，隨著時間的推移，組織會改進它們的數(shù)據(jù)治理方法。例如，當初始MDM系統(tǒng)開啟并運行之后，一些預期的優(yōu)勢需要較長時間才能實現(xiàn)，或應對方法的局限性變得顯而易見，可計劃以便在原始源系統(tǒng)中取消授權(quán)記錄的功能，并將該功能直接遷移到MDM系統(tǒng)中。6.4.2數(shù)據(jù)治理類型升級公司的集成或中間件功能（例如，添加一個能處理實時更新的集成工具）之后，可切換到主動數(shù)據(jù)治理方法，或作為現(xiàn)有CRM或ERP系統(tǒng)重大升級的一部分，因為這可能是引進需要的業(yè)務流程變更的最佳時機。度量標準將推動業(yè)務案例從應對型數(shù)據(jù)治理遷移到主動數(shù)據(jù)治理。應當明顯地看出是否將能夠遷移到更主動的數(shù)據(jù)治理方法?？稍敿氂媱澾w移流程，將它設(shè)立為一個獨立的項目或?qū)⑺傻搅硪粋€相關(guān)項目中。6.4.2數(shù)據(jù)治理類型有企業(yè)級數(shù)據(jù)管理軟件提供商認為：數(shù)據(jù)治理成功的關(guān)鍵在于元數(shù)據(jù)管理，即賦予數(shù)據(jù)上下文和含義的參考框架。經(jīng)過有效治理的元數(shù)據(jù)可提供數(shù)據(jù)流視圖、影響分析的執(zhí)行能力、通用業(yè)務詞匯表以及其術(shù)語和定義的可問責性，最終提供用于滿足合規(guī)性的審計跟蹤。元數(shù)據(jù)管理成為一項重要功能，讓IT部門得以監(jiān)視復雜數(shù)據(jù)集成環(huán)境中的變化，同時交付可信、安全的數(shù)據(jù)。因此，良好的元數(shù)據(jù)管理工具在全局數(shù)據(jù)治理中起到了核心作用。6.4.3元數(shù)據(jù)治理軟件提供商將數(shù)據(jù)治理定義為“在組織范圍內(nèi)，對流程、政策、標準、技術(shù)和人員進行職能協(xié)調(diào)和定義來將數(shù)據(jù)作為公司資產(chǎn)管理，從而實現(xiàn)對準確、一致、安全且及時的數(shù)據(jù)的可用性管理和可控增長，以此制定更好的業(yè)務決策，降低風險并改善業(yè)務流程””。數(shù)據(jù)治理著重于交付可信、安全的信息，為制定明智的業(yè)務決策、有效的業(yè)務流程并優(yōu)化利益相關(guān)方交互提供支持。因此，數(shù)據(jù)治理本身并非是結(jié)果，而僅僅是方法：即通過數(shù)據(jù)治理來支持最關(guān)鍵的業(yè)務目標。6.4.3元數(shù)據(jù)治理1.定義元數(shù)據(jù)為數(shù)據(jù)提供了一個參考框架。例如將元數(shù)據(jù)定義為“用于描述數(shù)據(jù)、內(nèi)容、業(yè)務流程、服務、業(yè)務規(guī)則以及組織信息系統(tǒng)的支持政策或為其提供上下文的信息”。譬如，蘋果公司旗下的應用商店在網(wǎng)上銷售軟件應用程序，在此情況下的數(shù)據(jù)是應用程序，元數(shù)據(jù)則是關(guān)于這些應用程序的信息，包括應用程序描述、價格、用戶評級、評論和開發(fā)公司。6.4.3元數(shù)據(jù)治理2.重要性正如某家大型銀行的高管所言：“如果沒有數(shù)據(jù)治理，任何元數(shù)據(jù)管理方案注定會失敗?！痹獢?shù)據(jù)管理可作為一項重要功能，讓IT部門得以管理復雜數(shù)據(jù)集成環(huán)境中的變化，同時交付可信、安全的數(shù)據(jù)。當業(yè)務利益相關(guān)方參與這一進程并接受對數(shù)據(jù)參考框架的責任，其優(yōu)勢將變得更有說服力。此時，企業(yè)就能將業(yè)務元數(shù)據(jù)與基層的技術(shù)元數(shù)據(jù)進行關(guān)聯(lián)，為全公司范圍內(nèi)的協(xié)作提供詞匯表和背景資料。6.4.3元數(shù)據(jù)治理3.驅(qū)動因素一系列公司方案推動數(shù)據(jù)治理的進展，也由此帶動了元數(shù)據(jù)管理。這些方案包括：·通用業(yè)務詞匯表（簡單的數(shù)據(jù)管理）。這種“小規(guī)模試水”方法著重于某一特定問題或業(yè)務部門的通用業(yè)務詞匯表?！と鏀?shù)據(jù)治理（或數(shù)據(jù)管理策略）。這是一種更近似由上至下的方式，通常用于涉及企業(yè)內(nèi)一系列業(yè)務部門的較大規(guī)模計劃，并以按多個階段（如果不是更長時間）進行管理的計劃中的多個商機為目標。6.4.3元數(shù)據(jù)治理·合規(guī)。此類方案的推動因素是為遵守國際、國家、當?shù)鼗蛐袠I(yè)法規(guī)的需求。合規(guī)，通常由一個治理、風險與合規(guī)性職能部門進行管理，顯然與數(shù)據(jù)治理唇齒相依。在發(fā)現(xiàn)、分析和記錄企業(yè)的多項內(nèi)部數(shù)據(jù)治理要求的同時，還必須與適用外部法規(guī)的相關(guān)特定要求進行統(tǒng)籌協(xié)調(diào)。6.4.3元數(shù)據(jù)治理幾乎所有企業(yè)都面臨著管理數(shù)據(jù)量、速度和種類的挑戰(zhàn)。大數(shù)據(jù)管理技術(shù)Hadoop/MapReduce在復雜數(shù)據(jù)分析能力以及按相對低廉的成本實現(xiàn)最大數(shù)據(jù)擴展性方面具有一定的優(yōu)勢。但Hado