綜合管理服務大數據平臺建設與應用示范項目可行性研究報告

1、綜合管理服務大數據平臺建設與應用示范項目可行性研究報告綜合管理服務大數據平臺建設與應用示范項目 可行性研究報告（此文檔為 WORD 格式，下載后可編輯）1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第一章 項目總論一、 項目名稱綜合管理服務大數據平臺建設與應用示范項目。二、 項目申報單位主要申報單位：項目建設性質新建。三、 項目建設地點四、 項目建設內容建設城市管理綜合信息服務平臺， 推進海量信息集中與交換 共享，通過可視化方式呈現(xiàn)“智慧”整體運行“體征”，及各地 實時狀態(tài)，全面鋪開智慧城市感知、監(jiān)控、實時響應體系網絡， 建設集資源統(tǒng)計動態(tài)展示、指揮調度、輔助決策支持、一體化融 合通

2、信、智能預警、城市信息發(fā)布等功能為一體的綜合管理平臺。五、 建設期限本項目建設工期為 24 個月（2016 年 3 月-2018 年 2 月）六、 項目總投資本項目總投資 3000 萬元人民幣。1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告七、 資金來源本項目總投資 3000 萬元人民幣，其中擬申請國家補貼 600 萬元，其余資金企業(yè)自籌。八、 可行性結論該項目投資 3000 萬元人民幣， 項目建設工期為 24 個月。 通 過項目的投資規(guī)模、建設期限、建設內容及社會效益等方面內容， 經過專家的論證得出結論，該項目建設內容符合國家產業(yè)政策， 投資計劃合理，建設規(guī)模適度，建設資金落實到位

3、，技術上非常 可行。2綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第二章 項目的意義和必要性一、 意義隨著城市的快速發(fā)展，社會、經濟、人口等信息急劇增長， 地理信息系統(tǒng)的應用變得越來越廣泛， 信息共建共享成為城市信 息化建設的一項重要任務， 也是面向服務時代建設發(fā)展的必然要 求。據統(tǒng)計， 80%以上的政府部門都需要使用地理信息。實踐已 經證明， 以地理信息為基礎， 實現(xiàn)多種社會城市信息的集成與融 合， 服務于政府管理和決策分析， 為國民經濟建設和社會發(fā)展提 供支撐，具有非常重要的意義。二、 必要性自然資源與空間地理信息資源是電子政務的重要基礎信息 資源， 是不可或缺的信息化基礎軟設施

4、。 為了更好地滿足各業(yè)務 部門的應用需求，采用網絡、硬件、數據庫、 GIS、遙感影像、 軟件開發(fā)等技術構建一個能夠持續(xù)發(fā)展的城市管理綜合信息服 務平臺，與人口信息、企業(yè)信息、社會經濟信息進行整合，將遙 感影像、 地址數據、 政務信息圖層等現(xiàn)有的政務地理空間信息資 源進行集中管理和提供共享服務，并解決安全性、可靠性、高效 性等問題， 為政府各部門提供一個政府內部統(tǒng)一的綜合地理空間 信息服務窗口， 以滿足各部門對地理空間信息數據的共享應用需 求，輔助領導進行決策，提高業(yè)務辦理效率，為社會公眾查詢空1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告間信息和參與內建設與管理提供便捷、高效的現(xiàn)代化

5、服務載體， 提高域發(fā)展核心競爭力。2綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第三章 國內外發(fā)展現(xiàn)狀一、 國外現(xiàn)狀國外研究現(xiàn)狀自 20 世紀 90 年代以來， 信息技術作為代表的 高新技術飛速發(fā)展， 促進著世界經濟、 政治和文化等各個領域發(fā) 生著深刻的變革。為了迎接新的挑戰(zhàn)，占據主導地位，美國率先 提出實施國家信息基礎設施和全球信息化基礎設施計劃； 與此同 時， 歐洲也開始實施信息社會的戰(zhàn)略； 亞洲國家新加坡也制定了 建設東南亞“智慧島”的知識經濟發(fā)展戰(zhàn)略。為此，智慧城市的 概念不斷涌現(xiàn)， 并越來越受到各界關注。 在智慧城市中最明顯的 特征就是將城市的規(guī)劃、建設、管理與服務進行一體

6、化、數字化 發(fā)展，而智慧城市正是其中一個重要部分。國外學者關于智慧城市這個領域的研究主要集中于兩個方 面，一方面是數字化環(huán)境下的城市行政管理行為，也就是“城市 管理”問題。 另一方面是研究數字技術工具對城市管理的輔助作 用。 “城市管理”問題在 20 世紀末期初見，在本世紀越發(fā)明顯，到現(xiàn)在為止仍是一個比較新的課題。有學者對城市管理進行了定義， 認為城市管理在廣義上是指 在電子技術的支持下， 整個社會的運行和組織形式， 這里包括對 經濟和社會資源的綜合治理； 在狹義上是指政府與非政府組織的 經濟、 社會互動， 以及政府內部在運行中運用電子技術易化政府 行政及簡化辦事程序， 并提高民主化程度。 在

7、信息化城市發(fā)展的1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告模式中， 政府的自主權不斷減少， 而公眾的參與權正在不斷提升。還有些國外學者通過對歐洲一些城市的調查， 研究了城市管 理方式給政府與公眾帶來的好處， 認為信息技術是對傳統(tǒng)行政的 有益補充；美國和韓國的大學學者們通過安全性、實用性、內容 豐富性、服務種類、公眾回應與參與程度等幾個因素進行考察， 對全世界幾十個主要城市的城市管理和數字民主發(fā)展水平進行 了評價， 同時也揭示了發(fā)展中國家與發(fā)達國家在城市管理方面存 在的差距。由此可見，國外有關智慧城市的研究比較深入，且經 驗頗深，值得我國學習與借鑒。三、 國內現(xiàn)狀目前， 隨著科技的

8、發(fā)展， 我國社會各界人士對城市管理極為 重視， 尤其國家在進行城市發(fā)展規(guī)劃時， 更是重視城市管理給城 市發(fā)展帶來的利弊。 較為普遍性的觀點認為， 城市綜合管理是現(xiàn) 代信息技術在城市管理中的應用。它是一個關于城市建設的系 統(tǒng)，該系統(tǒng)是基于單元格劃分和城市部件、事件管理理法，建立 起城市的管理數據庫， 以對城市管理對象實現(xiàn)數字化和標準化的 管理。 這不僅有助于城市管理體制創(chuàng)新和管理流程重塑， 也有助 于政府更好地動觀城市動態(tài)， 把握城市發(fā)展動向， 從而進一步解 決城市管理中信息滯后、管理被動、職能不清等問題，進一步提 升了城市管理水平，提升了城市管理的品質。2綜合管理服務大數據平臺建設與應用示范項

9、目可行性研究報告第四章 項目建設方案一、 建設目標城市綜合管理服務大數據平臺是利用最新的信息化技術搭 建起來的一個城市綜合管理信息平臺， 它通過使用大數據、 物聯(lián) 網、云計算、智能計算、空間信息等技術，實現(xiàn)電子政務、日常 監(jiān)管、 綜合服務等業(yè)務的信息化， 逐步實現(xiàn)城市綜合管理服務的 智能化。二、 建設方案城市綜合管理服務大數據平臺建設包括數據庫建庫、 城市大數據管理綜合服務系統(tǒng)。（一） 數據庫建庫數據庫分類名城市行政劃庫 城市地名庫 城市規(guī)劃庫城市國土庫城市土地儲備庫 城市交通路網庫 城市遙感影像庫 城市管理數據庫 （決策數據倉庫）氣象數據環(huán)保數據教育資源數據數據明細地形信息、總體規(guī)劃、控 制

10、規(guī)劃、詳細規(guī)劃等地籍權屬信息、總體規(guī) 劃、利用現(xiàn)狀等收購、征收、征用等統(tǒng)計分析統(tǒng)計分析統(tǒng)計分析統(tǒng)計分析數據獲取方式接入接入接入接入采集、接入接入接入 1.接入（城市公 共基礎庫） 2.接入（城市公 共業(yè)務庫）接入接入接入實施階段一階段 一階段 一階段一階段一階段 一階段 一階段 一階段一階段 一階段 一階段3綜合管理服務大數據平臺建設與應用示范項目可行性研究報告1、數據采集空間數據主要是來源于各個部門提供的圖件、 CAD 數據、 SHP 數據、遙感影像、無人機航拍影像等。三維全景數據則通過移動 測量系統(tǒng)以及全景影像處理技術實現(xiàn)采集。采集的手段包括：1）系統(tǒng)對接：各業(yè)務系統(tǒng)通過共享交換平臺與基礎

11、數據庫進行對接， 通過 系統(tǒng)實現(xiàn)數據的共享交換；2）系統(tǒng)導出表：通過系統(tǒng)導出表格利用光盤的方式實現(xiàn)數據的共享交換；3）電子表格：提交 word 表、 excel 表實現(xiàn)數據的共享交換；4）紙質文件：提交紙質文件實現(xiàn)數據的共享交換；5）直接采集：通過外業(yè)采集、內業(yè)錄入的人工方式實現(xiàn)數據的采集。6）無人機快速采集：依托無人機遙感系統(tǒng)的機動靈活、 經濟便捷的技術優(yōu)勢， 采 用無人機作為遙感平臺進行低空監(jiān)測和攝影， 以獲取低空高分辨 率遙感數據為應用目標，可以快速數據采集。2、數據加工處理采集后的數據需要進行加工處理， 遙感影像需要進行幾何校4綜合管理服務大數據平臺建設與應用示范項目可行性研究報告正、

12、圖像增強、圖像融合等操作，各個部門提供的CAD 數據需要 轉換為 SHP 數據， 然后做拓撲分析， 全景數據需要做圖片拼接處理等。 數據檢查對采集的數據在符合性和規(guī)范性方面進行檢查。 包括圖形拓 撲檢查、屬性準確性檢查、圖屬一致性檢查等，對于不符合質量 要求的數據，重新進行修改，修改之后再次提交。數據質量合格的，數據進入清洗比對庫進行比對。 數據入庫對于加工處理、并經過檢查后的數據， 采用空間數據庫引擎， 將其批量入庫， 這樣可以被地圖文檔、 專題圖文檔、 報表等調用。 （二） 城市綜合管理服務大數據系統(tǒng)以云計算、大數據、移動互聯(lián)網、空間信息技術為支撐，以 城市公共業(yè)務庫為載體，通過手機、平板

13、、電腦等多種終端面向 政府決策、行業(yè)管理、公眾服務的分層級、分類別、空間化、信 息化的綜合信息展示服務，建成數據內容全面、服務功能強大、應用領域廣泛、全市統(tǒng)一的綜合信息展示系統(tǒng)。綜合信息展示系統(tǒng)以基礎地理信息為載體，整合全地表數 據、規(guī)劃數據、經濟社會、城市運行等信息，通過海量數據的集 成，在滿足安全的前題下，實現(xiàn)面向政府、政府部門、社會公眾 的分類分層分級服務。解決部門間信息共享的孤島問題。5綜合管理服務大數據平臺建設與應用示范項目可行性研究報告圖 1 綜合信息展示系統(tǒng)1、數據架構圖 2 數據架構2、城市綜合信息管理用于管理系統(tǒng)后臺中的場景、地形和各類 GIS 矢量數據服 務，提供基本的數據

14、服務配置、管理能力；同時，針對應用用戶 的不同角色進行用戶的角色管理， 給不同角色的用戶配置不同的 用戶數據訪問權限、圖層控制權限、讀寫權限控制等權限。（1）數據服務管理6綜合管理服務大數據平臺建設與應用示范項目可行性研究報告系統(tǒng)提供對應地形影像數據、 外部矢量數據、 專題數據服務管理、服務設置與顯示、服務編輯等功能。1）加載影像數據服務系統(tǒng)支持影像數據服務的加載與管理。2）加載各類專題 GIS 數據系統(tǒng)支持 ArcSDE 數據庫文件、 Shapefile 文件的加載與管 理功能。比如專題規(guī)劃圖、行政劃圖、污染源分布圖、道路專題圖。（2）部門管理系統(tǒng)提供對政府各部門的賬戶管理能力， 可以對任意

15、部門進行創(chuàng)建、修改等操作。（3）角色權限管理系統(tǒng)提供對登錄角色的管理功能。 對于不同的登錄角色， 系 統(tǒng)提供以角色為單位的權限配置管理， 不同的角色， 系統(tǒng)管理員 可以配置不同的賬戶權限，如：使用功能權限、 GIS 圖層訪問權 限以及場景編輯讀寫權限等。（4）密碼管理系統(tǒng)提供管理員最高權限，提供密碼修改權限。（5）人員管理系統(tǒng)提供對登錄用戶的人員賬號和密碼管理。（6）日志管理系統(tǒng)提供對所有登錄用戶的操作日志管理。7綜合管理服務大數據平臺建設與應用示范項目可行性研究報告3、城市基礎服務展示（1）基礎信息服務應用提供基礎底圖展示：包含行政劃，行政名稱，道路路網，道路名稱，電子地圖，影像圖、衛(wèi)星圖。

16、圖 3 基礎底圖展示（2）城市規(guī)劃服務應用提供城市規(guī)劃信息展示：包含現(xiàn)有和未來商業(yè)、住宅、服務 域分布。圖 4 城市規(guī)劃信息展示（3）城市基礎設施應用8綜合管理服務大數據平臺建設與應用示范項目可行性研究報告提供城市基礎設施應用展示： 包含交通基礎設施、 電力基礎設施、燃氣基礎設施、給排水基礎設設施、環(huán)衛(wèi)基礎設施。圖 5 城市基礎設施應用展示（4）城市國土服務應用提供土地利用現(xiàn)狀信息展示： 包含土地權屬信息展示、 國有集體、建設用地等。圖 6 土地利用現(xiàn)狀信息展示城市人口分布服務應用展示， 提供高密度住宅、低密度住宅、 待改善人工住宅分析展示等。9綜合管理服務大數據平臺建設與應用示范項目可行性研

17、究報告圖 7 城市人口分布服務應用展示（5）城市服務應用提供城市景點分布，客流量統(tǒng)計分析展示。（6）城市公共服務設施應用提供醫(yī)院（醫(yī)院類型，救治種類） 、學校等分布，收容人口 量等（7）城市社服務應用提供社內的常住人口、流動人口、特殊人群（老人、孤寡老 人、殘疾人員、黨員、團員、現(xiàn)任干部、居民代表等）進行信息 展示， 并與公安、 民政、 衛(wèi)生、 房管等部門交換數據， 獲得及時、 準確、全面的人員信息，便于社會和民政部門的統(tǒng)計與調查，實 現(xiàn)人口完整信息的統(tǒng)一存儲、統(tǒng)一展示、統(tǒng)一利用，為平臺其他 功能模塊提供居民人口信息支撐。（8）城市企業(yè)服務應用提供城市企業(yè)服務信息，高新技術企業(yè)，制造型企業(yè)，污

18、染企業(yè)、 交稅大戶， 重點企業(yè)的分布， 安排就業(yè)情況等的信息展示。4 、城市綜合信息檢索10綜合管理服務大數據平臺建設與應用示范項目可行性研究報告（1）常規(guī)檢索通過關鍵詞的輸入， 進行常規(guī)性檢索， 系統(tǒng)自動調取后臺的 數據服務接口，通過訪問的數據以及關鍵詞進行檢索結果反饋； 并將結果展示出來， 對于超出當前顯示結果頁面的， 提供多頁顯示以及翻頁顯示操作。（2）空間檢索通過空間位置的輸入， 進行空間檢索， 系統(tǒng)自動調取后臺的 數據服務接口，通過訪問的數據以及位置參數進行檢索結果反 饋；并將結果展示出來，對于超出當前顯示結果頁面的，提供多頁顯示以及翻頁顯示操作?？臻g檢索，可以根據緩沖，出入一定的緩

19、沖范圍，進行范圍 內的結果反饋，也可以基于單點位置信息進行結果反饋。（3）綜合檢索結合上述的檢索方式，系統(tǒng)自動調取后臺的數據服務接口， 通過訪問的數據以及空間位置， 關鍵詞等進行檢索結果反饋； 并 將結果展示出來， 對于超出當前顯示結果頁面的， 提供多頁顯示以及翻頁顯示操作。5、城市管理綜合展示城市管理綜合展示平臺將以“城市、人、環(huán)境、發(fā)展”為主題， 通過數據可視化的呈現(xiàn)反映當前城市管理的現(xiàn)狀， 為城市管 理者提供及時的分析和報告，輔助決策。通過該平臺，城市管理 者能夠及時全面了解城市管理各個環(huán)節(jié)的關鍵指標， 以分析預測11綜合管理服務大數據平臺建設與應用示范項目可行性研究報告等手段，提高管理

20、能力。平臺初步規(guī)劃有如下模塊：（1） 城市經濟財稅綜合分析包括全經濟運行情況分析，財政收入分析等。圖 8 重點產業(yè)收入占比（數據虛構）（2）城市資產綜合分析包括國有土地資產運營情況分析，無形資產營運情況分析， 資源開發(fā)利用情況分析，城市載體運營情況等。（3）城市建設綜合分析包括城建工程與資金投入情況，城建工程在全的分布情況， 城建工程的類型分析， 城市功能片與服務功能情況， 文明施工情 況，拆遷安置情況等。（4）城市人口綜合分析包括各域人口規(guī)模及分布情況，常住人口與流動人口分析， 便民服務設施配備情況，就業(yè)與失業(yè)情況，健康狀況、低保狀況 等。12綜合管理服務大數據平臺建設與應用示范項目可行性研

21、究報告圖 9 城市月最低生活費組成（數據虛構）（5）城市交通綜合分析包括道路面積及公共汽車、 出租車擁有情況， 公共交通客流 量統(tǒng)計及預測分析， 城市居民出行特征及強度評估， 交通擁堵情況分析，私人汽車擁有量，車輛停放管理情況等。圖 10 交通事故情況（數據虛構）（6）城市環(huán)境綜合分析13綜合管理服務大數據平臺建設與應用示范項目可行性研究報告包括城市綠化覆蓋率、園林綠地占比情況；環(huán)境統(tǒng)計信息、 環(huán)境監(jiān)測信息、環(huán)境監(jiān)測點分布信息、污染源普查信息、環(huán)境質 量評價、環(huán)保措施；違章違建情況、流動攤點治理情況等（7）城市發(fā)展綜合分析包括熱點事件、綜合指數統(tǒng)計（包含社會景氣指數、居民幸 福指數、社會包容指

22、數、人均 GDP 指數、消費指數等）、產業(yè)結 構與發(fā)展情況（重點展示信息化、教育、等重點抓的產業(yè)情況） 等。圖 11 居民幸福指數（數據虛構）6、城市智慧應用專項分析展示通過各類智慧應用匯集的數據進行統(tǒng)計，將統(tǒng)計數據基于 BI 分析結果進行展示，提供專題展示應用。7、城市智能報告分析改變傳統(tǒng)的人工匯總報告模式，針對城市發(fā)展進行 BI 數據14綜合管理服務大數據平臺建設與應用示范項目可行性研究報告分析報告輸出，實現(xiàn)自動打印。三、 技術基礎（一） 大數據關鍵技術介紹1. 大數據采集技術數據是指通過 RFID 射頻數據、傳感器數據、社交網絡交互 數據及移動互聯(lián)網數據等方式獲得的各種類型的結構化、 半

23、結構 化（或稱之為弱結構化）及非結構化的海量數據，是大數據知識 服務模型的根本。重點要突破分布式高速高可靠數據爬取或采 集、高速數據全映像等大數據收集技術；突破高速數據解析、轉 換與裝載等大數據整合技術； 設計質量評估模型， 開發(fā)數據質量 技術。2. 大數據預處理技術主要完成對已接收數據的辨析、抽取、清洗等操作。 1）抽取： 因獲取的數據可能具有多種結構和類型， 數據抽取過程可以 幫助我們將這些復雜的數據轉化為單一的或者便于處理的構型， 以達到快速分析處理的目的。 2）清洗：對于大數據，并不全是 有價值的， 有些數據并不是我們所關心的內容， 而另一些數據則 是完全錯誤的干擾項，因此要對數據通過

24、過濾“去噪”從而提取 出有效數據。3. 大數據存儲及管理技術大數據存儲與管理要用存儲器把采集到的數據存儲起來， 建15綜合管理服務大數據平臺建設與應用示范項目可行性研究報告立相應的數據庫，并進行管理和調用。重點解決復雜結構化、半 結構化和非結構化大數據管理與處理技術。 主要解決大數據的可 存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開 發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存 儲、 大數據的去冗余及高效低成本的大數據存儲技術； 突破分布 式非關系型大數據管理與處理技術，異構數據的數據融合技術， 數據組織技術，研究大數據建模技術；突破大數據索引技術；突 破大數據移動

25、、備份、復制等技術；開發(fā)大數據可視化技術。4. 大數據分析及挖掘技術大數據分析技術。 改進已有數據挖掘和機器學習技術； 開發(fā) 數據網絡挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突 破基于對象的數據連接、 相似性連接等大數據融合技術； 突破用 戶興趣分析、 網絡行為分析、 情感語義分析等面向領域的大數據挖掘技術。（二） 系統(tǒng)網絡結構1. 系統(tǒng)需求分析由于近年來互聯(lián)網上計算數據的總量呈爆炸式增長， 據不完 全統(tǒng)計，僅 2010 年初到現(xiàn)在，互聯(lián)網上的數據傳輸量就達到 175EB，不到一年的數據量超過了過去 9 年的數據量總量。按照 需求規(guī)劃的 1860 家媒體數據量也是相當龐大的，所以監(jiān)測系統(tǒng)

26、 必須要具備采集、存儲、分析互聯(lián)網媒體中海量數據的能力，而 且產品還對數據采集周期有一定要求， 負責采集數據的爬蟲系統(tǒng)16綜合管理服務大數據平臺建設與應用示范項目可行性研究報告需要具備非常高的抓取效率。 系統(tǒng)將來需要處理的數據量肯定將 會越來越多， 所以在設計整個系統(tǒng)架構時， 需要充分的考慮系統(tǒng) 各個模塊（主要是采集、存儲、分析）的擴展性，采用分布式集 群設計。2. 系統(tǒng)拓撲方案設計網絡采用星型網絡拓撲結構 ,并采用分層方式設計。簡化網 絡結構，提高數據傳輸效率。網絡核心交換到服務器，形成千M 到千 M 傳輸，網絡接入層設計、內部網絡服務。網絡核心采用一臺華為的 H3C S5024E 核心交換

27、機。交換機 提供 1000M 以太網端口， 與網絡的其他部分連接， 組成 1000M 主 干網絡， 為了保證整個網絡的可靠性， 核心交換機配置冗余引擎 和雙電源。Internet 數據首先通過防火墻過慮進入二層交換機，經過前端軟防火墻的策略檢測，最終到達服務器，并訪問資源。服務器集群內包括兩臺蜘蛛服務器， 三臺分布式數據存儲和 分析服務器，一臺數據中心服務器，一臺數據備份服務器（與數 據中心服務器以熱備方式工作， 此結構為冗余設計， 在數據中心 出現(xiàn)問題時， 可由交換機自動將數據切換至備份服務器。），一臺 管理服務器。服務器全部采用成熟的企業(yè)版 linux 系統(tǒng)，免費 快速安全，系統(tǒng)對用戶數據

28、、資料的安全性，以及網絡帶寬都要 比較高，網絡的負載能力強，存儲空間大，前面準備采用 asa 5540，對一些非法用戶入侵限制，訪問規(guī)則，對數據包的檢測過17綜合管理服務大數據平臺建設與應用示范項目可行性研究報告濾。圖 12 系統(tǒng)拓撲圖3. 系統(tǒng)流量設計方案根據我們的經驗， 在 10M 網絡帶寬環(huán)境下， 系統(tǒng)每小時最多 可以采集大約 5 萬個網頁， 這只是最理想的狀態(tài)， 因為對帶寬流 量的消耗主要包括檢查新的網頁內容和對正文頁的抓取兩部分， 為了讓系統(tǒng)能夠保證滿足一定的時效性， 蜘蛛程序需要不斷的訪 問目標網頁來確認是否有新的文章更新， 而且每次訪問不一定能 夠帶回來新的文章， 大多數是重復的

29、， 這對帶寬的消耗量其實是 非常巨大的。 要使系統(tǒng)即能滿足數據的全面性， 又能達到一定時 效性， 僅僅依靠幾臺爬蟲服務器和幾十兆的帶寬資源是遠遠無法 滿足需求的。九次方在國內外多個地區(qū)的 IDC 機房部署了服務器集群， 目 前的服務器總數量已達到 2000 多臺，專門用于數據采集的服務 器大約為 1500 臺， 各機房擁有的總帶寬出口量大約在 2G bit/s，18綜合管理服務大數據平臺建設與應用示范項目可行性研究報告充分保證了對互聯(lián)網海量數據的采集、存儲、分析能力。目前系 統(tǒng)每天能夠采集到大約 500 萬條信息，每條信息能夠在 20 分鐘 之內完成存儲、索引和分析過程并呈現(xiàn)給用戶。安全中心可

30、以在本地數據中心部署一定量的服務器和帶寬 資源， 保證對幾家重點媒體的數據采集能力， 其他媒體的數據采 集可以由九次方的服務器集群負責， 采集過來的數據進行簡單過 濾處理后傳送到安全中心的 IDC，或者由客戶定時自取，九次方 提供各類數據 API，數據存儲和數據分析都在安全中心的 IDC 中 處理。九次方為用戶提供的及時、全面的數據采集服務，安全中 心無需自己搭設過多的數據采集點， 只需要從九次方的數據通道 獲得即可， 這不但可以解決數據隱私的問題， 而且可以大大降低了項目的實施成本。（三） 系統(tǒng)基礎組件結構系統(tǒng)基礎組件選用九次方自主研發(fā)的關鍵組件， 與成熟的開 源技術相結合，最大程度的降低了

31、系統(tǒng)通用中間件的成本。19綜合管理服務大數據平臺建設與應用示范項目可行性研究報告分布式數據采集系統(tǒng)基于九次方自主研發(fā)的蜘蛛技術數據預處理系統(tǒng)數據排重、數據過濾、數據分類全文檢索系統(tǒng)數據庫支持系統(tǒng)Mysql 高性能可擴展的數據庫存儲技術索引支持系統(tǒng)基于九次方自主研發(fā)的 高性能可擴展的索引技術分布式數據挖掘系統(tǒng)Hadoop / Hive MapReduce大規(guī)模數據集并行計算技術基于九次方自主研發(fā)的NLP技術前端系統(tǒng)Tomcat、 MemCache緩存系統(tǒng)、圖表系統(tǒng)備份及恢復系統(tǒng)數據庫系統(tǒng)原生同步備份機制自行開發(fā)的同步備份系統(tǒng)支持遠程同步備份及恢復系統(tǒng)基礎組件圖13系統(tǒng)基礎組件結構示意圖（四） 系

32、統(tǒng)技術架構本工程采用主流成熟的開發(fā)框架和產品組件進行開發(fā)， 采用 多層體系結構來構建符合標準與管理規(guī)范體系、 安全與運行保障體系的高可用性系統(tǒng)。綜上，本項目開發(fā)的整體技術架構如下：20綜合管理服務大數據平臺建設與應用示范項目可行性研究報告圖14大數據綜合應用平臺總體技術架構示意圖其中：針對數據源層的數據采集：需提供多種方式，以滿足 吳中區(qū)政府各局級單位 IT 系統(tǒng)的特點，數據采集不限于數據文 件的“推”與“拉”方式、 web 錄入與上傳方式、數據庫直接方式等；并滿足離線采集、實時采集等不同采集類型的需要；數據處理層： 負責系統(tǒng)所有數據的處理工作， 基于分布式服 務框架，實現(xiàn)包括離線處理、實時處

33、理、實時交互查詢、數據預 處理等，完成數據的加工以及對外展現(xiàn)的服務；數據存儲層： 負責結構化和非結構化的存儲， 存儲方式包括 不限于 HDFS、ORACLE、MYSQL（或）、內存數據庫等，滿足不同 的應用場景需要；展現(xiàn)層： 負責數據對外應用的展現(xiàn)， 由 Web 負載集群實現(xiàn)展 現(xiàn)應用。21綜合管理服務大數據平臺建設與應用示范項目可行性研究報告（五） 技術開發(fā)原則 開放架構新平臺要構建開放架構， 系統(tǒng)將通過參數設置定制， 形成新 產品以適應互聯(lián)網金融產品日新月異的發(fā)展， 新產品上線將以插 件化的方式，避免對老產品的影響?；A平臺采用租用擴展能力強、 運維能力強的云服務平臺模式， 從而 減少硬件

34、設備投入， 避免因容量擴展迅速而頻繁進行硬件設備的 迭代。體驗優(yōu)先用戶體驗度將是平臺成敗之根本， 將簡潔清晰的用戶操作始 終貫徹于平臺中的每個產品。移動優(yōu)先開發(fā)執(zhí)行移動優(yōu)先的策略，APP 將覆蓋我們平臺的所有功能，但盡可能減少營銷信息，確?？蛻趔w驗。PC 端主要是作為產品超市，下載平臺，宣傳媒介，功能主 要是服務企業(yè)客戶。安全獨立新平臺將釆取開發(fā)廠商和安全廠商相對獨立， 以確定平臺能 達到設計的安全水平，同時跟進實時監(jiān)測，確保運行安全。22綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第五章 建設進度一、 建設條件落實情況主要申報單位江蘇太湖九次方大數據信息技術服務有 限公司，擁有大數

35、據挖掘技術、數據清洗、企業(yè)數據采集、數據 建模、 數據標準頂層設計、 數據可視化等成熟技術和部分大數據 產業(yè)相關項目建設運營、 而且公司的專業(yè)人才涉及大數據產業(yè)全 產業(yè)鏈。因此，城市綜合管理服務大數據平臺的建設就有人才、技術、資金的保障。此次建設項目為城市綜合管理服務大數據平臺新項目， 其建 設內容：新建機房，購置硬件設備，根據需要購置系統(tǒng)軟件、數 據交換平臺及開發(fā)基礎信息資源庫等內容。二、 建設工期和進度安排本項目建設周期為 24 個月。本項目各應用子系統(tǒng)建設、設備采購、網絡、計算、存儲、 安全等系統(tǒng)運行環(huán)境建設、應用系統(tǒng)安裝部署、組織測試、試運行、驗收。初步的工程進度計劃如下表。雙月計算1

36、 2 3 4 5 6 7 8 9 10 11 121 制定有關標準規(guī)范2 城 市綜 合管 理大數23綜合管理服務大數據平臺建設與應用示范項目可行性研究報告雙月計算1 2 3 4 5 6 7 8 9 10 11 12據平臺建設3 安裝部署應用系統(tǒng)4 組織測試5 培訓、試運行、驗收6 竣工驗收24綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第六章 項目實施管理一、 領導和管理機構應用平臺作為支撐大數據應用的基礎平臺，由政府部門牽 頭，完成各委辦局應用數據資源的梳理和目錄編制工作。為了保障應用平臺的順利建設， 成立項目建設領導小組。 領 導小組全權負責應用平臺建設相關的規(guī)劃指導、 統(tǒng)籌協(xié)調

37、與建設 管理工作。二、 項目實施機構為保障項目順利實施， 項目組織結構采用項目領導層、 項目 管理層以及項目工程實施層的組織方式， 采用分層次的協(xié)調管理 和項目經理負責制的管理體系來實現(xiàn)組織保證。明確各機構職 責，建立工程開發(fā)實施過程中的各項制度，確保工程圓滿完工。1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告圖 15 應用平臺項目的組織機構圖（一） 項目實施小組負責整個項目開發(fā)實施過程中的最高決策和總體協(xié)調工作。 它的職責是：批準該項目總體設計方案和實施進度計劃；進行重 大投資決策；負責項目實施關鍵問題的戰(zhàn)略指導；對項目管理層 不能達到一致的意見進行決策；批準項目的重大變更；協(xié)調工

38、程 相關的外部環(huán)境。（二） 需求調研組負責整個項目前期的需求調研工作，對各政府部門業(yè)務及其 計算機應用現(xiàn)狀進行全面調研，在反復研討的基礎上出具調研報 告，為后續(xù)的設計開發(fā)工作奠定基礎。（三） 分析設計組負責整個項目的系統(tǒng)規(guī)劃、 總體設計、 總體技術方案的工作。 它的職責是： 根據工程建設的總體目標、 建設規(guī)模與內容的要求， 進行總體方案的規(guī)劃與設計，編制工程開發(fā)實施的指導性文件， 并在工程開發(fā)實施過程中，進行必要的咨詢與支持。（四） 平臺建設組在項目實施小組的統(tǒng)一領導組織下，負責完成應用平臺的開 發(fā)任務。（五） 質量保障組對于整個項目的系統(tǒng)集成、軟件開發(fā)、系統(tǒng)實施等進行質量 監(jiān)督、測試檢查、用

39、戶測試、階段評審等工作，提交測試報告和 評價報告；對工程進度進行控制，組織系統(tǒng)測試驗收。2綜合管理服務大數據平臺建設與應用示范項目可行性研究報告（六） 技術咨詢與培訓組將應用軟件系統(tǒng)轉換成實際運行的系統(tǒng)。 開展有關業(yè)務規(guī)程、 業(yè)務管理、應用操作、系統(tǒng)操作、環(huán)境建設、應用維護等方面的 培訓，輔助有關應用安裝、系統(tǒng)調試、數據轉換、現(xiàn)場指導等方 面的工作。人員組成：熟悉應用軟件系統(tǒng)需求、功能和操作的業(yè) 務人員或測試人員；對網絡計算機環(huán)境、應用軟件系統(tǒng)、用戶培 訓有實際實施經驗的技術人員。（七） 運維組負責對網絡平臺系統(tǒng)和應用軟件系統(tǒng)， 提供系統(tǒng)維護、 系統(tǒng) 升級、技術支持、咨詢答疑等售后服務。由相應

40、的系統(tǒng)集成商和 應用開發(fā)商承擔。三、 項目管理模式(一) 項目會議制度項目組內部例會：承建方項目組內部定期按計劃舉行項目內 部例會。由項目經理召集，項目主要負責人員參加，視情況項目 其他有關人員也可參加。內部例會定期舉行。專題討論會：業(yè)主和承建方項目組主要負責人均可召集專題 討論會，就某些專門問題進行討論，取得一致。專題討論會不定期舉行。(二) 書面信息溝通制度承建方每周定期向業(yè)主、項目承擔方和項目監(jiān)理方提交正式3綜合管理服務大數據平臺建設與應用示范項目可行性研究報告項目進展報告；承建方每周定期向公司領導以書面或正式會議的方式匯報項 目進展情況。承建方項目經理根據項目建設過程中遇到的各種問題，

41、隨時 通過電話、傳真或電子郵件等方式與業(yè)主、監(jiān)理方、專家組進行溝通和匯報。(三) 重大事項的決策項目重大事項是指項目范圍的重大變更，或項目實施過程中 的重大問題，比如項目重大延期、項目重大的商務問題等等。此 類重大事項一般情況下可采用書面報告的形式進行溝通和協(xié)調， 必要的時候采取專題會議的形式進行決策，會議由監(jiān)理方召集， 參加人員包括：業(yè)主、項目承建方、監(jiān)理方，會議最終決定以三 方書面簽字的方式確定。四、 運行維護機構(一) 運維機構系統(tǒng)建成投入運行后，需要一支穩(wěn)定的技術隊伍進行日常維 護，保障系統(tǒng)的長期正常運行，與廠商技術部門互相配合，負責 平臺系統(tǒng)的運維、實施、配臵以及新需求的響應工作等。

42、將從信 息化技術隊伍中組建一支高素質技術人員組成的系統(tǒng)維護隊伍， 成立系統(tǒng)運行維護機構，專門負責各業(yè)務系統(tǒng)的日常維護，人員配備見下表。表 1 運行維護人員配備表4綜合管理服務大數據平臺建設與應用示范項目可行性研究報告專業(yè)名稱 高級技術人員 一般技術人員 小計 備注網絡及服務器系統(tǒng)運行 1 3 4信息資源維護 1 2 3安全系統(tǒng)管理 1 2 3合計 3 7 10(二) 運維方案本項目的運維管理系統(tǒng)建設是保障應用平臺正常運行和服務 的基礎，為此，建立運維管理以及多個專項執(zhí)行小組來負責應用 平臺的運維，并制定了一系列運維管理相關的制度來保障本項目 的高效運維。從具體運維內容來看，本項目中涉及的運維內

43、容主要包括三 種類型：1. 托管運維對于備份機房、網絡環(huán)境及其配套設施的運維，采用托管方 式運維。2. 代維方式軟件和網絡安全采用代維方式，通過選擇合適的專業(yè)服務公 司來提高運維服務的水平和效率。3. 自維方式核心業(yè)務系統(tǒng)通過建立、 培養(yǎng)自己的技術運維團隊來進行自行維 護。5綜合管理服務大數據平臺建設與應用示范項目可行性研究報告五、 相關管理制度信息化部門應按照國家信息安全等級保護指南的要求進行自 身的資產界定歸類、 安全域劃分、 風險評估。 制定數據更新制度、 設備管理制度、安全保密制度、應急管理制度、崗位責任制度和 人員培訓制度。(一) 數據更新制度應用平臺的建設涉及多個部門,是一個長期的

44、過程， 必需建立 完善的數據更新制度以保證相關資源數據的有效性、及時性和完 整性，通過政府領導的統(tǒng)籌協(xié)調，明確各個部門的職責，建立完 整高效的數據更新制度。(二) 安全保密制度安全保密制度分計算機安全防護制度、日志記錄制度、密級 管理制度、人員保密制度。計算機安全防護制度：計算機系統(tǒng)安全管理應以防為主，從 建立計算機病毒防范、強化密碼管理、嚴格管理用戶權限三個方面建立經常性的安全管理制度。日志記錄制度：運行日志是貫穿于系統(tǒng)運行全過程的最重要 環(huán)節(jié)，實行記錄、監(jiān)控、檢查，及時發(fā)現(xiàn)、解決運行過程中出現(xiàn)的問題，把風險降到最低限度。密級管理制度：建立屬于單位或系統(tǒng)的秘密文件、資料和其 它物品的制作、收

45、發(fā)、傳遞、使用、復制、摘抄、保存和銷毀制 度，由單位總負責人或副負責人委托專人執(zhí)行，采用電腦技術存6綜合管理服務大數據平臺建設與應用示范項目可行性研究報告取、處理、傳遞的單位密級信息由電腦部門負責保密的制度。人員保密制度：不準在私人交往和通信中泄露系統(tǒng)秘密和網 絡使用口令，不準在公共場所談論可能危及系統(tǒng)安全的秘密，不 準通過其他方式傳遞或散播所發(fā)現(xiàn)的系統(tǒng)運行中的漏洞；工作人 員發(fā)現(xiàn)系統(tǒng)秘密或口令已經泄露或者可能泄露時，應當立即采取 補救措施并及時報告總負責人，總負責人接到報告，應立即做出 處理；如果由于個人行為泄密導致的系統(tǒng)破壞，追究個人的責任 直至法律責任。(三) 應急管理制度為了應對項目中

46、重要系統(tǒng)突發(fā)的故障，必須建立一套行之有 效的應急管理機制。相關部門應急管理制度中應包括：制定應急 計劃、進行應急訓練。制定應急計劃：針對項目中某個重大系統(tǒng)可能發(fā)生的事故和 故障，建設管理單位應當預先制定系統(tǒng)應急計劃，內容包括：局 部事故應急計劃、大范圍事故應急計劃和系統(tǒng)整體應急計劃。各 應急計劃應相互銜接、協(xié)調一致。進行應急訓練：應組織應急演練和培訓，做好精神、物質、 技術等方面的準備，同時提高員工的防范意識和自助能力。(四) 崗位責任制建立和健全技術崗位責任制，明確各個崗位的職責，并建立 相應的考核制度，將對實現(xiàn)科學監(jiān)督、建立正常的監(jiān)督秩序、提 高監(jiān)督效率、更好地為系統(tǒng)服務有著重要作用。7綜

47、合管理服務大數據平臺建設與應用示范項目可行性研究報告(五) 人員培訓制度高新技術的使用對運行管理人員在管理水平和能力上提出了 更高的要求，以保障操作人員按規(guī)定正常操作。當新的系統(tǒng)投入 使用時，應確保操作人員接受系統(tǒng)的培訓，在確認操作人員充分 了解和掌握之后，才能正式上崗作業(yè)。人員培訓具體應包括以下幾部分內容：對于系統(tǒng)的運行維護人員進行系統(tǒng)培訓，務必使系統(tǒng)操作人 員熟悉系統(tǒng)，掌握系統(tǒng)運行的關鍵技術。定期對系統(tǒng)維護和操作人員熟悉系統(tǒng)，掌握系統(tǒng)運行的關鍵技術。系統(tǒng)進行升級、改進后要及時對有關人員就相關內容進行培訓。對系統(tǒng)維護、操作人員的培訓不能僅局限于局部，在掌握與 自己密切相關部門的同時也要對整個

48、項目有個清楚的認識。8綜合管理服務大數據平臺建設與應用示范項目可行性研究報告第七章 環(huán)境污染防治一、 適用標準根據中華人民共和國環(huán)境保護法等有關法規(guī)，在項目實 施過程中對排出的污染物應采取必要的措施， 使之達到國家規(guī)定 的標準。采用的環(huán)境保護標準為：1、中華人民共和國環(huán)境保護法（1989 年 12 月）2、中華人民共和國環(huán)境評價法（2002 年 10 月）3、中華人民共和國大氣污染法（2000 年 04 月）4、中華人民共和國環(huán)境噪聲污染法（1996 年 10 月）5、中華人民共和國清潔生產促進法（2002 年 06 月）6、中華人民共和國水法（1988 年 01 月）7、中華人民共和國節(jié)約能

49、源法（1997 年 11 月）8、產業(yè)結構調整指導目錄(2011 年本) 2013 （修訂版）9、建設項目環(huán)境保護條例（1988 年 11 月）二、 建設期環(huán)境影響及治理措施該項目施工期只有少量噪音，不會給附近造成環(huán)境影響。1、噪聲環(huán)境影響分析和防治對策噪聲是施工過程中使用沖擊鉆、電錘等噪聲的產生源。為了減輕施工噪聲對周圍環(huán)境的影響，建議采取以下措施： 加強施工管理， 合理安排施工作業(yè)時間， 嚴格按照施工噪聲管理1綜合管理服務大數據平臺建設與應用示范項目可行性研究報告的有關規(guī)定執(zhí)行，嚴禁夜間進行噪聲施工作業(yè)。2、大氣環(huán)境影響分析和防治對策該工程在實施過程中， 大氣污染物主要是廢氣， 施工過程中

50、 廢氣主要來源于施工隊伍設備安裝焊接產生的廢氣。上述過程中產生的廢氣很少不會造成大氣環(huán)境污染。3、水環(huán)境影響分析和防治對策施工隊伍的生活活動會產生少量的生活污水， 包括洗滌廢水和沖廁水。本項目廢污水水量極小， 施工期廢水采取相應措施有效控制 污水中污染物的產生量。4、固體廢棄物環(huán)境影響分析和防治對策施工期間將有一定數量的廢棄材料， 對施工現(xiàn)場要及時進行 清理，生活垃圾要及時清運，防止其因堆放而產生污染。三、 運營期環(huán)境影響及治理措施1、主要污染物本項目投入使用后主要污染物為生活污水、生活垃圾。2、主要應對措施（1）生活污水主要是衛(wèi)生間污水，本項目正常運營后將產生部分生活污水。生活污水排放量按給水量的 80%計算，經下水道，排入市政管網，達到三級排放要求。（2）生活垃圾定期處理，設置合理數量的垃圾收集器及時 清運。2綜合管理服務大數據平臺建設與應用示范項目可行性研究報告四、 環(huán)境影響評價結論綜合以上分析，由于在本項目的建設和運營中，充分考慮了 各類可能產生的環(huán)境污染，并采取了比較完善的防護措施，從整 體上做到了預防與治理并重，能夠滿足