《智慧環(huán)保省級大數(shù)據(jù)平臺設計方案》

1、智慧環(huán)保省級大數(shù)據(jù)平臺設計方案智慧環(huán)保省級環(huán)保大數(shù)據(jù)平臺設計方案采用當前最前沿的大數(shù) 據(jù)技術（并行計算技術、人工智能技術），對數(shù)據(jù)等進行挖掘建模和 機器學習建模，通過數(shù)據(jù)挖掘發(fā)現(xiàn)隱藏于其后的規(guī)律或數(shù)據(jù)間的關 系，充分挖掘這些數(shù)據(jù)的價值，從而形成能實際應用于民生的新生數(shù) 據(jù)；作為專家及政府的決策依據(jù)，輔助政府精細化決策,輔助專家預 測將來可能有出現(xiàn)的環(huán)保問題。1. 整體設計思想XX省生態(tài)環(huán)境大數(shù)據(jù)平臺立足于XX省各種生態(tài)環(huán)境數(shù)據(jù)；通過 多種渠道，采集與生態(tài)及環(huán)保有關的海量數(shù)據(jù)；采用當前最前沿的大 數(shù)據(jù)技術（并行計算技術、人工智能技術），對數(shù)據(jù)等進行挖掘建模 和機器學習建模，通過數(shù)據(jù)挖掘發(fā)現(xiàn)隱藏于

2、其后的規(guī)律或數(shù)據(jù)間的關 系，充分挖掘這些數(shù)據(jù)的價值，從而形成能實際應用于民生的新生數(shù) 據(jù)；作為專家及政府的決策依據(jù)，輔助政府精細化決策,輔助專家預 測將來可能有出現(xiàn)的環(huán)保問題；并能解決現(xiàn)實中真實發(fā)生的環(huán)保問題； 從而改善環(huán)境，提升居民生活環(huán)境的質量，和百姓生活的福祉。平臺建成后，將形成一個完整的基于大數(shù)據(jù)的生態(tài)環(huán)境數(shù)據(jù)智能 化收集、智能化核算分析、智能化發(fā)布和智能化監(jiān)管體系，這一平臺 體系可以把XX省生態(tài)環(huán)境狀況，全面、直觀地展現(xiàn)給政府部門和社 會公眾。同時環(huán)保部門可以重點關注核電站周邊生態(tài)環(huán)境實況。通過 可測量、可核查的生態(tài)環(huán)境數(shù)據(jù)，為XX省的生態(tài)環(huán)境現(xiàn)狀評估、趨 勢預測、潛力分析、目標制定

3、與跟蹤，提供決策服務，進而唉鯛生 態(tài)環(huán)境重點污染源、生態(tài)環(huán)境動態(tài)變化進行有效監(jiān)管，并為建設生態(tài) 環(huán)境交易市場體系奠定基礎。從使用者的角度看，所有的平臺數(shù)據(jù)集中到統(tǒng)一的邏輯平面上來; 平臺以省、市、縣分級別多視角展示生態(tài)環(huán)境實時信息，以全息，動 態(tài)的地圖形式全方位地展現(xiàn)給使用者。平臺為各類使用者提供不同的 觀察視角；領導能查看實時匯總信息，核輻射區(qū)大氣實況；環(huán)保工作 能查看各類精細報表與指標，并能搜索工作中所需要的信息。展現(xiàn)方 式有：電子大屏幕播放，WEB瀏覽.手機APP訪問等三種方式。從數(shù)據(jù)處理的角度看，平臺運行后將建成以生態(tài)環(huán)境數(shù)據(jù)為中心 的開放式數(shù)據(jù)中心，廣泛收集來自氣象，農林，海洋，交通

4、，能源，車 聯(lián)網(wǎng)等第三方數(shù)據(jù)，同時也給第三方輸出數(shù)據(jù)并分享成果數(shù)據(jù)；為后 續(xù)深度學習積累數(shù)據(jù)樣本，將來平臺具備很強的自我學習能力。2. 用戶使用場景環(huán)保領導大屏查看全局實時信息情況，核核輻射區(qū)大氣實況，查看匯總報表，指揮環(huán)境突發(fā)事件處理。環(huán)?？茖W家使用多級分析報告，生成各類分析結果，導入環(huán)保知識庫，搜索 各類數(shù)據(jù)。莠方案環(huán)保工作者輸入各類數(shù)據(jù)，依據(jù)決策系統(tǒng)認領分發(fā)任務。市民訂閱環(huán)保信息，上傳個人采集數(shù)據(jù)。3. 數(shù)據(jù)處理場景平臺將形成以生態(tài)環(huán)境數(shù)據(jù)為中心的開放式數(shù)據(jù)中心，數(shù)據(jù)來源有來自環(huán)保廳的自有行業(yè)數(shù)據(jù)，廣泛收集與環(huán)境有關系的第三方數(shù)據(jù), 定期抓取互聯(lián)網(wǎng)數(shù)據(jù)，也接受來自市民提交的數(shù)據(jù)。如下圖-

5、叔賽原始數(shù)據(jù)對象數(shù)據(jù)結構化數(shù)據(jù)成果數(shù)據(jù)數(shù)據(jù)處理場景為了數(shù)據(jù)安全，平臺提供了數(shù)據(jù)安全子系統(tǒng)，用于數(shù)據(jù)安全，數(shù) 據(jù)進入平臺有兩種方式，一種是直接進入處理中心，另一種是通過數(shù) 據(jù)安全中心加密后進入處理中心，加密后的數(shù)據(jù)與其它數(shù)據(jù)在平臺里 是沒有區(qū)別的，處理進程在使用數(shù)據(jù)內容時需先行解密后方可使用。 進入平臺的數(shù)據(jù)存放在數(shù)據(jù)倉庫中。永久存放的數(shù)據(jù)就內容來說，分 為原始數(shù)據(jù)，對象數(shù)據(jù)，結構化數(shù)據(jù)，成果數(shù)據(jù)；原始數(shù)據(jù)是指沒進 行任何處理的裸數(shù)據(jù)，對象數(shù)據(jù)是有屬性，能用元數(shù)據(jù)來標識的數(shù)據(jù), 結構化數(shù)據(jù)通常指數(shù)據(jù)庫，成果數(shù)據(jù)由處理系統(tǒng)來確定格式，是其它數(shù)據(jù)經(jīng)處理后的有實用意義的成果。當然平臺也會把數(shù)據(jù)處埋緒輸

6、 出給用戶，在原始數(shù)據(jù)擁有者的許可下，成果可以共享。4. 架構設計概要系統(tǒng)采用分層設計方案，如下圖所示，系統(tǒng)分為三個層次：應用 表示層、數(shù)據(jù)處理層、并行計算環(huán)境層；另有兩個子系統(tǒng):數(shù)據(jù)接口 子系統(tǒng)、運行保障子系統(tǒng)。把與實際業(yè)務有關的模塊集中在應用表示 層，把數(shù)據(jù)處理有關的放在數(shù)據(jù)處理層，由并行計算環(huán)境層提供海量 的存儲與大規(guī)模計算，數(shù)據(jù)接口系統(tǒng)作為平臺統(tǒng)一的數(shù)據(jù)來源，及輸 岀接口；運行保障子系統(tǒng)給整個平臺提供不間斷的運行維護及安全保障。空氣質雖監(jiān)控與展示系線專家決策値助系純監(jiān)檸與展示系統(tǒng)環(huán)境應急詰揮系線環(huán)境輿情管理系線水.販疑監(jiān)揑與展示系統(tǒng)污染源綜合聳理系統(tǒng)業(yè)交互接口系統(tǒng)監(jiān)測敷據(jù)歷史數(shù)據(jù)片入固

7、體廢物監(jiān)控親統(tǒng)壞境移動執(zhí)法監(jiān)察系犬歷GlS系統(tǒng)第二方數(shù)據(jù)采矢環(huán)保推薦引竽（人工智能互聯(lián)網(wǎng)彈性處多維分析樓型汚族溯禪怏型環(huán)保平臺數(shù)據(jù)處理層'常燥大數(shù)據(jù)處理可決化數(shù)站挖掘鑒塊環(huán)境綜合 分析棋型鬆據(jù)管理模塊lS4ff化模塊市尺徹倍 上傳接口環(huán)境斤常 預警模坐環(huán)境輿怙 分析模型環(huán)保統(tǒng)訃與報表喫塊數(shù)抽安仝模塊爭件開發(fā)樓塊敬鋸矽出接門ravL>調處現(xiàn)系并行式計數(shù)誥倉庫并行式文件有儲運行保障子系統(tǒng)總體構成4.1 數(shù)據(jù)接口子系統(tǒng)平臺數(shù)據(jù)辦輸入與輸出功能全部由數(shù)據(jù)接口子系統(tǒng)來完成，核心 數(shù)據(jù)由環(huán)保部門的監(jiān)測數(shù)據(jù)以及從手工導入歷史數(shù)據(jù)構成；第三方采 集數(shù)據(jù)，互聯(lián)網(wǎng)抓取數(shù)據(jù)，市民上傳數(shù)據(jù)是重要的補充部

8、分；數(shù)據(jù)全 集必須在內在的邏輯方面形成一個完整有效的數(shù)據(jù)璉，以便人工智能 模塊進行多維度分析。針對核與輻射的土壤監(jiān)控，采用數(shù)據(jù)動態(tài)同步方式，數(shù)據(jù)來源主 要來自XX輻射監(jiān)督站開展的年度監(jiān)測工作，包括土壤樣本的實驗分 析結果、輻射本底調查數(shù)據(jù)等。將核電廠周邊區(qū)域的土壤環(huán)境質量進 行動態(tài)監(jiān)控。同時，在歷史數(shù)據(jù)挖掘的基礎上，研究放射性物質在土 壤中的遷移規(guī)律。4. 2.應用表示層應用表示層通過調用數(shù)據(jù)處理層的功能來完應用系統(tǒng)的功能，凡 是與具體應用無關，可以抽象出來的功能，均在數(shù)據(jù)處理層實現(xiàn)，各 應用系統(tǒng)不用單獨開發(fā)相應功能?？傮w上來看應用表示層完很刃;助 能：a.實時動態(tài)按省市具區(qū)域、按類別、按管理

9、功能的數(shù)據(jù)可視化顯b.掌握生態(tài)環(huán)境數(shù)據(jù)庫，實時掌握生態(tài)環(huán)境的變化。C.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產過程生態(tài)環(huán) 境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境匯集等。d. 可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數(shù)據(jù) 分析支撐。e. 輻射環(huán)境大氣監(jiān)測應用XX省核電發(fā)展迅猛，在建的寧德核電廠與福清核電廠分別于 2012年和2013年投產發(fā)電，規(guī)劃建設的三明快中子反應堆項目已通 過可研，目前XX省規(guī)劃建設和在建的核電機組共十幾臺，這些能源 項目的啟動和建設，將大大緩解XX省電力能源供應緊張的局面，奠 定海西大型能源基地的地位。同時，也樹立了 XX省作為核電大省的 地位

10、。由于核輻射看不起，摸不著，但卻是人民群眾密切關注的，這就 需要與之相匹配的輻射環(huán)境大氣自動監(jiān)測網(wǎng)。未來XX省將建成核電 廠輻射監(jiān)測系統(tǒng)、監(jiān)督性監(jiān)測系統(tǒng)、國控點、省控點等多個監(jiān)測平臺， 提供各類的大氣輻射環(huán)境在線、離線監(jiān)測數(shù)據(jù)，但對于這些多來源的 數(shù)據(jù)如何處理、整合，進而開發(fā)相關的數(shù)據(jù)功能，還需進一步的工作。 通過對輻射環(huán)境類大氣監(jiān)測數(shù)據(jù)的大數(shù)據(jù)挖掘，實現(xiàn)核與輻射數(shù)據(jù)的 相關業(yè)務應用。4. 3.數(shù)據(jù)處理層:S方憲數(shù)據(jù)處理層建立在并行計算環(huán)境層基礎之上，為應用層提供數(shù)據(jù) 計算服務，本層分為兩個部分：環(huán)保推薦引擎，常規(guī)大數(shù)據(jù)處理；常 規(guī)大數(shù)據(jù)處理為上層及推薦引擎的數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)預警、 數(shù)

11、據(jù)挖掘提供支撐平臺。環(huán)保推薦引擎完成數(shù)據(jù)挖掘與專題分析任務，為上層提供判定結 果。集成多種模型算法，優(yōu)化核算模型，溫室氣體排放因子測算，對 排放因子測算和數(shù)據(jù)質量控制，進行準確性判斷。為城市管理者提供 現(xiàn)狀評估、趨勢預測、潛力分析、目標制定分解及跟蹤等輔助決策服 務。通過成立專家評估委員會，對排放系數(shù)的有效性進行分析，特別 是對一些強制性指標加以深入推敲?？刂浦笜税ㄅ欧畔禂?shù)統(tǒng)計信息 分類的所有指標。建立企業(yè)生態(tài)環(huán)境價值評估模型，分析研究主要行 生態(tài)環(huán)境對比研究行業(yè)不同規(guī)模、不同性質、不同層次的溫室氣體排 放情況，融合生態(tài)環(huán)境的核算、因素分解分析、模型、峰值預測、情 景潛力研究和XX省減排路徑

12、分析，為低生態(tài)環(huán)境策略制定提供可量 化的決策依據(jù)。建立生態(tài)環(huán)境評價與挖掘平臺，自動完成主要行業(yè)基 于溫室氣體排放分析研究報告，為工業(yè)源的溫室氣體排放研究、評估 以及未來的控制政策提供支撐支持。主要實現(xiàn)功能如下：a.為實現(xiàn)生態(tài)環(huán)境交易提供數(shù)據(jù)決策支撐服務。b.針對環(huán)境發(fā)展通過大數(shù)據(jù)建模，對生態(tài)環(huán)境未來進行預測和預C.針對生態(tài)環(huán)境的決策，依據(jù)生態(tài)環(huán)境基礎數(shù)據(jù)，建立大數(shù)據(jù)模 型，并進行深度分析，得出生態(tài)環(huán)境配額，生態(tài)環(huán)境足跡分濟華齡 專業(yè)問題的結論。d.建模，以支持節(jié)能減排降生態(tài)環(huán)境目標的預警調控方案。C.低能耗低排放產業(yè)分析。f. 為調整優(yōu)化能源消費結構提供數(shù)據(jù)支撐等h.氣象數(shù)據(jù)耦合計算所有的大氣

13、環(huán)境污染，都在在大氣環(huán)流中彌散傳播的。如果要通 過監(jiān)測數(shù)據(jù)對污染源進行追蹤，則需要同時耦合大氣擴散數(shù)據(jù)進行反 向的溯源計算。環(huán)保氣象數(shù)據(jù)處工功能主要負責接入全省實時氣象數(shù)據(jù)和預報 數(shù)據(jù)，將其處理為可供各個其它應用的基礎數(shù)據(jù)，并提供相關的計算 模型進行反向耦合計算。4. 4.并行計算環(huán)境層并行計算環(huán)境層是大數(shù)據(jù)平臺的核心驅動層，其基礎計算能力直 接影響上層的運行效率與運行速度。并行計算環(huán)境層為上層提供大規(guī) 模計算與存儲服務，并行計算環(huán)境層由工作流協(xié)調處理系統(tǒng),并行式 計算系統(tǒng).數(shù)據(jù)倉庫，并行式文件系統(tǒng)組成；并行計算環(huán)境層由一個服務器集群組成，集群規(guī)模隨著平臺的計算需求進行擴充。5. 平臺建設關鍵

14、技術大數(shù)據(jù)是指一般的軟件工具難以捕捉、管理和分析的大容量 數(shù)據(jù)，通常以PB來計量（IP=IO24T, IT=IO24G）；其意義不霍後馨于 容量之大，更大的意義在于通過對海量數(shù)據(jù)的交換、整合和分析, 發(fā)現(xiàn)新的知識，創(chuàng)造新的價值；通常大家用4V特性來描述大數(shù)據(jù); 回VOIinnc （容量）根據(jù)IDC（國際數(shù)據(jù)公司）的監(jiān)測統(tǒng)計，2011年全球數(shù)據(jù)總量 已經(jīng)達到1.8ZB（IZB等于1萬億GB, 1.8ZB也就相當于18億個 ITB移動硬盤的存儲量），而這個數(shù)值還在以每兩年翻一番的速度 增長，預計 到2020年全球將總共擁有35鄧的數(shù)據(jù)量，增長近 20倍。 Variety（多樣性）大數(shù)據(jù)的異構和多樣

15、性很多不同形式（文本、圖像、視頻、機 器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或語義。器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或語義。回VaIUe （價值）價值通常也被理解為價值密度，也就是說依據(jù)大量的不相關 信息進行深度復雜分析，對未來趨勢與模式的做出可靠的判定， 從而發(fā)現(xiàn)數(shù)據(jù)的價值?；豓eIOCity（高速率）大量的數(shù)據(jù)需要進行快速的，實時的處理，才能在指定時間 內得到結果；數(shù)據(jù)的處理方法多以批量化，分布式為主要處理方 式。從以上大數(shù)據(jù)的特性分析可知，我們生態(tài)環(huán)境的海量數(shù)據(jù)價 值發(fā)現(xiàn)的核心前提條件是：1. 大規(guī)模的基礎運算能力與海量的存儲能力。V-秀萬堯2. 高效的數(shù)據(jù)價值提取算法。在分布

16、式/并行式計算系統(tǒng)沒有出現(xiàn)之前，大規(guī)模的計算資源 只能由超級計算機來提供，這是一種昂貴的資源，把大部分中小 團隊拒之門外；約2006年云計算技術開始發(fā)芽，至2010前左右 隨著云計算技術的發(fā)展成熟，大規(guī)模分布式/并行式計算系統(tǒng)也得到了發(fā)展壯大，并快速成熟起來；分布式/并行式計算系統(tǒng)能把廉 價的大批量硬件組合起來，提供一種廉價的大規(guī)模運算能力與海 量存儲能力；因而當前技術發(fā)展已能滿足第一個前提條件。僅有大規(guī)模運算能力還是不夠的，使用人工智能技術是解決 復雜非線性計算的關鍵；女“美國超級計算機深藍，僅使用其強 大的計算能力，沒有使用人工智能技術的情況下，與圍棋大師的 較量中最終還是敗下陣來；而使用

17、了深度學習技術的智能象棋程 序，在自我學習8年后輕易就打敗了象棋大師。人工智能的發(fā)展 歷史很長，幾乎是和計算機技術一起發(fā)展的，但是大部分人工智 能算法不能應用于人們實際生活中，直到近年深度學習算法的發(fā) 展與成熟，深度學習算法被證實在處理大數(shù)據(jù)時是行之有效的， 其成果已經(jīng)在人們實際生活中起到了的很好的作用，如：蘋果的 SIRI,微軟小冰，多種BI產品，人臉識別等。因而深度學習算法 的成熟是滿足第二個核心條件的最佳解決方案之一。秀萬家6. 平臺模塊設計整個平臺是松耦合的，多模塊并行開發(fā)；數(shù)據(jù)接口系統(tǒng)，與大數(shù) 據(jù)處理層及資源層是應用系統(tǒng)的基礎，因而在各系統(tǒng)設計開發(fā)之初必 須優(yōu)先擬定好各個接口定義，方

18、可各自設計與開發(fā)。6.1. 環(huán)保平臺應用表示層設計應用系統(tǒng)分為平臺通用功能模塊以及各種專題子系統(tǒng)構成；應用 系統(tǒng)通過調用生態(tài)環(huán)境推薦引擎和其它大數(shù)據(jù)分析技術來完成就用 系統(tǒng)的功能，不須要單獨開發(fā)自己的底層數(shù)據(jù)分析功能。平臺可視化 功能是通用功能，可以為各個應用系統(tǒng)所用。7.1.1通用功能設計7.1.1. 1可視化展現(xiàn)功能可視化展現(xiàn)，就是把所有的最終結果數(shù)據(jù)以全息地圖方式呈現(xiàn)在 使用者面前，其所有的信息均具備地理屬性。主要功能如下：a. 實時動態(tài)按區(qū)域、按行業(yè)、按企業(yè)的數(shù)據(jù)排放可視化顯示。b. 掌握溫室氣體排放數(shù)據(jù)庫，實時掌握資源的利用。c. 區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產過程生態(tài)

19、環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境量等。d. 可視化運行監(jiān)測，全面能耗監(jiān)測，為宏觀分析和決策提供數(shù)據(jù)分析 支撐。展現(xiàn)方式：忌莠方案1. 全省生態(tài)環(huán)境區(qū)域能量圖，縱覽全省生態(tài)環(huán)境。2. 環(huán)境生態(tài)環(huán)境健康圖譜，大數(shù)據(jù)挖掘建立綜合評價體。3. 全省生態(tài)環(huán)境指標看板，企業(yè)排放TOPlOO,區(qū)域排放排。4. 生態(tài)環(huán)境預警分析，按排放類型等預警分。5. 全省生態(tài)環(huán)境趨勢，按行業(yè)按區(qū)域趨。7. 1.1.2搜索化平臺搜索分析平臺在豐富的業(yè)務模板庫的基礎上可以快速的為使用 在搜索中發(fā)現(xiàn)關鍵信息，可以使你輕松的在1到3秒以內完成85%以 上的生態(tài)環(huán)境分析。智能檢索系統(tǒng)依托全文檢索、自動分詞、結

20、果聚類等先進技術， 提供對不同類型、不同格式環(huán)境資源數(shù)據(jù)的快速檢索及關鍵字模糊查 詢，同時可業(yè)務明細、業(yè)務報表、相關文檔、地理空間數(shù)據(jù)等聚類類 別進行搜索結果展示，可極大滿足用戶的數(shù)據(jù)共享、快速查找需求。7.1.1.3系統(tǒng)管理系統(tǒng)管理屬于數(shù)據(jù)分析平臺的功能。通過使用授權來控制不同崗 位、不同用戶的業(yè)務操作權限。并采用用戶組的方式對用戶權限進行 管理，一個用戶組可以包括多個權限相同的用戶，用戶組設定遵循便 于生產、靈活管理的原則，以生產過程中的職能為依據(jù)，可以以崗位 為基礎進行劃分，也可以按照實際需要重新進行劃分。系統(tǒng)用戶角色不同，則使用的系統(tǒng)功能不同，不同崗位的用戶不 能越權操作系統(tǒng)功能。權限

21、管理就是保障大數(shù)據(jù)分析平臺-Z他 據(jù)安全性的手段，也是企業(yè)強化管理的手段。7.1.1. 3.1訪問權限管理按功能模塊和操作權限劃分多層級多職能角色，建立不同權限的 角色和用戶。通過配置權限功能、操作模塊和擁有窗體的操作類型（如 讀、寫、刪除、顯示等），決定不同角色的授權范圍或者不同角色及 用戶訪問的數(shù)據(jù)資源范圍。角色與用戶可指定映射，一個用戶可屬于 一個或幾個角色，系統(tǒng)管理員給相關人員分配相應的管理權限。具體 實現(xiàn)上系統(tǒng)將提供所有角色或用戶信息列表、所有的功能界面列表、 每個功能界面上所有的資源操作類型列表，只要對角色或用戶權限范 圍內的業(yè)務信息及操作權限進行打勾選擇即可，配置靈活。訪問權限管

22、理釆用口令認證手段支持身份認證系統(tǒng)。系統(tǒng)對登錄用戶的密碼以加密形式保存，對多次（比如三次）嘗 試登錄失敗的用戶進行封鎖，并記入系統(tǒng)日志。7. 1.1. 3.2系統(tǒng)日志管理記錄所有登錄人員訪問系統(tǒng)的關鍵操作信息以及系統(tǒng)更新信息 等，如增加、修改、刪除記錄以及系統(tǒng)更新時間、更新人、更新版本 等。并提供按人員、功能操作、時間等多種條件的系統(tǒng)日志查詢，支 持對重大安全事件（如數(shù)據(jù)修改）的追蹤和回溯。秀萬察6. 2.環(huán)保平臺并行計算環(huán)境層設計并行計算環(huán)境層提供海量存儲與大規(guī)模計算資源，由極融并行計 算系統(tǒng)與建立在并行計算系統(tǒng)之上的數(shù)據(jù)倉庫組成。7. 3.1數(shù)據(jù)倉庫設計生態(tài)環(huán)境數(shù)據(jù)中心的主體是生態(tài)環(huán)境數(shù)據(jù)

23、倉庫，數(shù)據(jù)倉庫以主題的方式建立。生態(tài)環(huán)境大數(shù)據(jù)中心，底層依托可擴展的大數(shù)據(jù)存儲平臺，能夠支撐省級乃至國家級大規(guī)模的生態(tài)環(huán)境數(shù)據(jù)。S 方累生態(tài)環(huán)境數(shù)據(jù)中心根據(jù)數(shù)據(jù)采集后的數(shù)據(jù)，根據(jù)排放因子等進行 計算，形成溫室氣體排放數(shù)據(jù)庫。并根據(jù)不同的專題，形成各種分析 的專題數(shù)據(jù)庫。7. 3.2并行計算系統(tǒng)7. 3. 2.1極融并行計算系統(tǒng)特性與優(yōu)勢極融并行計算系統(tǒng)的主要設計思想是軟件定義一切，高度的抽象 化；所有的資源均虛擬化以提髙自動化管理能力及容錯能力。極融并 行計算系統(tǒng)主要特性如下：1. 領先的并行計算架構，使用分布式的元數(shù)據(jù)管理模型，元數(shù) 據(jù)分散在集群中，這種架構使得整個存儲系統(tǒng)沒有單點故障。2.

24、 遠程內存直接訪問(RDMA)技術的深度運用，從本質上改變 平臺的使用場景，平臺開發(fā)者可以如同使用一臺超級計算機 一樣，在一個開發(fā)平面上開發(fā)與運行自已的業(yè)務系統(tǒng)。3. 真正的近線性擴展能力，在從三個節(jié)點擴展到上萬個節(jié)點的 過程中，不需要考慮元數(shù)據(jù)遷移和擴展問題。4. 本地化I/O,在平臺中，由于計算資源的虛擬化，會盡量移 動計算到數(shù)據(jù)所在的節(jié)點，而不是移動數(shù)據(jù)自身，因而大部 分的數(shù)據(jù)不需要跨越網(wǎng)絡讀寫。5. 高度的自我修復能力，當集群中某個節(jié)點出現(xiàn)故障時，數(shù)據(jù) 會自動遷移至完好節(jié)點中。6. 高度數(shù)據(jù)安全，所有存放在平臺中的數(shù)據(jù)均有2個以上的副 本，同時也在更低層次提供多種數(shù)據(jù)安全保障。7. 全

25、方位多視角的運行時監(jiān)控，平臺置于運行保障系統(tǒng)的多維 度監(jiān)控下，能實時報警，并能自動修復一部分常見故障。8. 軟件定義網(wǎng)絡(SDN),網(wǎng)絡吞吐能力不再是固定的，而是依據(jù)需要進行動態(tài)的擴張。秀方案7. 3. 2. 2極融并行計算系統(tǒng)概述極融并行計算系統(tǒng)的設計目標旨在把大批量普通的、不可靠的、 廉價的服務器組織起來，向外提供海量的、無差別的、高可用的數(shù)據(jù) 處理服務。從外部的角度看，InfinityFusion如同一個巨大的，有 序的，可伸縮的存儲池，同時也具備大規(guī)模的抽象化計算能力，如下 圖所示。【用戶眼中的InfinityFUSiOnl因而，InfinityFusion從宏觀角度上來說分成兩部分，

26、一部分 是把硬件資源組織起來，另一部分把資源抽象化后，組織成標準的服 務接口。從外部的角度看，InfinityRision的運行實體是一個存儲 集群，一個集群是一個整體的存儲單位，不管集群由多少臺物理計算 機組成。7. 2. 2. 1集群層次極融并行計算系統(tǒng)從邏輯功能的角度看，包括：由統(tǒng)一存儲服務 提供層、集群管理層、存儲層、ChUnk層、資源層。集群構成分層如 下圖所示：，匕秀萬案大數(shù)據(jù)分析技術平臺【集群層次圖】統(tǒng)一存儲服務提供層提供用戶交互界面；集群管理層調用存儲層 接口為服務提供層提供管理接口，同時負責節(jié)點的角色定位；存儲層 把ChUnk層提供的服務轉化成數(shù)據(jù)存放接口 ； ChUnk層直

27、接與資源層 交互，向上層提供定長存儲區(qū)，向下通過本地文件系統(tǒng)讀寫硬盤；資 源層在這里指的是所有的集群內的硬盤。以上各層唯有統(tǒng)一存儲服務 提供層可以單獨存在一臺服務器上，其它均分布在整個集群范圍內。 另外，并不是所有的分層都要通過上一層的調用才能被使用，存儲層 在運行時直接與客戶端交互。7. 2. 2. 2數(shù)據(jù)安全真實存放在集群中的數(shù)據(jù)最終會存放于chunk所指向的物理數(shù)據(jù) 塊中，ChUnk有多個副本，多個副本中數(shù)據(jù)是一致的，從而保證存放 數(shù)據(jù)的安全;InfinityFUSiOn尊守順序一致性(SeqUentiaI ConSiStenCy)以保證副本間的數(shù)據(jù)一致性。Chunk副本位置選擇是 為了

28、實現(xiàn)兩大目標：最大化數(shù)據(jù)可靠性和可用性，最大化網(wǎng)絡帶寬利 用率；對于任意副本的讀寫，只要滿足順序一致性要求，其結果是一 致的。7. 2. 2. 3元數(shù)據(jù)元數(shù)據(jù)是集群范圍里的概念，是全局的，每個集群有且C評釜 完整的元數(shù)據(jù)；如同向外部聲明自身所擁有的資源的整體情況，外部 無需考慮具體的物理細節(jié)；對內則詳細記錄object和ChUnk的命名 空間、ObjeCt和ChUnk的對應關系、每個ChUnk副本的存放地點等。 其中承載元數(shù)據(jù)內容的重要數(shù)據(jù)表有：mot表，ChUnk表兩個，它們 在運行時在內存中形成樹狀關系；元數(shù)據(jù)均勻地分布在整個集群所有 物理節(jié)點中。6. 3.數(shù)據(jù)接口系統(tǒng)數(shù)據(jù)接口系統(tǒng)的功能是

29、：把各種內外部數(shù)據(jù)導入到平臺內，并進 行清洗后，內含一個數(shù)據(jù)引擎把數(shù)據(jù)進行初步整合后，分類存入平臺 數(shù)據(jù)倉庫里。同時結果數(shù)據(jù)也從數(shù)據(jù)接口系統(tǒng)向外輸出數(shù)據(jù)。數(shù)據(jù)來源有：監(jiān)測數(shù)據(jù)采集、歷史數(shù)據(jù)導入、第三方數(shù)據(jù)采集、 互聯(lián)網(wǎng)彈性搜索、市民微信上傳接口五種方式。其中第三方數(shù)據(jù)采集面向多個行業(yè)，其中污染源數(shù)據(jù)接入主要從 能源消費和非能源消費2個角度出發(fā)，將城市生態(tài)環(huán)境源分成工業(yè)能 源、交通能源、居民生活能源、商業(yè)能源、工業(yè)過程和廢物等6個單除了歷史數(shù)據(jù)通過離線方式導入外，其它數(shù)據(jù)需要實時采集，數(shù) 據(jù)實時采集：1. 通過環(huán)保部門內置網(wǎng)絡采集生態(tài)環(huán)境信息。2. 通過氣象部門采集全省及部分東部省份信息。3 .

30、重點工業(yè)企業(yè)用電數(shù)據(jù)、用煤數(shù)據(jù)。數(shù)據(jù)通過電力二荻襯務公司等實時采集數(shù)據(jù)。通過行業(yè)管理部門、統(tǒng)計局收集綜合數(shù)據(jù)。4. 城市交通能源的數(shù)據(jù)采集，從中石油，中石化實時采集能源 消耗數(shù)據(jù)。5. 居民生活能源數(shù)據(jù)，可以從煤氣公司、液化氣公司、電力公司 實時采集數(shù)據(jù)。6. 商業(yè)能源數(shù)據(jù)，從電力公司、熱力公司實時采集數(shù)據(jù)。7. 工業(yè)過程數(shù)據(jù)，從重點基礎企業(yè)進行數(shù)據(jù)采集。7. 4.1數(shù)據(jù)接入引擎：數(shù)據(jù)接入引擎，高效快誄適配各行業(yè)企業(yè)數(shù)據(jù)源，實時、穩(wěn)定的數(shù)據(jù)接入6. 4.運行保障子系統(tǒng)設計運行保障子系統(tǒng)的特點為采用源于數(shù)據(jù)庫的應用通信協(xié)議，動態(tài)擴展被監(jiān)控對象，能動態(tài)增加通信協(xié)議，而無須重新更改運臺代碼在分布式軟

31、件體系中，各個模塊通信方式不同，系統(tǒng)規(guī)模體 系統(tǒng)與規(guī)模隨著使用時間的推移不斷發(fā)生變化，很難在系統(tǒng)設計之初 定義各個模塊之間的通信協(xié)義；這要求我們把通信協(xié)義的定義分布到 系統(tǒng)的整個生命周期之中，也就是說協(xié)義是隨時可以”熱添加”的， 后續(xù)添加的協(xié)義不影響已運行協(xié)義；這就要求我們定義的協(xié)議是抽象 的，協(xié)議的具體化由數(shù)據(jù)源（如存放在數(shù)據(jù)庫的數(shù)據(jù)）來細化運行保障子系統(tǒng)的另一個特點是多視角多維度的展示系統(tǒng)運行 狀態(tài)。例如硬件設備供應商只看硬件設備運行狀態(tài)，應用軟件開發(fā)商 只關注自身軟件系統(tǒng)的運行狀態(tài)，而云計算管理軟件只關注各個虛擬 機的運行狀態(tài)；他們可以從各自的角度出發(fā)，從運行保障子系統(tǒng)中查 看相關數(shù)據(jù)并

32、做出處理動作.7. 5.1運行保障子系統(tǒng)應用場景在分布式體系中，參與眾多，且時常變動，參與者切入系統(tǒng)的角 度不同；這種體系規(guī)模比較大且在運行中不斷地動態(tài)擴展或縮減；整 個體系的責任團隊需要從多個視角，多個層次把所有的參與要素的運 行狀態(tài)集中到統(tǒng)一界面中進行監(jiān)視與管控通常由作為基礎軟硬件 設施服務商或集成商為責任團隊提供這個功能.這就是運行保障子系 統(tǒng)應用場景.從具體項目的角度看，需要運行保障子系統(tǒng)的有：云計 算，各種大型功能中心（如移動通信短信中心，IlO指揮中心等），各 種大型平臺（如醫(yī)保平臺）等；簡單的應用軟件不適合，規(guī)模很小的7. 5.2運行保障子系統(tǒng)理論依據(jù)1. 大部分致命故障是由其它錯誤累積而成，預警與趨勢分析能把致 命故障扼殺在萌芽狀態(tài)，從而保障系統(tǒng)的穩(wěn)定運行.2. 異常是可擴散的，大部分系列的異常的源頭只有一個.3. 各種異?？梢杂邢嗤奶幹眠^程，異常拋出，異常分析，異常處 理.4. 歷史數(shù)據(jù)的挖掘與分析是發(fā)現(xiàn)問題與產生新的有效需求的有效方式.7. 5. 3運行保障子系統(tǒng)開發(fā)難點運行保障子系統(tǒng)與其它模塊不同之處在于，開發(fā)完成并運行后還 會陸續(xù)進行一些接入式開發(fā)，以完善其功，這種開發(fā)類似于插件式開 發(fā)，而不是升級開發(fā).7.平臺建設目標平臺建設分為三個階段，2016年7月平