福建生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)概要設(shè)計(jì)v02

1、福建省生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)概要設(shè)計(jì)1 .整體設(shè)計(jì)思想福建省生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)立足于福建省各種生態(tài)環(huán)境數(shù)據(jù)；通過多種渠道，采集與生態(tài)及環(huán)保有關(guān)的海量數(shù)據(jù)；采用當(dāng)前最前沿的大數(shù)據(jù)技術(shù)（并行計(jì)算技術(shù)、人工智能技術(shù)），對(duì)數(shù)據(jù)等進(jìn)行挖掘建模和機(jī)器學(xué)習(xí)建模，通過數(shù)據(jù)挖掘發(fā)現(xiàn)隱藏于其后的規(guī)律或數(shù)據(jù)間的關(guān)系，充分挖掘這些數(shù)據(jù)的價(jià)值，從而形成能實(shí)際應(yīng)用于民生的新生數(shù)據(jù)；作為專家及政府的決策依據(jù)，輔助政府精細(xì)化決策，輔助專家預(yù)測(cè)將來可能有出現(xiàn)的環(huán)保問題；并能解決現(xiàn)實(shí)中真實(shí)發(fā)生的環(huán)保問題；從而改善環(huán)境，提升居民生活環(huán)境的質(zhì)量，和百姓生活的福祉。平臺(tái)建成后，將形成一個(gè)完整的基于大數(shù)據(jù)的生態(tài)環(huán)境數(shù)據(jù)智能化收集、智能化核算

2、分析、智能化發(fā)布和智能化監(jiān)管體系，這一平臺(tái)體系可以把福建省生態(tài)環(huán)境狀況，全面、直觀地展現(xiàn)給政府部門和社會(huì)公眾。同時(shí)環(huán)保部門可以重點(diǎn)關(guān)注核電站周邊生態(tài)環(huán)境實(shí)況。通過可測(cè)量、可核查的生態(tài)環(huán)境數(shù)據(jù)，為福建省的生態(tài)環(huán)境現(xiàn)狀評(píng)估、趨勢(shì)預(yù)測(cè)、潛力分析、目標(biāo)制定與跟蹤，提供決策服務(wù)，進(jìn)而實(shí)現(xiàn)對(duì)生態(tài)環(huán)境重點(diǎn)污染源、生態(tài)環(huán)境動(dòng)態(tài)變化進(jìn)行有效監(jiān)管，并為建設(shè)生態(tài)環(huán)境交易市場(chǎng)體系奠定基礎(chǔ)。從使用者的角度看，所有的平臺(tái)數(shù)據(jù)集中到統(tǒng)一的邏輯平面上來；平臺(tái)以省、市、縣分級(jí)別多視角展示生態(tài)環(huán)境實(shí)時(shí)信息，以全息，動(dòng)態(tài)的地圖形式全方位地展現(xiàn)給使用者。平臺(tái)為各類使用者提供不同的觀察視角；領(lǐng)導(dǎo)能查看實(shí)時(shí)匯總信息，核輻射區(qū)大氣實(shí)況；環(huán)

3、保工作能查看各類精細(xì)報(bào)表與指標(biāo)，并能搜索工作中所需要的信息。展現(xiàn)方式有：電子大屏幕播放，WEBW覽，手機(jī)APPW問等三種方式。從數(shù)據(jù)處理的角度看，平臺(tái)運(yùn)行后將建成以生態(tài)環(huán)境數(shù)據(jù)為中心的開放式數(shù)據(jù)中心，廣泛收集來自氣象，農(nóng)林，海洋，交通，能源，車聯(lián)網(wǎng)等第三方數(shù)據(jù)，同時(shí)也給第三方輸出數(shù)據(jù)并分享成果數(shù)據(jù)；為后續(xù)深度學(xué)習(xí)積累數(shù)據(jù)樣本，將來平臺(tái)具備很強(qiáng)的自我學(xué)習(xí)能力。2 .用戶使用場(chǎng)景環(huán)保領(lǐng)導(dǎo)大屏查看全局實(shí)時(shí)信息情況，核核輻射區(qū)大氣實(shí)況，查看匯總報(bào)表，指揮環(huán)境突發(fā)事件處理。環(huán)?？茖W(xué)家使用多級(jí)分析報(bào)告，生成各類分析結(jié)果，導(dǎo)入環(huán)保知識(shí)庫，搜索各類數(shù)據(jù)。環(huán)保工作者輸入各類數(shù)據(jù)，依據(jù)決策系統(tǒng)認(rèn)領(lǐng)分發(fā)任務(wù)。市民訂

4、閱環(huán)保信息，上傳個(gè)人采集數(shù)據(jù)。3 .數(shù)據(jù)處理場(chǎng)景平臺(tái)將形成以生態(tài)環(huán)境數(shù)據(jù)為中心的開放式數(shù)據(jù)中心，數(shù)據(jù)來源有來自環(huán)保廳的自有行業(yè)數(shù)據(jù)，廣泛收集與環(huán)境有關(guān)系的第三方數(shù)據(jù),定期抓取互聯(lián)網(wǎng)數(shù)據(jù)，也接受來自市民提交的數(shù)據(jù)。如下圖所示，原始數(shù)據(jù)成果數(shù)據(jù)對(duì)象數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)處理場(chǎng)景為了數(shù)據(jù)安全,平臺(tái)提供了數(shù)據(jù)安全子系統(tǒng)，用于數(shù)據(jù)安全，數(shù)據(jù)進(jìn)入平臺(tái)有兩種方式，一種是直接進(jìn)入處理中心，另一種是通過數(shù)據(jù)安全中心加密后進(jìn)入處理中心，加密后的數(shù)據(jù)與其它數(shù)據(jù)在平臺(tái)里是沒有區(qū)別的，處理進(jìn)程在使用數(shù)據(jù)內(nèi)容時(shí)需先行解密后方可使用。進(jìn)入平臺(tái)的數(shù)據(jù)存放在數(shù)據(jù)倉庫中。永久存放的數(shù)據(jù)就內(nèi)容來說，分為原始數(shù)據(jù)，對(duì)象數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)，

5、成果數(shù)據(jù)；原始數(shù)據(jù)是指沒進(jìn)行任何處理的裸數(shù)據(jù)，對(duì)象數(shù)據(jù)是有屬性，能用元數(shù)據(jù)來標(biāo)識(shí)的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)通常指數(shù)據(jù)庫，成果數(shù)據(jù)由處理系統(tǒng)來確定格式，是其它數(shù)據(jù)經(jīng)處理后的有實(shí)用意義的成果。當(dāng)然平臺(tái)也會(huì)把數(shù)據(jù)處理成果輸出給用戶，在原始數(shù)據(jù)擁有者的許可下，成果可以共享4,架構(gòu)設(shè)計(jì)概要系統(tǒng)采用分層設(shè)計(jì)方案，如下圖所示，系統(tǒng)分為三個(gè)層次：應(yīng)用表示層、數(shù)據(jù)處理層、并行計(jì)算環(huán)境層；另有兩個(gè)子系統(tǒng)：數(shù)據(jù)接口子系統(tǒng)、運(yùn)行保障子系統(tǒng)。把與實(shí)際業(yè)務(wù)有關(guān)的模塊集中在應(yīng)用表示層，把數(shù)據(jù)處理有關(guān)的放在數(shù)據(jù)處理層，由并行計(jì)算環(huán)境層提供海量的存儲(chǔ)與大規(guī)模計(jì)算，數(shù)據(jù)接口系統(tǒng)作為平臺(tái)統(tǒng)一的數(shù)據(jù)來源，及輸出接口；運(yùn)行保障子系統(tǒng)給整個(gè)平臺(tái)

6、提供不間斷的運(yùn)行維護(hù)及安全保障。數(shù)據(jù)接口系統(tǒng)空氣質(zhì)量監(jiān)控與展示系統(tǒng)核輻射大氣監(jiān)控系統(tǒng)專家決策輔助系統(tǒng)監(jiān)測(cè)數(shù)據(jù)采集土壤質(zhì)量監(jiān)控與展示系統(tǒng)環(huán)境輿情管理系統(tǒng)環(huán)境應(yīng)急指揮系統(tǒng)水質(zhì)量監(jiān)控與展示系統(tǒng)污染源綜合管理系統(tǒng)商業(yè)交互接口系統(tǒng)歷史數(shù)據(jù)導(dǎo)入固體廢物監(jiān)控系統(tǒng)廢氣排放監(jiān)控系統(tǒng)碳排放管理系統(tǒng)環(huán)境移動(dòng)執(zhí)法監(jiān)察系統(tǒng)信息分發(fā)系統(tǒng)大屏GIS系統(tǒng)第三方數(shù)據(jù)采集環(huán)保平臺(tái)數(shù)據(jù)處理層互聯(lián)網(wǎng)彈性搜索市民微信上傳接口環(huán)保推薦引擎（人工智能）多維分析污染溯源環(huán)境綜合模型模型分析模型環(huán)境異常環(huán)境輿情氣侯影響預(yù)警模型分析模型分析模型常規(guī)大數(shù)據(jù)處理可視化數(shù)據(jù)挖掘模塊數(shù)據(jù)管理模塊數(shù)據(jù)可視化模塊環(huán)保統(tǒng)計(jì)與報(bào)表模塊數(shù)據(jù)安全模塊事件開發(fā)模塊運(yùn)

7、行保障子系統(tǒng)環(huán)保平臺(tái)應(yīng)用表示層并行計(jì)算環(huán)境層數(shù)據(jù)輸出接口并行式文件存儲(chǔ)總體構(gòu)成4.1. 數(shù)據(jù)接口子系統(tǒng)平臺(tái)數(shù)據(jù)辦輸入與輸出功能全部由數(shù)據(jù)接口子系統(tǒng)來完成，核心數(shù)據(jù)由環(huán)保部門的監(jiān)測(cè)數(shù)據(jù)以及從手工導(dǎo)入歷史數(shù)據(jù)構(gòu)成；第三方采集數(shù)據(jù)，互聯(lián)網(wǎng)抓取數(shù)據(jù)，市民上傳數(shù)據(jù)是重要的補(bǔ)充部分；數(shù)據(jù)全集必須在內(nèi)在的邏輯方面形成一個(gè)完整有效的數(shù)據(jù)鏈，以便人工智能模塊進(jìn)行多維度分析。針對(duì)核與輻射的土壤監(jiān)控，采用數(shù)據(jù)動(dòng)態(tài)同步方式，數(shù)據(jù)來源主要來自福建輻射監(jiān)督站開展的年度監(jiān)測(cè)工作，包括土壤樣本的實(shí)驗(yàn)分析結(jié)果、輻射本底調(diào)查數(shù)據(jù)等。將核電廠周邊區(qū)域的土壤環(huán)境質(zhì)量進(jìn)行動(dòng)態(tài)監(jiān)控。同時(shí)，在歷史數(shù)據(jù)挖掘的基礎(chǔ)上，研究放射性物質(zhì)在土壤中的

8、遷移規(guī)律。針對(duì)核與輻射的土壤監(jiān)控，采用數(shù)據(jù)動(dòng)態(tài)同步方式，數(shù)據(jù)來源主要來自福建輻射監(jiān)督站開展的年度監(jiān)測(cè)工作，包括土壤樣本的實(shí)驗(yàn)分析結(jié)果、輻射本底調(diào)查數(shù)據(jù)等。將核電廠周邊區(qū)域的土壤環(huán)境質(zhì)量進(jìn)行動(dòng)態(tài)監(jiān)控。同時(shí)，在歷史數(shù)據(jù)挖掘的基礎(chǔ)上，研究放射性物質(zhì)在土壤中的遷移規(guī)律。4.2. 應(yīng)用表示層應(yīng)用表示層通過調(diào)用數(shù)據(jù)處理層的功能來完應(yīng)用系統(tǒng)的功能，凡是與具體應(yīng)用無關(guān)，可以抽象出來的功能，均在數(shù)據(jù)處理層實(shí)現(xiàn)，各應(yīng)用系統(tǒng)不用單獨(dú)開發(fā)相應(yīng)功能。總體上來看應(yīng)用表示層完成以下功Za匕能:a.實(shí)時(shí)動(dòng)態(tài)按省市具區(qū)域、按類別、按管理功能的數(shù)據(jù)可視化顯示。b.掌握生態(tài)環(huán)境數(shù)據(jù)庫，實(shí)時(shí)掌握生態(tài)環(huán)境的變化。c.區(qū)域生態(tài)環(huán)境信息、

9、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產(chǎn)過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境匯集等。d.可視化運(yùn)行監(jiān)測(cè)，全面能耗監(jiān)測(cè)，為宏觀分析和決策提供數(shù)據(jù)分析支撐。e.輻射環(huán)境大氣監(jiān)測(cè)應(yīng)用福建省核電發(fā)展迅猛，在建的寧德核電廠與福清核電廠分別于2012年和2013年投產(chǎn)發(fā)電，規(guī)劃建設(shè)的三明快中子反應(yīng)堆項(xiàng)目已通過可研，目前福建省規(guī)劃建設(shè)和在建的核電機(jī)組共十幾臺(tái)，這些能源項(xiàng)目的啟動(dòng)和建設(shè)，將大大緩解福建省電力能源供應(yīng)緊張的局面，奠定海西大型能源基地的地位。同時(shí)，也樹立了福建省作為核電大省的地位。由于核輻射看不起，摸不著，但卻是人民群眾密切關(guān)注的，這就需要與之相匹配的輻射環(huán)境大氣自動(dòng)監(jiān)測(cè)網(wǎng)。未來福建省

10、將建成核電廠輻射監(jiān)測(cè)系統(tǒng)、監(jiān)督性監(jiān)測(cè)系統(tǒng)、國控點(diǎn)、省控點(diǎn)等多個(gè)監(jiān)測(cè)平臺(tái)，提供各類的大氣輻射環(huán)境在線、離線監(jiān)測(cè)數(shù)據(jù)，但對(duì)于這些多來源的數(shù)據(jù)如何處理、整合，進(jìn)而開發(fā)相關(guān)的數(shù)據(jù)功能，還需進(jìn)一步的工作。通過對(duì)輻射環(huán)境類大氣監(jiān)測(cè)數(shù)據(jù)的大數(shù)據(jù)挖掘，實(shí)現(xiàn)核與輻射數(shù)據(jù)的相關(guān)業(yè)務(wù)應(yīng)用。4.3. 數(shù)據(jù)處理層數(shù)據(jù)處理層建立在并行計(jì)算環(huán)境層基礎(chǔ)之上，為應(yīng)用層提供數(shù)據(jù)計(jì)算服務(wù)，本層分為兩個(gè)部分：環(huán)保推薦引擎，常規(guī)大數(shù)據(jù)處理；常規(guī)大數(shù)據(jù)處理為上層及推薦引擎的數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)預(yù)警、數(shù)據(jù)挖掘提供支撐平臺(tái)。環(huán)保推薦引擎完成數(shù)據(jù)挖掘與專題分析任務(wù)，為上層提供判定結(jié)果。集成多種模型算法，優(yōu)化核算模型，溫室氣體排放因子測(cè)算，

11、對(duì)排放因子測(cè)算和數(shù)據(jù)質(zhì)量控制，進(jìn)行準(zhǔn)確性判斷。為城市管理者提供現(xiàn)狀評(píng)估、趨勢(shì)預(yù)測(cè)、潛力分析、目標(biāo)制定分解及跟蹤等輔助決策服務(wù)。通過成立專家評(píng)估委員會(huì)，對(duì)排放系數(shù)的有效性進(jìn)行分析，特別是對(duì)一些強(qiáng)制性指標(biāo)加以深入推敲。控制指標(biāo)包括排放系數(shù)統(tǒng)計(jì)信息分類的所有指標(biāo)。建立企業(yè)生態(tài)環(huán)境價(jià)值評(píng)估模型，分析研究主要行生態(tài)環(huán)境對(duì)比研究行業(yè)不同規(guī)模、不同性質(zhì)、不同層次的溫室氣體排放情況，融合生態(tài)環(huán)境的核算、因素分解分析、模型、峰值預(yù)測(cè)、情景潛力研究和福建省減排路徑分析，為低生態(tài)環(huán)境策略制定提供可量化的決策依據(jù)。建立生態(tài)環(huán)境評(píng)價(jià)與挖掘平臺(tái)，自動(dòng)完成主要行業(yè)基于溫室氣體排放分析研究報(bào)告，為工業(yè)源的溫室氣體排放研究、評(píng)

12、估以及未來的控制政策提供支撐支持。主要實(shí)現(xiàn)功能如下：a.為實(shí)現(xiàn)生態(tài)環(huán)境交易提供數(shù)據(jù)決策支撐服務(wù)。b.針對(duì)環(huán)境發(fā)展通過大數(shù)據(jù)建模，對(duì)生態(tài)環(huán)境未來進(jìn)行預(yù)測(cè)和預(yù)警。c.針對(duì)生態(tài)環(huán)境的決策，依據(jù)生態(tài)環(huán)境基礎(chǔ)數(shù)據(jù)，建立大數(shù)據(jù)模型，并進(jìn)行深度分析，得出生態(tài)環(huán)境配額，生態(tài)環(huán)境足跡分析等各種專業(yè)問題的結(jié)論。d.建模，以支持節(jié)能減排降生態(tài)環(huán)境目標(biāo)的預(yù)警調(diào)控方案。e.低能耗低排放產(chǎn)業(yè)分析。f.為調(diào)整優(yōu)化能源消費(fèi)結(jié)構(gòu)提供數(shù)據(jù)支撐等h.氣象數(shù)據(jù)耦合計(jì)算所有的大氣環(huán)境污染，都在在大氣環(huán)流中彌散傳播的。如果要通過監(jiān)測(cè)數(shù)據(jù)對(duì)污染源進(jìn)行追蹤，則需要同時(shí)耦合大氣擴(kuò)散數(shù)據(jù)進(jìn)行反向的溯源計(jì)算。環(huán)保氣象數(shù)據(jù)處工功能主要負(fù)責(zé)接入全省實(shí)

13、時(shí)氣象數(shù)據(jù)和預(yù)報(bào)數(shù)據(jù)，將其處理為可供各個(gè)其它應(yīng)用的基礎(chǔ)數(shù)據(jù)，并提供相關(guān)的計(jì)算模型進(jìn)行反向耦合計(jì)算。4.4. 并行計(jì)算環(huán)境層并行計(jì)算環(huán)境層是大數(shù)據(jù)平臺(tái)的核心驅(qū)動(dòng)層，其基礎(chǔ)計(jì)算能力直接影響上層的運(yùn)行效率與運(yùn)行速度。并行計(jì)算環(huán)境層為上層提供大規(guī)模計(jì)算與存儲(chǔ)服務(wù)，并行計(jì)算環(huán)境層由工作流協(xié)調(diào)處理系統(tǒng)，并行式計(jì)算系統(tǒng).數(shù)據(jù)倉庫，并行式文件系統(tǒng)組成；并行計(jì)算環(huán)境層由一個(gè)服務(wù)器集群組成，集群規(guī)模隨著平臺(tái)的計(jì)算需求進(jìn)行擴(kuò)充。5.平臺(tái)建設(shè)關(guān)鍵技術(shù)大數(shù)據(jù)是指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)，通常以PB來計(jì)量(1P=1024T,1T=1024G);其意義不僅僅在于容量之大，更大的意義在于通過對(duì)海量數(shù)據(jù)的

14、交換、整合和分析，發(fā)現(xiàn)新的知識(shí)，創(chuàng)造新的價(jià)值；通常大家用4V特性來描述大數(shù)據(jù)；Volume（容量）根據(jù)IDC（國際數(shù)據(jù)公司）的監(jiān)測(cè)統(tǒng)計(jì)，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)至U1.8ZB（1ZB等于1萬億GB1.8ZB也就相當(dāng)于18億個(gè)1TB移動(dòng)硬盤的存儲(chǔ)量），而這個(gè)數(shù)值還在以每?jī)赡攴环乃俣仍鲩L(zhǎng)，預(yù)計(jì)到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，增長(zhǎng)近20倍。Variety（多樣性）大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或語義。Value（價(jià)值）價(jià)值通常也被理解為價(jià)值密度，也就是說依據(jù)大量的不相關(guān)信息進(jìn)行深度復(fù)雜分析，對(duì)未來趨勢(shì)與模式的做出可靠

15、的判定，從而發(fā)現(xiàn)數(shù)據(jù)的價(jià)值。Velocity（高速率）大量的數(shù)據(jù)需要進(jìn)行快速的，實(shí)時(shí)的處理，才能在指定時(shí)間內(nèi)得到結(jié)果；數(shù)據(jù)的處理方法多以批量化，分布式為主要處理方式。從以上大數(shù)據(jù)的特性分析可知，我們生態(tài)環(huán)境的海量數(shù)據(jù)價(jià)值發(fā)現(xiàn)的核心前提條件是：1 .大規(guī)模的基礎(chǔ)運(yùn)算能力與海量的存儲(chǔ)能力。2 .高效的數(shù)據(jù)價(jià)值提取算法。在分布式/并行式計(jì)算系統(tǒng)沒有出現(xiàn)之前，大規(guī)模的計(jì)算資源只能由超級(jí)計(jì)算機(jī)來提供，這是一種昂貴的資源，把大部分中小團(tuán)隊(duì)拒之門外；約2006年云計(jì)算技術(shù)開始發(fā)芽，至2010前左右隨著云計(jì)算技術(shù)的發(fā)展成熟，大規(guī)模分布式/并行式計(jì)算系統(tǒng)也得到了發(fā)展壯大，并快速成熟起來；分布式/并行式計(jì)算系統(tǒng)能

16、把廉價(jià)的大批量硬件組合起來，提供一種廉價(jià)的大規(guī)模運(yùn)算能力與海量存儲(chǔ)能力；因而當(dāng)前技術(shù)發(fā)展已能滿足第一個(gè)前提條件。僅有大規(guī)模運(yùn)算能力還是不夠的，使用人工智能技術(shù)是解決復(fù)雜非線性計(jì)算的關(guān)鍵；如：美國超級(jí)計(jì)算機(jī)深藍(lán)，僅使用其強(qiáng)大的計(jì)算能力，沒有使用人工智能技術(shù)的情況下，與圍棋大師的較量中最終還是敗下陣來；而使用了深度學(xué)習(xí)技術(shù)的智能象棋程序，在自我學(xué)習(xí)8年后輕易就打敗了象棋大師。人工智能的發(fā)展歷史很長(zhǎng)，幾乎是和計(jì)算機(jī)技術(shù)一起發(fā)展的，但是大部分人工智能算法不能應(yīng)用于人們實(shí)際生活中，直到近年深度學(xué)習(xí)算法的發(fā)展與成熟，深度學(xué)習(xí)算法被證實(shí)在處理大數(shù)據(jù)時(shí)是行之有效的，其成果已經(jīng)在人們實(shí)際生活中起到了的很好的作用

17、，如：蘋果的SIRI,微軟小冰，多種BI產(chǎn)品，人臉識(shí)別等。因而深度學(xué)習(xí)算法的成熟是滿足第二個(gè)核心條件的最佳解決方案之一。6.平臺(tái)模塊設(shè)計(jì)整個(gè)平臺(tái)是松耦合的，多模塊并行開發(fā)；數(shù)據(jù)接口系統(tǒng)，與大數(shù)據(jù)處理層及資源層是應(yīng)用系統(tǒng)的基礎(chǔ)，因而在各系統(tǒng)設(shè)計(jì)開發(fā)之初必須優(yōu)先擬定好各個(gè)接口定義，方可各自設(shè)計(jì)與開發(fā)。6.1. 環(huán)保平臺(tái)應(yīng)用表示層設(shè)計(jì)應(yīng)用系統(tǒng)分為平臺(tái)通用功能模塊以及各種專題子系統(tǒng)構(gòu)成；應(yīng)用系統(tǒng)通過調(diào)用生態(tài)環(huán)境推薦引擎和其它大數(shù)據(jù)分析技術(shù)來完成就用系統(tǒng)的功能，不須要單獨(dú)開發(fā)自己的底層數(shù)據(jù)分析功能。平臺(tái)可視化功能是通用功能，可以為各個(gè)應(yīng)用系統(tǒng)所用。7.1.1 通用功能設(shè)計(jì)7.1.1.1 可視化展現(xiàn)功能可

18、視化展現(xiàn)，就是把所有的最終結(jié)果數(shù)據(jù)以全息地圖方式呈現(xiàn)在使用者面前，其所有的信息均具備地理屬性。主要功能如下：a.實(shí)時(shí)動(dòng)態(tài)按區(qū)域、按行業(yè)、按企業(yè)的數(shù)據(jù)排放可視化顯示。b.掌握溫室氣體排放數(shù)據(jù)庫，實(shí)時(shí)掌握資源的利用。c.區(qū)域生態(tài)環(huán)境信息、企業(yè)生態(tài)環(huán)境信息、工業(yè)生產(chǎn)過程生態(tài)環(huán)境量、能源種類生態(tài)環(huán)境量、廢棄物生態(tài)環(huán)境量、生態(tài)環(huán)境量等。d.可視化運(yùn)行監(jiān)測(cè)，全面能耗監(jiān)測(cè)，為宏觀分析和決策提供數(shù)據(jù)分析支撐。展現(xiàn)方式：1 .全省生態(tài)環(huán)境區(qū)域能量圖，縱覽全省生態(tài)環(huán)境。2 .環(huán)境生態(tài)環(huán)境健康圖譜，大數(shù)據(jù)挖掘建立綜合評(píng)價(jià)體。3 .全省生態(tài)環(huán)境指標(biāo)看板，企業(yè)排放TOP10Q區(qū)域排放排。4 .生態(tài)環(huán)境預(yù)警分析，按排放類

19、型等預(yù)警分。5 .全省生態(tài)環(huán)境趨勢(shì)，按行業(yè)按區(qū)域趨。7.1.1.2 搜索化平臺(tái)搜索分析平臺(tái)在豐富的業(yè)務(wù)模板庫的基礎(chǔ)上可以快速的為使用在搜索中發(fā)現(xiàn)關(guān)鍵信息，可以使你輕松的在1到3秒以內(nèi)完成85%U上的生態(tài)環(huán)境分析。智能檢索系統(tǒng)依托全文檢索、自動(dòng)分詞、結(jié)果聚類等先進(jìn)技術(shù)，提供對(duì)不同類型、不同格式環(huán)境資源數(shù)據(jù)的快速檢索及關(guān)鍵字模糊查詢，同時(shí)可業(yè)務(wù)明細(xì)、業(yè)務(wù)報(bào)表、相關(guān)文檔、地理空間數(shù)據(jù)等聚類類別進(jìn)行搜索結(jié)果展示，可極大滿足用戶的數(shù)據(jù)共享、快速查找需求。7.1.1.3 系統(tǒng)管理系統(tǒng)管理屬于數(shù)據(jù)分析平臺(tái)的功能。通過使用授權(quán)來控制不同崗位、不同用戶的業(yè)務(wù)操作權(quán)限。并采用用戶組的方式對(duì)用戶權(quán)限進(jìn)行管理，一個(gè)用

20、戶組可以包括多個(gè)權(quán)限相同的用戶，用戶組設(shè)定遵循便于生產(chǎn)、靈活管理的原則，以生產(chǎn)過程中的職能為依據(jù)，可以以崗位為基礎(chǔ)進(jìn)行劃分，也可以按照實(shí)際需要重新進(jìn)行劃分。系統(tǒng)用戶角色不同，則使用的系統(tǒng)功能不同，不同崗位的用戶不能越權(quán)操作系統(tǒng)功能。權(quán)限管理就是保障大數(shù)據(jù)分析平臺(tái)安全性和數(shù)據(jù)安全性的手段，也是企業(yè)強(qiáng)化管理的手段。7.1.1.3.1 訪問權(quán)限管理按功能模塊和操作權(quán)限劃分多層級(jí)多職能角色，建立不同權(quán)限的角色和用戶。通過配置權(quán)限功能、操作模塊和擁有窗體的操作類型（如讀、寫、刪除、顯示等），決定不同角色的授權(quán)范圍或者不同角色及用戶訪問的數(shù)據(jù)資源范圍。角色與用戶可指定映射，一個(gè)用戶可屬于一個(gè)或幾個(gè)角色，系

21、統(tǒng)管理員給相關(guān)人員分配相應(yīng)的管理權(quán)限。具體實(shí)現(xiàn)上系統(tǒng)將提供所有角色或用戶信息列表、所有的功能界面列表、每個(gè)功能界面上所有的資源操作類型列表，只要對(duì)角色或用戶權(quán)限范圍內(nèi)的業(yè)務(wù)信息及操作權(quán)限進(jìn)行打勾選擇即可，配置靈活。訪問權(quán)限管理采用口令認(rèn)證手段支持身份認(rèn)證系統(tǒng)。系統(tǒng)對(duì)登錄用戶的密碼以加密形式保存，對(duì)多次（比如三次）嘗試登錄失敗的用戶進(jìn)行封鎖，并記入系統(tǒng)日志。7.1.1.3.2 系統(tǒng)日志管理記錄所有登錄人員訪問系統(tǒng)的關(guān)鍵操作信息以及系統(tǒng)更新信息等，如增加、修改、刪除記錄以及系統(tǒng)更新時(shí)間、更新人、更新版本等。并提供按人員、功能操作、時(shí)間等多種條件的系統(tǒng)日志查詢，支持對(duì)重大安全事件（如數(shù)據(jù)修改）的追蹤

22、和回溯。7.1.1.3.3 行計(jì)算環(huán)境層設(shè)計(jì)并行計(jì)算環(huán)境層提供海量存儲(chǔ)與大規(guī)模計(jì)算資源，由極融并行計(jì)算系統(tǒng)與建立在并行計(jì)算系統(tǒng)之上的數(shù)據(jù)倉庫組成。7.3.1數(shù)據(jù)倉庫設(shè)計(jì)生態(tài)環(huán)境數(shù)據(jù)中心的主體是生態(tài)環(huán)境數(shù)據(jù)倉庫，數(shù)據(jù)倉庫以主題的方式建立。核輻射專題核輻射數(shù)據(jù)核輻射結(jié)果耀儺s硒用b渤鬻&靛，/慧鬻按區(qū)域?qū)哟伟葱袠I(yè)層次按企業(yè)層次按產(chǎn)品層次按物品層次溫室氣侏蝌數(shù)據(jù)中心麻醉1數(shù)據(jù)摩數(shù)據(jù)庫1排放數(shù)據(jù)庫基礎(chǔ)轆源決中平臺(tái)企業(yè)能源消耗工業(yè)能源消耗交通能源消耗官民主落消耗J_一一"*"其他排成散里-11生態(tài)環(huán)境大數(shù)據(jù)中心，底層依托可擴(kuò)展的大數(shù)據(jù)存儲(chǔ)平臺(tái)，能夠支撐省級(jí)乃至國家級(jí)大規(guī)模的生

23、態(tài)環(huán)境數(shù)據(jù)。生態(tài)環(huán)境數(shù)據(jù)中心根據(jù)數(shù)據(jù)采集后的數(shù)據(jù)，根據(jù)排放因子等進(jìn)行計(jì)算，形成溫室氣體排放數(shù)據(jù)庫。并根據(jù)不同的專題，形成各種分析的專題數(shù)據(jù)庫。7.3,2.1極融并行計(jì)算系統(tǒng)特性與優(yōu)勢(shì)極融并行計(jì)算系統(tǒng)的主要設(shè)計(jì)思想是軟件定義一切，高度的抽象化；所有的資源均虛擬化以提高自動(dòng)化管理能力及容錯(cuò)能力。極融并行計(jì)算系統(tǒng)主要特性如下：1,領(lǐng)先的并行計(jì)算架構(gòu)，使用分布式的元數(shù)據(jù)管理模型，元數(shù)據(jù)分散在集群中，這種架構(gòu)使得整個(gè)存儲(chǔ)系統(tǒng)沒有單點(diǎn)故障。2 .遠(yuǎn)程內(nèi)存直接訪問（RDMA技術(shù)的深度運(yùn)用，從本質(zhì)上改變平臺(tái)的使用場(chǎng)景，平臺(tái)開發(fā)者可以如同使用一臺(tái)超級(jí)計(jì)算機(jī)一樣，在一個(gè)開發(fā)平面上開發(fā)與運(yùn)行自已的業(yè)務(wù)系統(tǒng)。3 .真

24、正的近線性擴(kuò)展能力，在從三個(gè)節(jié)點(diǎn)擴(kuò)展到上萬個(gè)節(jié)點(diǎn)的過程中，不需要考慮元數(shù)據(jù)遷移和擴(kuò)展問題。4 .本地化I/O,在平臺(tái)中，由于計(jì)算資源的虛擬化，會(huì)盡量移動(dòng)計(jì)算到數(shù)據(jù)所在的節(jié)點(diǎn)，而不是移動(dòng)數(shù)據(jù)自身，因而大部分的數(shù)據(jù)不需要跨越網(wǎng)絡(luò)讀寫。5.高度的自我修復(fù)能力，當(dāng)集群中某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，數(shù)據(jù)會(huì)自動(dòng)遷移至完好節(jié)點(diǎn)中。6,高度數(shù)據(jù)安全，所有存放在平臺(tái)中的數(shù)據(jù)均有2個(gè)以上的副本，同時(shí)也在更低層次提供多種數(shù)據(jù)安全保障。7,全方位多視角的運(yùn)行時(shí)監(jiān)控，平臺(tái)置于運(yùn)行保障系統(tǒng)的多維度監(jiān)控下，能實(shí)時(shí)報(bào)警，并能自動(dòng)修復(fù)一部分常見故障。8.軟件定義網(wǎng)絡(luò)（SDN,網(wǎng)絡(luò)吞吐能力不再是固定的，而是依據(jù)需要進(jìn)行動(dòng)態(tài)的擴(kuò)張。7.3

25、,2.2極融并行計(jì)算系統(tǒng)概述極融并行計(jì)算系統(tǒng)的設(shè)計(jì)目標(biāo)旨在把大批量普通的、不可靠的、廉價(jià)的服務(wù)器組織起來，向外提供海量的、無差別的、高可用的數(shù)據(jù)處理服務(wù)。從外部的角度看，Infin讓yFusion如同一個(gè)巨大的，有序的，可伸縮的存儲(chǔ)池，同時(shí)也具備大規(guī)模的抽象化計(jì)算能力，如下圖所示。©LUMeLUS1©|JhQ9.L*_1LU©LLfr_g國QMlJ0UK©5QILKGLibiUDI0geI.LNOUNeLUNQ宜©9GJJMGIO9L.*«Q_L里©u«QGQLl.09,LIM百_般0L1eLIIWBEh9II09

26、eI.INeHIMee©im©:1119L事0©1%QL%Q1JHjG11%QL#"810eL.lQLir.0e161，©1%eIX©.Ill©Il%Q©©HAQ1%QG1&e1%©Llh0lip.Q©e。一eup.Q9L曲©uii_甘LI1I0U1MeULMQLtW0Quln9UK6UN©lUM6L慝©LUU【用戶眼中的InfinityFusion因而，InfinityFusion從宏觀角度上來說分成兩部分，一部分是把硬件資源組織起來，另一部分把

27、資源抽象化后，組織成標(biāo)準(zhǔn)的服務(wù)接口。從外部的角度看，InfinityFusion的運(yùn)行實(shí)體是一個(gè)存儲(chǔ)集群，一個(gè)集群是一個(gè)整體的存儲(chǔ)單位，不管集群由多少臺(tái)物理計(jì)算機(jī)組成。7.2.2.1 集群層次極融并行計(jì)算系統(tǒng)從邏輯功能的角度看，包括：由統(tǒng)一存儲(chǔ)服務(wù)提供層、集群管理層、存儲(chǔ)層、chunk層、資源層。集群構(gòu)成分層如下圖所示：大數(shù)據(jù)分析技術(shù)平臺(tái)并行計(jì)算系統(tǒng)存儲(chǔ)層統(tǒng)一存儲(chǔ)服務(wù)提供層集群管理層I*懂基(管理工具層)嬴疏資源層【集群層次圖】統(tǒng)一存儲(chǔ)服務(wù)提供層提供用戶交互界面；集群管理層調(diào)用存儲(chǔ)層接口為服務(wù)提供層提供管理接口，同時(shí)負(fù)責(zé)節(jié)點(diǎn)的角色定位；存儲(chǔ)層把chunk層提供的服務(wù)轉(zhuǎn)化成數(shù)據(jù)存放接口；chun

28、k層直接與資源層交互，向上層提供定長(zhǎng)存儲(chǔ)區(qū)，向下通過本地文件系統(tǒng)讀寫硬盤；資源層在這里指的是所有的集群內(nèi)的硬盤。以上各層唯有統(tǒng)一存儲(chǔ)服務(wù)提供層可以單獨(dú)存在一臺(tái)服務(wù)器上，其它均分布在整個(gè)集群范圍內(nèi)。另外，并不是所有的分層都要通過上一層的調(diào)用才能被使用，存儲(chǔ)層在運(yùn)行時(shí)直接與客戶端交互。7.2.2.2 數(shù)據(jù)安全真實(shí)存放在集群中的數(shù)據(jù)最終會(huì)存放于chunk所指向的物理數(shù)據(jù)塊中，chunk有多個(gè)副本，多個(gè)副本中數(shù)據(jù)是一致的，從而保證存放數(shù)據(jù)的安全；InfiNtyFusion尊守順序一致性(SequentialConsistency)以保證副本間的數(shù)據(jù)一致性。chunk副本位置選擇是為了實(shí)現(xiàn)兩大目標(biāo)：最大

29、化數(shù)據(jù)可靠性和可用性，最大化網(wǎng)絡(luò)帶寬利用率；對(duì)于任意副本的讀寫，只要滿足順序一致性要求，其結(jié)果是一致的。7.2.2.3 元數(shù)據(jù)元數(shù)據(jù)是集群范圍里的概念，是全局的，每個(gè)集群有且僅有一套完整的元數(shù)據(jù)；如同向外部聲明自身所擁有的資源的整體情況，外部無需考慮具體的物理細(xì)節(jié)；對(duì)內(nèi)則詳細(xì)記錄object和chunk的命名空間、object和chunk的對(duì)應(yīng)關(guān)系、每個(gè)chunk副本的存放地點(diǎn)等。其中承載元數(shù)據(jù)內(nèi)容的重要數(shù)據(jù)表有：root表，chunk表兩個(gè)，它們?cè)谶\(yùn)行時(shí)在內(nèi)存中形成樹狀關(guān)系；元數(shù)據(jù)均勻地分布在整個(gè)集群所有物理節(jié)點(diǎn)中。6.3. 數(shù)據(jù)接口系統(tǒng)數(shù)據(jù)接口系統(tǒng)的功能是：把各種內(nèi)外部數(shù)據(jù)導(dǎo)入到平臺(tái)內(nèi)，并

30、進(jìn)行清洗后，內(nèi)含一個(gè)數(shù)據(jù)引擎把數(shù)據(jù)進(jìn)行初步整合后，分類存入平臺(tái)數(shù)據(jù)倉庫里。同時(shí)結(jié)果數(shù)據(jù)也從數(shù)據(jù)接口系統(tǒng)向外輸出數(shù)據(jù)。數(shù)據(jù)來源有：監(jiān)測(cè)數(shù)據(jù)采集、歷史數(shù)據(jù)導(dǎo)入、第三方數(shù)據(jù)采集、互聯(lián)網(wǎng)彈性搜索、市民微信上傳接口五種方式。其中第三方數(shù)據(jù)采集面向多個(gè)行業(yè)，其中污染源數(shù)據(jù)接入主要從能源消費(fèi)和非能源消費(fèi)2個(gè)角度出發(fā)，將城市生態(tài)環(huán)境源分成工業(yè)能源、交通能源、居民生活能源、商業(yè)能源、工業(yè)過程和廢物等6個(gè)單元。除了歷史數(shù)據(jù)通過離線方式導(dǎo)入外，其它數(shù)據(jù)需要實(shí)時(shí)采集，數(shù)據(jù)實(shí)時(shí)采集：1 .通過環(huán)保部門內(nèi)置網(wǎng)絡(luò)采集生態(tài)環(huán)境信息。2 .通過氣象部門采集全省及部分東部省份信息。3 .重點(diǎn)工業(yè)企業(yè)用電數(shù)據(jù)、用煤數(shù)據(jù)。數(shù)據(jù)通過電

31、力公司、稅務(wù)公司等實(shí)時(shí)采集數(shù)據(jù)。通過行業(yè)管理部門、統(tǒng)計(jì)局收集綜合數(shù)據(jù)。4,城市交通能源的數(shù)據(jù)采集，從中石油，中石化實(shí)時(shí)采集能源消耗數(shù)據(jù)。5.居民生活能源數(shù)據(jù)，可以從煤氣公司、液化氣公司、電力公司實(shí)時(shí)采集數(shù)據(jù)。6,商業(yè)能源數(shù)據(jù)，從電力公司、熱力公司實(shí)時(shí)采集數(shù)據(jù)。7.工業(yè)過程數(shù)據(jù)，從重點(diǎn)基礎(chǔ)企業(yè)進(jìn)行數(shù)據(jù)采集。7.4.1數(shù)據(jù)接入引擎:數(shù)據(jù)接入引擎，高效快速適配各行業(yè)企業(yè)數(shù)據(jù)源，實(shí)時(shí).穩(wěn)定的效據(jù)接入交蹴涯敷據(jù)原再乾就持碳掙放大數(shù)據(jù)中心票據(jù)整合數(shù)據(jù)接入引輦6.4. 運(yùn)行保障子系統(tǒng)設(shè)計(jì)運(yùn)行保障子系統(tǒng)的特點(diǎn)為采用源于數(shù)據(jù)庫的應(yīng)用通信協(xié)議，動(dòng)態(tài)擴(kuò)展被監(jiān)控對(duì)象，能動(dòng)態(tài)增加通信協(xié)議，而無須重新更改運(yùn)行保障平臺(tái)代碼

32、.在分布式軟件體系中，各個(gè)模塊通信方式不同，系統(tǒng)規(guī)模體系統(tǒng)與規(guī)模隨著使用時(shí)間的推移不斷發(fā)生變化，很難在系統(tǒng)設(shè)計(jì)之初定義各個(gè)模塊之間的通信協(xié)義；這要求我們把通信協(xié)義的定義分布到系統(tǒng)的整個(gè)生命周期之中，也就是說協(xié)義是隨時(shí)可以“熱添加”的，后續(xù)添加的協(xié)義不影響已運(yùn)行協(xié)義；這就要求我們定義的協(xié)議是抽象的，協(xié)議的具體化由數(shù)據(jù)源（如存放在數(shù)據(jù)庫的數(shù)據(jù)）來細(xì)化.運(yùn)行保障子系統(tǒng)的另一個(gè)特點(diǎn)是多視角多維度的展示系統(tǒng)運(yùn)行狀態(tài)。例如硬件設(shè)備供應(yīng)商只看硬件設(shè)備運(yùn)行狀態(tài)，應(yīng)用軟件開發(fā)商只關(guān)注自身軟件系統(tǒng)的運(yùn)行狀態(tài)，而云計(jì)算管理軟件只關(guān)注各個(gè)虛擬機(jī)的運(yùn)行狀態(tài)；他們可以從各自的角度出發(fā)，從運(yùn)行保障子系統(tǒng)中查看相關(guān)數(shù)據(jù)并做出

33、處理動(dòng)作.7.5.1 運(yùn)行保障子系統(tǒng)應(yīng)用場(chǎng)景在分布式體系中，參與眾多，且時(shí)常變動(dòng)，參與者切入系統(tǒng)的角度不同；這種體系規(guī)模比較大且在運(yùn)行中不斷地動(dòng)態(tài)擴(kuò)展或縮減；整個(gè)體系的責(zé)任團(tuán)隊(duì)需要從多個(gè)視角，多個(gè)層次把所有的參與要素的運(yùn)行狀態(tài)集中到統(tǒng)一界面中進(jìn)行監(jiān)視與管控.通常由作為基礎(chǔ)軟硬件設(shè)施服務(wù)商或集成商為責(zé)任團(tuán)隊(duì)提供這個(gè)功能.這就是運(yùn)行保障子系統(tǒng)應(yīng)用場(chǎng)景.從具體項(xiàng)目的角度看，需要運(yùn)行保障子系統(tǒng)的有：云計(jì)算，各種大型功能中心（如移動(dòng)通信短信中心，110指揮中心等），各種大型平臺(tái)（如醫(yī)保平臺(tái)）等；簡(jiǎn)單的應(yīng)用軟件不適合，規(guī)模很小的項(xiàng)目也不適合.7.5.2 運(yùn)行保障子系統(tǒng)理論依據(jù)1 .大部分致命故障是由其它錯(cuò)誤累積而成，預(yù)警與趨勢(shì)分析能把致命故障扼殺在萌芽狀態(tài)，從而保障系統(tǒng)的穩(wěn)定運(yùn)行.2 .異常是可擴(kuò)散的，大部分系列的異常的源頭只有一個(gè).3 .各種異?？梢杂邢嗤奶幹眠^程，異常拋出，異常分析，異常處理.4 .歷史數(shù)據(jù)的挖掘與分析是發(fā)現(xiàn)問題與產(chǎn)生新的有效需求的有效方式.7.5.3運(yùn)行保障子系統(tǒng)開發(fā)難點(diǎn)運(yùn)行保障子系統(tǒng)與其它模塊不同之處在于，開發(fā)完成并運(yùn)行后還會(huì)陸續(xù)進(jìn)行一些接入式開發(fā)，以完善其功，這種開發(fā)