用電信息采集系統(tǒng)數(shù)據(jù)處理性能提升方案

用電信息采集系統(tǒng)數(shù)據(jù)處理

性能提升方案

目錄

一、引言........................................................................4域代碼已更改

域代碼已更改

1.1系統(tǒng)現(xiàn)狀...............................................................6

（域代碼已更改

1.2面臨問(wèn)題及發(fā)展趨勢(shì)

二、現(xiàn)有業(yè)務(wù)應(yīng)用和數(shù)據(jù)構(gòu)成.....................................................A

2.1業(yè)務(wù)應(yīng)用需求............................................................

2.1.1基本應(yīng)用...........................................................6

2.1.2高級(jí)應(yīng)用...........................................................6

2.1.3業(yè)務(wù)應(yīng)用需求總結(jié).................................................

2.2數(shù)據(jù)構(gòu)成分析............................................................,7

2.3數(shù)據(jù)存儲(chǔ)性能分析.........................................................?

2.4探索研究..............................................................J1

三、系統(tǒng)提升方案................................................................12

3.1系統(tǒng)目標(biāo)及原則.........................................................,13

3.2系統(tǒng)總體方案............................................................,14

3.1.1性能提升方案......................................................14

3.1.2數(shù)據(jù)存儲(chǔ)方案......................................................15

3.1.3數(shù)據(jù)處理方案......................................................17

3.1.4基于云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)架構(gòu)............................

3.3系統(tǒng)特點(diǎn)、性能和功能....................................................,21

3.3.1系統(tǒng)特性..........................................................21

3.3.2系統(tǒng)特點(diǎn)........................................................22^1

3.3.3系統(tǒng)性能..........................................................22

3.3.4系統(tǒng)功能.........................................................

3.4平臺(tái)方案優(yōu)勢(shì)............................................................,25

3.4.1嚴(yán)格遵循國(guó)網(wǎng)標(biāo)準(zhǔn)化設(shè)計(jì)...........................................25

3.4.2先進(jìn)的海量數(shù)據(jù)管理機(jī)制..........................................?5

3.4.3盡可能少的業(yè)務(wù)系統(tǒng)改動(dòng)...........................................26

3.4.4成熟的實(shí)施案例.................................................^726

3.4.5豐富的經(jīng)驗(yàn)、鮮明的特色...........................................,27

3.5優(yōu)化存儲(chǔ)策略............................................................27

3.5.1功能描述..........................................................29

3.5.2分布式文件存儲(chǔ)系統(tǒng)...............................................3。

3.5.3存儲(chǔ)訪問(wèn)接口.....................................................

3.5.4分級(jí)動(dòng)態(tài)存儲(chǔ)方式................................................Q2

3.5.5優(yōu)化存儲(chǔ)關(guān)鍵技術(shù)................................................

3.5.6云分布式調(diào)度引擎.................................................Q4

四、應(yīng)用技術(shù)說(shuō)明及要求........................................................37

4.1系統(tǒng)安全性.............................................................Q7

4.1.1安全保障體系框架.................................................p7

4.1.2云計(jì)算平臺(tái)的多級(jí)信任保護(hù)........................................”

4.1.3基于多級(jí)信任保護(hù)的訪問(wèn)控制.......................................43

4.1.4云平臺(tái)安全審計(jì)...................................................46

3^3

4.1.5云計(jì)算綜合安全網(wǎng)關(guān)...............................................49

4.2系統(tǒng)可靠性與擴(kuò)展性.....................................................,52

4.2.1系統(tǒng)可靠性.......................................................尸2

4.2.2系統(tǒng)擴(kuò)展性.......................................................34

4.3數(shù)據(jù)存儲(chǔ)系統(tǒng)............................................................,55

4.3.1海量數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)構(gòu)架......................................巨5

4.3.2適應(yīng)應(yīng)用需求的混合存儲(chǔ)策略.....................................因界

4.3.3HDFS數(shù)據(jù)存儲(chǔ)......................................................58

4.3.4HBase數(shù)據(jù)存儲(chǔ)....................................................61

4.3.5Database數(shù)據(jù)存儲(chǔ).................................................63

4.3.6數(shù)據(jù)存儲(chǔ)的可靠性.................................................65

4.3.7數(shù)據(jù)壓縮..........................................................66

4.4計(jì)算與存儲(chǔ)集群的可靠性與負(fù)載均衡設(shè)計(jì)...................................68

4.4.1計(jì)算與存儲(chǔ)集群Master單點(diǎn)失效容錯(cuò)處理...........................68

4.4.2計(jì)算與存儲(chǔ)集群的負(fù)載均衡處理.....................................75

4.4.3HDFS的可靠性設(shè)計(jì).................................................J7

4.4.4HBase可靠性設(shè)計(jì)..................................................79

4.4.5MapReduce計(jì)算可靠性設(shè)計(jì)..........................................80

4.4.6基于Zookeeper的單點(diǎn)失效和負(fù)載均衡設(shè)計(jì)..........................§3

五、系統(tǒng)實(shí)施方案................................................................§5

5.1與原系統(tǒng)整合方案........................................................,85

5.2工作原理................................................................§6

5.3實(shí)施步驟................................................................87

六、下步工作開(kāi)展建議...........................................................88

2#^

一、引言

1.1系統(tǒng)現(xiàn)狀

隨著國(guó)家電網(wǎng)公司對(duì)用電信息采集系統(tǒng)數(shù)據(jù)要求的提升，業(yè)務(wù)系統(tǒng)部署的全

面推進(jìn)及業(yè)務(wù)應(yīng)用的不斷深化創(chuàng)新，采集系統(tǒng)逐漸呈現(xiàn)出覆蓋規(guī)模龐大、采集數(shù)

據(jù)項(xiàng)復(fù)雜、存儲(chǔ)數(shù)據(jù)時(shí)間長(zhǎng)、業(yè)務(wù)多樣化等特點(diǎn)（如山東、浙江、江蘇等覆蓋用

戶數(shù)已達(dá)1000-2000萬(wàn)的級(jí)別），從而面臨著海量數(shù)據(jù)存儲(chǔ)慢、重點(diǎn)數(shù)據(jù)分析實(shí)

效差、系統(tǒng)整體性能下降等難題。同時(shí)，隨著深化采集系統(tǒng)應(yīng)用工作的大力開(kāi)展,

對(duì)用電信息采集的數(shù)據(jù)需求更廣、數(shù)據(jù)挖掘更深、在線分析時(shí)效性要求更高。為

了充分發(fā)揮用電信息采集系統(tǒng)基礎(chǔ)支撐作用，滿足采集數(shù)據(jù)深化應(yīng)用工作和對(duì)數(shù)

據(jù)存儲(chǔ)、查詢、統(tǒng)計(jì)、分析及對(duì)價(jià)值數(shù)據(jù)深入挖掘的需求，通過(guò)領(lǐng)先的技術(shù)手段

提升用電信息采集系統(tǒng)數(shù)據(jù)處理性能已勢(shì)在必行。

1.2面臨問(wèn)題及發(fā)展趨勢(shì)

用電信息采集系統(tǒng)發(fā)展趨勢(shì)，以采集系統(tǒng)全覆蓋為支撐，深入挖掘采集系統(tǒng)

數(shù)據(jù)，深化應(yīng)用采集系統(tǒng)功能，加強(qiáng)與營(yíng)銷(xiāo)、配電等相關(guān)系統(tǒng)集成，實(shí)現(xiàn)電費(fèi)以

采集系統(tǒng)全覆蓋為支撐，深入挖掘采集系統(tǒng)數(shù)據(jù)，深化應(yīng)用采集系統(tǒng)功能，加強(qiáng)

與營(yíng)銷(xiāo)、配電等相關(guān)系統(tǒng)集成，實(shí)現(xiàn)電費(fèi)抄核自動(dòng)化、線損管理精細(xì)化、互動(dòng)服

務(wù)智能化、費(fèi)控功能實(shí)用化的“四化”目標(biāo)，全面推進(jìn)營(yíng)銷(xiāo)發(fā)展方式轉(zhuǎn)變，全面

提升公司供電服務(wù)水平。

用電信息采集系統(tǒng)智能電表數(shù)量到2015年將達(dá)到三億塊，用戶用電信息采

集頻率更加頻繁，且數(shù)據(jù)是雙向互動(dòng)流轉(zhuǎn)，規(guī)模和頻率的指數(shù)級(jí)增長(zhǎng)，對(duì)用電信

息的采集、存儲(chǔ)、查詢、分析等全生命周期的數(shù)據(jù)處理能力提出了更高的要求。

系統(tǒng)面臨的問(wèn)題主要有：

1）采集系統(tǒng)數(shù)據(jù)量急劇增長(zhǎng)、數(shù)據(jù)類(lèi)型多樣、業(yè)務(wù)應(yīng)用深化創(chuàng)新，對(duì)數(shù)據(jù)存儲(chǔ)、

查詢、統(tǒng)計(jì)、分析及價(jià)值數(shù)據(jù)挖掘提出更高要求；

2）終端數(shù)量及采集頻率的劇增，采集數(shù)據(jù)量由TB級(jí)向PB級(jí)發(fā)展，導(dǎo)致數(shù)據(jù)采

2#^

集入庫(kù)、分析、存儲(chǔ)的壓力劇增；

3）面臨數(shù)據(jù)高性能存儲(chǔ)和高可擴(kuò)展性挑戰(zhàn)，對(duì)系統(tǒng)的健壯性、靈活性、簡(jiǎn)單性、

可擴(kuò)展性以及安全性提出了更高的要求；

4）電力業(yè)務(wù)向智能化、精細(xì)化方向發(fā)展，對(duì)數(shù)據(jù)處理復(fù)雜性、實(shí)時(shí)性提出更高

要求，跨業(yè)務(wù)、跨平臺(tái)的數(shù)據(jù)挖掘能力需要進(jìn)一步提升，迫切需要進(jìn)行技術(shù)

架構(gòu)優(yōu)化和性能提升；

5）電力業(yè)務(wù)的不斷深化導(dǎo)致計(jì)算資源趨于緊張。任務(wù)更復(fù)雜，涉及的數(shù)據(jù)量更

大，現(xiàn)有資源無(wú)法保證在規(guī)定的時(shí)間內(nèi)完成；

6）現(xiàn)有系統(tǒng)架構(gòu)在橫向線性擴(kuò)展能力不足，海量數(shù)據(jù)處理能力已顯瓶頸。現(xiàn)有

系統(tǒng)基于OracleRAC的數(shù)據(jù)庫(kù)集群方式，由于其采用共享存儲(chǔ)，需要在節(jié)點(diǎn)

間頻繁的復(fù)制狀態(tài)和共享數(shù)據(jù)塊，節(jié)點(diǎn)的增加只能加劇數(shù)據(jù)交換，對(duì)于性能

的提升則非常有限，且成本高昂。

探討和研究用電信息采集系統(tǒng)海量數(shù)據(jù)處理和性能提升已經(jīng)迫在眉睫，云計(jì)

算技術(shù)對(duì)于海量數(shù)據(jù)的處理已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域、智能交通領(lǐng)域、安防視頻監(jiān)控領(lǐng)

域得到驗(yàn)證，所以探討和研究基于云計(jì)算平臺(tái)的用電信息采集海量數(shù)據(jù)存儲(chǔ)與處

理技術(shù)，解決現(xiàn)行用電信息采集系統(tǒng)現(xiàn)存問(wèn)題，符合國(guó)家電網(wǎng)技術(shù)發(fā)展的方向，

是建設(shè)統(tǒng)一堅(jiān)強(qiáng)智能電網(wǎng)的重要組成部分，是智能用電服務(wù)環(huán)節(jié)的技術(shù)基礎(chǔ)。對(duì)

推動(dòng)智能用電建設(shè)有重要意義。

二、現(xiàn)有業(yè)務(wù)應(yīng)用和數(shù)據(jù)構(gòu)成

現(xiàn)行各網(wǎng)省公司電力用戶用電信息采集系統(tǒng)主站均符合國(guó)家電網(wǎng)公司電力

用戶用電信息采集系統(tǒng)主站軟件標(biāo)準(zhǔn)化設(shè)計(jì)（2012年修訂版）規(guī)范要求，綜合

考慮功能特點(diǎn)、業(yè)務(wù)需求、界面布局等因素，將主站功能劃分為基本應(yīng)用、高級(jí)

應(yīng)用、運(yùn)行管理、有序用電、統(tǒng)計(jì)查詢、系統(tǒng)管理六部分功能，個(gè)別省網(wǎng)公司根

據(jù)自身業(yè)務(wù)特點(diǎn)及實(shí)際需求，在二級(jí)菜單或三級(jí)菜單內(nèi)添加個(gè)性化功能模塊。

用電信息采集系統(tǒng)是智能用電建設(shè)的數(shù)據(jù)源，是大營(yíng)銷(xiāo)體系建設(shè)的基礎(chǔ)，是

促進(jìn)“三集五大”體系建設(shè)的源動(dòng)力，用電信息采集系統(tǒng)的基本應(yīng)用、高級(jí)應(yīng)用

和深化應(yīng)用等功能，都是建立在數(shù)據(jù)采集的基礎(chǔ)上。歸根結(jié)底，采集數(shù)據(jù)是落腳

2#^

點(diǎn)，是用電信息采集系統(tǒng)建設(shè)過(guò)程轉(zhuǎn)化為應(yīng)用成效的關(guān)鍵，業(yè)務(wù)應(yīng)用同時(shí)也決定

了采集系統(tǒng)數(shù)據(jù)的構(gòu)成。數(shù)據(jù)主要分為兩大類(lèi)：一是基礎(chǔ)檔案及業(yè)務(wù)數(shù)據(jù)，二是

采集或計(jì)算數(shù)據(jù)。

2.1業(yè)務(wù)應(yīng)用需求

2.1.1基本應(yīng)用

用電信息采集系統(tǒng)的基本應(yīng)用，主要包括：基本應(yīng)用、運(yùn)行管理、統(tǒng)計(jì)查詢

等，涵蓋了數(shù)據(jù)采集管理、檔案管理、時(shí)鐘管理、計(jì)量在線監(jiān)測(cè)、運(yùn)行狀況管理、

現(xiàn)場(chǎng)管理、時(shí)鐘管理、預(yù)付費(fèi)管理、接口管理、日凍結(jié)等采集數(shù)據(jù)查詢等功能模

塊，支撐了用電信息采集系統(tǒng)基礎(chǔ)業(yè)務(wù)，比如采集任務(wù)設(shè)置、數(shù)據(jù)召測(cè)、客戶/

終端/電能資產(chǎn)表等基礎(chǔ)檔案管理、終端運(yùn)行管理、終端設(shè)備運(yùn)行狀態(tài)、終端工

況管理、數(shù)據(jù)異常處理、終端校時(shí)等，從而促進(jìn)采集數(shù)據(jù)在預(yù)付費(fèi)管理、自動(dòng)化

抄表業(yè)務(wù)的應(yīng)用，推動(dòng)著采集系統(tǒng)核心業(yè)務(wù)發(fā)展。

2.1.2高級(jí)應(yīng)用

隨著采集系統(tǒng)的建設(shè)，基本應(yīng)用已無(wú)法滿足更多、更廣的業(yè)務(wù)需求，高級(jí)功

能的應(yīng)用對(duì)數(shù)據(jù)的深度挖掘與深化應(yīng)用已成必然趨勢(shì)。

1、現(xiàn)階段高級(jí)應(yīng)用

主站標(biāo)準(zhǔn)化設(shè)計(jì)中高級(jí)應(yīng)用、有序用電涵蓋了配變監(jiān)測(cè)分析、線損分析、重

點(diǎn)用戶監(jiān)測(cè)、重要信息推送、數(shù)據(jù)修復(fù)、有序用電指標(biāo)管理、有序用電任務(wù)編制

與執(zhí)行、有序用電分析等功能模塊，是采集系統(tǒng)數(shù)據(jù)高端應(yīng)用的重要支撐。比如

將采集的功率與功率因數(shù)數(shù)據(jù)應(yīng)用于變壓器負(fù)載分析、負(fù)荷預(yù)測(cè)、變壓器經(jīng)濟(jì)運(yùn)

行衡量指標(biāo)及功率因數(shù)越限統(tǒng)計(jì)，實(shí)現(xiàn)臺(tái)區(qū)超載監(jiān)控分析；將電壓曲線數(shù)據(jù)應(yīng)用

三相電壓不平衡分析、電壓合格率數(shù)據(jù)分析等，實(shí)現(xiàn)客戶側(cè)供電質(zhì)量監(jiān)控與評(píng)價(jià),

為生產(chǎn)、配電等部門(mén)優(yōu)化配網(wǎng)結(jié)構(gòu)，提高配網(wǎng)供電質(zhì)量提供決策依據(jù)；將采集客

戶的負(fù)荷數(shù)據(jù)應(yīng)用于負(fù)荷預(yù)測(cè)和有序用電方案編制，制定合理的限電計(jì)劃，實(shí)現(xiàn)

區(qū)域負(fù)荷的合理調(diào)控。

2#^

2、深化應(yīng)用方向

根據(jù)《國(guó)家電網(wǎng)公司關(guān)于加快用電信息采集系統(tǒng)深化應(yīng)用的意見(jiàn)》（國(guó)家電

網(wǎng)營(yíng)銷(xiāo)[2013]101號(hào)）文件精神，2013-2015年采集系統(tǒng)深化應(yīng)用工作總體目標(biāo)

除了涵蓋遠(yuǎn)程自動(dòng)抄表、費(fèi)控功能應(yīng)用外，還包含了線損監(jiān)測(cè)、反竊電監(jiān)測(cè)、分

布式電源監(jiān)測(cè)、雙向互動(dòng)服務(wù)、市場(chǎng)及需求側(cè)管理應(yīng)用、輔助業(yè)擴(kuò)報(bào)裝、故障搶

修業(yè)務(wù)、輔助電能質(zhì)量監(jiān)測(cè)與可靠性統(tǒng)計(jì)應(yīng)用等方面，明確了公司三年內(nèi)采集系

統(tǒng)深化應(yīng)用的方向和具體目標(biāo)。

此外，國(guó)家電網(wǎng)公司對(duì)采集系統(tǒng)深化應(yīng)用的工作要求，已不僅局限于營(yíng)銷(xiāo)

系統(tǒng)的專(zhuān)業(yè)業(yè)務(wù)應(yīng)用，而是站在促進(jìn)公司“三集五大”體系建設(shè)，加強(qiáng)專(zhuān)業(yè)數(shù)據(jù)

間的高效協(xié)同的高度推動(dòng)采集數(shù)據(jù)的深化應(yīng)用，推進(jìn)與其它系統(tǒng)平臺(tái)的數(shù)據(jù)接

口，比如與安質(zhì)部國(guó)網(wǎng)電能質(zhì)量在線監(jiān)測(cè)系統(tǒng)、運(yùn)檢部供電電壓自動(dòng)采集、省級(jí)

計(jì)量中心生產(chǎn)調(diào)度平臺(tái)、配電自動(dòng)化、電能服務(wù)管理平臺(tái)等系統(tǒng)的集成和信息共

享，增強(qiáng)采集數(shù)據(jù)的支撐作用，必將推動(dòng)采集數(shù)據(jù)挖掘向著更廣、更深的業(yè)務(wù)領(lǐng)

域拓展。

2.1.3業(yè)務(wù)應(yīng)用需求總結(jié)

基于用電信息采集系統(tǒng)的基本應(yīng)用、高級(jí)應(yīng)用以及進(jìn)一步深化應(yīng)用的工作要

求，現(xiàn)階段至2015年末，業(yè)務(wù)應(yīng)用需求可概括為：需首先滿足采集系統(tǒng)基礎(chǔ)業(yè)

務(wù)需求，如基礎(chǔ)檔案的管理、終端運(yùn)行管理、采集任務(wù)設(shè)置等，支撐全面自動(dòng)化

抄表、預(yù)付費(fèi)與費(fèi)控管理工作。然后挖掘采集數(shù)據(jù)價(jià)值，擴(kuò)大數(shù)據(jù)應(yīng)用范圍，應(yīng)

用于配變監(jiān)測(cè)分析、線損分析、有序用電、供電質(zhì)量監(jiān)測(cè)、反竊電分析等高端業(yè)

務(wù)，促進(jìn)采集系統(tǒng)應(yīng)用效益最大化。

2.2數(shù)據(jù)構(gòu)成分析

根據(jù)業(yè)務(wù)應(yīng)用需求分析可了解到，不論是基本應(yīng)用、高級(jí)應(yīng)用還是深化應(yīng)用

最終都需要采集數(shù)據(jù)的支撐。歸根結(jié)底，采集數(shù)據(jù)是落腳點(diǎn)，是采集系統(tǒng)建設(shè)過(guò)

程轉(zhuǎn)為應(yīng)用成效的關(guān)鍵，業(yè)務(wù)應(yīng)用同時(shí)也決定了采集系統(tǒng)數(shù)據(jù)的構(gòu)成。數(shù)據(jù)主要

分為兩大類(lèi)：一是基礎(chǔ)檔案及業(yè)務(wù)數(shù)據(jù)，二是采集或計(jì)算數(shù)據(jù)。

2^-3

前者主要包括變電站、線路、變壓器、客戶、計(jì)量點(diǎn)、運(yùn)行表、終端、采集

關(guān)系等基礎(chǔ)檔案類(lèi)數(shù)據(jù)以及終端調(diào)試涉及測(cè)量點(diǎn)參數(shù)等、費(fèi)控業(yè)務(wù)涉及購(gòu)電單、

購(gòu)電參數(shù)、有序用電涉及方案及控制命令等。后者主要包括日凍結(jié)表碼數(shù)據(jù)（正

向有功總、尖、峰、平、谷、反向有功總、尖、峰、平、谷、正向無(wú)功總、反向

無(wú)功總、需量表碼等13個(gè)主要數(shù)據(jù)項(xiàng)）、曲線表碼數(shù)據(jù)、日/月電量數(shù)據(jù)、功率/

電流/電壓/功率因素等負(fù)荷數(shù)據(jù)、電壓越限統(tǒng)計(jì)數(shù)據(jù)、終端剩余電量數(shù)據(jù)、終端

停上電事件等。

序號(hào)主要業(yè)務(wù)數(shù)據(jù)項(xiàng)特點(diǎn)存儲(chǔ)要求重要性

變電站、線路、變壓器、

客戶、計(jì)量點(diǎn)、運(yùn)行表、

終端、采集關(guān)系等基礎(chǔ)檔

數(shù)據(jù)基數(shù)相對(duì)

基礎(chǔ)檔案管案類(lèi)數(shù)據(jù)以及終端調(diào)試

1穩(wěn)定，日增長(zhǎng)永久存儲(chǔ)高

理涉及測(cè)量點(diǎn)參數(shù)等、費(fèi)控

量相對(duì)較小

業(yè)務(wù)涉及購(gòu)電單、購(gòu)電參

數(shù)、有序用電涉及方案及

控制命令

日凍結(jié)表碼數(shù)據(jù)（正向有

功總、尖、峰、平、谷、

數(shù)據(jù)基數(shù)較

反向有功總、尖、峰、平、

2自動(dòng)化抄表大，日增長(zhǎng)量永久存儲(chǔ)高

谷、正向無(wú)功總、反向無(wú)

較大

功總、需量表碼等13個(gè)主

要數(shù)據(jù)項(xiàng)）

用戶范圍逐漸

擴(kuò)大，日增長(zhǎng)

預(yù)付費(fèi)與費(fèi)日凍結(jié)表碼數(shù)據(jù)、終端剩逐漸增大，且

3高

控管理余電量等涉及電量數(shù)據(jù)

召測(cè)、占用通

信資源等

4統(tǒng)計(jì)查詢?nèi)諆鼋Y(jié)表碼數(shù)據(jù)、曲線表數(shù)據(jù)基數(shù)較一般

2#^

碼數(shù)據(jù)大，日增長(zhǎng)量

較大

線損監(jiān)測(cè)與日凍結(jié)表碼數(shù)據(jù)、曲線表

5一般

分析碼數(shù)據(jù)、日電量數(shù)據(jù)

變壓器容量信息、功率、

6配變監(jiān)測(cè)一般

功率因數(shù)等負(fù)荷數(shù)據(jù)

電量差動(dòng)越限、失壓斷相

7反竊電監(jiān)測(cè)數(shù)據(jù)基數(shù)較一般

越限、異常告警事件等

大，日增長(zhǎng)量

三相電壓曲線數(shù)據(jù)、電壓

供電質(zhì)量監(jiān)較大，且需對(duì)

8越限統(tǒng)計(jì)數(shù)據(jù)、諧波數(shù)據(jù)一般

測(cè)原始數(shù)據(jù)進(jìn)行

等

大量計(jì)算，占

有序用電、市

功率等負(fù)荷數(shù)據(jù)、日電量用系統(tǒng)資源較

9場(chǎng)及需求側(cè)一般

數(shù)據(jù)等多

管理應(yīng)用

電能質(zhì)量在

三相電壓曲線數(shù)據(jù)、電壓

線監(jiān)測(cè)、供電

10越限統(tǒng)計(jì)數(shù)據(jù)、終端停上一般

電壓采集系

電事件、電表故障信息等

統(tǒng)等接口

上表列舉了10項(xiàng)典型業(yè)務(wù)，其重要性優(yōu)先級(jí)是根據(jù)現(xiàn)階段的基本應(yīng)用和深化應(yīng)

用方向大體確定，其中優(yōu)先級(jí)為高的代表無(wú)論采集系統(tǒng)性能高低，尤其是系統(tǒng)性

能下降無(wú)法滿足全部應(yīng)用需要取舍時(shí)需優(yōu)先保證的業(yè)務(wù)，而優(yōu)先級(jí)為一般的代表

在一定階段重點(diǎn)應(yīng)用的業(yè)務(wù)，且可能隨著業(yè)務(wù)應(yīng)用方向的多樣化逐漸轉(zhuǎn)變?yōu)楦邇?yōu)

先級(jí)。

2.3數(shù)據(jù)存儲(chǔ)性能分析

在現(xiàn)行采集系統(tǒng)采集壓力情況下，業(yè)務(wù)應(yīng)用需求及數(shù)據(jù)重要性優(yōu)先級(jí)決定了

主站前置機(jī)通信及數(shù)據(jù)存儲(chǔ)與讀取的周期與頻度，尤其是性能較低的情況下，勢(shì)

必影響到部分高級(jí)功能的應(yīng)用，下面主要從采集覆蓋規(guī)模、數(shù)據(jù)項(xiàng)總數(shù)、單表數(shù)

據(jù)量、整體數(shù)據(jù)量等多角度分析數(shù)據(jù)存儲(chǔ)與讀取的壓力。

（一）采集覆蓋規(guī)模擴(kuò)大導(dǎo)致基礎(chǔ)檔案表數(shù)據(jù)量基數(shù)大，降低數(shù)據(jù)庫(kù)整體

性能。

以采集系統(tǒng)建設(shè)規(guī)模中等數(shù)據(jù)量的省級(jí)集中的網(wǎng)省公司為例，假設(shè)終端投運(yùn)

數(shù)為120萬(wàn)臺(tái)，覆蓋用戶數(shù)為1200萬(wàn)戶，數(shù)據(jù)采集相關(guān)的基礎(chǔ)檔案如運(yùn)行電能

表為1200萬(wàn)只，計(jì)量點(diǎn)數(shù)為1200萬(wàn)個(gè)，采集測(cè)量點(diǎn)關(guān)系表為1200萬(wàn)行，按照

一個(gè)測(cè)量點(diǎn)平均對(duì)應(yīng)3個(gè)任務(wù)計(jì)算，則采集對(duì)象任務(wù)表為3600萬(wàn)行。而采集數(shù)

據(jù)的存儲(chǔ)與讀取一般涉及幾張表的關(guān)鍵字段的連接，因此，采集覆蓋規(guī)模龐大的

數(shù)據(jù)量基數(shù)已決定了采集系統(tǒng)數(shù)據(jù)存儲(chǔ)與讀取的效率，將直接導(dǎo)致采集系統(tǒng)數(shù)據(jù)

庫(kù)整體性能的下降。

（二）業(yè)務(wù)深化應(yīng)用的復(fù)雜性導(dǎo)致采集數(shù)據(jù)項(xiàng)繁多，數(shù)據(jù)庫(kù)日增量龐大，

進(jìn)而影響采集數(shù)據(jù)的存儲(chǔ)與讀取效率

對(duì)于電能示值日凍結(jié)表，一個(gè)測(cè)量點(diǎn)一條記錄，那么該表每日數(shù)據(jù)增量為

1200萬(wàn)條，月數(shù)據(jù)量增為數(shù)據(jù)*30=3.6億條,年數(shù)據(jù)增量為3.6*12=43.2億條;

對(duì)于總電能示值曲線數(shù)據(jù)表，假設(shè)采集正向有功總、無(wú)功總、反向有功總、無(wú)功

總等四個(gè)數(shù)據(jù)項(xiàng)，那么每日數(shù)據(jù)增量為：1200*4=4800萬(wàn)條，月數(shù)據(jù)量增為

4800*30=14.4億條,年數(shù)據(jù)增量為14.4*12=172.8億條。此外，采集任務(wù)涉及

采集數(shù)據(jù)項(xiàng)已不僅局限于電量表碼，還擴(kuò)展到功率、電流、電壓、功率因素等負(fù)

荷數(shù)據(jù)以及終端停上電事件等。功率、電流電壓曲線數(shù)據(jù)表均與總電能示值曲線

數(shù)據(jù)表保持同數(shù)據(jù)量級(jí)，可測(cè)算整體年數(shù)據(jù)量級(jí)已達(dá)數(shù)百億。

采集系統(tǒng)功能的擴(kuò)展應(yīng)用及數(shù)據(jù)挖掘必然影響主站軟件中部分復(fù)雜度較高、

展示信息量較大的功能，前臺(tái)讀取數(shù)據(jù)時(shí)，將海量采集數(shù)據(jù)與基礎(chǔ)檔案表的組合

2#^

連接，必定導(dǎo)致數(shù)據(jù)庫(kù)整體執(zhí)行效率降低。同時(shí)終端采集的數(shù)據(jù)通過(guò)前置機(jī)解析

后,寫(xiě)入以海量數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)庫(kù)的效率也將大大降低，影響存儲(chǔ)執(zhí)行時(shí)間和

存儲(chǔ)的頻度。因此，深化采集系統(tǒng)應(yīng)用的過(guò)程實(shí)際是通過(guò)領(lǐng)先的技術(shù)手段持續(xù)提

高海量數(shù)據(jù)處理性能的過(guò)程。所以，需要我們利用當(dāng)前比較成熟的云計(jì)算技術(shù)解

決用采集系統(tǒng)海量數(shù)據(jù)存儲(chǔ)、查詢、分析、統(tǒng)計(jì)等數(shù)據(jù)處理問(wèn)題。

2.4探索研究

隨著采集終端大范圍普及以及采集數(shù)據(jù)的激增、更多業(yè)務(wù)系統(tǒng)的接入需求

及業(yè)務(wù)復(fù)雜性的增加，用電信息采集系統(tǒng)數(shù)據(jù)庫(kù)性能日顯不足。當(dāng)前數(shù)據(jù)庫(kù)系統(tǒng)

所采取的物理化視圖、數(shù)據(jù)表拆分、多級(jí)數(shù)據(jù)緩存、數(shù)據(jù)壓縮、SQL優(yōu)化、使用

臨時(shí)表等技術(shù)手段和增加采集系統(tǒng)服務(wù)器數(shù)量的方式只能起到適度緩解的作用；

由于OracleRAC采用的是共享(ShareDisk)結(jié)構(gòu)，不具有可擴(kuò)展優(yōu)勢(shì)，存在

I/O的讀寫(xiě)瓶頸，難以解決用電采集海量數(shù)據(jù)存儲(chǔ)、計(jì)算統(tǒng)計(jì)及查詢等瓶頸問(wèn)題。

鑒于Oracle在事務(wù)一致性處理方面有很強(qiáng)優(yōu)勢(shì)，針對(duì)事務(wù)密集性的任務(wù)(如檔

案源數(shù)據(jù)管理等)，仍由Oracle數(shù)據(jù)庫(kù)來(lái)支撐。而大量的數(shù)據(jù)存儲(chǔ)、統(tǒng)計(jì)、分析、

計(jì)算及查詢等則由云計(jì)算平臺(tái)來(lái)完成，形成一個(gè)互補(bǔ)兼容的體系架構(gòu)。并且云計(jì)

算技術(shù)具有良好的可擴(kuò)展性，可以很好的滿足未來(lái)幾年的用采系統(tǒng)數(shù)據(jù)爆發(fā)式增

長(zhǎng)的應(yīng)用需求。

云計(jì)算技術(shù)以其分布式的存儲(chǔ)和處理方式以及資源的按需分配機(jī)制，成為大

數(shù)據(jù)領(lǐng)域排行榜首的有效解決方案。目前全球技術(shù)的趨勢(shì)都不再是通過(guò)高端硬件

來(lái)保證數(shù)據(jù)安全可靠性，云計(jì)算依靠軟件層面的算法冗余來(lái)保障數(shù)據(jù)安全可靠

性。通過(guò)云計(jì)算技術(shù)的引入，在服務(wù)器集群上實(shí)現(xiàn)了需要高成本硬件才能完成的

處理能力，體現(xiàn)了云計(jì)算作為一種超級(jí)計(jì)算模式的獨(dú)特魅力。高度可靠的性能，

任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，或者遭遇斷電、斷網(wǎng)等意外情況，系統(tǒng)將自動(dòng)屏蔽并進(jìn)

行實(shí)時(shí)備份，重啟后完全不會(huì)丟失數(shù)據(jù)，數(shù)據(jù)處理過(guò)程中，云計(jì)算平臺(tái)還能根據(jù)

計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)申請(qǐng)或釋放資源，處理效能和存儲(chǔ)能力也會(huì)隨著申請(qǐng)節(jié)點(diǎn)的

增多而呈線性增長(zhǎng)，是云計(jì)算將計(jì)算資源按需分配的最好體現(xiàn)，大幅提高了資源

2#^

利用率。

部署云計(jì)算平臺(tái)，能夠在保證現(xiàn)有電力系統(tǒng)硬件基礎(chǔ)設(shè)施基本不變的情況

下，對(duì)當(dāng)前用電信息采集系統(tǒng)的數(shù)據(jù)資源和處理器資源進(jìn)行整合，從而大幅提高

用采系統(tǒng)數(shù)據(jù)處理性能，提高數(shù)據(jù)存儲(chǔ)、查詢、統(tǒng)計(jì)、分析和復(fù)雜數(shù)據(jù)處理的能

力，為智能電網(wǎng)用采系統(tǒng)的業(yè)務(wù)發(fā)展提供有效的支持。

三、系統(tǒng)提升方案

基于云計(jì)算一體機(jī)的系統(tǒng)提升方案的提出是以在互聯(lián)網(wǎng)、智慧城市、智慧交

通和智能視頻監(jiān)控領(lǐng)域已經(jīng)商業(yè)化應(yīng)用的云計(jì)算技術(shù)，作為對(duì)用電信息采集系統(tǒng)

海量數(shù)據(jù)處理性能提升的主要技術(shù)手段，方案采用松耦合的數(shù)據(jù)分流的方式構(gòu)建

新型用采主站數(shù)據(jù)共享平臺(tái)，在不對(duì)現(xiàn)行用采主站軟件和硬件做大的改動(dòng)原則

下，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)處理性能的提升，同時(shí)能為其它系統(tǒng)提供相應(yīng)的業(yè)務(wù)處理需

求數(shù)據(jù)。

本方案采用云計(jì)算的分布式文件存儲(chǔ)與關(guān)系型數(shù)據(jù)庫(kù)共存的模式，根據(jù)用采

數(shù)據(jù)構(gòu)成特點(diǎn)進(jìn)行歸類(lèi)和劃分。用電信息采集系統(tǒng)為準(zhǔn)實(shí)時(shí)系統(tǒng)，其主要數(shù)據(jù)有

兩類(lèi)：一、是基礎(chǔ)檔案及業(yè)務(wù)數(shù)據(jù)；二、是采集或計(jì)算數(shù)據(jù)。

基礎(chǔ)檔案數(shù)據(jù)主要包括：變電站、線路、變壓器、客戶、計(jì)量點(diǎn)、運(yùn)行表、

終端、采集關(guān)系等基礎(chǔ)檔案類(lèi)數(shù)據(jù)，終端參數(shù)、測(cè)量點(diǎn)參數(shù)等參數(shù)及調(diào)試數(shù)據(jù)；

業(yè)務(wù)數(shù)據(jù)主要包括：費(fèi)控業(yè)務(wù)的購(gòu)電單、購(gòu)電參數(shù)，有序用電業(yè)務(wù)的有序用電方

案、控制輪次、功率控、電量控及廠休控等控制參數(shù)；該類(lèi)數(shù)據(jù)屬于典型的關(guān)系

類(lèi)數(shù)據(jù)，使用頻率相對(duì)較高、關(guān)聯(lián)度復(fù)雜，需要用關(guān)系數(shù)據(jù)庫(kù)集群加磁盤(pán)陣列進(jìn)

行存貯，本方案對(duì)此類(lèi)數(shù)據(jù)的存儲(chǔ)和管理采用現(xiàn)行用采主站系統(tǒng)的數(shù)據(jù)處理技

術(shù)，不做大的改動(dòng)。

采集及計(jì)算數(shù)據(jù)主要包括：日凍結(jié)表碼數(shù)據(jù)（正向有功總、尖、峰、平、谷、

反向有功總、尖、峰、平、谷、正向無(wú)功總、反向無(wú)功總、需量表碼等13個(gè)主

要數(shù)據(jù)項(xiàng)）、曲線表碼數(shù)據(jù)、日/月電量數(shù)據(jù)、功率/電流/電壓/功率因素等負(fù)荷

數(shù)據(jù)、電壓越限統(tǒng)計(jì)數(shù)據(jù)、終端剩余電量數(shù)據(jù)、終端停上電事件等數(shù)據(jù)；此類(lèi)數(shù)

據(jù)大多為歷史數(shù)據(jù)，數(shù)據(jù)相對(duì)使用頻率不高、數(shù)據(jù)關(guān)聯(lián)相對(duì)簡(jiǎn)單，適合采用云計(jì)

2#^

算的分布式存儲(chǔ)管理，即本方案中采用的云計(jì)算平臺(tái)。

本方案采用云計(jì)算的分布式存儲(chǔ)技術(shù)和關(guān)系數(shù)據(jù)庫(kù)并存的方式，實(shí)現(xiàn)了云計(jì)

算和關(guān)系數(shù)據(jù)庫(kù)的優(yōu)勢(shì)互補(bǔ)，現(xiàn)行用采主站系統(tǒng)的應(yīng)用層和業(yè)務(wù)層都不需要做大

的變動(dòng)，可以直接復(fù)用，實(shí)現(xiàn)系統(tǒng)的無(wú)縫移植和平滑過(guò)渡，同時(shí)也滿足公司對(duì)數(shù)

據(jù)存儲(chǔ)、共享和安全等方面的總體要求。

云計(jì)算體機(jī)與用電信息采集系統(tǒng)整合方案

云

存

儲(chǔ)

+

云

計(jì)

算

終

端

設(shè)

備

層

圖3-1性能提升方案整體架構(gòu)圖

3.1系統(tǒng)目標(biāo)及原則

＞加速系統(tǒng)資源整合、降低成本：

通過(guò)云計(jì)算平臺(tái)的數(shù)據(jù)集中存儲(chǔ)，實(shí)現(xiàn)綠色節(jié)能、服務(wù)器整合，降低維護(hù)成

本和提高資源的利用率；

＞具有可靠性及動(dòng)態(tài)可擴(kuò)展性：

所有的服務(wù)分布在不同的服務(wù)器上。在云計(jì)算平臺(tái)體系中，可以將服務(wù)器實(shí)

時(shí)加入到現(xiàn)有服務(wù)器群中，提高‘'云''處理能力，如果某計(jì)算節(jié)點(diǎn)出現(xiàn)故障，則通

過(guò)相應(yīng)策略拋棄掉該節(jié)點(diǎn)，并將其任務(wù)交給別的節(jié)點(diǎn)，而在節(jié)點(diǎn)故障排除后可實(shí)

時(shí)加入現(xiàn)有集群中；

＞提升系統(tǒng)的入庫(kù)、計(jì)算和存儲(chǔ)能力：

確保在任何時(shí)間、任意地點(diǎn)，采用任何設(shè)備登錄到云計(jì)算平臺(tái)系統(tǒng)后就可以

進(jìn)行技術(shù)服務(wù)，具有大量存儲(chǔ)空間和非?？斓奶幚硭俣龋?/p>

2^-3

＞提高安全威脅及安全事件快速反應(yīng)能力:

安全威脅的發(fā)現(xiàn)和響應(yīng)覆蓋從網(wǎng)絡(luò)層到應(yīng)用層的各個(gè)層次，云計(jì)算安全體系

提供更加及時(shí)有效的威脅識(shí)別能力、關(guān)聯(lián)分析能力。實(shí)現(xiàn)統(tǒng)一主動(dòng)、自主的安全

防御體系和提升信息資源安全等級(jí)，建立快速的數(shù)據(jù)遷移機(jī)制，使得發(fā)生數(shù)據(jù)容

災(zāi)時(shí)，能夠快速把用戶遷移到備份數(shù)據(jù)源上，對(duì)于數(shù)據(jù)存放機(jī)密性、完整性提供

不同保護(hù)，同時(shí)提高可用性。

3.2系統(tǒng)總體方案

用電信息采集系統(tǒng)數(shù)據(jù)處理性能提升方案遵循國(guó)網(wǎng)標(biāo)準(zhǔn)化設(shè)計(jì)成果，系統(tǒng)

的總體邏輯架構(gòu)、技術(shù)架構(gòu)、數(shù)據(jù)存儲(chǔ)架構(gòu)、功能架構(gòu)、物理架構(gòu)、信道架構(gòu)等

完全按照國(guó)網(wǎng)統(tǒng)一的設(shè)計(jì)要求，業(yè)務(wù)模型和編碼規(guī)則完全遵循國(guó)網(wǎng)統(tǒng)一的規(guī)則和

標(biāo)準(zhǔn)。

由于當(dāng)前地市分布式部署的用電信息采集系統(tǒng)無(wú)論從數(shù)據(jù)規(guī)模還是從數(shù)據(jù)

復(fù)雜度上都無(wú)法與省級(jí)集中部署模式下的用電信息采集系統(tǒng)相比，因此本方案重

點(diǎn)針對(duì)省級(jí)集中模式下用電信息采集系統(tǒng)的數(shù)據(jù)處理性能進(jìn)行研究。

3.1.1性能提升方案

＞沿用當(dāng)前運(yùn)行的網(wǎng)省公司用電信息采集系統(tǒng)整體邏輯架構(gòu)，保證系統(tǒng)的

標(biāo)準(zhǔn)化，并與國(guó)網(wǎng)保持一致；

＞構(gòu)建關(guān)系數(shù)據(jù)庫(kù)、云存儲(chǔ)系統(tǒng)混合的用電信息采集系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)，

按應(yīng)用分類(lèi)、重要性、存儲(chǔ)周期、存儲(chǔ)頻度、深度等因素對(duì)數(shù)據(jù)進(jìn)行分類(lèi)存儲(chǔ)；

關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)檔案數(shù)據(jù)、實(shí)時(shí)交易數(shù)據(jù)、告警事件等數(shù)據(jù)，云存儲(chǔ)系統(tǒng)存儲(chǔ)采

集的各種電量、負(fù)荷數(shù)據(jù)、統(tǒng)計(jì)計(jì)算結(jié)果數(shù)據(jù)等，并與關(guān)系數(shù)據(jù)庫(kù)同步檔案資料;

＞構(gòu)建基于云計(jì)算的用電信息采集系統(tǒng)數(shù)據(jù)處理方案，實(shí)現(xiàn)電量、負(fù)荷疊

加計(jì)算、線損計(jì)算等業(yè)務(wù)處理功能，減輕關(guān)系數(shù)據(jù)庫(kù)壓力；

＞構(gòu)建基于云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)的業(yè)務(wù)應(yīng)用系統(tǒng)邏輯架構(gòu)，采用統(tǒng)一的查

詢協(xié)調(diào)驅(qū)動(dòng)，確保業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)查詢的一致性和無(wú)關(guān)性，提高數(shù)據(jù)查詢、統(tǒng)計(jì)、

分析、存儲(chǔ)性能；

2^-3

3.1.2數(shù)據(jù)存儲(chǔ)方案

1）海量用電信息存儲(chǔ)問(wèn)題

隨著國(guó)家電網(wǎng)公司用電信息“全覆蓋、全采集、全費(fèi)控”建設(shè)的實(shí)施，到

2014年，各網(wǎng)省用電信息采集系統(tǒng)將實(shí)現(xiàn)各類(lèi)用戶覆蓋率100%,屆時(shí)系統(tǒng)采集

的數(shù)據(jù)將呈數(shù)量級(jí)增長(zhǎng)，如何對(duì)這些繁雜、海量、實(shí)時(shí)的數(shù)據(jù)進(jìn)行有效的存儲(chǔ)、

管理，對(duì)數(shù)據(jù)進(jìn)行有效業(yè)務(wù)性轉(zhuǎn)換，同時(shí)提供較強(qiáng)的穩(wěn)定性以及可擴(kuò)展的能力，

是整個(gè)用電信息采集系統(tǒng)的關(guān)鍵。為此，本方案提出云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合

的用電信息采集系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)。

2）云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的混合存儲(chǔ)架構(gòu)

基于云計(jì)算的海量用電信息混合存儲(chǔ)技術(shù)架構(gòu)如下圖所示。

寫(xiě)入日志

讀取Primary

圖3-2基于云計(jì)算的海量用電信息混合存儲(chǔ)架構(gòu)

終端采集上來(lái)的原始數(shù)據(jù)經(jīng)過(guò)規(guī)約解析，轉(zhuǎn)化成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，并按照數(shù)據(jù)

類(lèi)型存入文件，然后交由大數(shù)據(jù)管理引擎處理。大數(shù)據(jù)管理引擎負(fù)責(zé)對(duì)海量數(shù)據(jù)

的裝載、寫(xiě)入、查詢及處理，其包括作業(yè)跟蹤器、智能用電業(yè)務(wù)模型、元數(shù)據(jù)管

理器、查詢計(jì)劃產(chǎn)生器、查詢執(zhí)行引擎、數(shù)據(jù)寫(xiě)入器、數(shù)據(jù)源連接器、MapReduce

大數(shù)據(jù)集并行處理單元等。

（1）作業(yè)跟蹤器：對(duì)所有數(shù)據(jù)查詢、寫(xiě)入、處理等操作進(jìn)行調(diào)度協(xié)調(diào)，將

計(jì)算任務(wù)合理的分配至各處理節(jié)點(diǎn)，并記錄分塊數(shù)據(jù)及任務(wù)與節(jié)點(diǎn)的對(duì)應(yīng)信息。

2#^

（2）數(shù)據(jù)寫(xiě)入器：承擔(dān)著數(shù)據(jù)裝載和數(shù)據(jù)寫(xiě)入功能，負(fù)責(zé)完成數(shù)據(jù)劃分、

放置以及數(shù)據(jù)復(fù)制工作，將數(shù)據(jù)片段寫(xiě)入到各節(jié)點(diǎn)的存儲(chǔ)系統(tǒng)中。

（3）查詢計(jì)劃產(chǎn)生器：負(fù)責(zé)將數(shù)據(jù)存儲(chǔ)與處理請(qǐng)求翻譯成SQL和MapReduce

的混合操作，交由查詢執(zhí)行引擎執(zhí)行。

（4）元數(shù)據(jù)管理器：實(shí)施對(duì)元數(shù)據(jù)的管理和訪問(wèn)，元數(shù)據(jù)包括關(guān)于數(shù)據(jù)模

式、數(shù)據(jù)劃分以及數(shù)據(jù)復(fù)制的信息等。因?yàn)樵獢?shù)據(jù)需要頻繁讀取，項(xiàng)目擬采取緩

存策略，將元數(shù)據(jù)直接進(jìn)行緩存提高訪問(wèn)效率，另一方面，采用相應(yīng)的壓縮機(jī)制

降低元數(shù)據(jù)占用空間的大小，以提高緩存的利用率。

（5）MapReduce大數(shù)據(jù)集并行處理單元：負(fù)責(zé)將半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)建立

語(yǔ)義關(guān)聯(lián)，在用電信息采集系統(tǒng)中，采集終端上傳的數(shù)據(jù)并沒(méi)有跟業(yè)務(wù)應(yīng)用系統(tǒng)

業(yè)務(wù)結(jié)合，實(shí)質(zhì)是半結(jié)構(gòu)化數(shù)據(jù)，并沒(méi)有實(shí)際的語(yǔ)義，MapReduce大數(shù)據(jù)集并行

處理單元通過(guò)采用并行計(jì)算技術(shù)將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換計(jì)算任務(wù)分配至多個(gè)節(jié)點(diǎn)來(lái)完

成，快速、可靠、穩(wěn)定的完成半結(jié)構(gòu)化數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)，從

而為用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)提供完整數(shù)據(jù)視圖。其將大數(shù)據(jù)集分解為成百上

千的小數(shù)據(jù)集，每個(gè)（或若干個(gè)）數(shù)據(jù)集分別由集群中的一個(gè)結(jié)點(diǎn)進(jìn)行處理并生成

中間結(jié)果，然后這些中間結(jié)果又由大量的結(jié)點(diǎn)進(jìn)行合并，形成最終結(jié)果。

云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的混合存儲(chǔ)架構(gòu)在具體存儲(chǔ)時(shí)，關(guān)系數(shù)據(jù)庫(kù)主要

存儲(chǔ)修改操作較為頻繁的業(yè)務(wù)交易數(shù)據(jù)，以及檔案數(shù)據(jù)和告警事件等；云存儲(chǔ)架

構(gòu)主要存儲(chǔ)采集的電量、負(fù)荷等業(yè)務(wù)數(shù)據(jù)，在進(jìn)行海量數(shù)據(jù)的處理時(shí)采用分布式

文件存儲(chǔ)實(shí)現(xiàn)，通過(guò)構(gòu)建分片集群實(shí)現(xiàn)強(qiáng)大、靈活、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)，當(dāng)數(shù)據(jù)

存儲(chǔ)服務(wù)器無(wú)法滿足大規(guī)模智能用電信息存儲(chǔ)時(shí)，可直接添加新的數(shù)據(jù)存儲(chǔ)節(jié)

點(diǎn)，通過(guò)增加節(jié)點(diǎn)以緩解已有智能用電信息存儲(chǔ)服務(wù)器的壓力，實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展，

從而保障了海量采集數(shù)據(jù)的穩(wěn)定性和可靠性，同時(shí)為其他智能用電應(yīng)用系統(tǒng)提供

良好的數(shù)據(jù)支撐。

云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的混合存儲(chǔ)架構(gòu)可屏蔽用電信息采集系統(tǒng)海量

感知數(shù)據(jù)的多樣性與異構(gòu)性，實(shí)現(xiàn)無(wú)差別的傳輸，實(shí)時(shí)有效地對(duì)數(shù)據(jù)進(jìn)行分析處

理，將采集終端數(shù)據(jù)與業(yè)務(wù)系統(tǒng)檔案建立語(yǔ)義關(guān)聯(lián)，變?yōu)闃I(yè)務(wù)信息，進(jìn)而得到正

確的分析和處理結(jié)果。其使用并行處理方式避免因繁雜的數(shù)據(jù)而產(chǎn)生延遲與擁

塞，能夠確保數(shù)據(jù)處理的及時(shí)性、正確性，從而為用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)正

2#^

常運(yùn)行提供數(shù)據(jù)支撐。

3.1.3數(shù)據(jù)處理方案

改造方案由云存儲(chǔ)共享平臺(tái)、關(guān)系數(shù)據(jù)庫(kù)組成。云存儲(chǔ)共享平臺(tái)與原系統(tǒng)前

置集群結(jié)合，滿足海量采集數(shù)據(jù)、檔案類(lèi)數(shù)據(jù)、監(jiān)控信息的存儲(chǔ)需求。關(guān)系數(shù)

據(jù)庫(kù)存儲(chǔ)檔案數(shù)據(jù)、費(fèi)控?cái)?shù)據(jù)和告警事件數(shù)據(jù)，提高實(shí)時(shí)業(yè)務(wù)處理能力和系統(tǒng)性

能。原系統(tǒng)數(shù)據(jù)庫(kù)在過(guò)渡階段保持原業(yè)務(wù)流程，起備用和保護(hù)作用。系統(tǒng)成功過(guò)

渡試運(yùn)行結(jié)束后，關(guān)閉原系統(tǒng)數(shù)據(jù)庫(kù)。通過(guò)WebService、JDBC、ODBC,SQL等技

術(shù)向外圍系統(tǒng)提供標(biāo)準(zhǔn)化、多樣化數(shù)據(jù)訪問(wèn)方式。

數(shù)據(jù)同時(shí)入原原系統(tǒng)

系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)

原業(yè)務(wù)

(模型處

備用

云存儲(chǔ)理過(guò)程

檢索

電量、負(fù)荷（電

壓、電流、有j

功、無(wú)功）數(shù)據(jù)

T#的

采集數(shù)據(jù)人同步檔案&數(shù)據(jù)檢索電量負(fù)荷

云存儲(chǔ)系統(tǒng)類(lèi)數(shù)據(jù)及統(tǒng)計(jì)

訴置數(shù)

類(lèi)數(shù)據(jù)

據(jù)采集統(tǒng)計(jì)結(jié)構(gòu)計(jì)算類(lèi)業(yè)務(wù)應(yīng)

平臺(tái)（業(yè)數(shù)據(jù)川系統(tǒng)

務(wù)數(shù)據(jù)）

同步關(guān)聯(lián)

檔案數(shù)據(jù)

替換

關(guān)系數(shù)據(jù)庫(kù)JDBC?

實(shí)時(shí)交易數(shù)檢索告警/費(fèi)行驅(qū)動(dòng)

JAR包

據(jù)告警數(shù)據(jù)告警事件數(shù)據(jù)控類(lèi)數(shù)據(jù)

費(fèi)控?cái)?shù)據(jù)

檔案類(lèi)數(shù)據(jù)

圖3-3數(shù)據(jù)處理架構(gòu)

1）海量用電數(shù)據(jù)處理問(wèn)題

用電信息采集系統(tǒng)2014年全覆蓋目標(biāo)實(shí)現(xiàn)后，采集數(shù)據(jù)量將呈指數(shù)級(jí)增長(zhǎng),

海量數(shù)據(jù)的計(jì)算成為一個(gè)重要的問(wèn)題，如每天批量計(jì)算的線損計(jì)算服務(wù)，為解決

大集中后高并發(fā)大容量采集數(shù)據(jù)實(shí)時(shí)處理的問(wèn)題，本方案將采用基于Hadoop的

2#^

海量用電數(shù)據(jù)并行計(jì)算技術(shù)，對(duì)采集任務(wù)進(jìn)行并行化處理，將計(jì)算任務(wù)分配至多

個(gè)工作節(jié)點(diǎn)完成，實(shí)現(xiàn)系統(tǒng)性能的有效提升。

2）基于Hadoop的數(shù)據(jù)并行處理技術(shù)

Hadoop架構(gòu)主要包含數(shù)據(jù)管理存儲(chǔ)、任務(wù)管理、任務(wù)執(zhí)行數(shù)據(jù)存儲(chǔ)幾個(gè)角

色，具體介紹如下：

數(shù)據(jù)管理存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)和編輯日志，主要負(fù)責(zé)管理文件系統(tǒng)的命名

空間，集群配置信息，文件中各塊及其副本的存儲(chǔ)位置。任務(wù)管理決定哪個(gè)文件

將被處理，并且為不同的任務(wù)分配節(jié)點(diǎn)。同時(shí)，它還監(jiān)控所有運(yùn)行的任務(wù)，一旦

某個(gè)任務(wù)失敗了，任務(wù)管理就會(huì)自動(dòng)重新開(kāi)啟這個(gè)任務(wù)，在大多數(shù)情況下，這個(gè)

任務(wù)會(huì)被放在不同的節(jié)點(diǎn)上。任務(wù)執(zhí)行節(jié)點(diǎn)與任務(wù)管理節(jié)點(diǎn)分工協(xié)作負(fù)責(zé)存儲(chǔ)數(shù)

據(jù)，獨(dú)立管理各自的任務(wù)，并與任務(wù)管理交互，如果任務(wù)管理節(jié)點(diǎn)無(wú)法準(zhǔn)時(shí)獲取

任務(wù)執(zhí)行節(jié)點(diǎn)提交的信息，任務(wù)管理節(jié)點(diǎn)就判定任務(wù)執(zhí)行己經(jīng)崩潰，并將任務(wù)分

配給其他節(jié)點(diǎn)處理。數(shù)據(jù)存儲(chǔ)根據(jù)需要存儲(chǔ)并檢索數(shù)據(jù)塊，并定期向數(shù)據(jù)管理發(fā)

送它們所存儲(chǔ)的塊的列表。

此外，Hadoop生態(tài)系統(tǒng)中的其他組件，補(bǔ)充和擴(kuò)展了Hadoop架構(gòu)的處理能

力。

數(shù)據(jù)倉(cāng)庫(kù)Hive基于HDFS,將存儲(chǔ)在HDFS中的結(jié)構(gòu)化數(shù)據(jù)文件映射為數(shù)據(jù)

表，并提供類(lèi)SQL的語(yǔ)言HiveQL對(duì)數(shù)據(jù)表進(jìn)行操作。Hive能夠?qū)iveQL解析

成MapReduce可執(zhí)行計(jì)劃，并按照該計(jì)劃生成MapReduce任務(wù)后，提交到Hadoop

集群處理，極大的提高了Hadoop架構(gòu)的處理能力。

數(shù)據(jù)抽取工具Sqoop允許將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)抽取到HDFS或Hive中，進(jìn)

行進(jìn)一步處理。抽取過(guò)程也通過(guò)Hadoop架構(gòu)實(shí)現(xiàn)并行，極大的提高了數(shù)據(jù)抽取

的速度?；贖adoop的海量智能用電數(shù)據(jù)并行處理框架如下：

2#^

圖3-4基于Hadoop的海量用電數(shù)據(jù)并行處理框架

以線損計(jì)算服務(wù)為例對(duì)基于Hadoop的海量智能用電數(shù)據(jù)并行處理過(guò)程進(jìn)行

詳細(xì)介紹。線損計(jì)算服務(wù)是通過(guò)計(jì)算損耗模型供入、供出計(jì)量點(diǎn)電量，進(jìn)而匯總

成損耗模型的供入、供出和損耗電量，其中每天批量計(jì)算的昨日日線損是線損計(jì)

算服務(wù)的重要組成部分?；贖adoop架構(gòu)進(jìn)行日線損計(jì)算的設(shè)計(jì)如下：

＞線損計(jì)算有關(guān)的數(shù)據(jù)（線損考核單元表，考核單元供入供出計(jì)量點(diǎn)表，測(cè)

量點(diǎn)信息表，電能表計(jì)量點(diǎn)關(guān)系表以及供入供出計(jì)量點(diǎn)日凍結(jié)電量表）

均存儲(chǔ)在關(guān)系型分析庫(kù)中，通過(guò)Sqoop執(zhí)行MapReduce作業(yè)將數(shù)據(jù)并行

導(dǎo)入到Hive中。

＞通過(guò)HiveQL實(shí)現(xiàn)線損計(jì)算的業(yè)務(wù)邏輯，Hive將HiveQL自動(dòng)轉(zhuǎn)換為相應(yīng)

的MapReduce作業(yè)，并提交到Hadoop集群，實(shí)現(xiàn)并行處理。

a）線損考核單元表分別與供入、供出計(jì)量點(diǎn)信息表關(guān)聯(lián)，得到所有供入、

供出計(jì)量點(diǎn)及其考核單元的信息；

b）供入、供出計(jì)量點(diǎn)及其考核單元信息，與測(cè)量點(diǎn)信息表，電能表計(jì)量點(diǎn)

關(guān)系表關(guān)聯(lián)，得到每個(gè)考核單元，供入/供出計(jì)量點(diǎn)對(duì)應(yīng)的所有電能表信

息；

c）供入供出計(jì)量點(diǎn)電量表分別與供入、供出計(jì)量點(diǎn)電能表信息連接，得到

考核單元供入計(jì)量點(diǎn)電能表電量表和考核單元供出計(jì)量點(diǎn)電能表電量

表；

d）分別對(duì)考核單元供入計(jì)量點(diǎn)電能表電量表、供出計(jì)量點(diǎn)電能表電量表內(nèi)

同一計(jì)量點(diǎn)下的電量求和，得到計(jì)量點(diǎn)電量。對(duì)結(jié)果按考核單元編號(hào)進(jìn)

行分組做差，得到每個(gè)考核單元的日線損。

>MapReduce作業(yè)并行讀取HDFS中的供入、供出計(jì)量點(diǎn)電量文件和損耗電

量文件，計(jì)算每個(gè)考核單元損耗率，并將供入、供出計(jì)量點(diǎn)電量和考核

單元損耗電量存入關(guān)系型分析庫(kù)，完成日線損計(jì)算服務(wù)。

基于Hadoop的海量智能用電數(shù)據(jù)并行處理技術(shù)能夠?qū)崿F(xiàn)多個(gè)節(jié)點(diǎn)并行任務(wù)

的處理，提高海量數(shù)據(jù)的處理效率，同時(shí)支持系統(tǒng)對(duì)應(yīng)物理設(shè)備的靈活部署與裝

配，滿足不斷增長(zhǎng)的終端接入規(guī)模帶來(lái)的海量數(shù)據(jù)實(shí)時(shí)處理需求。

3.1.4基于云存儲(chǔ)與關(guān)系數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)架構(gòu)

依托國(guó)家電網(wǎng)標(biāo)準(zhǔn)化設(shè)計(jì)成果，充分吸收網(wǎng)省公司優(yōu)秀業(yè)務(wù)成果，通過(guò)對(duì)數(shù)

據(jù)采集終端、通信信道、數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)應(yīng)用以及大集中模式下業(yè)務(wù)開(kāi)展情況的

詳細(xì)分析和綜合考慮，設(shè)計(jì)了包含國(guó)家電網(wǎng)公司營(yíng)銷(xiāo)計(jì)量(2012)76號(hào)文件規(guī)

定的標(biāo)準(zhǔn)化應(yīng)用和擴(kuò)展應(yīng)用的省級(jí)集中用電信息采集業(yè)務(wù)應(yīng)用系統(tǒng)。其邏輯架構(gòu)

見(jiàn)下圖所示，其主要有數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)應(yīng)用構(gòu)成。

應(yīng)

用

客

戶

端相關(guān)應(yīng)用

系統(tǒng)

交

互

至營(yíng)銷(xiāo)

業(yè)務(wù)

應(yīng)用

一體化統(tǒng)一數(shù)據(jù)

標(biāo)準(zhǔn)化應(yīng)用擴(kuò)展應(yīng)用系統(tǒng)

監(jiān)控平臺(tái)共享平臺(tái)

智能監(jiān)有序用電智能決策負(fù)荷分析數(shù)據(jù)模

業(yè)控管理基本應(yīng)用運(yùn)行管理型管理

務(wù)

應(yīng)數(shù)據(jù)存客戶例供電質(zhì)最監(jiān)控反竊電分析數(shù)據(jù)同生產(chǎn)

用儲(chǔ)監(jiān)控統(tǒng)計(jì)查詢系統(tǒng)管理步管理

調(diào)度

接口適

設(shè)備疑似停電區(qū)域監(jiān)測(cè)電廠運(yùn)行管理

監(jiān)控配設(shè)置平臺(tái)

高級(jí)應(yīng)用有序用電

二次網(wǎng)損監(jiān)測(cè)分析電量分析

其他

數(shù)系統(tǒng)

據(jù)

存

儲(chǔ)

云存儲(chǔ)關(guān)系數(shù)據(jù)庫(kù)

圖0-5業(yè)務(wù)應(yīng)用系統(tǒng)邏輯架構(gòu)

1)數(shù)據(jù)存儲(chǔ)

全省大集中模式下省級(jí)集中式以及市級(jí)分布式采集的所有電能數(shù)據(jù)進(jìn)行統(tǒng)

2^-3

一存儲(chǔ)，數(shù)據(jù)存儲(chǔ)由云存儲(chǔ)系統(tǒng)和關(guān)系數(shù)據(jù)庫(kù)組成。其中云存儲(chǔ)系統(tǒng)存放終端采

集上來(lái)的海量采集數(shù)據(jù)以及根據(jù)計(jì)算模型、分析模型計(jì)算的統(tǒng)計(jì)分析數(shù)據(jù)，關(guān)系

數(shù)據(jù)庫(kù)存放客戶檔案數(shù)據(jù)、實(shí)時(shí)交易數(shù)據(jù)以及告警數(shù)據(jù)。

2）業(yè)務(wù)應(yīng)用

全省大集中模式下業(yè)務(wù)應(yīng)用分為標(biāo)準(zhǔn)化應(yīng)用、網(wǎng)省公司擴(kuò)展應(yīng)用、統(tǒng)一數(shù)據(jù)

共享平臺(tái)及一體化監(jiān)控平臺(tái)，其中標(biāo)準(zhǔn)化應(yīng)用分為基本應(yīng)用、高級(jí)應(yīng)用、運(yùn)行管

理、有序用電、統(tǒng)計(jì)查詢、系統(tǒng)管理；擴(kuò)展應(yīng)用分為電廠運(yùn)行管理、反竊電分析、

負(fù)荷分析、電量分析、疑似停電區(qū)域監(jiān)測(cè)、有序用電智能決策及客戶側(cè)供電質(zhì)量

監(jiān)控等；統(tǒng)一數(shù)據(jù)共享平臺(tái)通過(guò)接口適配的方式向外圍系統(tǒng)提供采集及分析數(shù)

據(jù)，包括數(shù)據(jù)模型管理、數(shù)據(jù)同步管理、接口適配設(shè)置、共享平臺(tái)日志信息統(tǒng)計(jì)

分析等功能；一體化監(jiān)控平臺(tái)向系統(tǒng)管理人員提供綜合監(jiān)控可視化管理，使其對(duì)

系統(tǒng)整體運(yùn)行效率進(jìn)行集中監(jiān)控和管理，包括業(yè)務(wù)應(yīng)用系統(tǒng)感知監(jiān)控、前置通信

平臺(tái)監(jiān)控、數(shù)據(jù)存儲(chǔ)監(jiān)控、設(shè)備監(jiān)控、深化統(tǒng)計(jì)分析、智能監(jiān)控管理等功能。

3.3系統(tǒng)特點(diǎn)、性能和功能

3.3.1系統(tǒng)特性

實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成數(shù)據(jù)計(jì)算和

分析工作，如數(shù)據(jù)計(jì)算、數(shù)據(jù)查詢、和統(tǒng)計(jì)分析等。數(shù)據(jù)計(jì)算不會(huì)出現(xiàn)數(shù)據(jù)堆積

現(xiàn)象，各類(lèi)分析和查詢工作基本都在秒級(jí)完成，具有前所未有的高效性；

高可靠性：基于對(duì)云計(jì)算可靠性深厚的技術(shù)研究積累，徹底解決當(dāng)前分布式

計(jì)算平臺(tái)易出現(xiàn)的單點(diǎn)故障問(wèn)題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而

且不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象；

可伸縮性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少

節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與資源池的無(wú)縫對(duì)接，根據(jù)計(jì)

算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率；

高性價(jià)比：采用X86架構(gòu)廉價(jià)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)，用軟件容錯(cuò)替代硬件

容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)

據(jù)庫(kù)方案節(jié)省10倍左右的成本；

2#^

全業(yè)務(wù)支持：采用NoSQL+關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于

分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，

可支撐各種類(lèi)型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖

掘和商業(yè)智能分析業(yè)務(wù)。

3.3.2系統(tǒng)特點(diǎn)

1）支持大數(shù)據(jù)實(shí)時(shí)入庫(kù)，防止數(shù)據(jù)堆積

采用現(xiàn)有用采系統(tǒng)服務(wù)器集群和云計(jì)算平臺(tái)一體機(jī)相結(jié)合的方式，能夠提高

對(duì)海量數(shù)據(jù)的快速入庫(kù)，入庫(kù)速度高達(dá)千兆每秒。能夠?qū)Τ^(guò)10000條/m的原

始用采監(jiān)控?cái)?shù)據(jù)進(jìn)行實(shí)時(shí)處理。避免因數(shù)據(jù)入庫(kù)能力不足，造成的數(shù)據(jù)堆積。

2）支持大數(shù)據(jù)實(shí)時(shí)索引，秒級(jí)計(jì)算和查詢

實(shí)時(shí)監(jiān)控入庫(kù)的新數(shù)據(jù)，并對(duì)其建立具有高效查詢速度的索引算法，能夠完

成對(duì)千