大數(shù)據(jù)平臺(tái)和在電力行業(yè)的應(yīng)用分析專題培訓(xùn)課件

大數(shù)據(jù)平臺(tái)和在電力行業(yè)的應(yīng)用分析大數(shù)據(jù)平臺(tái)和在電力行業(yè)的應(yīng)用分析1目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)需求2彩訊電力行業(yè)大數(shù)據(jù)解決方案3目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)需求2彩訊電力行業(yè)2BigDataPeopleDevicesSensors移動(dòng)互聯(lián)網(wǎng)Mobile

Internet物聯(lián)網(wǎng)InternetofThings3新量級(jí)、新處理模式、新企業(yè)智能

互聯(lián)網(wǎng)Internet大數(shù)據(jù)時(shí)代消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象公共服務(wù)BigDataPeopleDevicesSensors移3指數(shù)型增長的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長。根據(jù)EMC研究院統(tǒng)計(jì)，全球2012創(chuàng)建和復(fù)制的數(shù)據(jù)量達(dá)到了2.8ZB（1ZB等于10億PB），而到2020，這個(gè)數(shù)據(jù)會(huì)上升到40ZB。對(duì)這些數(shù)據(jù)的管理和分析，在技術(shù)帶來了挑戰(zhàn)，但是對(duì)數(shù)據(jù)的透徹分析將會(huì)為我們帶來不可估量的價(jià)值。指數(shù)型增長的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)4大數(shù)據(jù)的特性容量Volume多樣性Variety價(jià)值Value速度Velocity半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)等）無模式或者模式不明顯不連貫的語法或句義價(jià)值密度低，單條數(shù)據(jù)無價(jià)值,無用數(shù)據(jù)多,綜合價(jià)值大對(duì)未來趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、統(tǒng)計(jì)建模、人工智能）處理速度快，要求系統(tǒng)在短時(shí)間內(nèi)做出響應(yīng)實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的特性容量Volume多樣性Variety價(jià)值Valu5每天幾百GB、幾TB的資料，且持續(xù)成長中儲(chǔ)存Storing在接收數(shù)據(jù)的同時(shí)做必要的前置處理，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級(jí)，離線計(jì)算與實(shí)時(shí)計(jì)算相結(jié)合計(jì)算Processing如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀和數(shù)據(jù)丟失管理Managing如何從中挖掘出數(shù)據(jù)隱藏的模式和價(jià)值分析Analyzing大數(shù)據(jù)處理挑戰(zhàn)每天幾百GB、幾TB的資料，且持續(xù)成長中儲(chǔ)存在接6與傳統(tǒng)數(shù)據(jù)處理需求的區(qū)別傳統(tǒng)數(shù)據(jù)庫模式的數(shù)據(jù)處理模式，已經(jīng)無法應(yīng)對(duì)大數(shù)據(jù)帶來的挑戰(zhàn)，需要新技術(shù)、新思維、新策略，使數(shù)據(jù)處理性能更高，成本更低、模式更豐富！與傳統(tǒng)數(shù)據(jù)處理需求的區(qū)別傳統(tǒng)數(shù)據(jù)庫模式的數(shù)據(jù)處理模式，7計(jì)算任務(wù)的多節(jié)點(diǎn)分配、計(jì)算計(jì)算與存儲(chǔ)一體，計(jì)算向數(shù)據(jù)靠攏任務(wù)之間無依賴，系統(tǒng)高延展性分布式并行計(jì)算框架分布式文件存儲(chǔ)大數(shù)據(jù)核心技術(shù)-Hadoop分布式，多副本，高容錯(cuò)性，數(shù)據(jù)安全可采用普通PC，硬件成本低系統(tǒng)高擴(kuò)展性，動(dòng)態(tài)增加存儲(chǔ)節(jié)點(diǎn)高傳輸率數(shù)據(jù)訪問Hadoop技術(shù)體系計(jì)算存儲(chǔ)基于Hadoop實(shí)現(xiàn)大數(shù)據(jù)的分布式存儲(chǔ)和分布式并行計(jì)算，實(shí)現(xiàn)高效的TB和PB級(jí)數(shù)據(jù)處理。計(jì)算任務(wù)的多節(jié)點(diǎn)分配、計(jì)算分布式并行計(jì)算框架分布式文件存儲(chǔ)大8

大數(shù)據(jù)核心技術(shù)-Storm

storm是Twitter開源的一個(gè)分布式、實(shí)時(shí)的計(jì)算框架。通過這個(gè)框架可以實(shí)現(xiàn)消息的秒級(jí)處理，并通過分布式處理模式，實(shí)現(xiàn)高并發(fā)處理的承載。水平擴(kuò)展，并行計(jì)算，動(dòng)態(tài)增刪節(jié)點(diǎn)可靠的消息處理事務(wù)機(jī)制，解決重復(fù)計(jì)算問題容錯(cuò)性

大數(shù)據(jù)核心技術(shù)-Storm

storm是Twitter9大數(shù)據(jù)需求與價(jià)值13各行業(yè)企業(yè)對(duì)大數(shù)據(jù)的關(guān)注程度目前企業(yè)的數(shù)據(jù)系統(tǒng)架構(gòu)存在問題2目前企業(yè)數(shù)據(jù)分析處理面臨的問題大數(shù)據(jù)需求與價(jià)值13各行業(yè)企業(yè)對(duì)大數(shù)據(jù)的關(guān)注程度目前企業(yè)的數(shù)10目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)應(yīng)用分析2彩訊電力行業(yè)大數(shù)據(jù)解決方案3目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)應(yīng)用分析2彩訊電力11大數(shù)據(jù)對(duì)電力行業(yè)價(jià)值大數(shù)據(jù)對(duì)電力行業(yè)價(jià)值12電力大數(shù)據(jù)是能源變革中電力工業(yè)技術(shù)革新的必然過程，而不是簡(jiǎn)單的技術(shù)范疇。電力大數(shù)據(jù)不僅僅是技術(shù)進(jìn)步，更是涉及整個(gè)電力系統(tǒng)在大數(shù)據(jù)時(shí)代下發(fā)展理念、管理體制和技術(shù)路線等方面的重大變革，是下一代智能化電力系統(tǒng)在大數(shù)據(jù)時(shí)代下價(jià)值形態(tài)的躍升。大數(shù)據(jù)推動(dòng)電力行業(yè)的變革核心主線重塑電力核心價(jià)值轉(zhuǎn)變電力發(fā)展方式電力大數(shù)據(jù)是能源變革中電力工業(yè)技術(shù)革新的必然過程，而13中國電力工業(yè)長期秉承“以計(jì)劃為驅(qū)動(dòng)、以電力生產(chǎn)為中心”的價(jià)值觀念，重視企業(yè)價(jià)值和客戶價(jià)值的實(shí)現(xiàn)，卻在一定程度上忽視了社會(huì)效益，缺乏雙向互動(dòng)，導(dǎo)致電力供需的單方向傳遞，使得社會(huì)資源對(duì)電力工業(yè)的反饋促進(jìn)很難實(shí)現(xiàn)。電力大數(shù)據(jù)通過對(duì)市場(chǎng)個(gè)性化需求和企業(yè)自身良性發(fā)展的挖掘和滿足，重塑中國電力工業(yè)核心價(jià)值，驅(qū)動(dòng)電力企業(yè)從“以人為本”的高度重新審視自己的核心價(jià)值，由“以電力生產(chǎn)為中心”向“以客戶為中心”轉(zhuǎn)變，并將其最終落腳在“如何更好地服務(wù)于全社會(huì)”這一根本任務(wù)上。重塑電力核心價(jià)值傳統(tǒng)電力價(jià)值鏈與新興電力價(jià)值鏈中國電力工業(yè)長期秉承“以計(jì)劃為驅(qū)動(dòng)、以電力生產(chǎn)為中心14人類社會(huì)經(jīng)過工業(yè)革命兩百多年來的迅猛發(fā)展，能源和資源的快速消耗以及全球氣候變化已經(jīng)上升為影響全人類發(fā)展的首要問題。傳統(tǒng)投資驅(qū)動(dòng)、經(jīng)驗(yàn)驅(qū)動(dòng)的快速粗放型發(fā)展模式，已面臨越來越大的社會(huì)問題，亟待轉(zhuǎn)型，電力行業(yè)也是一樣。電力大數(shù)據(jù)通過對(duì)電力系統(tǒng)生產(chǎn)運(yùn)行方式的優(yōu)化、對(duì)間歇式可再生能源的消納以及對(duì)全社會(huì)節(jié)能減排觀念的引導(dǎo)，能夠推動(dòng)中國電力工業(yè)由高耗能、高排放、低效率的粗放發(fā)展方式向低耗能、低排放、高效率的綠色發(fā)展方式轉(zhuǎn)變。轉(zhuǎn)變電力發(fā)展方式電力數(shù)據(jù)價(jià)值人類社會(huì)經(jīng)過工業(yè)革命兩百多年來的迅猛發(fā)展，能源和資源15基于大數(shù)據(jù)的電力行業(yè)優(yōu)化-對(duì)內(nèi)：優(yōu)化管控模式大數(shù)據(jù)技術(shù)有助于電力企業(yè)基礎(chǔ)設(shè)施選址、建設(shè)的決策。例如丹麥風(fēng)電公司VESTAS計(jì)劃將全球天氣系統(tǒng)數(shù)據(jù)與公司發(fā)電機(jī)數(shù)據(jù)結(jié)合，利用氣溫、氣壓、空氣濕度、空氣沉淀物、風(fēng)向、風(fēng)速等數(shù)據(jù)以及公司歷史數(shù)據(jù)，通過使用超級(jí)計(jì)算機(jī)及大數(shù)據(jù)模型解決方案，來支持其風(fēng)力發(fā)電機(jī)的選址，以充分利用風(fēng)速、風(fēng)力、氣流等因素達(dá)到最大發(fā)電量，并減少能源成本。此外，VESTAS還將添加全球森林砍伐追蹤圖、衛(wèi)星圖像、地理數(shù)據(jù)以及月相與潮汐數(shù)據(jù)，以便更好地支持基礎(chǔ)建設(shè)的決策。一方面，通過使用電力企業(yè)龐大的歷史銷量數(shù)據(jù)，進(jìn)行用戶用電行為分析和用戶市場(chǎng)細(xì)分，使管理者能有針對(duì)性地優(yōu)化營銷組織，改善服務(wù)模式。另一方面，通過與外界數(shù)據(jù)的交換，挖掘用戶用電與電價(jià)、天氣、交通等因素所隱藏的關(guān)聯(lián)關(guān)系，完善用戶用電需求預(yù)測(cè)模型，進(jìn)而為各級(jí)決策者提供多維、直觀、全面、深入的預(yù)測(cè)數(shù)據(jù)，主動(dòng)把握市場(chǎng)動(dòng)態(tài)。整合電力行業(yè)生產(chǎn)、運(yùn)營、銷售、管理的數(shù)據(jù)，實(shí)現(xiàn)電力發(fā)電、輸電、變電、配電、用電、調(diào)度全環(huán)節(jié)數(shù)據(jù)共享，以用電需求預(yù)測(cè)為驅(qū)動(dòng)優(yōu)化資源配置，協(xié)調(diào)電力生產(chǎn)、運(yùn)維、銷售的管理，提升生產(chǎn)效率和資源利用率。此外，電力企業(yè)各部門數(shù)據(jù)的集成將優(yōu)化內(nèi)部信息溝通，使財(cái)務(wù)、人事等工作的開展更順暢，有助于企業(yè)實(shí)行精細(xì)化運(yùn)營管理，提高集團(tuán)管控水平。利用大數(shù)據(jù)技術(shù)加速電力企業(yè)智能化控制的步伐，促進(jìn)智能電網(wǎng)的發(fā)展。例如，通過為電力基礎(chǔ)設(shè)施布置傳感器，動(dòng)態(tài)監(jiān)控設(shè)施運(yùn)行狀況，并基于大數(shù)據(jù)分析挖掘理念和可視化展現(xiàn)技術(shù)手段，采用集成了在線檢測(cè)、視頻監(jiān)控、應(yīng)急指揮、檢修查詢等功能的“智能在線監(jiān)控與可視化調(diào)度管理系統(tǒng)”，有效改變運(yùn)維方式，從萌芽階段消除部分運(yùn)維故障，實(shí)現(xiàn)運(yùn)維智能化。基于大數(shù)據(jù)的電力行業(yè)優(yōu)化-對(duì)內(nèi)：優(yōu)化管控模式大數(shù)據(jù)技術(shù)16基于大數(shù)據(jù)的電力行業(yè)優(yōu)化-對(duì)外：豐富社會(huì)效益利用電力行業(yè)數(shù)據(jù)可給用戶提供更加豐富的增值服務(wù)內(nèi)容。例如，通過給用戶提供其各月份分時(shí)明細(xì)用電視圖，可讓用戶了解自身用電習(xí)慣并能根據(jù)需要進(jìn)行調(diào)整，同時(shí)也使得電力收費(fèi)過程更透明。隨著無線M2M傳感器和大數(shù)據(jù)分析的普及，智能恒溫控制器等新型工具進(jìn)入大型樓房和消費(fèi)者家庭成為可能，未來這些技術(shù)將給用戶帶來很大的節(jié)能空間用電數(shù)據(jù)是一個(gè)地區(qū)經(jīng)濟(jì)運(yùn)行的“風(fēng)向標(biāo)”，可作為投資決策者的參考依據(jù)。美國加州大學(xué)洛杉磯分校的研究者根據(jù)大數(shù)據(jù)理論，將人口調(diào)查信息、電力企業(yè)提供的用戶實(shí)時(shí)用電信息和地理、氣象等信息全部整合，設(shè)計(jì)了一款“電力地圖”。該圖以街區(qū)為單位，可以反映各時(shí)刻的用電量，并可將用電量與人的平均收入、建筑類型等信息進(jìn)行比照。通過完善“電力地圖”，能更準(zhǔn)確地反應(yīng)該區(qū)經(jīng)濟(jì)狀況及各群體的行為習(xí)慣，以輔助投資者的決策，也可為城市和電網(wǎng)規(guī)劃提供基礎(chǔ)依據(jù)?；诖髷?shù)據(jù)的電力行業(yè)優(yōu)化-對(duì)外：豐富社會(huì)效益利用電力行17電力行業(yè)當(dāng)前問題暨大數(shù)據(jù)應(yīng)用場(chǎng)景電力行業(yè)當(dāng)前問題暨大數(shù)據(jù)應(yīng)用場(chǎng)景18電力行業(yè)中數(shù)據(jù)量的增長也呈現(xiàn)出相似的態(tài)勢(shì)。近幾年，電力行業(yè)信息化也得到了長足的發(fā)展，我國電力企業(yè)信息化起源于20世紀(jì)60年代，從初始電力生產(chǎn)自動(dòng)化到80年代以財(cái)務(wù)電算化為代表的管理信息化建設(shè)，再到近年大規(guī)模的企業(yè)信息化建設(shè)，特別伴隨著下一代智能化電網(wǎng)的全面建設(shè)，以物聯(lián)網(wǎng)和云計(jì)算為代表的新一代IT技術(shù)在電力行業(yè)中的廣泛應(yīng)用，電力數(shù)據(jù)資源開始急劇增長并形成了一定的規(guī)模。從長遠(yuǎn)來看，作為中國經(jīng)濟(jì)社會(huì)發(fā)展的“晴雨表”，電力數(shù)據(jù)以其與經(jīng)濟(jì)發(fā)展緊密而廣泛的聯(lián)系，將會(huì)呈現(xiàn)出無以倫比的正外部性，對(duì)我國經(jīng)濟(jì)社會(huì)發(fā)展以至人類社會(huì)進(jìn)步也將形成更為強(qiáng)大的推動(dòng)力。電力行業(yè)信息化歷程初始電力生產(chǎn)自動(dòng)化電力財(cái)務(wù)電算化智能電網(wǎng)時(shí)間：20世紀(jì)60年代時(shí)間：20世紀(jì)80年代時(shí)間：21世紀(jì)10年代電力行業(yè)中數(shù)據(jù)量的增長也呈現(xiàn)出相似的態(tài)勢(shì)。近幾年，19電網(wǎng)數(shù)據(jù)處理面臨的問題及應(yīng)對(duì)–數(shù)據(jù)量劇增為了真實(shí)地記錄生產(chǎn)運(yùn)行的每一個(gè)細(xì)節(jié)，完整地反映生產(chǎn)運(yùn)行過程，應(yīng)用提出了“實(shí)時(shí)變化采樣”的迫切需求；采集頻率越來越高，廣域動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)、設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)在采樣頻率上可以達(dá)到每秒一百甚至一千幀采集點(diǎn)越來越多，常規(guī)的調(diào)度自動(dòng)化系統(tǒng)數(shù)十萬點(diǎn)配用電、數(shù)據(jù)中心將達(dá)到百萬甚至千萬級(jí)用戶智能電表推行后，對(duì)每家每戶的實(shí)時(shí)用電狀態(tài)數(shù)據(jù)監(jiān)控，數(shù)據(jù)量將劇增當(dāng)前數(shù)據(jù)量級(jí)已經(jīng)每日達(dá)到TB級(jí)，智能電網(wǎng)的大幅推進(jìn)后，每日數(shù)據(jù)量將達(dá)到百TB級(jí)，傳統(tǒng)的數(shù)據(jù)處理模式（關(guān)系型數(shù)據(jù)庫模式），已經(jīng)無法滿足海量和高效處理的需求，只有采用大數(shù)據(jù)處理模式，才能實(shí)現(xiàn)低成本，海量、高性能數(shù)據(jù)的處理！數(shù)據(jù)量爆發(fā)式增長電網(wǎng)數(shù)據(jù)處理面臨的問題及應(yīng)對(duì)–數(shù)據(jù)量劇增為了真實(shí)地記錄生20電網(wǎng)數(shù)據(jù)處理面臨的問題–數(shù)據(jù)質(zhì)量電網(wǎng)信息化的分散型系統(tǒng)建設(shè)，目前雖然完成了系統(tǒng)間的“硬”整合。但在數(shù)據(jù)層面的“軟”整合，還存在很多問題。對(duì)于這些電力行業(yè)推進(jìn)大數(shù)據(jù)的困擾。需要建立統(tǒng)一的元數(shù)據(jù)定義、統(tǒng)一的數(shù)據(jù)存儲(chǔ)和管控、統(tǒng)一的數(shù)據(jù)分析處理，這些都需要通過大數(shù)據(jù)模式來建設(shè)。電力行業(yè)數(shù)據(jù)在可獲取的顆粒程度，數(shù)據(jù)獲取的及時(shí)性、完整性、一致性等方面的表現(xiàn)均不盡如人意，數(shù)據(jù)源的唯一性、及時(shí)性和準(zhǔn)確性急需提升，部分?jǐn)?shù)據(jù)尚需手動(dòng)輸入，采集效率和準(zhǔn)確度還有所欠缺，行業(yè)中企業(yè)缺乏完整的數(shù)據(jù)管控策略、組織以及管控流程電力行業(yè)缺乏行業(yè)層面的數(shù)據(jù)模型定義與主數(shù)據(jù)管理，各單位數(shù)據(jù)口徑不一致。行業(yè)中存在較為嚴(yán)重的數(shù)據(jù)壁壘，業(yè)務(wù)鏈條間也尚未實(shí)現(xiàn)充分的數(shù)據(jù)共享，數(shù)據(jù)重復(fù)存儲(chǔ)的現(xiàn)象較為突出電力企業(yè)地域覆蓋范圍極廣，各類防護(hù)體系建設(shè)不平衡，信息安全水平不一致，特別是偏遠(yuǎn)地區(qū)單位防護(hù)體系尚未全面建立，安全性有待提高電力企業(yè)大多已建成一體化企業(yè)級(jí)信息集成平臺(tái)，能夠滿足日常業(yè)務(wù)的處理要求，但其信息網(wǎng)絡(luò)傳輸能力、數(shù)據(jù)存儲(chǔ)能力、數(shù)據(jù)處理能力、數(shù)據(jù)交換能力、數(shù)據(jù)展現(xiàn)能力以及數(shù)據(jù)互動(dòng)能力都無法滿足電力大數(shù)據(jù)的要求，尚需進(jìn)一步加強(qiáng)電網(wǎng)數(shù)據(jù)處理面臨的問題–數(shù)據(jù)質(zhì)量電網(wǎng)信息化的分散型21電力生產(chǎn)過程中大數(shù)據(jù)應(yīng)用場(chǎng)景電力生產(chǎn)過程中大數(shù)據(jù)應(yīng)用場(chǎng)景22大數(shù)據(jù)-下一代智能電網(wǎng)的基石大數(shù)據(jù)-下一代智能電網(wǎng)的基石23智能電網(wǎng)發(fā)展全景圖智能電網(wǎng)發(fā)展全景圖24智能電網(wǎng)的“智能領(lǐng)域”智能電網(wǎng)的“智能領(lǐng)域”25智能電網(wǎng)的“智能”構(gòu)成智能電網(wǎng)的“智能”構(gòu)成26智能電網(wǎng)的構(gòu)成包括數(shù)據(jù)采集、數(shù)據(jù)傳輸、信息集成、分析優(yōu)化和信息展現(xiàn)五個(gè)方面。IT角度的智能電網(wǎng)智能電網(wǎng)的構(gòu)成包括數(shù)據(jù)采集、數(shù)據(jù)傳輸、信息集成、分析優(yōu)27智能電網(wǎng)核心基礎(chǔ)–統(tǒng)一的計(jì)算分析平臺(tái)智能電網(wǎng)的智能核心是“智能大腦”，即智能決策系統(tǒng)，由這個(gè)“大腦”來實(shí)現(xiàn)全局的“智能資源調(diào)度”，實(shí)現(xiàn)從發(fā)電、輸配電、售電、用電的全面“智能化”。而這個(gè)“智能大腦”的每一項(xiàng)決策，都來源于對(duì)全局?jǐn)?shù)據(jù)的計(jì)算分析，因此，其核心基礎(chǔ)就是“統(tǒng)一的計(jì)算分析平臺(tái)”開放的、完整的、統(tǒng)一的電網(wǎng)計(jì)算分析平臺(tái)。實(shí)現(xiàn)電網(wǎng)的實(shí)時(shí)仿真計(jì)算，為電網(wǎng)規(guī)劃、建設(shè)、運(yùn)行、管理提供全局性的、統(tǒng)一的、共享的數(shù)據(jù)和計(jì)算分析交易電價(jià)、售電量、用電客戶、ERP、一體化平臺(tái)、協(xié)同辦公等方面的數(shù)據(jù)物聯(lián)網(wǎng)、云計(jì)算、新能源并網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)電力企業(yè)生產(chǎn)數(shù)據(jù)包括發(fā)電量、電壓穩(wěn)定性等實(shí)時(shí)采集的數(shù)據(jù)TB級(jí)PB級(jí)PB級(jí)在電力工業(yè)與信息化的深度融合，未來的智能電網(wǎng)將承載電力流、信息流、業(yè)務(wù)流，發(fā)電電網(wǎng)信息網(wǎng)的用戶產(chǎn)生疊加，電力網(wǎng)的價(jià)值要進(jìn)一步躍升，這種躍升具有大數(shù)據(jù)的時(shí)代特征。需要采用大數(shù)據(jù)的處理模式來實(shí)現(xiàn)平臺(tái)的構(gòu)建智能電網(wǎng)核心基礎(chǔ)–統(tǒng)一的計(jì)算分析平臺(tái)智能電網(wǎng)的28目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)應(yīng)用分析2彩訊電力行業(yè)大數(shù)據(jù)解決方案3目錄大數(shù)據(jù)的發(fā)展及相關(guān)技術(shù)1電力行業(yè)大數(shù)據(jù)應(yīng)用分析2彩訊電力29彩訊智能電網(wǎng)統(tǒng)一大數(shù)據(jù)平臺(tái)發(fā)電環(huán)節(jié)彩訊統(tǒng)一大數(shù)據(jù)平臺(tái)RichData海量歷史/實(shí)時(shí)數(shù)據(jù)管理、分析平臺(tái)、信息運(yùn)維綜合監(jiān)控等輸電環(huán)節(jié)變電環(huán)節(jié)調(diào)度環(huán)節(jié)配電環(huán)節(jié)用電環(huán)節(jié)發(fā)電廠監(jiān)控、風(fēng)電場(chǎng)綜合監(jiān)控、分布式電源監(jiān)控輸電設(shè)備狀態(tài)監(jiān)測(cè)變電設(shè)備狀態(tài)監(jiān)測(cè)、智能變電站配電自動(dòng)化用電信息采集、費(fèi)控、電動(dòng)汽車充電樁監(jiān)控、用戶電能監(jiān)控智能調(diào)度（EMS、集控、WAMS、電能計(jì)量、水調(diào)自動(dòng)化、雷電監(jiān)測(cè)等）大數(shù)據(jù)平臺(tái)可廣泛應(yīng)用于發(fā)電、輸電、變電、配電、用電、調(diào)度等智能電網(wǎng)六大環(huán)節(jié)，并作為信息通信平臺(tái)的基礎(chǔ)。彩訊智能電網(wǎng)統(tǒng)一大數(shù)據(jù)平臺(tái)發(fā)電環(huán)節(jié)輸電環(huán)節(jié)變電環(huán)節(jié)調(diào)度環(huán)節(jié)配30RichData整體平臺(tái)架構(gòu)RichData的建設(shè)目標(biāo)是通過采用當(dāng)前業(yè)界成熟的數(shù)據(jù)處理技術(shù)和模式，構(gòu)建與具體業(yè)務(wù)松耦的中間性的大數(shù)據(jù)分析挖掘平臺(tái)。目前利用RichData大數(shù)據(jù)平臺(tái)，通過資源的線性擴(kuò)展，可以實(shí)現(xiàn)單條信息秒級(jí)的在線處理性能、每日TB級(jí)數(shù)據(jù)分布式處理、PB級(jí)數(shù)據(jù)的存儲(chǔ)；RichData整體平臺(tái)架構(gòu)RichData的建設(shè)目標(biāo)是通過31RichData-大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理流程結(jié)構(gòu)圖數(shù)據(jù)從業(yè)務(wù)系統(tǒng)進(jìn)行實(shí)時(shí)/定時(shí)采集，進(jìn)行數(shù)據(jù)分發(fā)，經(jīng)過離線計(jì)算平臺(tái)、實(shí)時(shí)計(jì)算平臺(tái)，數(shù)據(jù)進(jìn)入分布式存儲(chǔ)或其他存儲(chǔ)，通過數(shù)據(jù)服務(wù)平臺(tái)統(tǒng)一對(duì)外數(shù)據(jù)服務(wù)。平臺(tái)管理負(fù)責(zé)整個(gè)平臺(tái)的監(jiān)控和管理，包括集群管理(狀態(tài)監(jiān)控，故障恢復(fù)，資源報(bào)告等)、任務(wù)調(diào)度(實(shí)時(shí)任務(wù)調(diào)度、離線任務(wù)調(diào)度，在線/離線任務(wù)協(xié)同等)、監(jiān)控告警、日志報(bào)表等。數(shù)據(jù)在業(yè)務(wù)系統(tǒng)與大數(shù)據(jù)平臺(tái)之間形成一個(gè)增長性閉環(huán)：數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)，通過大數(shù)據(jù)平臺(tái)的分析挖掘，結(jié)果再反饋給業(yè)務(wù)系統(tǒng)，為業(yè)務(wù)系統(tǒng)的提供決策。RichData-大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理流程結(jié)構(gòu)圖數(shù)據(jù)從業(yè)務(wù)32彩訊大數(shù)據(jù)平臺(tái)能力要點(diǎn)支持PB級(jí)數(shù)據(jù)分布式存儲(chǔ)；離線分析能力(PB級(jí)數(shù)據(jù)存儲(chǔ)及計(jì)算能力，日處理數(shù)據(jù)TB級(jí))；實(shí)時(shí)分析能力(秒級(jí)響應(yīng)，7×24小時(shí)不間斷處理能力)；降低平臺(tái)使用門檻，封裝多種統(tǒng)計(jì)分析和數(shù)據(jù)挖掘模型，使用交互式配置實(shí)現(xiàn)個(gè)性化的計(jì)算模式；統(tǒng)一的元數(shù)據(jù)集中管控，保證數(shù)據(jù)定義、數(shù)據(jù)格式的一致性；非功能性需求：可擴(kuò)展性(線性擴(kuò)展，熱插拔動(dòng)態(tài)擴(kuò)展硬件)；高容錯(cuò)性(數(shù)據(jù)完全性，異常處理)；高可靠性(數(shù)據(jù)多副本，單點(diǎn)熱備份)；彩訊大數(shù)據(jù)平臺(tái)能力要點(diǎn)支持PB級(jí)數(shù)據(jù)分布式存儲(chǔ)；33核心能力–配置式個(gè)性化開發(fā)在交互界面上，選取指定的計(jì)算模式，在數(shù)據(jù)元數(shù)據(jù)中選取需要進(jìn)行計(jì)算的屬性，將計(jì)算模式、計(jì)算屬性和元數(shù)據(jù)傳遞給語義層；在語義服務(wù)層，形成對(duì)指定數(shù)據(jù)的指定計(jì)算的算法語義，并將這個(gè)算法語義轉(zhuǎn)換成既定的計(jì)算語義（如：SQL語句）。在分布式計(jì)算層面：先將計(jì)算語義轉(zhuǎn)換成計(jì)算腳本和計(jì)算任務(wù)JOB，然后按照J(rèn)ob的定義選取指定的計(jì)算模板執(zhí)行計(jì)算腳本，并將結(jié)果按計(jì)算語義中定義的結(jié)果模式輸出到指定的結(jié)果表中，同時(shí)實(shí)現(xiàn)在前方數(shù)據(jù)服務(wù)中可檢索；交互界面交互界面計(jì)算屬性計(jì)算模式選取語義服務(wù)轉(zhuǎn)換成計(jì)