大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用課件

大數(shù)據(jù)

--開(kāi)啟智能電網(wǎng)新時(shí)代大數(shù)據(jù)

--開(kāi)啟智能電網(wǎng)新時(shí)代1

目錄

1、大數(shù)據(jù)概念

2、應(yīng)用中看大數(shù)據(jù)

3、迎接電力大數(shù)據(jù)時(shí)代

4、展望電力大數(shù)據(jù)時(shí)代

5、邁向電力大數(shù)據(jù)時(shí)代

6、電力大數(shù)據(jù)實(shí)踐

7、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)

8、云計(jì)算與大數(shù)據(jù)目錄

1、21、大數(shù)據(jù)概念

1、大數(shù)據(jù)概念

3大數(shù)據(jù)的判斷標(biāo)準(zhǔn)——3個(gè)V第4頁(yè)多樣性（Variety）大數(shù)據(jù)不僅局限于結(jié)構(gòu)型數(shù)據(jù)，也包括非結(jié)構(gòu)型數(shù)據(jù)，比如：文字，錄音，錄像，視頻，記錄高速度（Velocity）大數(shù)據(jù)是時(shí)間敏感的，必須快速識(shí)別和快速響應(yīng)才能適應(yīng)業(yè)務(wù)需求大容量（Volume）大數(shù)據(jù)的特點(diǎn)就是巨大。公司充斥著各種數(shù)據(jù)，經(jīng)常是TB級(jí)，甚至是PT級(jí)的信息量大數(shù)據(jù)的判斷標(biāo)準(zhǔn)——3個(gè)V第4頁(yè)多樣性（Variety）高速4大數(shù)據(jù)及大數(shù)據(jù)時(shí)代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜度與規(guī)模已經(jīng)使得現(xiàn)有的數(shù)據(jù)庫(kù)管理工具難以對(duì)其進(jìn)行處理”；大數(shù)據(jù)與技術(shù)環(huán)境的互動(dòng)不只體現(xiàn)在技術(shù)方面，也體現(xiàn)在包括商業(yè)、法律、社會(huì)規(guī)范等人類生活的方方面面。“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程?！?/p>

———哈佛大學(xué)社會(huì)學(xué)教授加里·金海量（Volume）多樣（Variety）快速（Velocity）大數(shù)據(jù)及大數(shù)據(jù)時(shí)代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜5大數(shù)據(jù)時(shí)代趨勢(shì)的本質(zhì)及特點(diǎn)信息生產(chǎn)的廉價(jià)與泛在更廉價(jià)的存儲(chǔ)、更廉價(jià)的計(jì)算、更廉價(jià)的網(wǎng)絡(luò)訪問(wèn)與帶寬，使得信息生產(chǎn)、傳輸、存儲(chǔ)變得更加廉價(jià)與泛在信息反饋豐富及時(shí)大數(shù)據(jù)利用數(shù)字化記錄使得人類反思自己的思想與行為從而改善生活；這些數(shù)字化的記錄能夠讓人們從宏觀的視角更加準(zhǔn)確地俯瞰人群的種種行為，形成整個(gè)人類對(duì)自身的反射思考信息量巨大信息量巨大是大數(shù)據(jù)時(shí)代的一個(gè)特點(diǎn)；數(shù)據(jù)量的增加將從信息環(huán)境和人們的認(rèn)知方式兩方面帶來(lái)深遠(yuǎn)的影響；不同來(lái)源的數(shù)據(jù)的融合將產(chǎn)生更大的價(jià)值；大數(shù)據(jù)時(shí)代的信息處理方式也將是以MoveCodetoData的方式進(jìn)行；以數(shù)據(jù)挖掘和模式識(shí)別為代表的在海量數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)關(guān)系和模式的機(jī)械化數(shù)據(jù)處理工具為人們分析海量數(shù)據(jù)提供了可能。信息具備外部性往往數(shù)據(jù)本身是信息化系統(tǒng)在實(shí)現(xiàn)特定功能而進(jìn)行支撐時(shí)所產(chǎn)生的副產(chǎn)品，這個(gè)副產(chǎn)品除了對(duì)組織自身的決策與運(yùn)營(yíng)改善有所幫助之外，它對(duì)第三方的組織也有不可估量的價(jià)值；在未來(lái)，數(shù)據(jù)為其擁有者創(chuàng)造價(jià)值仍將在未來(lái)的數(shù)據(jù)應(yīng)用領(lǐng)域占有重要地位，同時(shí)數(shù)據(jù)通過(guò)開(kāi)放與流動(dòng)為第三方創(chuàng)造價(jià)值也將是未來(lái)數(shù)據(jù)應(yīng)用的一個(gè)重要領(lǐng)域信息的數(shù)字化信息的數(shù)字化存儲(chǔ)將有助于人們建立數(shù)學(xué)模型，分析事物之間的相關(guān)關(guān)系與因果關(guān)系；數(shù)字化信息可在不同系統(tǒng)中無(wú)損地被復(fù)制、傳播，并展現(xiàn)信息不同的側(cè)面非主動(dòng)干預(yù)的信息生產(chǎn)非主動(dòng)干預(yù)的信息生產(chǎn)能夠突破人類注意力的瓶頸而產(chǎn)生海量的信息；非主動(dòng)干預(yù)所生產(chǎn)的信息更加真實(shí)信息生產(chǎn)的民主化我們所生活的信息環(huán)境是由多數(shù)人決定的，而不是被少數(shù)特權(quán)者所把持；每個(gè)信息的消費(fèi)者同時(shí)也可能是信息的生產(chǎn)者，即人們?cè)诒恍畔h(huán)境所影響的同時(shí)也在影響著信息環(huán)大數(shù)據(jù)時(shí)代趨勢(shì)的本質(zhì)及特點(diǎn)信息生產(chǎn)的廉價(jià)與泛在信息反饋豐富及6大數(shù)據(jù)的產(chǎn)生備注存儲(chǔ)價(jià)格的下降計(jì)算能力的提升帶寬的增加感知器成本的下降f()=技術(shù)以指數(shù)的速度進(jìn)步觸發(fā)了大數(shù)據(jù)現(xiàn)象的出現(xiàn)大數(shù)據(jù)的產(chǎn)生備注存儲(chǔ)價(jià)格的下降f()=技術(shù)以指數(shù)的速度進(jìn)步觸7算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奧巴馬政府的六個(gè)部門聯(lián)合發(fā)布了“大數(shù)據(jù)研究與發(fā)展計(jì)劃”，其中美國(guó)國(guó)家自然科學(xué)基金（NSF）的1,300萬(wàn)美元預(yù)算中的1,000萬(wàn)美元投資于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分別對(duì)應(yīng)MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注Algorit82B，2C到2D。

數(shù)據(jù)驅(qū)動(dòng)的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟(jì)Step2Step3傳統(tǒng)經(jīng)濟(jì)模式下，企業(yè)向客戶出售產(chǎn)品或服務(wù)，以直接賺取金錢為目的互聯(lián)網(wǎng)經(jīng)濟(jì)下，企業(yè)盡可能多地發(fā)展用戶，不以直接從用戶處賺取金錢為目的，希望通過(guò)后向收費(fèi)或者發(fā)掘用戶終身價(jià)值等方式賺取利潤(rùn)?；ヂ?lián)網(wǎng)經(jīng)濟(jì)大數(shù)據(jù)經(jīng)濟(jì)數(shù)據(jù)將是未來(lái)企業(yè)的重要資產(chǎn)，企業(yè)通過(guò)數(shù)據(jù)創(chuàng)造新的商業(yè)模式，或直接通過(guò)數(shù)據(jù)售賣以及利用數(shù)據(jù)提供增值服務(wù)獲得巨大利潤(rùn)產(chǎn)品、服務(wù)用戶數(shù)據(jù)海量用戶+良好的數(shù)據(jù)資產(chǎn)成為未來(lái)核心競(jìng)爭(zhēng)力與收入的重要來(lái)源2D2C2B2B，2C到2D。

數(shù)據(jù)驅(qū)動(dòng)的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟(jì)Step9

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺(tái)走向前臺(tái)，IT從后臺(tái)走向前臺(tái)

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺(tái)102、應(yīng)用中看大數(shù)據(jù)2、應(yīng)用中看大數(shù)據(jù)11使用紀(jì)錄大規(guī)模人類行為活動(dòng)的全量數(shù)據(jù)動(dòng)畫(huà)視頻是演示的2012除夕夜北京市民短信拜年的行為，隨時(shí)間推進(jìn)拜年短信在市區(qū)地圖上以煙花效果顯示?；趯?duì)數(shù)百萬(wàn)條短信的可視化分析，拜年的高潮并不是我們想像的午夜，而是晚餐前。全量數(shù)據(jù)，告訴了我們所不知的事實(shí)。量尺、天平、顯微鏡是我們認(rèn)知傳統(tǒng)物理世界的工具。而今天，能夠如上帝般掌控全量數(shù)據(jù)，依賴于創(chuàng)新的信息技術(shù)，計(jì)算機(jī)不再只是打字、記賬、通訊工具，大數(shù)據(jù)幫助我們重新認(rèn)識(shí)探索世界使用紀(jì)錄大規(guī)模人類行為活動(dòng)的全量數(shù)據(jù)動(dòng)畫(huà)視頻是演示的201212大數(shù)據(jù)開(kāi)啟個(gè)性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時(shí)代才真正的開(kāi)啟了對(duì)個(gè)體的關(guān)注，對(duì)意識(shí)層面的關(guān)注。

輸入你的微博賬戶，系統(tǒng)會(huì)計(jì)算并試圖描述你，主題詞標(biāo)簽云，你背后的朋友圈、事業(yè)圈，性格分析、情緒分析，這些都來(lái)自于你的歷史言論和社交行為。天云大數(shù)據(jù)利用自然語(yǔ)言處理和機(jī)器學(xué)習(xí)技術(shù)，為零售、金融等商業(yè)活動(dòng)，精確感知客戶，從而洞察市場(chǎng)，有效干預(yù)。大數(shù)據(jù)開(kāi)啟個(gè)性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時(shí)代才真13要效率，大數(shù)據(jù)3秒鎖定疑犯－

公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車，住同一酒店的兩個(gè)人可能是同伙，刑偵人員將不同線索拼湊起來(lái)排查疑犯，可是來(lái)自于多源數(shù)據(jù)的處理在傳統(tǒng)IOE架構(gòu)上，需要數(shù)小時(shí)甚至整日。天云大數(shù)據(jù)平臺(tái)將這一操作縮短至3秒，同時(shí)描述出疑犯的交往關(guān)系。公安人員可以基于計(jì)算出的線索流暢的思考。大數(shù)據(jù)的效率讓量變成為質(zhì)變，形成新的洞察與知識(shí)要效率，大數(shù)據(jù)3秒鎖定疑犯－公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車14“感覺(jué)”“情緒”等大量碎片息的度量與評(píng)估

大數(shù)據(jù)品牌影響力分析收集社交網(wǎng)絡(luò)中索納塔8新車發(fā)布一年里的全部言論，通過(guò)天云大數(shù)據(jù)的NPL和機(jī)器學(xué)習(xí)技術(shù)，對(duì)該品牌的各類主題關(guān)鍵詞形成標(biāo)簽云。“優(yōu)惠”“客運(yùn)”“出租”“帕薩特”等標(biāo)簽，基本勾勒出了基本品牌定位和競(jìng)爭(zhēng)車型。同時(shí)社交網(wǎng)絡(luò)談?wù)摰臄?shù)量，可以描述該品牌的市場(chǎng)活躍度和影響力?；谡Z(yǔ)義情緒分析引擎可以定量品牌美譽(yù)度（藍(lán)色）和負(fù)面評(píng)論（紅色），從而對(duì)線下市場(chǎng)營(yíng)銷活動(dòng)做針對(duì)性指導(dǎo)。大數(shù)據(jù)提供更廣、更多維度的度量工具，幫助我們認(rèn)知和改造世界。“感覺(jué)”“情緒”等大量碎片息的度量與評(píng)估

大數(shù)據(jù)品牌15移動(dòng)：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析移動(dòng)：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析16移動(dòng)：上網(wǎng)行為分析應(yīng)用架構(gòu)移動(dòng)：上網(wǎng)行為分析應(yīng)用架構(gòu)17移動(dòng)：BDA——URL解析分詞庫(kù)爬取基準(zhǔn)url分類日志URL比對(duì)陌生URL已知URL網(wǎng)頁(yè)分類訓(xùn)練集百度熱詞爬取爬取內(nèi)容，分詞，根據(jù)規(guī)則將分詞入分詞庫(kù)爬取內(nèi)容，與分詞庫(kù)根據(jù)規(guī)則匹配，找出對(duì)應(yīng)url類別讀庫(kù)入庫(kù)匹配入庫(kù)入庫(kù)讀庫(kù)移動(dòng)：BDA——URL解析分詞庫(kù)爬取基準(zhǔn)url分類日志URL18運(yùn)營(yíng)商——CDR話單的交往圈識(shí)別CDR話單基于大數(shù)據(jù)處理及分析技術(shù)的交往圈運(yùn)算全量用戶真實(shí)的交往圈機(jī)器學(xué)習(xí)算法：最大邊緣算法最大連通圖最短路徑Hip-Hop社交圈分析…垃圾用戶

主叫多

通話人之間無(wú)社交關(guān)系

通話時(shí)間短…優(yōu)質(zhì)用戶互動(dòng)

社交圈

通話時(shí)間長(zhǎng)…基于大數(shù)據(jù)技術(shù)的交往圈識(shí)別與分析運(yùn)營(yíng)商——CDR話單的交往圈識(shí)別CDR話單基于大數(shù)據(jù)處理及分銀行：根據(jù)用戶行為與交往圈進(jìn)行個(gè)貸信用評(píng)估購(gòu)買一氧化碳檢測(cè)器以及煙霧警報(bào)器的顧客購(gòu)買了房子，并且他們的生活態(tài)度比較謹(jǐn)慎，是低信用風(fēng)險(xiǎn)顧客。購(gòu)買鈦合金鉆頭以及木工工具的顧客有著比較奢侈的業(yè)余愛(ài)好，這部分顧客的信用風(fēng)險(xiǎn)也比較低?！帮L(fēng)險(xiǎn)”最高的消費(fèi)是：加拿大蒙特利爾市的SharxPool酒吧里的消費(fèi)，其中47%的顧客用CanadianTire信用卡消費(fèi)以后在12個(gè)月內(nèi)曾經(jīng)四次拖欠還款。最“安全”的顧客是：購(gòu)買昂貴的鳥(niǎo)食以及一種新型的“屋頂雪鏟”的顧客——戶主用這種雪鏟清除高處的積雪以免它們落到人行道上。社會(huì)資本代表了一個(gè)人的社交網(wǎng)絡(luò)的價(jià)值。一個(gè)人的社會(huì)資本由其所處的社會(huì)地位、影響力、聲望等因素決定社會(huì)資本和資產(chǎn)、人力資本存在一定相關(guān)性，但其中相關(guān)性并非絕對(duì)，有可能資產(chǎn)較低的人卻擁有較高的社會(huì)資本。一個(gè)擁有較低的資產(chǎn)，但是他擁有較好的社會(huì)資產(chǎn)，有可能在短期內(nèi)調(diào)動(dòng)有用資源完成任務(wù)?？梢允褂妙愃芇ageRank的算法對(duì)用戶的社會(huì)資本進(jìn)行評(píng)估?！澳愕某晒Σ粌H取決于你擁有什么，還取決于你認(rèn)識(shí)誰(shuí)”“你的行為有可能出賣了你”銀行：根據(jù)用戶行為與交往圈進(jìn)行個(gè)貸信用評(píng)估購(gòu)買一氧化碳檢20銀行——?dú)v史數(shù)據(jù)存儲(chǔ)查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……BDP平臺(tái)數(shù)據(jù)準(zhǔn)備層需求定義結(jié)構(gòu)統(tǒng)一邏輯定義轉(zhuǎn)換加載BDF中間件固定查詢動(dòng)態(tài)查詢司法查詢其他查詢條件解析異構(gòu)轉(zhuǎn)換數(shù)據(jù)更新優(yōu)化策略瀏覽器客戶端Excel下載PDF下載門戶管理任務(wù)監(jiān)控權(quán)限管理運(yùn)維管理系統(tǒng)管理銀行——?dú)v史數(shù)據(jù)存儲(chǔ)查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……B213、迎接電力大數(shù)據(jù)時(shí)代3、迎接電力大數(shù)據(jù)時(shí)代22備注每個(gè)設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬(wàn)條數(shù)據(jù)如果一個(gè)家庭有10個(gè)設(shè)備需要監(jiān)控，則一年產(chǎn)生400TB

存儲(chǔ)12傳統(tǒng)電表每年產(chǎn)生12條數(shù)據(jù)電力大數(shù)據(jù)源起備注每個(gè)設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬(wàn)條數(shù)據(jù)1223電力大數(shù)據(jù)價(jià)值內(nèi)涵電力大數(shù)據(jù)價(jià)值內(nèi)涵24電力大數(shù)據(jù)特征電力大數(shù)據(jù)特征254、展望電力大數(shù)據(jù)時(shí)代4、展望電力大數(shù)據(jù)時(shí)代26電力大數(shù)據(jù)價(jià)值分析大數(shù)據(jù)技術(shù)能夠?yàn)橹袊?guó)電力工業(yè)帶來(lái)顯著的財(cái)務(wù)價(jià)值，在企業(yè)內(nèi)部的應(yīng)用也將極大的提高電力企業(yè)的運(yùn)營(yíng)效率和營(yíng)收能力。除此之外，由于電力能源基礎(chǔ)設(shè)施的泛在性，其“天然聯(lián)系千家萬(wàn)戶”的能源特質(zhì)，將使電力大數(shù)據(jù)的理念得到了全社會(huì)的廣泛認(rèn)可。由此帶來(lái)的規(guī)?；?yīng)，電力工業(yè)的發(fā)展，加速傳統(tǒng)能源設(shè)施行業(yè)的快速轉(zhuǎn)型之外，整個(gè)國(guó)家經(jīng)濟(jì)中國(guó)社會(huì)的可持續(xù)發(fā)展都將起到積極而特殊的作用、綠色發(fā)展的方法、路線和政策。電力大數(shù)據(jù)價(jià)值分析大數(shù)據(jù)技術(shù)能夠?yàn)橹袊?guó)電27電力大數(shù)據(jù)應(yīng)用前景電力大數(shù)據(jù)應(yīng)用前景28電力大數(shù)據(jù)應(yīng)用前景（續(xù)）電力大數(shù)據(jù)應(yīng)用前景（續(xù)）29電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強(qiáng)。二數(shù)據(jù)共享不暢，數(shù)據(jù)集成程度不夠。三防御能力不足，信息安全面臨挑戰(zhàn)。四承載能力不足，基礎(chǔ)設(shè)施函待完善。五相關(guān)人才欠缺，專業(yè)人員供應(yīng)不足。電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強(qiáng)。二數(shù)據(jù)共305、邁向電力大數(shù)據(jù)時(shí)代5、邁向電力大數(shù)據(jù)時(shí)代31電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)四數(shù)據(jù)展現(xiàn)技術(shù)電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)32電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三人才培養(yǎng)、生態(tài)建設(shè)四智慧電力、智慧城市電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三336、電力大數(shù)據(jù)實(shí)踐6、電力大數(shù)據(jù)實(shí)踐34實(shí)時(shí)海量數(shù)據(jù)是堅(jiān)強(qiáng)智能電網(wǎng)的重要資產(chǎn)實(shí)時(shí)海量數(shù)據(jù)是堅(jiān)強(qiáng)智能電網(wǎng)的重要資產(chǎn)35對(duì)實(shí)時(shí)數(shù)據(jù)的接入、存儲(chǔ)與處理、

監(jiān)測(cè)與智能分析要求海量安全接入信息網(wǎng)絡(luò)覆蓋范圍，支持智能傳感器、智能表計(jì)等設(shè)備接入多渠道互動(dòng)用戶入口信息雙向交互的安全防護(hù)能力海量存儲(chǔ)電網(wǎng)狀態(tài)、設(shè)備狀態(tài)、用電信息采集等海量信息的存儲(chǔ)能力海量實(shí)時(shí)數(shù)據(jù)的處理、分析能力覆蓋營(yíng)銷、生產(chǎn)調(diào)度、經(jīng)營(yíng)管理的公司一體化數(shù)據(jù)模型，統(tǒng)一管理公司各類數(shù)據(jù)資源實(shí)時(shí)監(jiān)測(cè)資產(chǎn)運(yùn)行績(jī)效的實(shí)時(shí)監(jiān)測(cè)和分析能力電網(wǎng)的動(dòng)態(tài)運(yùn)行監(jiān)測(cè)、智能報(bào)警、自動(dòng)故障定位等能力用戶用電行為、能效、電能質(zhì)量等分析能力智能分析新能源和分布式能源的并網(wǎng)控制能力電網(wǎng)調(diào)度和運(yùn)行監(jiān)控的協(xié)同融合能力實(shí)時(shí)線損管理及實(shí)時(shí)費(fèi)控能力儲(chǔ)能系統(tǒng)的遠(yuǎn)方監(jiān)視和控制能力需求側(cè)管理和對(duì)用戶負(fù)荷的控制能力對(duì)實(shí)時(shí)數(shù)據(jù)的接入、存儲(chǔ)與處理、

監(jiān)測(cè)與智能分析要求海量安全接36電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率調(diào)控中心SCADA/EMS電流、電壓、功率、檔位、頻率、開(kāi)關(guān)動(dòng)作、SOE、保護(hù)事件、計(jì)算值、積分電量132980點(diǎn)1~3秒電能計(jì)量關(guān)口電量數(shù)據(jù)2860個(gè)表計(jì)15分鐘生技(電科院)設(shè)備在線監(jiān)測(cè)系統(tǒng)變壓器監(jiān)測(cè)SPTR、絕緣監(jiān)測(cè)SINS、局放監(jiān)測(cè)與診斷SPDC、斷路器SCBR、避雷器SLAR、環(huán)境監(jiān)測(cè)SENV、絕緣氣體監(jiān)測(cè)SIMG、絕緣液體監(jiān)測(cè)SIML等待調(diào)研3秒覆冰檢測(cè)系統(tǒng)平均溫度（℃）、溫度（℃）、濕度（%RH）、風(fēng)速（m/s）、雨量（mm/h）、導(dǎo)線拉力（kg）、地線拉力（kg）、導(dǎo)線傾角（°）、地線傾角（°）、導(dǎo)線覆冰厚度（mm）、地線覆冰厚度（mm）12個(gè)檢測(cè)點(diǎn)5-15分鐘變壓器絕緣油在線監(jiān)測(cè)氫氣、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、總烴、總可燃?xì)怏w350個(gè)檢測(cè)點(diǎn)日變壓器中性點(diǎn)直流分量監(jiān)測(cè)系統(tǒng)變壓器中性點(diǎn)直流電流347個(gè)檢測(cè)點(diǎn)3秒

雷電定位系統(tǒng)電流、地點(diǎn)（經(jīng)緯度）18個(gè)檢測(cè)點(diǎn)

秒

電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)37電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率電科院電能質(zhì)量所電能質(zhì)量監(jiān)測(cè)系統(tǒng)頻率、諧波電流、諧波電壓等180個(gè)采集點(diǎn)秒

計(jì)量中心計(jì)量自動(dòng)化系統(tǒng)凍結(jié)電量,實(shí)時(shí)電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報(bào)警數(shù)據(jù)

四分線損統(tǒng)計(jì)數(shù)據(jù)主網(wǎng)3000個(gè)表計(jì)，

配網(wǎng)專變用戶266418表計(jì)，配網(wǎng)公變用戶192853表計(jì)，低壓用戶322153815分鐘電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)38電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某市實(shí)時(shí)數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率系統(tǒng)運(yùn)行部（調(diào)度）SCADA/EMS電壓，電流，開(kāi)關(guān)位置，電網(wǎng)拓?fù)浣Y(jié)構(gòu)遙測(cè)：超過(guò)3萬(wàn)遙信：超過(guò)6萬(wàn)1~3秒DMS10kv出線到用戶表計(jì)的電壓、電流、開(kāi)關(guān)位置等信息1萬(wàn)個(gè)監(jiān)測(cè)點(diǎn)遙測(cè)2-3萬(wàn)遙信2萬(wàn)多15分鐘計(jì)量中心計(jì)量自動(dòng)化系統(tǒng)凍結(jié)電量,實(shí)時(shí)電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報(bào)警數(shù)據(jù)，四分線損統(tǒng)計(jì)數(shù)據(jù)專變1萬(wàn)多公變1萬(wàn)多小區(qū)集抄20多萬(wàn)15分鐘電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某市實(shí)時(shí)數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)39大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計(jì)控制動(dòng)畫(huà)中實(shí)時(shí)記錄了每一座建筑的用電情況，酒店因party而在周末達(dá)到峰值，區(qū)域的用電情況并不均衡…智能電表的應(yīng)用引爆了數(shù)據(jù)激增，數(shù)據(jù)從12條每年增至400TB(10萬(wàn)人口的城鎮(zhèn)每15秒采集)。但數(shù)據(jù)形成了新的生產(chǎn)力，不僅是預(yù)測(cè)，更可精確指導(dǎo)送電和發(fā)電。如同工業(yè)時(shí)代的機(jī)器人批量生產(chǎn)工業(yè)品，信息時(shí)代大數(shù)據(jù)在規(guī)?；詣?dòng)化加工新的生產(chǎn)資料(數(shù)據(jù))，形成新的生產(chǎn)力。大數(shù)據(jù)生產(chǎn)力并不僅僅是供人類使用的洞察與決策，更可直接嵌入生產(chǎn)環(huán)節(jié)，機(jī)器指導(dǎo)機(jī)器，形成新的控制閉環(huán)，服務(wù)于工業(yè)、農(nóng)業(yè)、商業(yè)、服務(wù)業(yè)等，相對(duì)于互聯(lián)網(wǎng)的注意力經(jīng)濟(jì)，大數(shù)據(jù)構(gòu)建了一張更為廣闊的產(chǎn)業(yè)藍(lán)圖。Bigdata

ismoreaboutAutomation

thanInsight大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計(jì)控制動(dòng)40大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析系統(tǒng)需求隨著公司信息化水平的不斷提高，主機(jī)、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件數(shù)量不斷增多，業(yè)務(wù)資源訪問(wèn)、操作量不斷增加，急需建立一套統(tǒng)一的日志集中管理和審計(jì)系統(tǒng)，能夠收集來(lái)自企業(yè)和組織計(jì)算環(huán)境中各種設(shè)備和應(yīng)用的安全日志，并進(jìn)行存儲(chǔ)、監(jiān)控、分析、報(bào)警、響應(yīng)和報(bào)告。目標(biāo)基于HADOOP分布式存儲(chǔ)和計(jì)算平臺(tái)的開(kāi)發(fā)及系統(tǒng)部署全面的日志采集及歸一化處理功能開(kāi)發(fā)及實(shí)施多維關(guān)聯(lián)分析功能開(kāi)發(fā)及實(shí)施價(jià)值IT服務(wù)創(chuàng)新，提高服務(wù)水平和生產(chǎn)效率大數(shù)據(jù)新技術(shù)的引入創(chuàng)新，團(tuán)隊(duì)大數(shù)據(jù)技術(shù)的使用和掌握探索大數(shù)據(jù)新模式，為深入挖掘數(shù)據(jù)價(jià)值鋪墊大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析417、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)7、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)42其他數(shù)據(jù)旁路采集數(shù)據(jù)HA管理集群監(jiān)控集群告警日志管理元數(shù)據(jù)管理數(shù)據(jù)生命周期管理安全管理操作系統(tǒng)自動(dòng)部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)層資源部署層分布式集群自動(dòng)部署數(shù)據(jù)獲取層數(shù)據(jù)并行采集數(shù)據(jù)文件導(dǎo)入開(kāi)發(fā)管理層清洗轉(zhuǎn)換腳本開(kāi)發(fā)流程開(kāi)發(fā)流程管理流程調(diào)度SQL開(kāi)發(fā)接口訪問(wèn)層JDBC接口Web服務(wù)接口自定義API平臺(tái)管理監(jiān)控層監(jiān)控報(bào)表展示（展現(xiàn)，告警，報(bào)送，門戶集成）邏輯架構(gòu)圖其他數(shù)據(jù)旁路采集數(shù)據(jù)操作系統(tǒng)自動(dòng)部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)43物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群44數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡從發(fā)展趨勢(shì)和支撐的數(shù)據(jù)擴(kuò)展規(guī)模上看，傳統(tǒng)給MPP技術(shù)是數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡性技術(shù)。不能有效的支持應(yīng)用靈活性及隨需變化的要求。大數(shù)據(jù)解決方案提供了釋放應(yīng)用靈活性所需要的底層平臺(tái)和數(shù)據(jù)加工能力：通過(guò)WEB頁(yè)面和網(wǎng)絡(luò)就能進(jìn)行HADOOP相關(guān)組件的部署、監(jiān)控、配置和操作的自動(dòng)化管理平臺(tái)。提供了是能夠?qū)崿F(xiàn)如多種主流Linux操作系統(tǒng)的網(wǎng)絡(luò)分發(fā)安裝，基于Hadoop集群的快速部署、管理和監(jiān)控，以及分布式的數(shù)據(jù)就緒及處理等等的組件。為企業(yè)中大數(shù)據(jù)能力及項(xiàng)目的快速就緒提供簡(jiǎn)單有效的高性價(jià)比解決方案。大數(shù)據(jù)技術(shù)固然誘人，但是其進(jìn)入企業(yè)的過(guò)程仍然需要適合企業(yè)的生長(zhǎng)環(huán)境，需要與企業(yè)已有的生態(tài)系統(tǒng)的方方面面共同生存。因此，大數(shù)據(jù)之于企業(yè)而言，在考慮業(yè)務(wù)需求的同時(shí)，對(duì)于數(shù)據(jù)安全、系統(tǒng)高可用性和容災(zāi)能力的要求也非常重要。流計(jì)算平臺(tái)可以捕捉數(shù)據(jù)流、篩選內(nèi)容并調(diào)用復(fù)雜的分布式事件計(jì)算，從而在最短的時(shí)間內(nèi)把數(shù)據(jù)關(guān)聯(lián)、分類和轉(zhuǎn)換為有價(jià)值的信息。

用普通PC服務(wù)器集群構(gòu)建的分布式流計(jì)算平臺(tái)，實(shí)現(xiàn)高性能、高可靠性、高彈性；易用性（便捷開(kāi)發(fā)與靈活定制以及自動(dòng)化運(yùn)維）和即時(shí)就緒能力；可視化（流計(jì)算的可視化實(shí)時(shí)性往往與實(shí)時(shí)性相關(guān)，決定了其技術(shù)與傳統(tǒng)的BI的可視化不同）數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡從發(fā)展趨勢(shì)和支撐的數(shù)據(jù)擴(kuò)展規(guī)模上看45大數(shù)據(jù)核心技術(shù)——Hadoop

大數(shù)據(jù)核心技術(shù)——Hadoop46

大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實(shí)踐的執(zhí)行者BDABDFBDPBeagleDataFlow:企業(yè)友好MapReduce免開(kāi)發(fā)行業(yè)最佳實(shí)踐的集成BeagleDataPlatform:自動(dòng)化部署智能調(diào)度使用簡(jiǎn)單助力構(gòu)建企業(yè)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)為企業(yè)提供：專家服務(wù)解決方案基礎(chǔ)平臺(tái)架構(gòu)BeagleDataAccelerator:機(jī)器學(xué)習(xí)等算法的集成ANN,SVM,BAYERS,NLP…數(shù)據(jù)到商業(yè)價(jià)值的轉(zhuǎn)換分布式計(jì)算基于分布式計(jì)算的開(kāi)發(fā)能力科研成果的商業(yè)化使用簡(jiǎn)單加速創(chuàng)新解決問(wèn)題核心競(jìng)爭(zhēng)力大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實(shí)踐47商品化的X86服務(wù)器無(wú)需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中間件開(kāi)發(fā)運(yùn)行

BDA(BeagleDataAccelerator)ML機(jī)器學(xué)習(xí)工具包發(fā)布語(yǔ)義計(jì)算行為關(guān)系視覺(jué)計(jì)算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融歷史紀(jì)錄/影像/風(fēng)險(xiǎn)管理醫(yī)療衛(wèi)生EMR/HER/重癥監(jiān)護(hù)醫(yī)療／BI/能源智能電網(wǎng)/油田制造自動(dòng)控制/質(zhì)檢零售消費(fèi)行為分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自動(dòng)化/監(jiān)控/調(diào)度任務(wù)管理/任務(wù)分配/日常維護(hù)電信精準(zhǔn)營(yíng)銷/話單查詢/IT支撐優(yōu)化DataMgnt:企業(yè)友好數(shù)據(jù)視圖位置感知／數(shù)據(jù)膨脹／生命周期管理／容災(zāi)業(yè)務(wù)能力數(shù)據(jù)能力平臺(tái)能力領(lǐng)先的大數(shù)據(jù)理念—

助力企業(yè)“大數(shù)據(jù)能力”的形成商品化的X86服務(wù)器HadoopDistributions48其他數(shù)據(jù)日志數(shù)據(jù)系統(tǒng)數(shù)據(jù)云化ETL工具抽取加載轉(zhuǎn)換數(shù)據(jù)存儲(chǔ)（分布式大數(shù)據(jù)存儲(chǔ)平臺(tái)）權(quán)限管理標(biāo)準(zhǔn)化運(yùn)維監(jiān)控質(zhì)量管控?cái)?shù)據(jù)流式處理數(shù)據(jù)任務(wù)調(diào)度數(shù)據(jù)挖掘數(shù)據(jù)平臺(tái)服務(wù)（PAAS）數(shù)據(jù)分析服務(wù)（SAAS）監(jiān)控系統(tǒng)用戶數(shù)據(jù)可視化系統(tǒng)分類其他數(shù)據(jù)應(yīng)用大數(shù)據(jù)監(jiān)控的系統(tǒng)架構(gòu)其他數(shù)據(jù)日志數(shù)據(jù)系統(tǒng)數(shù)據(jù)云化ETL工具抽取加載轉(zhuǎn)換數(shù)據(jù)存儲(chǔ)（498、云計(jì)算與大數(shù)據(jù)8、云計(jì)算與大數(shù)據(jù)50云計(jì)算的理念

云計(jì)算是計(jì)算資源像祥云一樣廣域分布、統(tǒng)一配置、精確管理、協(xié)同工作、多任務(wù)并發(fā)運(yùn)算的一種計(jì)算機(jī)集群工作方式，使用支持多任務(wù)、多節(jié)點(diǎn)統(tǒng)一并發(fā)計(jì)算的專用操作系統(tǒng)并將數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫(kù)中。

核心理念：在成本低廉的基礎(chǔ)設(shè)施上提供高性能、高可靠的服務(wù)。云計(jì)算的理念云計(jì)算是計(jì)算資源像祥云一樣廣域分布、統(tǒng)一51NIST:云計(jì)算是一種能夠通過(guò)網(wǎng)絡(luò)以便利的、按需付費(fèi)的方式獲取計(jì)算資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等）并提高其可用性的模式，這些資源來(lái)自一個(gè)共享的、可配置的資源池，并能夠以最省力和無(wú)人干預(yù)的方式獲取和釋放。52軟件即服務(wù)（SaaS）基礎(chǔ)設(shè)施即服務(wù)（IaaS）平臺(tái)即服務(wù)（PaaS）公有云面向外部用戶需求，通過(guò)開(kāi)放網(wǎng)絡(luò)向一般大眾或中小企業(yè)群體提供云計(jì)算服務(wù)私有云大型企業(yè)按照云計(jì)算的架構(gòu)搭建平臺(tái)，面向企業(yè)內(nèi)部需求提供云計(jì)算服務(wù)社區(qū)云混合云云基礎(chǔ)設(shè)施被一些組織共享，并為一個(gè)有共同關(guān)注點(diǎn)的社區(qū)或大機(jī)構(gòu)服務(wù)云基礎(chǔ)設(shè)施由上述兩種或以上的云組成，每種云仍然保持獨(dú)立實(shí)體，但用標(biāo)準(zhǔn)或?qū)Ｓ屑夹g(shù)將其組合起來(lái)操作系統(tǒng)+應(yīng)用服務(wù)引擎硬件資源應(yīng)用系統(tǒng)按需自助服務(wù)虛擬化的資源池寬帶網(wǎng)絡(luò)接入快熟彈性架構(gòu)可測(cè)量的服務(wù)用戶通過(guò)Internet（如瀏覽器）使用軟件，不必購(gòu)買軟件，只需按需租用軟件提供應(yīng)用服務(wù)引擎，如互聯(lián)網(wǎng)應(yīng)用編程接口/運(yùn)行平臺(tái)等用戶基于該應(yīng)用服務(wù)引擎，可以構(gòu)建相應(yīng)類別的應(yīng)用以服務(wù)的形式提供虛擬硬件資源。用戶無(wú)需購(gòu)買服務(wù)器、存儲(chǔ)等，只需通過(guò)互聯(lián)網(wǎng)租賃即可搭建自己的應(yīng)用系統(tǒng)5個(gè)關(guān)鍵特征3種服務(wù)模式4種部署方式*注：NIST，即美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院云計(jì)算的定義NIST:云計(jì)算是一種能夠通過(guò)網(wǎng)絡(luò)以便利的、按需付費(fèi)的方式獲52云計(jì)算核心思想是根據(jù)用戶需求，將大量用網(wǎng)絡(luò)連接的計(jì)算、存儲(chǔ)資源集中進(jìn)行統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)資源池，向用戶提供IT基礎(chǔ)設(shè)施、數(shù)據(jù)和應(yīng)用的服務(wù)，這個(gè)提供資源的網(wǎng)絡(luò)就稱為“云”。之所以稱為“云”，是因?yàn)樵朴?jì)算在某些方面具有現(xiàn)實(shí)中云的特征：規(guī)模比較大、可以動(dòng)態(tài)伸縮、無(wú)需確定具體位置等。云計(jì)算意味著計(jì)算能力也可以作為一種商品通過(guò)網(wǎng)絡(luò)進(jìn)行流通，類似于電力從單臺(tái)發(fā)電機(jī)轉(zhuǎn)向了電廠集中供電。網(wǎng)絡(luò)云云計(jì)算的核心思想云計(jì)算核心思想是根據(jù)用戶需求，將大量用網(wǎng)絡(luò)連接53計(jì)算模式的發(fā)展趨勢(shì)MainframeNetwork、Client/Server、ClusterGrid、Cloud、Internet規(guī)模、能力范圍、用戶PC80%數(shù)據(jù)、計(jì)算、應(yīng)用將“云化”計(jì)算模式的發(fā)展趨勢(shì)MainframeNetwork、Clie54云計(jì)算與傳統(tǒng)IT架構(gòu)的對(duì)比55云計(jì)算優(yōu)勢(shì)體現(xiàn)提高可靠性實(shí)現(xiàn)數(shù)據(jù)冗余備份實(shí)現(xiàn)資源的可靠利用實(shí)現(xiàn)計(jì)算的安全穩(wěn)定降低成本降低服務(wù)成本延長(zhǎng)資產(chǎn)的壽命隨需提供簡(jiǎn)化用戶對(duì)信息資源的獲取提高信息服務(wù)質(zhì)量提高效率提高運(yùn)行效率提高資源的效能提高運(yùn)維管理效率云架構(gòu)傳統(tǒng)IT架構(gòu)虛擬化架構(gòu)應(yīng)用服務(wù)器網(wǎng)路存儲(chǔ)圖例云計(jì)算與傳統(tǒng)IT架構(gòu)的對(duì)比55云計(jì)算優(yōu)勢(shì)體現(xiàn)提高可靠性降低成55云計(jì)算三層體系架構(gòu)計(jì)算資源池基礎(chǔ)設(shè)施資源存儲(chǔ)資源池網(wǎng)絡(luò)資源池平臺(tái)資源應(yīng)用資源數(shù)據(jù)庫(kù)中間件ERP辦公服務(wù)自動(dòng)化運(yùn)維管理系統(tǒng)監(jiān)控管理商業(yè)智能操作系統(tǒng)資源開(kāi)發(fā)環(huán)境測(cè)試環(huán)境

軟件即服務(wù)SaaS

(SoftwareasService）并行計(jì)算框架

平臺(tái)即服務(wù)PaaS

(PlatformasService）

基礎(chǔ)設(shè)施即服務(wù)IaaS

(InfrastructureasService）云計(jì)算三層體系架構(gòu)計(jì)算資源池基礎(chǔ)設(shè)施資源存儲(chǔ)資源池網(wǎng)絡(luò)資源池56云計(jì)算表現(xiàn)形式數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點(diǎn)的恢復(fù)；軟件在云端：不必下載自動(dòng)升級(jí)；無(wú)所不在的計(jì)算：在任何時(shí)間，任意地點(diǎn)，任何設(shè)備登錄后就可以進(jìn)行計(jì)算服務(wù)；強(qiáng)大的計(jì)算：具有無(wú)限空間的，無(wú)限速度。硬件為中心軟件為中心服務(wù)為中心PCC/S云計(jì)算云計(jì)算表現(xiàn)形式數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點(diǎn)的恢57云計(jì)算可靠性研究組云計(jì)算大數(shù)據(jù)案例1：中國(guó)移動(dòng)BigCloud云計(jì)算可靠性研究組云計(jì)算大數(shù)據(jù)案例1：中國(guó)移動(dòng)BigClo58云計(jì)算大數(shù)據(jù)案例2：淘寶分布式數(shù)據(jù)處理云可靠性研究小組云計(jì)算大數(shù)據(jù)案例2：淘寶分布式數(shù)據(jù)處理云可靠性研究小組59數(shù)據(jù)改變商業(yè)Bigdataisnotaboutthesize,butfreedom.謝謝！數(shù)據(jù)改變商業(yè)Bigdataisnotaboutth60大數(shù)據(jù)

--開(kāi)啟智能電網(wǎng)新時(shí)代大數(shù)據(jù)

--開(kāi)啟智能電網(wǎng)新時(shí)代61

目錄

1、大數(shù)據(jù)概念

2、應(yīng)用中看大數(shù)據(jù)

3、迎接電力大數(shù)據(jù)時(shí)代

4、展望電力大數(shù)據(jù)時(shí)代

5、邁向電力大數(shù)據(jù)時(shí)代

6、電力大數(shù)據(jù)實(shí)踐

7、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)

8、云計(jì)算與大數(shù)據(jù)目錄

1、621、大數(shù)據(jù)概念

1、大數(shù)據(jù)概念

63大數(shù)據(jù)的判斷標(biāo)準(zhǔn)——3個(gè)V第64頁(yè)多樣性（Variety）大數(shù)據(jù)不僅局限于結(jié)構(gòu)型數(shù)據(jù)，也包括非結(jié)構(gòu)型數(shù)據(jù)，比如：文字，錄音，錄像，視頻，記錄高速度（Velocity）大數(shù)據(jù)是時(shí)間敏感的，必須快速識(shí)別和快速響應(yīng)才能適應(yīng)業(yè)務(wù)需求大容量（Volume）大數(shù)據(jù)的特點(diǎn)就是巨大。公司充斥著各種數(shù)據(jù)，經(jīng)常是TB級(jí)，甚至是PT級(jí)的信息量大數(shù)據(jù)的判斷標(biāo)準(zhǔn)——3個(gè)V第4頁(yè)多樣性（Variety）高速64大數(shù)據(jù)及大數(shù)據(jù)時(shí)代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜度與規(guī)模已經(jīng)使得現(xiàn)有的數(shù)據(jù)庫(kù)管理工具難以對(duì)其進(jìn)行處理”；大數(shù)據(jù)與技術(shù)環(huán)境的互動(dòng)不只體現(xiàn)在技術(shù)方面，也體現(xiàn)在包括商業(yè)、法律、社會(huì)規(guī)范等人類生活的方方面面?！斑@是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程?！?/p>

———哈佛大學(xué)社會(huì)學(xué)教授加里·金海量（Volume）多樣（Variety）快速（Velocity）大數(shù)據(jù)及大數(shù)據(jù)時(shí)代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜65大數(shù)據(jù)時(shí)代趨勢(shì)的本質(zhì)及特點(diǎn)信息生產(chǎn)的廉價(jià)與泛在更廉價(jià)的存儲(chǔ)、更廉價(jià)的計(jì)算、更廉價(jià)的網(wǎng)絡(luò)訪問(wèn)與帶寬，使得信息生產(chǎn)、傳輸、存儲(chǔ)變得更加廉價(jià)與泛在信息反饋豐富及時(shí)大數(shù)據(jù)利用數(shù)字化記錄使得人類反思自己的思想與行為從而改善生活；這些數(shù)字化的記錄能夠讓人們從宏觀的視角更加準(zhǔn)確地俯瞰人群的種種行為，形成整個(gè)人類對(duì)自身的反射思考信息量巨大信息量巨大是大數(shù)據(jù)時(shí)代的一個(gè)特點(diǎn)；數(shù)據(jù)量的增加將從信息環(huán)境和人們的認(rèn)知方式兩方面帶來(lái)深遠(yuǎn)的影響；不同來(lái)源的數(shù)據(jù)的融合將產(chǎn)生更大的價(jià)值；大數(shù)據(jù)時(shí)代的信息處理方式也將是以MoveCodetoData的方式進(jìn)行；以數(shù)據(jù)挖掘和模式識(shí)別為代表的在海量數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)關(guān)系和模式的機(jī)械化數(shù)據(jù)處理工具為人們分析海量數(shù)據(jù)提供了可能。信息具備外部性往往數(shù)據(jù)本身是信息化系統(tǒng)在實(shí)現(xiàn)特定功能而進(jìn)行支撐時(shí)所產(chǎn)生的副產(chǎn)品，這個(gè)副產(chǎn)品除了對(duì)組織自身的決策與運(yùn)營(yíng)改善有所幫助之外，它對(duì)第三方的組織也有不可估量的價(jià)值；在未來(lái)，數(shù)據(jù)為其擁有者創(chuàng)造價(jià)值仍將在未來(lái)的數(shù)據(jù)應(yīng)用領(lǐng)域占有重要地位，同時(shí)數(shù)據(jù)通過(guò)開(kāi)放與流動(dòng)為第三方創(chuàng)造價(jià)值也將是未來(lái)數(shù)據(jù)應(yīng)用的一個(gè)重要領(lǐng)域信息的數(shù)字化信息的數(shù)字化存儲(chǔ)將有助于人們建立數(shù)學(xué)模型，分析事物之間的相關(guān)關(guān)系與因果關(guān)系；數(shù)字化信息可在不同系統(tǒng)中無(wú)損地被復(fù)制、傳播，并展現(xiàn)信息不同的側(cè)面非主動(dòng)干預(yù)的信息生產(chǎn)非主動(dòng)干預(yù)的信息生產(chǎn)能夠突破人類注意力的瓶頸而產(chǎn)生海量的信息；非主動(dòng)干預(yù)所生產(chǎn)的信息更加真實(shí)信息生產(chǎn)的民主化我們所生活的信息環(huán)境是由多數(shù)人決定的，而不是被少數(shù)特權(quán)者所把持；每個(gè)信息的消費(fèi)者同時(shí)也可能是信息的生產(chǎn)者，即人們?cè)诒恍畔h(huán)境所影響的同時(shí)也在影響著信息環(huán)大數(shù)據(jù)時(shí)代趨勢(shì)的本質(zhì)及特點(diǎn)信息生產(chǎn)的廉價(jià)與泛在信息反饋豐富及66大數(shù)據(jù)的產(chǎn)生備注存儲(chǔ)價(jià)格的下降計(jì)算能力的提升帶寬的增加感知器成本的下降f()=技術(shù)以指數(shù)的速度進(jìn)步觸發(fā)了大數(shù)據(jù)現(xiàn)象的出現(xiàn)大數(shù)據(jù)的產(chǎn)生備注存儲(chǔ)價(jià)格的下降f()=技術(shù)以指數(shù)的速度進(jìn)步觸67算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奧巴馬政府的六個(gè)部門聯(lián)合發(fā)布了“大數(shù)據(jù)研究與發(fā)展計(jì)劃”，其中美國(guó)國(guó)家自然科學(xué)基金（NSF）的1,300萬(wàn)美元預(yù)算中的1,000萬(wàn)美元投資于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分別對(duì)應(yīng)MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注Algorit682B，2C到2D。

數(shù)據(jù)驅(qū)動(dòng)的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟(jì)Step2Step3傳統(tǒng)經(jīng)濟(jì)模式下，企業(yè)向客戶出售產(chǎn)品或服務(wù)，以直接賺取金錢為目的互聯(lián)網(wǎng)經(jīng)濟(jì)下，企業(yè)盡可能多地發(fā)展用戶，不以直接從用戶處賺取金錢為目的，希望通過(guò)后向收費(fèi)或者發(fā)掘用戶終身價(jià)值等方式賺取利潤(rùn)?；ヂ?lián)網(wǎng)經(jīng)濟(jì)大數(shù)據(jù)經(jīng)濟(jì)數(shù)據(jù)將是未來(lái)企業(yè)的重要資產(chǎn)，企業(yè)通過(guò)數(shù)據(jù)創(chuàng)造新的商業(yè)模式，或直接通過(guò)數(shù)據(jù)售賣以及利用數(shù)據(jù)提供增值服務(wù)獲得巨大利潤(rùn)產(chǎn)品、服務(wù)用戶數(shù)據(jù)海量用戶+良好的數(shù)據(jù)資產(chǎn)成為未來(lái)核心競(jìng)爭(zhēng)力與收入的重要來(lái)源2D2C2B2B，2C到2D。

數(shù)據(jù)驅(qū)動(dòng)的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟(jì)Step69

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺(tái)走向前臺(tái)，IT從后臺(tái)走向前臺(tái)

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺(tái)702、應(yīng)用中看大數(shù)據(jù)2、應(yīng)用中看大數(shù)據(jù)71使用紀(jì)錄大規(guī)模人類行為活動(dòng)的全量數(shù)據(jù)動(dòng)畫(huà)視頻是演示的2012除夕夜北京市民短信拜年的行為，隨時(shí)間推進(jìn)拜年短信在市區(qū)地圖上以煙花效果顯示。基于對(duì)數(shù)百萬(wàn)條短信的可視化分析，拜年的高潮并不是我們想像的午夜，而是晚餐前。全量數(shù)據(jù)，告訴了我們所不知的事實(shí)。量尺、天平、顯微鏡是我們認(rèn)知傳統(tǒng)物理世界的工具。而今天，能夠如上帝般掌控全量數(shù)據(jù)，依賴于創(chuàng)新的信息技術(shù)，計(jì)算機(jī)不再只是打字、記賬、通訊工具，大數(shù)據(jù)幫助我們重新認(rèn)識(shí)探索世界使用紀(jì)錄大規(guī)模人類行為活動(dòng)的全量數(shù)據(jù)動(dòng)畫(huà)視頻是演示的201272大數(shù)據(jù)開(kāi)啟個(gè)性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時(shí)代才真正的開(kāi)啟了對(duì)個(gè)體的關(guān)注，對(duì)意識(shí)層面的關(guān)注。

輸入你的微博賬戶，系統(tǒng)會(huì)計(jì)算并試圖描述你，主題詞標(biāo)簽云，你背后的朋友圈、事業(yè)圈，性格分析、情緒分析，這些都來(lái)自于你的歷史言論和社交行為。天云大數(shù)據(jù)利用自然語(yǔ)言處理和機(jī)器學(xué)習(xí)技術(shù)，為零售、金融等商業(yè)活動(dòng)，精確感知客戶，從而洞察市場(chǎng)，有效干預(yù)。大數(shù)據(jù)開(kāi)啟個(gè)性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時(shí)代才真73要效率，大數(shù)據(jù)3秒鎖定疑犯－

公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車，住同一酒店的兩個(gè)人可能是同伙，刑偵人員將不同線索拼湊起來(lái)排查疑犯，可是來(lái)自于多源數(shù)據(jù)的處理在傳統(tǒng)IOE架構(gòu)上，需要數(shù)小時(shí)甚至整日。天云大數(shù)據(jù)平臺(tái)將這一操作縮短至3秒，同時(shí)描述出疑犯的交往關(guān)系。公安人員可以基于計(jì)算出的線索流暢的思考。大數(shù)據(jù)的效率讓量變成為質(zhì)變，形成新的洞察與知識(shí)要效率，大數(shù)據(jù)3秒鎖定疑犯－公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車74“感覺(jué)”“情緒”等大量碎片息的度量與評(píng)估

大數(shù)據(jù)品牌影響力分析收集社交網(wǎng)絡(luò)中索納塔8新車發(fā)布一年里的全部言論，通過(guò)天云大數(shù)據(jù)的NPL和機(jī)器學(xué)習(xí)技術(shù)，對(duì)該品牌的各類主題關(guān)鍵詞形成標(biāo)簽云?！皟?yōu)惠”“客運(yùn)”“出租”“帕薩特”等標(biāo)簽，基本勾勒出了基本品牌定位和競(jìng)爭(zhēng)車型。同時(shí)社交網(wǎng)絡(luò)談?wù)摰臄?shù)量，可以描述該品牌的市場(chǎng)活躍度和影響力?；谡Z(yǔ)義情緒分析引擎可以定量品牌美譽(yù)度（藍(lán)色）和負(fù)面評(píng)論（紅色），從而對(duì)線下市場(chǎng)營(yíng)銷活動(dòng)做針對(duì)性指導(dǎo)。大數(shù)據(jù)提供更廣、更多維度的度量工具，幫助我們認(rèn)知和改造世界?！案杏X(jué)”“情緒”等大量碎片息的度量與評(píng)估

大數(shù)據(jù)品牌75移動(dòng)：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析移動(dòng)：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析76移動(dòng)：上網(wǎng)行為分析應(yīng)用架構(gòu)移動(dòng)：上網(wǎng)行為分析應(yīng)用架構(gòu)77移動(dòng)：BDA——URL解析分詞庫(kù)爬取基準(zhǔn)url分類日志URL比對(duì)陌生URL已知URL網(wǎng)頁(yè)分類訓(xùn)練集百度熱詞爬取爬取內(nèi)容，分詞，根據(jù)規(guī)則將分詞入分詞庫(kù)爬取內(nèi)容，與分詞庫(kù)根據(jù)規(guī)則匹配，找出對(duì)應(yīng)url類別讀庫(kù)入庫(kù)匹配入庫(kù)入庫(kù)讀庫(kù)移動(dòng)：BDA——URL解析分詞庫(kù)爬取基準(zhǔn)url分類日志URL78運(yùn)營(yíng)商——CDR話單的交往圈識(shí)別CDR話單基于大數(shù)據(jù)處理及分析技術(shù)的交往圈運(yùn)算全量用戶真實(shí)的交往圈機(jī)器學(xué)習(xí)算法：最大邊緣算法最大連通圖最短路徑Hip-Hop社交圈分析…垃圾用戶

主叫多

通話人之間無(wú)社交關(guān)系

通話時(shí)間短…優(yōu)質(zhì)用戶互動(dòng)

社交圈

通話時(shí)間長(zhǎng)…基于大數(shù)據(jù)技術(shù)的交往圈識(shí)別與分析運(yùn)營(yíng)商——CDR話單的交往圈識(shí)別CDR話單基于大數(shù)據(jù)處理及分銀行：根據(jù)用戶行為與交往圈進(jìn)行個(gè)貸信用評(píng)估購(gòu)買一氧化碳檢測(cè)器以及煙霧警報(bào)器的顧客購(gòu)買了房子，并且他們的生活態(tài)度比較謹(jǐn)慎，是低信用風(fēng)險(xiǎn)顧客。購(gòu)買鈦合金鉆頭以及木工工具的顧客有著比較奢侈的業(yè)余愛(ài)好，這部分顧客的信用風(fēng)險(xiǎn)也比較低?！帮L(fēng)險(xiǎn)”最高的消費(fèi)是：加拿大蒙特利爾市的SharxPool酒吧里的消費(fèi)，其中47%的顧客用CanadianTire信用卡消費(fèi)以后在12個(gè)月內(nèi)曾經(jīng)四次拖欠還款。最“安全”的顧客是：購(gòu)買昂貴的鳥(niǎo)食以及一種新型的“屋頂雪鏟”的顧客——戶主用這種雪鏟清除高處的積雪以免它們落到人行道上。社會(huì)資本代表了一個(gè)人的社交網(wǎng)絡(luò)的價(jià)值。一個(gè)人的社會(huì)資本由其所處的社會(huì)地位、影響力、聲望等因素決定社會(huì)資本和資產(chǎn)、人力資本存在一定相關(guān)性，但其中相關(guān)性并非絕對(duì)，有可能資產(chǎn)較低的人卻擁有較高的社會(huì)資本。一個(gè)擁有較低的資產(chǎn)，但是他擁有較好的社會(huì)資產(chǎn)，有可能在短期內(nèi)調(diào)動(dòng)有用資源完成任務(wù)?？梢允褂妙愃芇ageRank的算法對(duì)用戶的社會(huì)資本進(jìn)行評(píng)估?！澳愕某晒Σ粌H取決于你擁有什么，還取決于你認(rèn)識(shí)誰(shuí)”“你的行為有可能出賣了你”銀行：根據(jù)用戶行為與交往圈進(jìn)行個(gè)貸信用評(píng)估購(gòu)買一氧化碳檢80銀行——?dú)v史數(shù)據(jù)存儲(chǔ)查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……BDP平臺(tái)數(shù)據(jù)準(zhǔn)備層需求定義結(jié)構(gòu)統(tǒng)一邏輯定義轉(zhuǎn)換加載BDF中間件固定查詢動(dòng)態(tài)查詢司法查詢其他查詢條件解析異構(gòu)轉(zhuǎn)換數(shù)據(jù)更新優(yōu)化策略瀏覽器客戶端Excel下載PDF下載門戶管理任務(wù)監(jiān)控權(quán)限管理運(yùn)維管理系統(tǒng)管理銀行——?dú)v史數(shù)據(jù)存儲(chǔ)查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……B813、迎接電力大數(shù)據(jù)時(shí)代3、迎接電力大數(shù)據(jù)時(shí)代82備注每個(gè)設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬(wàn)條數(shù)據(jù)如果一個(gè)家庭有10個(gè)設(shè)備需要監(jiān)控，則一年產(chǎn)生400TB

存儲(chǔ)12傳統(tǒng)電表每年產(chǎn)生12條數(shù)據(jù)電力大數(shù)據(jù)源起備注每個(gè)設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬(wàn)條數(shù)據(jù)1283電力大數(shù)據(jù)價(jià)值內(nèi)涵電力大數(shù)據(jù)價(jià)值內(nèi)涵84電力大數(shù)據(jù)特征電力大數(shù)據(jù)特征854、展望電力大數(shù)據(jù)時(shí)代4、展望電力大數(shù)據(jù)時(shí)代86電力大數(shù)據(jù)價(jià)值分析大數(shù)據(jù)技術(shù)能夠?yàn)橹袊?guó)電力工業(yè)帶來(lái)顯著的財(cái)務(wù)價(jià)值，在企業(yè)內(nèi)部的應(yīng)用也將極大的提高電力企業(yè)的運(yùn)營(yíng)效率和營(yíng)收能力。除此之外，由于電力能源基礎(chǔ)設(shè)施的泛在性，其“天然聯(lián)系千家萬(wàn)戶”的能源特質(zhì)，將使電力大數(shù)據(jù)的理念得到了全社會(huì)的廣泛認(rèn)可。由此帶來(lái)的規(guī)模化效應(yīng)，電力工業(yè)的發(fā)展，加速傳統(tǒng)能源設(shè)施行業(yè)的快速轉(zhuǎn)型之外，整個(gè)國(guó)家經(jīng)濟(jì)中國(guó)社會(huì)的可持續(xù)發(fā)展都將起到積極而特殊的作用、綠色發(fā)展的方法、路線和政策。電力大數(shù)據(jù)價(jià)值分析大數(shù)據(jù)技術(shù)能夠?yàn)橹袊?guó)電87電力大數(shù)據(jù)應(yīng)用前景電力大數(shù)據(jù)應(yīng)用前景88電力大數(shù)據(jù)應(yīng)用前景（續(xù)）電力大數(shù)據(jù)應(yīng)用前景（續(xù)）89電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強(qiáng)。二數(shù)據(jù)共享不暢，數(shù)據(jù)集成程度不夠。三防御能力不足，信息安全面臨挑戰(zhàn)。四承載能力不足，基礎(chǔ)設(shè)施函待完善。五相關(guān)人才欠缺，專業(yè)人員供應(yīng)不足。電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強(qiáng)。二數(shù)據(jù)共905、邁向電力大數(shù)據(jù)時(shí)代5、邁向電力大數(shù)據(jù)時(shí)代91電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)四數(shù)據(jù)展現(xiàn)技術(shù)電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)92電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三人才培養(yǎng)、生態(tài)建設(shè)四智慧電力、智慧城市電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三936、電力大數(shù)據(jù)實(shí)踐6、電力大數(shù)據(jù)實(shí)踐94實(shí)時(shí)海量數(shù)據(jù)是堅(jiān)強(qiáng)智能電網(wǎng)的重要資產(chǎn)實(shí)時(shí)海量數(shù)據(jù)是堅(jiān)強(qiáng)智能電網(wǎng)的重要資產(chǎn)95對(duì)實(shí)時(shí)數(shù)據(jù)的接入、存儲(chǔ)與處理、

監(jiān)測(cè)與智能分析要求海量安全接入信息網(wǎng)絡(luò)覆蓋范圍，支持智能傳感器、智能表計(jì)等設(shè)備接入多渠道互動(dòng)用戶入口信息雙向交互的安全防護(hù)能力海量存儲(chǔ)電網(wǎng)狀態(tài)、設(shè)備狀態(tài)、用電信息采集等海量信息的存儲(chǔ)能力海量實(shí)時(shí)數(shù)據(jù)的處理、分析能力覆蓋營(yíng)銷、生產(chǎn)調(diào)度、經(jīng)營(yíng)管理的公司一體化數(shù)據(jù)模型，統(tǒng)一管理公司各類數(shù)據(jù)資源實(shí)時(shí)監(jiān)測(cè)資產(chǎn)運(yùn)行績(jī)效的實(shí)時(shí)監(jiān)測(cè)和分析能力電網(wǎng)的動(dòng)態(tài)運(yùn)行監(jiān)測(cè)、智能報(bào)警、自動(dòng)故障定位等能力用戶用電行為、能效、電能質(zhì)量等分析能力智能分析新能源和分布式能源的并網(wǎng)控制能力電網(wǎng)調(diào)度和運(yùn)行監(jiān)控的協(xié)同融合能力實(shí)時(shí)線損管理及實(shí)時(shí)費(fèi)控能力儲(chǔ)能系統(tǒng)的遠(yuǎn)方監(jiān)視和控制能力需求側(cè)管理和對(duì)用戶負(fù)荷的控制能力對(duì)實(shí)時(shí)數(shù)據(jù)的接入、存儲(chǔ)與處理、

監(jiān)測(cè)與智能分析要求海量安全接96電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率調(diào)控中心SCADA/EMS電流、電壓、功率、檔位、頻率、開(kāi)關(guān)動(dòng)作、SOE、保護(hù)事件、計(jì)算值、積分電量132980點(diǎn)1~3秒電能計(jì)量關(guān)口電量數(shù)據(jù)2860個(gè)表計(jì)15分鐘生技(電科院)設(shè)備在線監(jiān)測(cè)系統(tǒng)變壓器監(jiān)測(cè)SPTR、絕緣監(jiān)測(cè)SINS、局放監(jiān)測(cè)與診斷SPDC、斷路器SCBR、避雷器SLAR、環(huán)境監(jiān)測(cè)SENV、絕緣氣體監(jiān)測(cè)SIMG、絕緣液體監(jiān)測(cè)SIML等待調(diào)研3秒覆冰檢測(cè)系統(tǒng)平均溫度（℃）、溫度（℃）、濕度（%RH）、風(fēng)速（m/s）、雨量（mm/h）、導(dǎo)線拉力（kg）、地線拉力（kg）、導(dǎo)線傾角（°）、地線傾角（°）、導(dǎo)線覆冰厚度（mm）、地線覆冰厚度（mm）12個(gè)檢測(cè)點(diǎn)5-15分鐘變壓器絕緣油在線監(jiān)測(cè)氫氣、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、總烴、總可燃?xì)怏w350個(gè)檢測(cè)點(diǎn)日變壓器中性點(diǎn)直流分量監(jiān)測(cè)系統(tǒng)變壓器中性點(diǎn)直流電流347個(gè)檢測(cè)點(diǎn)3秒

雷電定位系統(tǒng)電流、地點(diǎn)（經(jīng)緯度）18個(gè)檢測(cè)點(diǎn)

秒

電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)97電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率電科院電能質(zhì)量所電能質(zhì)量監(jiān)測(cè)系統(tǒng)頻率、諧波電流、諧波電壓等180個(gè)采集點(diǎn)秒

計(jì)量中心計(jì)量自動(dòng)化系統(tǒng)凍結(jié)電量,實(shí)時(shí)電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報(bào)警數(shù)據(jù)

四分線損統(tǒng)計(jì)數(shù)據(jù)主網(wǎng)3000個(gè)表計(jì)，

配網(wǎng)專變用戶266418表計(jì)，配網(wǎng)公變用戶192853表計(jì)，低壓用戶322153815分鐘電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某省實(shí)時(shí)數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)98電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某市實(shí)時(shí)數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)量頻率系統(tǒng)運(yùn)行部（調(diào)度）SCADA/EMS電壓，電流，開(kāi)關(guān)位置，電網(wǎng)拓?fù)浣Y(jié)構(gòu)遙測(cè)：超過(guò)3萬(wàn)遙信：超過(guò)6萬(wàn)1~3秒DMS10kv出線到用戶表計(jì)的電壓、電流、開(kāi)關(guān)位置等信息1萬(wàn)個(gè)監(jiān)測(cè)點(diǎn)遙測(cè)2-3萬(wàn)遙信2萬(wàn)多15分鐘計(jì)量中心計(jì)量自動(dòng)化系統(tǒng)凍結(jié)電量,實(shí)時(shí)電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報(bào)警數(shù)據(jù)，四分線損統(tǒng)計(jì)數(shù)據(jù)專變1萬(wàn)多公變1萬(wàn)多小區(qū)集抄20多萬(wàn)15分鐘電網(wǎng)實(shí)時(shí)數(shù)據(jù)調(diào)研現(xiàn)狀——某市實(shí)時(shí)數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)99大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計(jì)控制動(dòng)畫(huà)中實(shí)時(shí)記錄了每一座建筑的用電情況，酒店因party而在周末達(dá)到峰值，區(qū)域的用電情況并不均衡…智能電表的應(yīng)用引爆了數(shù)據(jù)激增，數(shù)據(jù)從12條每年增至400TB(10萬(wàn)人口的城鎮(zhèn)每15秒采集)。但數(shù)據(jù)形成了新的生產(chǎn)力，不僅是預(yù)測(cè)，更可精確指導(dǎo)送電和發(fā)電。如同工業(yè)時(shí)代的機(jī)器人批量生產(chǎn)工業(yè)品，信息時(shí)代大數(shù)據(jù)在規(guī)?；詣?dòng)化加工新的生產(chǎn)資料(數(shù)據(jù))，形成新的生產(chǎn)力。大數(shù)據(jù)生產(chǎn)力并不僅僅是供人類使用的洞察與決策，更可直接嵌入生產(chǎn)環(huán)節(jié)，機(jī)器指導(dǎo)機(jī)器，形成新的控制閉環(huán)，服務(wù)于工業(yè)、農(nóng)業(yè)、商業(yè)、服務(wù)業(yè)等，相對(duì)于互聯(lián)網(wǎng)的注意力經(jīng)濟(jì)，大數(shù)據(jù)構(gòu)建了一張更為廣闊的產(chǎn)業(yè)藍(lán)圖。Bigdata

ismoreaboutAutomation

thanInsight大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計(jì)控制動(dòng)100大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析系統(tǒng)需求隨著公司信息化水平的不斷提高，主機(jī)、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件數(shù)量不斷增多，業(yè)務(wù)資源訪問(wèn)、操作量不斷增加，急需建立一套統(tǒng)一的日志集中管理和審計(jì)系統(tǒng)，能夠收集來(lái)自企業(yè)和組織計(jì)算環(huán)境中各種設(shè)備和應(yīng)用的安全日志，并進(jìn)行存儲(chǔ)、監(jiān)控、分析、報(bào)警、響應(yīng)和報(bào)告。目標(biāo)基于HADOOP分布式存儲(chǔ)和計(jì)算平臺(tái)的開(kāi)發(fā)及系統(tǒng)部署全面的日志采集及歸一化處理功能開(kāi)發(fā)及實(shí)施多維關(guān)聯(lián)分析功能開(kāi)發(fā)及實(shí)施價(jià)值IT服務(wù)創(chuàng)新，提高服務(wù)水平和生產(chǎn)效率大數(shù)據(jù)新技術(shù)的引入創(chuàng)新，團(tuán)隊(duì)大數(shù)據(jù)技術(shù)的使用和掌握探索大數(shù)據(jù)新模式，為深入挖掘數(shù)據(jù)價(jià)值鋪墊大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析1017、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)7、大數(shù)據(jù)技術(shù)實(shí)現(xiàn)102其他數(shù)據(jù)旁路采集數(shù)據(jù)HA管理集群監(jiān)控集群告警日志管理元數(shù)據(jù)管理數(shù)據(jù)生命周期管理安全管理操作系統(tǒng)自動(dòng)部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)層資源部署層分布式集群自動(dòng)部署數(shù)據(jù)獲取層數(shù)據(jù)并行采集數(shù)據(jù)文件導(dǎo)入開(kāi)發(fā)管理層清洗轉(zhuǎn)換腳本開(kāi)發(fā)流程開(kāi)發(fā)流程管理流程調(diào)度SQL開(kāi)發(fā)接口訪問(wèn)層JDBC接口Web服務(wù)接口自定義API平臺(tái)管理監(jiān)控層監(jiān)控報(bào)表展示（展現(xiàn)，告警，報(bào)送，門戶集成）邏輯架構(gòu)圖其他數(shù)據(jù)旁路采集數(shù)據(jù)操作系統(tǒng)自動(dòng)部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)103物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群104數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡從發(fā)展趨勢(shì)和支撐的數(shù)據(jù)擴(kuò)展規(guī)模上看，傳統(tǒng)給MPP技術(shù)是數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡性技術(shù)。不能有效的支持應(yīng)用靈活性及隨需變化的要求。大數(shù)據(jù)解決方案提供了釋放應(yīng)用靈活性所需要的底層平臺(tái)和數(shù)據(jù)加工能力：通過(guò)WEB頁(yè)面和網(wǎng)絡(luò)就能進(jìn)行HADOOP相關(guān)組件的部署、監(jiān)控、配置和操作的自動(dòng)化管理平臺(tái)。提供了是能夠?qū)崿F(xiàn)如多種主流Linux操作系統(tǒng)的網(wǎng)絡(luò)分發(fā)安裝，基于Hadoop集群的快速部署、管理和監(jiān)控，以及分布式的數(shù)據(jù)就緒及處理等等的組件。為企業(yè)中大數(shù)據(jù)能力及項(xiàng)目的快速就緒提供簡(jiǎn)單有效的高性價(jià)比解決方案。大數(shù)據(jù)技術(shù)固然誘人，但是其進(jìn)入企業(yè)的過(guò)程仍然需要適合企業(yè)的生長(zhǎng)環(huán)境，需要與企業(yè)已有的生態(tài)系統(tǒng)的方方面面共同生存。因此，大數(shù)據(jù)之于企業(yè)而言，在考慮業(yè)務(wù)需求的同時(shí)，對(duì)于數(shù)據(jù)安全、系統(tǒng)高可用性和容災(zāi)能力的要求也非常重要。流計(jì)算平臺(tái)可以捕捉數(shù)據(jù)流、篩選內(nèi)容并調(diào)用復(fù)雜的分布式事件計(jì)算，從而在最短的時(shí)間內(nèi)把數(shù)據(jù)關(guān)聯(lián)、分類和轉(zhuǎn)換為有價(jià)值的信息。

用普通PC服務(wù)器集群構(gòu)建的分布式流計(jì)算平臺(tái)，實(shí)現(xiàn)高性能、高可靠性、高彈性；易用性（便捷開(kāi)發(fā)與靈活定制以及自動(dòng)化運(yùn)維）和即時(shí)就緒能力；可視化（流計(jì)算的可視化實(shí)時(shí)性往往與實(shí)時(shí)性相關(guān)，決定了其技術(shù)與傳統(tǒng)的BI的可視化不同）數(shù)據(jù)處理向大數(shù)據(jù)處理的過(guò)渡從發(fā)展趨勢(shì)和支撐的數(shù)據(jù)擴(kuò)展規(guī)模上看105大數(shù)據(jù)核心技術(shù)——Hadoop

大數(shù)據(jù)核心技術(shù)——Hadoop106

大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實(shí)踐的執(zhí)行者BDABDFBDPBeagleDataFlow:企業(yè)友好MapReduce免開(kāi)發(fā)行業(yè)最佳實(shí)踐的集成BeagleDataPlatform:自動(dòng)化部署智能調(diào)度使用簡(jiǎn)單助力構(gòu)建企業(yè)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)為企業(yè)提供：專家服務(wù)解決方案基礎(chǔ)平臺(tái)架構(gòu)BeagleDataAccelerator:機(jī)器學(xué)習(xí)等算法的集成ANN,SVM,BAYERS,NLP…數(shù)據(jù)到商業(yè)價(jià)值的轉(zhuǎn)換分布式計(jì)算基于分布式計(jì)算的開(kāi)發(fā)能力科研成果的商業(yè)化使用簡(jiǎn)單加速創(chuàng)新解決問(wèn)題核心競(jìng)爭(zhēng)力大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實(shí)踐107商品化的X86服務(wù)器無(wú)需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中間件開(kāi)發(fā)運(yùn)行

BDA(BeagleDataAccelerator)ML機(jī)器學(xué)習(xí)工具包發(fā)布語(yǔ)義計(jì)算行為關(guān)系視覺(jué)計(jì)算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融歷史紀(jì)錄/影像/風(fēng)險(xiǎn)管理醫(yī)療衛(wèi)生EMR/HER/重癥監(jiān)護(hù)醫(yī)療／BI/能源智能電網(wǎng)/油田制造自動(dòng)控制/質(zhì)檢零售消費(fèi)行為分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自動(dòng)化/監(jiān)控/調(diào)度任務(wù)管理/任務(wù)分配/日常維護(hù)電信精準(zhǔn)營(yíng)銷/話單查詢/IT支撐優(yōu)化DataMgnt:企業(yè)友好數(shù)據(jù)視圖位置感知／數(shù)據(jù)膨脹／生命周期管理／容災(zāi)業(yè)務(wù)能力數(shù)據(jù)能力平臺(tái)能力領(lǐng)先的大數(shù)據(jù)