大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用課件

大數(shù)據(jù)

--開啟智能電網(wǎng)新時代大數(shù)據(jù)

--開啟智能電網(wǎng)新時代1

目錄

1、大數(shù)據(jù)概念

2、應(yīng)用中看大數(shù)據(jù)

3、迎接電力大數(shù)據(jù)時代

4、展望電力大數(shù)據(jù)時代

5、邁向電力大數(shù)據(jù)時代

6、電力大數(shù)據(jù)實踐

7、大數(shù)據(jù)技術(shù)實現(xiàn)

8、云計算與大數(shù)據(jù)目錄

1、21、大數(shù)據(jù)概念

1、大數(shù)據(jù)概念

3大數(shù)據(jù)的判斷標準——3個V第4頁多樣性（Variety）大數(shù)據(jù)不僅局限于結(jié)構(gòu)型數(shù)據(jù)，也包括非結(jié)構(gòu)型數(shù)據(jù)，比如：文字，錄音，錄像，視頻，記錄高速度（Velocity）大數(shù)據(jù)是時間敏感的，必須快速識別和快速響應(yīng)才能適應(yīng)業(yè)務(wù)需求大容量（Volume）大數(shù)據(jù)的特點就是巨大。公司充斥著各種數(shù)據(jù)，經(jīng)常是TB級，甚至是PT級的信息量大數(shù)據(jù)的判斷標準——3個V第4頁多樣性（Variety）高速4大數(shù)據(jù)及大數(shù)據(jù)時代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜度與規(guī)模已經(jīng)使得現(xiàn)有的數(shù)據(jù)庫管理工具難以對其進行處理”；大數(shù)據(jù)與技術(shù)環(huán)境的互動不只體現(xiàn)在技術(shù)方面，也體現(xiàn)在包括商業(yè)、法律、社會規(guī)范等人類生活的方方面面?！斑@是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進程?！?/p>

———哈佛大學(xué)社會學(xué)教授加里·金海量（Volume）多樣（Variety）快速（Velocity）大數(shù)據(jù)及大數(shù)據(jù)時代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜5大數(shù)據(jù)時代趨勢的本質(zhì)及特點信息生產(chǎn)的廉價與泛在更廉價的存儲、更廉價的計算、更廉價的網(wǎng)絡(luò)訪問與帶寬，使得信息生產(chǎn)、傳輸、存儲變得更加廉價與泛在信息反饋豐富及時大數(shù)據(jù)利用數(shù)字化記錄使得人類反思自己的思想與行為從而改善生活；這些數(shù)字化的記錄能夠讓人們從宏觀的視角更加準確地俯瞰人群的種種行為，形成整個人類對自身的反射思考信息量巨大信息量巨大是大數(shù)據(jù)時代的一個特點；數(shù)據(jù)量的增加將從信息環(huán)境和人們的認知方式兩方面帶來深遠的影響；不同來源的數(shù)據(jù)的融合將產(chǎn)生更大的價值；大數(shù)據(jù)時代的信息處理方式也將是以MoveCodetoData的方式進行；以數(shù)據(jù)挖掘和模式識別為代表的在海量數(shù)據(jù)中自動發(fā)現(xiàn)關(guān)系和模式的機械化數(shù)據(jù)處理工具為人們分析海量數(shù)據(jù)提供了可能。信息具備外部性往往數(shù)據(jù)本身是信息化系統(tǒng)在實現(xiàn)特定功能而進行支撐時所產(chǎn)生的副產(chǎn)品，這個副產(chǎn)品除了對組織自身的決策與運營改善有所幫助之外，它對第三方的組織也有不可估量的價值；在未來，數(shù)據(jù)為其擁有者創(chuàng)造價值仍將在未來的數(shù)據(jù)應(yīng)用領(lǐng)域占有重要地位，同時數(shù)據(jù)通過開放與流動為第三方創(chuàng)造價值也將是未來數(shù)據(jù)應(yīng)用的一個重要領(lǐng)域信息的數(shù)字化信息的數(shù)字化存儲將有助于人們建立數(shù)學(xué)模型，分析事物之間的相關(guān)關(guān)系與因果關(guān)系；數(shù)字化信息可在不同系統(tǒng)中無損地被復(fù)制、傳播，并展現(xiàn)信息不同的側(cè)面非主動干預(yù)的信息生產(chǎn)非主動干預(yù)的信息生產(chǎn)能夠突破人類注意力的瓶頸而產(chǎn)生海量的信息；非主動干預(yù)所生產(chǎn)的信息更加真實信息生產(chǎn)的民主化我們所生活的信息環(huán)境是由多數(shù)人決定的，而不是被少數(shù)特權(quán)者所把持；每個信息的消費者同時也可能是信息的生產(chǎn)者，即人們在被信息環(huán)境所影響的同時也在影響著信息環(huán)大數(shù)據(jù)時代趨勢的本質(zhì)及特點信息生產(chǎn)的廉價與泛在信息反饋豐富及6大數(shù)據(jù)的產(chǎn)生備注存儲價格的下降計算能力的提升帶寬的增加感知器成本的下降f()=技術(shù)以指數(shù)的速度進步觸發(fā)了大數(shù)據(jù)現(xiàn)象的出現(xiàn)大數(shù)據(jù)的產(chǎn)生備注存儲價格的下降f()=技術(shù)以指數(shù)的速度進步觸7算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奧巴馬政府的六個部門聯(lián)合發(fā)布了“大數(shù)據(jù)研究與發(fā)展計劃”，其中美國國家自然科學(xué)基金（NSF）的1,300萬美元預(yù)算中的1,000萬美元投資于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分別對應(yīng)MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注Algorit82B，2C到2D。

數(shù)據(jù)驅(qū)動的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟Step2Step3傳統(tǒng)經(jīng)濟模式下，企業(yè)向客戶出售產(chǎn)品或服務(wù)，以直接賺取金錢為目的互聯(lián)網(wǎng)經(jīng)濟下，企業(yè)盡可能多地發(fā)展用戶，不以直接從用戶處賺取金錢為目的，希望通過后向收費或者發(fā)掘用戶終身價值等方式賺取利潤?；ヂ?lián)網(wǎng)經(jīng)濟大數(shù)據(jù)經(jīng)濟數(shù)據(jù)將是未來企業(yè)的重要資產(chǎn)，企業(yè)通過數(shù)據(jù)創(chuàng)造新的商業(yè)模式，或直接通過數(shù)據(jù)售賣以及利用數(shù)據(jù)提供增值服務(wù)獲得巨大利潤產(chǎn)品、服務(wù)用戶數(shù)據(jù)海量用戶+良好的數(shù)據(jù)資產(chǎn)成為未來核心競爭力與收入的重要來源2D2C2B2B，2C到2D。

數(shù)據(jù)驅(qū)動的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟Step9

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺走向前臺，IT從后臺走向前臺

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺102、應(yīng)用中看大數(shù)據(jù)2、應(yīng)用中看大數(shù)據(jù)11使用紀錄大規(guī)模人類行為活動的全量數(shù)據(jù)動畫視頻是演示的2012除夕夜北京市民短信拜年的行為，隨時間推進拜年短信在市區(qū)地圖上以煙花效果顯示?；趯?shù)百萬條短信的可視化分析，拜年的高潮并不是我們想像的午夜，而是晚餐前。全量數(shù)據(jù)，告訴了我們所不知的事實。量尺、天平、顯微鏡是我們認知傳統(tǒng)物理世界的工具。而今天，能夠如上帝般掌控全量數(shù)據(jù)，依賴于創(chuàng)新的信息技術(shù)，計算機不再只是打字、記賬、通訊工具，大數(shù)據(jù)幫助我們重新認識探索世界使用紀錄大規(guī)模人類行為活動的全量數(shù)據(jù)動畫視頻是演示的201212大數(shù)據(jù)開啟個性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時代才真正的開啟了對個體的關(guān)注，對意識層面的關(guān)注。

輸入你的微博賬戶，系統(tǒng)會計算并試圖描述你，主題詞標簽云，你背后的朋友圈、事業(yè)圈，性格分析、情緒分析，這些都來自于你的歷史言論和社交行為。天云大數(shù)據(jù)利用自然語言處理和機器學(xué)習(xí)技術(shù)，為零售、金融等商業(yè)活動，精確感知客戶，從而洞察市場，有效干預(yù)。大數(shù)據(jù)開啟個性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時代才真13要效率，大數(shù)據(jù)3秒鎖定疑犯－

公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車，住同一酒店的兩個人可能是同伙，刑偵人員將不同線索拼湊起來排查疑犯，可是來自于多源數(shù)據(jù)的處理在傳統(tǒng)IOE架構(gòu)上，需要數(shù)小時甚至整日。天云大數(shù)據(jù)平臺將這一操作縮短至3秒，同時描述出疑犯的交往關(guān)系。公安人員可以基于計算出的線索流暢的思考。大數(shù)據(jù)的效率讓量變成為質(zhì)變，形成新的洞察與知識要效率，大數(shù)據(jù)3秒鎖定疑犯－公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車14“感覺”“情緒”等大量碎片息的度量與評估

大數(shù)據(jù)品牌影響力分析收集社交網(wǎng)絡(luò)中索納塔8新車發(fā)布一年里的全部言論，通過天云大數(shù)據(jù)的NPL和機器學(xué)習(xí)技術(shù)，對該品牌的各類主題關(guān)鍵詞形成標簽云?！皟?yōu)惠”“客運”“出租”“帕薩特”等標簽，基本勾勒出了基本品牌定位和競爭車型。同時社交網(wǎng)絡(luò)談?wù)摰臄?shù)量，可以描述該品牌的市場活躍度和影響力。基于語義情緒分析引擎可以定量品牌美譽度（藍色）和負面評論（紅色），從而對線下市場營銷活動做針對性指導(dǎo)。大數(shù)據(jù)提供更廣、更多維度的度量工具，幫助我們認知和改造世界?！案杏X”“情緒”等大量碎片息的度量與評估

大數(shù)據(jù)品牌15移動：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析移動：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析16移動：上網(wǎng)行為分析應(yīng)用架構(gòu)移動：上網(wǎng)行為分析應(yīng)用架構(gòu)17移動：BDA——URL解析分詞庫爬取基準url分類日志URL比對陌生URL已知URL網(wǎng)頁分類訓(xùn)練集百度熱詞爬取爬取內(nèi)容，分詞，根據(jù)規(guī)則將分詞入分詞庫爬取內(nèi)容，與分詞庫根據(jù)規(guī)則匹配，找出對應(yīng)url類別讀庫入庫匹配入庫入庫讀庫移動：BDA——URL解析分詞庫爬取基準url分類日志URL18運營商——CDR話單的交往圈識別CDR話單基于大數(shù)據(jù)處理及分析技術(shù)的交往圈運算全量用戶真實的交往圈機器學(xué)習(xí)算法：最大邊緣算法最大連通圖最短路徑Hip-Hop社交圈分析…垃圾用戶

主叫多

通話人之間無社交關(guān)系

通話時間短…優(yōu)質(zhì)用戶互動

社交圈

通話時間長…基于大數(shù)據(jù)技術(shù)的交往圈識別與分析運營商——CDR話單的交往圈識別CDR話單基于大數(shù)據(jù)處理及分銀行：根據(jù)用戶行為與交往圈進行個貸信用評估購買一氧化碳檢測器以及煙霧警報器的顧客購買了房子，并且他們的生活態(tài)度比較謹慎，是低信用風險顧客。購買鈦合金鉆頭以及木工工具的顧客有著比較奢侈的業(yè)余愛好，這部分顧客的信用風險也比較低?！帮L險”最高的消費是：加拿大蒙特利爾市的SharxPool酒吧里的消費，其中47%的顧客用CanadianTire信用卡消費以后在12個月內(nèi)曾經(jīng)四次拖欠還款。最“安全”的顧客是：購買昂貴的鳥食以及一種新型的“屋頂雪鏟”的顧客——戶主用這種雪鏟清除高處的積雪以免它們落到人行道上。社會資本代表了一個人的社交網(wǎng)絡(luò)的價值。一個人的社會資本由其所處的社會地位、影響力、聲望等因素決定社會資本和資產(chǎn)、人力資本存在一定相關(guān)性，但其中相關(guān)性并非絕對，有可能資產(chǎn)較低的人卻擁有較高的社會資本。一個擁有較低的資產(chǎn)，但是他擁有較好的社會資產(chǎn)，有可能在短期內(nèi)調(diào)動有用資源完成任務(wù)?？梢允褂妙愃芇ageRank的算法對用戶的社會資本進行評估。“你的成功不僅取決于你擁有什么，還取決于你認識誰”“你的行為有可能出賣了你”銀行：根據(jù)用戶行為與交往圈進行個貸信用評估購買一氧化碳檢20銀行——歷史數(shù)據(jù)存儲查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……BDP平臺數(shù)據(jù)準備層需求定義結(jié)構(gòu)統(tǒng)一邏輯定義轉(zhuǎn)換加載BDF中間件固定查詢動態(tài)查詢司法查詢其他查詢條件解析異構(gòu)轉(zhuǎn)換數(shù)據(jù)更新優(yōu)化策略瀏覽器客戶端Excel下載PDF下載門戶管理任務(wù)監(jiān)控權(quán)限管理運維管理系統(tǒng)管理銀行——歷史數(shù)據(jù)存儲查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……B213、迎接電力大數(shù)據(jù)時代3、迎接電力大數(shù)據(jù)時代22備注每個設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬條數(shù)據(jù)如果一個家庭有10個設(shè)備需要監(jiān)控，則一年產(chǎn)生400TB

存儲12傳統(tǒng)電表每年產(chǎn)生12條數(shù)據(jù)電力大數(shù)據(jù)源起備注每個設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬條數(shù)據(jù)1223電力大數(shù)據(jù)價值內(nèi)涵電力大數(shù)據(jù)價值內(nèi)涵24電力大數(shù)據(jù)特征電力大數(shù)據(jù)特征254、展望電力大數(shù)據(jù)時代4、展望電力大數(shù)據(jù)時代26電力大數(shù)據(jù)價值分析大數(shù)據(jù)技術(shù)能夠為中國電力工業(yè)帶來顯著的財務(wù)價值，在企業(yè)內(nèi)部的應(yīng)用也將極大的提高電力企業(yè)的運營效率和營收能力。除此之外，由于電力能源基礎(chǔ)設(shè)施的泛在性，其“天然聯(lián)系千家萬戶”的能源特質(zhì)，將使電力大數(shù)據(jù)的理念得到了全社會的廣泛認可。由此帶來的規(guī)模化效應(yīng)，電力工業(yè)的發(fā)展，加速傳統(tǒng)能源設(shè)施行業(yè)的快速轉(zhuǎn)型之外，整個國家經(jīng)濟中國社會的可持續(xù)發(fā)展都將起到積極而特殊的作用、綠色發(fā)展的方法、路線和政策。電力大數(shù)據(jù)價值分析大數(shù)據(jù)技術(shù)能夠為中國電27電力大數(shù)據(jù)應(yīng)用前景電力大數(shù)據(jù)應(yīng)用前景28電力大數(shù)據(jù)應(yīng)用前景（續(xù)）電力大數(shù)據(jù)應(yīng)用前景（續(xù)）29電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強。二數(shù)據(jù)共享不暢，數(shù)據(jù)集成程度不夠。三防御能力不足，信息安全面臨挑戰(zhàn)。四承載能力不足，基礎(chǔ)設(shè)施函待完善。五相關(guān)人才欠缺，專業(yè)人員供應(yīng)不足。電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強。二數(shù)據(jù)共305、邁向電力大數(shù)據(jù)時代5、邁向電力大數(shù)據(jù)時代31電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)四數(shù)據(jù)展現(xiàn)技術(shù)電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)32電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三人才培養(yǎng)、生態(tài)建設(shè)四智慧電力、智慧城市電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三336、電力大數(shù)據(jù)實踐6、電力大數(shù)據(jù)實踐34實時海量數(shù)據(jù)是堅強智能電網(wǎng)的重要資產(chǎn)實時海量數(shù)據(jù)是堅強智能電網(wǎng)的重要資產(chǎn)35對實時數(shù)據(jù)的接入、存儲與處理、

監(jiān)測與智能分析要求海量安全接入信息網(wǎng)絡(luò)覆蓋范圍，支持智能傳感器、智能表計等設(shè)備接入多渠道互動用戶入口信息雙向交互的安全防護能力海量存儲電網(wǎng)狀態(tài)、設(shè)備狀態(tài)、用電信息采集等海量信息的存儲能力海量實時數(shù)據(jù)的處理、分析能力覆蓋營銷、生產(chǎn)調(diào)度、經(jīng)營管理的公司一體化數(shù)據(jù)模型，統(tǒng)一管理公司各類數(shù)據(jù)資源實時監(jiān)測資產(chǎn)運行績效的實時監(jiān)測和分析能力電網(wǎng)的動態(tài)運行監(jiān)測、智能報警、自動故障定位等能力用戶用電行為、能效、電能質(zhì)量等分析能力智能分析新能源和分布式能源的并網(wǎng)控制能力電網(wǎng)調(diào)度和運行監(jiān)控的協(xié)同融合能力實時線損管理及實時費控能力儲能系統(tǒng)的遠方監(jiān)視和控制能力需求側(cè)管理和對用戶負荷的控制能力對實時數(shù)據(jù)的接入、存儲與處理、

監(jiān)測與智能分析要求海量安全接36電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率調(diào)控中心SCADA/EMS電流、電壓、功率、檔位、頻率、開關(guān)動作、SOE、保護事件、計算值、積分電量132980點1~3秒電能計量關(guān)口電量數(shù)據(jù)2860個表計15分鐘生技(電科院)設(shè)備在線監(jiān)測系統(tǒng)變壓器監(jiān)測SPTR、絕緣監(jiān)測SINS、局放監(jiān)測與診斷SPDC、斷路器SCBR、避雷器SLAR、環(huán)境監(jiān)測SENV、絕緣氣體監(jiān)測SIMG、絕緣液體監(jiān)測SIML等待調(diào)研3秒覆冰檢測系統(tǒng)平均溫度（℃）、溫度（℃）、濕度（%RH）、風速（m/s）、雨量（mm/h）、導(dǎo)線拉力（kg）、地線拉力（kg）、導(dǎo)線傾角（°）、地線傾角（°）、導(dǎo)線覆冰厚度（mm）、地線覆冰厚度（mm）12個檢測點5-15分鐘變壓器絕緣油在線監(jiān)測氫氣、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、總烴、總可燃氣體350個檢測點日變壓器中性點直流分量監(jiān)測系統(tǒng)變壓器中性點直流電流347個檢測點3秒

雷電定位系統(tǒng)電流、地點（經(jīng)緯度）18個檢測點

秒

電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實時數(shù)37電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率電科院電能質(zhì)量所電能質(zhì)量監(jiān)測系統(tǒng)頻率、諧波電流、諧波電壓等180個采集點秒

計量中心計量自動化系統(tǒng)凍結(jié)電量,實時電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報警數(shù)據(jù)

四分線損統(tǒng)計數(shù)據(jù)主網(wǎng)3000個表計，

配網(wǎng)專變用戶266418表計，配網(wǎng)公變用戶192853表計，低壓用戶322153815分鐘電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實時數(shù)38電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某市實時數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率系統(tǒng)運行部（調(diào)度）SCADA/EMS電壓，電流，開關(guān)位置，電網(wǎng)拓撲結(jié)構(gòu)遙測：超過3萬遙信：超過6萬1~3秒DMS10kv出線到用戶表計的電壓、電流、開關(guān)位置等信息1萬個監(jiān)測點遙測2-3萬遙信2萬多15分鐘計量中心計量自動化系統(tǒng)凍結(jié)電量,實時電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報警數(shù)據(jù)，四分線損統(tǒng)計數(shù)據(jù)專變1萬多公變1萬多小區(qū)集抄20多萬15分鐘電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某市實時數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)39大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計控制動畫中實時記錄了每一座建筑的用電情況，酒店因party而在周末達到峰值，區(qū)域的用電情況并不均衡…智能電表的應(yīng)用引爆了數(shù)據(jù)激增，數(shù)據(jù)從12條每年增至400TB(10萬人口的城鎮(zhèn)每15秒采集)。但數(shù)據(jù)形成了新的生產(chǎn)力，不僅是預(yù)測，更可精確指導(dǎo)送電和發(fā)電。如同工業(yè)時代的機器人批量生產(chǎn)工業(yè)品，信息時代大數(shù)據(jù)在規(guī)?；詣踊庸ば碌纳a(chǎn)資料(數(shù)據(jù))，形成新的生產(chǎn)力。大數(shù)據(jù)生產(chǎn)力并不僅僅是供人類使用的洞察與決策，更可直接嵌入生產(chǎn)環(huán)節(jié)，機器指導(dǎo)機器，形成新的控制閉環(huán)，服務(wù)于工業(yè)、農(nóng)業(yè)、商業(yè)、服務(wù)業(yè)等，相對于互聯(lián)網(wǎng)的注意力經(jīng)濟，大數(shù)據(jù)構(gòu)建了一張更為廣闊的產(chǎn)業(yè)藍圖。Bigdata

ismoreaboutAutomation

thanInsight大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計控制動40大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析系統(tǒng)需求隨著公司信息化水平的不斷提高，主機、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件數(shù)量不斷增多，業(yè)務(wù)資源訪問、操作量不斷增加，急需建立一套統(tǒng)一的日志集中管理和審計系統(tǒng)，能夠收集來自企業(yè)和組織計算環(huán)境中各種設(shè)備和應(yīng)用的安全日志，并進行存儲、監(jiān)控、分析、報警、響應(yīng)和報告。目標基于HADOOP分布式存儲和計算平臺的開發(fā)及系統(tǒng)部署全面的日志采集及歸一化處理功能開發(fā)及實施多維關(guān)聯(lián)分析功能開發(fā)及實施價值IT服務(wù)創(chuàng)新，提高服務(wù)水平和生產(chǎn)效率大數(shù)據(jù)新技術(shù)的引入創(chuàng)新，團隊大數(shù)據(jù)技術(shù)的使用和掌握探索大數(shù)據(jù)新模式，為深入挖掘數(shù)據(jù)價值鋪墊大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析417、大數(shù)據(jù)技術(shù)實現(xiàn)7、大數(shù)據(jù)技術(shù)實現(xiàn)42其他數(shù)據(jù)旁路采集數(shù)據(jù)HA管理集群監(jiān)控集群告警日志管理元數(shù)據(jù)管理數(shù)據(jù)生命周期管理安全管理操作系統(tǒng)自動部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)層資源部署層分布式集群自動部署數(shù)據(jù)獲取層數(shù)據(jù)并行采集數(shù)據(jù)文件導(dǎo)入開發(fā)管理層清洗轉(zhuǎn)換腳本開發(fā)流程開發(fā)流程管理流程調(diào)度SQL開發(fā)接口訪問層JDBC接口Web服務(wù)接口自定義API平臺管理監(jiān)控層監(jiān)控報表展示（展現(xiàn)，告警，報送，門戶集成）邏輯架構(gòu)圖其他數(shù)據(jù)旁路采集數(shù)據(jù)操作系統(tǒng)自動部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)43物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群44數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡從發(fā)展趨勢和支撐的數(shù)據(jù)擴展規(guī)模上看，傳統(tǒng)給MPP技術(shù)是數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡性技術(shù)。不能有效的支持應(yīng)用靈活性及隨需變化的要求。大數(shù)據(jù)解決方案提供了釋放應(yīng)用靈活性所需要的底層平臺和數(shù)據(jù)加工能力：通過WEB頁面和網(wǎng)絡(luò)就能進行HADOOP相關(guān)組件的部署、監(jiān)控、配置和操作的自動化管理平臺。提供了是能夠?qū)崿F(xiàn)如多種主流Linux操作系統(tǒng)的網(wǎng)絡(luò)分發(fā)安裝，基于Hadoop集群的快速部署、管理和監(jiān)控，以及分布式的數(shù)據(jù)就緒及處理等等的組件。為企業(yè)中大數(shù)據(jù)能力及項目的快速就緒提供簡單有效的高性價比解決方案。大數(shù)據(jù)技術(shù)固然誘人，但是其進入企業(yè)的過程仍然需要適合企業(yè)的生長環(huán)境，需要與企業(yè)已有的生態(tài)系統(tǒng)的方方面面共同生存。因此，大數(shù)據(jù)之于企業(yè)而言，在考慮業(yè)務(wù)需求的同時，對于數(shù)據(jù)安全、系統(tǒng)高可用性和容災(zāi)能力的要求也非常重要。流計算平臺可以捕捉數(shù)據(jù)流、篩選內(nèi)容并調(diào)用復(fù)雜的分布式事件計算，從而在最短的時間內(nèi)把數(shù)據(jù)關(guān)聯(lián)、分類和轉(zhuǎn)換為有價值的信息。

用普通PC服務(wù)器集群構(gòu)建的分布式流計算平臺，實現(xiàn)高性能、高可靠性、高彈性；易用性（便捷開發(fā)與靈活定制以及自動化運維）和即時就緒能力；可視化（流計算的可視化實時性往往與實時性相關(guān)，決定了其技術(shù)與傳統(tǒng)的BI的可視化不同）數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡從發(fā)展趨勢和支撐的數(shù)據(jù)擴展規(guī)模上看45大數(shù)據(jù)核心技術(shù)——Hadoop

大數(shù)據(jù)核心技術(shù)——Hadoop46

大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實踐的執(zhí)行者BDABDFBDPBeagleDataFlow:企業(yè)友好MapReduce免開發(fā)行業(yè)最佳實踐的集成BeagleDataPlatform:自動化部署智能調(diào)度使用簡單助力構(gòu)建企業(yè)差異化競爭優(yōu)勢為企業(yè)提供：專家服務(wù)解決方案基礎(chǔ)平臺架構(gòu)BeagleDataAccelerator:機器學(xué)習(xí)等算法的集成ANN,SVM,BAYERS,NLP…數(shù)據(jù)到商業(yè)價值的轉(zhuǎn)換分布式計算基于分布式計算的開發(fā)能力科研成果的商業(yè)化使用簡單加速創(chuàng)新解決問題核心競爭力大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實踐47商品化的X86服務(wù)器無需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中間件開發(fā)運行

BDA(BeagleDataAccelerator)ML機器學(xué)習(xí)工具包發(fā)布語義計算行為關(guān)系視覺計算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融歷史紀錄/影像/風險管理醫(yī)療衛(wèi)生EMR/HER/重癥監(jiān)護醫(yī)療／BI/能源智能電網(wǎng)/油田制造自動控制/質(zhì)檢零售消費行為分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自動化/監(jiān)控/調(diào)度任務(wù)管理/任務(wù)分配/日常維護電信精準營銷/話單查詢/IT支撐優(yōu)化DataMgnt:企業(yè)友好數(shù)據(jù)視圖位置感知／數(shù)據(jù)膨脹／生命周期管理／容災(zāi)業(yè)務(wù)能力數(shù)據(jù)能力平臺能力領(lǐng)先的大數(shù)據(jù)理念—

助力企業(yè)“大數(shù)據(jù)能力”的形成商品化的X86服務(wù)器HadoopDistributions48其他數(shù)據(jù)日志數(shù)據(jù)系統(tǒng)數(shù)據(jù)云化ETL工具抽取加載轉(zhuǎn)換數(shù)據(jù)存儲（分布式大數(shù)據(jù)存儲平臺）權(quán)限管理標準化運維監(jiān)控質(zhì)量管控數(shù)據(jù)流式處理數(shù)據(jù)任務(wù)調(diào)度數(shù)據(jù)挖掘數(shù)據(jù)平臺服務(wù)（PAAS）數(shù)據(jù)分析服務(wù)（SAAS）監(jiān)控系統(tǒng)用戶數(shù)據(jù)可視化系統(tǒng)分類其他數(shù)據(jù)應(yīng)用大數(shù)據(jù)監(jiān)控的系統(tǒng)架構(gòu)其他數(shù)據(jù)日志數(shù)據(jù)系統(tǒng)數(shù)據(jù)云化ETL工具抽取加載轉(zhuǎn)換數(shù)據(jù)存儲（498、云計算與大數(shù)據(jù)8、云計算與大數(shù)據(jù)50云計算的理念

云計算是計算資源像祥云一樣廣域分布、統(tǒng)一配置、精確管理、協(xié)同工作、多任務(wù)并發(fā)運算的一種計算機集群工作方式，使用支持多任務(wù)、多節(jié)點統(tǒng)一并發(fā)計算的專用操作系統(tǒng)并將數(shù)據(jù)存儲在分布式數(shù)據(jù)庫中。

核心理念：在成本低廉的基礎(chǔ)設(shè)施上提供高性能、高可靠的服務(wù)。云計算的理念云計算是計算資源像祥云一樣廣域分布、統(tǒng)一51NIST:云計算是一種能夠通過網(wǎng)絡(luò)以便利的、按需付費的方式獲取計算資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)等）并提高其可用性的模式，這些資源來自一個共享的、可配置的資源池，并能夠以最省力和無人干預(yù)的方式獲取和釋放。52軟件即服務(wù)（SaaS）基礎(chǔ)設(shè)施即服務(wù)（IaaS）平臺即服務(wù)（PaaS）公有云面向外部用戶需求，通過開放網(wǎng)絡(luò)向一般大眾或中小企業(yè)群體提供云計算服務(wù)私有云大型企業(yè)按照云計算的架構(gòu)搭建平臺，面向企業(yè)內(nèi)部需求提供云計算服務(wù)社區(qū)云混合云云基礎(chǔ)設(shè)施被一些組織共享，并為一個有共同關(guān)注點的社區(qū)或大機構(gòu)服務(wù)云基礎(chǔ)設(shè)施由上述兩種或以上的云組成，每種云仍然保持獨立實體，但用標準或?qū)Ｓ屑夹g(shù)將其組合起來操作系統(tǒng)+應(yīng)用服務(wù)引擎硬件資源應(yīng)用系統(tǒng)按需自助服務(wù)虛擬化的資源池寬帶網(wǎng)絡(luò)接入快熟彈性架構(gòu)可測量的服務(wù)用戶通過Internet（如瀏覽器）使用軟件，不必購買軟件，只需按需租用軟件提供應(yīng)用服務(wù)引擎，如互聯(lián)網(wǎng)應(yīng)用編程接口/運行平臺等用戶基于該應(yīng)用服務(wù)引擎，可以構(gòu)建相應(yīng)類別的應(yīng)用以服務(wù)的形式提供虛擬硬件資源。用戶無需購買服務(wù)器、存儲等，只需通過互聯(lián)網(wǎng)租賃即可搭建自己的應(yīng)用系統(tǒng)5個關(guān)鍵特征3種服務(wù)模式4種部署方式*注：NIST，即美國國家標準與技術(shù)研究院云計算的定義NIST:云計算是一種能夠通過網(wǎng)絡(luò)以便利的、按需付費的方式獲52云計算核心思想是根據(jù)用戶需求，將大量用網(wǎng)絡(luò)連接的計算、存儲資源集中進行統(tǒng)一管理和調(diào)度，構(gòu)成一個資源池，向用戶提供IT基礎(chǔ)設(shè)施、數(shù)據(jù)和應(yīng)用的服務(wù)，這個提供資源的網(wǎng)絡(luò)就稱為“云”。之所以稱為“云”，是因為云計算在某些方面具有現(xiàn)實中云的特征：規(guī)模比較大、可以動態(tài)伸縮、無需確定具體位置等。云計算意味著計算能力也可以作為一種商品通過網(wǎng)絡(luò)進行流通，類似于電力從單臺發(fā)電機轉(zhuǎn)向了電廠集中供電。網(wǎng)絡(luò)云云計算的核心思想云計算核心思想是根據(jù)用戶需求，將大量用網(wǎng)絡(luò)連接53計算模式的發(fā)展趨勢MainframeNetwork、Client/Server、ClusterGrid、Cloud、Internet規(guī)模、能力范圍、用戶PC80%數(shù)據(jù)、計算、應(yīng)用將“云化”計算模式的發(fā)展趨勢MainframeNetwork、Clie54云計算與傳統(tǒng)IT架構(gòu)的對比55云計算優(yōu)勢體現(xiàn)提高可靠性實現(xiàn)數(shù)據(jù)冗余備份實現(xiàn)資源的可靠利用實現(xiàn)計算的安全穩(wěn)定降低成本降低服務(wù)成本延長資產(chǎn)的壽命隨需提供簡化用戶對信息資源的獲取提高信息服務(wù)質(zhì)量提高效率提高運行效率提高資源的效能提高運維管理效率云架構(gòu)傳統(tǒng)IT架構(gòu)虛擬化架構(gòu)應(yīng)用服務(wù)器網(wǎng)路存儲圖例云計算與傳統(tǒng)IT架構(gòu)的對比55云計算優(yōu)勢體現(xiàn)提高可靠性降低成55云計算三層體系架構(gòu)計算資源池基礎(chǔ)設(shè)施資源存儲資源池網(wǎng)絡(luò)資源池平臺資源應(yīng)用資源數(shù)據(jù)庫中間件ERP辦公服務(wù)自動化運維管理系統(tǒng)監(jiān)控管理商業(yè)智能操作系統(tǒng)資源開發(fā)環(huán)境測試環(huán)境

軟件即服務(wù)SaaS

(SoftwareasService）并行計算框架

平臺即服務(wù)PaaS

(PlatformasService）

基礎(chǔ)設(shè)施即服務(wù)IaaS

(InfrastructureasService）云計算三層體系架構(gòu)計算資源池基礎(chǔ)設(shè)施資源存儲資源池網(wǎng)絡(luò)資源池56云計算表現(xiàn)形式數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復(fù)；軟件在云端：不必下載自動升級；無所不在的計算：在任何時間，任意地點，任何設(shè)備登錄后就可以進行計算服務(wù)；強大的計算：具有無限空間的，無限速度。硬件為中心軟件為中心服務(wù)為中心PCC/S云計算云計算表現(xiàn)形式數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢57云計算可靠性研究組云計算大數(shù)據(jù)案例1：中國移動BigCloud云計算可靠性研究組云計算大數(shù)據(jù)案例1：中國移動BigClo58云計算大數(shù)據(jù)案例2：淘寶分布式數(shù)據(jù)處理云可靠性研究小組云計算大數(shù)據(jù)案例2：淘寶分布式數(shù)據(jù)處理云可靠性研究小組59數(shù)據(jù)改變商業(yè)Bigdataisnotaboutthesize,butfreedom.謝謝！數(shù)據(jù)改變商業(yè)Bigdataisnotaboutth60大數(shù)據(jù)

--開啟智能電網(wǎng)新時代大數(shù)據(jù)

--開啟智能電網(wǎng)新時代61

目錄

1、大數(shù)據(jù)概念

2、應(yīng)用中看大數(shù)據(jù)

3、迎接電力大數(shù)據(jù)時代

4、展望電力大數(shù)據(jù)時代

5、邁向電力大數(shù)據(jù)時代

6、電力大數(shù)據(jù)實踐

7、大數(shù)據(jù)技術(shù)實現(xiàn)

8、云計算與大數(shù)據(jù)目錄

1、621、大數(shù)據(jù)概念

1、大數(shù)據(jù)概念

63大數(shù)據(jù)的判斷標準——3個V第64頁多樣性（Variety）大數(shù)據(jù)不僅局限于結(jié)構(gòu)型數(shù)據(jù)，也包括非結(jié)構(gòu)型數(shù)據(jù)，比如：文字，錄音，錄像，視頻，記錄高速度（Velocity）大數(shù)據(jù)是時間敏感的，必須快速識別和快速響應(yīng)才能適應(yīng)業(yè)務(wù)需求大容量（Volume）大數(shù)據(jù)的特點就是巨大。公司充斥著各種數(shù)據(jù)，經(jīng)常是TB級，甚至是PT級的信息量大數(shù)據(jù)的判斷標準——3個V第4頁多樣性（Variety）高速64大數(shù)據(jù)及大數(shù)據(jù)時代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜度與規(guī)模已經(jīng)使得現(xiàn)有的數(shù)據(jù)庫管理工具難以對其進行處理”；大數(shù)據(jù)與技術(shù)環(huán)境的互動不只體現(xiàn)在技術(shù)方面，也體現(xiàn)在包括商業(yè)、法律、社會規(guī)范等人類生活的方方面面?！斑@是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進程?！?/p>

———哈佛大學(xué)社會學(xué)教授加里·金海量（Volume）多樣（Variety）快速（Velocity）大數(shù)據(jù)及大數(shù)據(jù)時代維基百科將大數(shù)據(jù)定義為“一組數(shù)據(jù)集，其復(fù)雜65大數(shù)據(jù)時代趨勢的本質(zhì)及特點信息生產(chǎn)的廉價與泛在更廉價的存儲、更廉價的計算、更廉價的網(wǎng)絡(luò)訪問與帶寬，使得信息生產(chǎn)、傳輸、存儲變得更加廉價與泛在信息反饋豐富及時大數(shù)據(jù)利用數(shù)字化記錄使得人類反思自己的思想與行為從而改善生活；這些數(shù)字化的記錄能夠讓人們從宏觀的視角更加準確地俯瞰人群的種種行為，形成整個人類對自身的反射思考信息量巨大信息量巨大是大數(shù)據(jù)時代的一個特點；數(shù)據(jù)量的增加將從信息環(huán)境和人們的認知方式兩方面帶來深遠的影響；不同來源的數(shù)據(jù)的融合將產(chǎn)生更大的價值；大數(shù)據(jù)時代的信息處理方式也將是以MoveCodetoData的方式進行；以數(shù)據(jù)挖掘和模式識別為代表的在海量數(shù)據(jù)中自動發(fā)現(xiàn)關(guān)系和模式的機械化數(shù)據(jù)處理工具為人們分析海量數(shù)據(jù)提供了可能。信息具備外部性往往數(shù)據(jù)本身是信息化系統(tǒng)在實現(xiàn)特定功能而進行支撐時所產(chǎn)生的副產(chǎn)品，這個副產(chǎn)品除了對組織自身的決策與運營改善有所幫助之外，它對第三方的組織也有不可估量的價值；在未來，數(shù)據(jù)為其擁有者創(chuàng)造價值仍將在未來的數(shù)據(jù)應(yīng)用領(lǐng)域占有重要地位，同時數(shù)據(jù)通過開放與流動為第三方創(chuàng)造價值也將是未來數(shù)據(jù)應(yīng)用的一個重要領(lǐng)域信息的數(shù)字化信息的數(shù)字化存儲將有助于人們建立數(shù)學(xué)模型，分析事物之間的相關(guān)關(guān)系與因果關(guān)系；數(shù)字化信息可在不同系統(tǒng)中無損地被復(fù)制、傳播，并展現(xiàn)信息不同的側(cè)面非主動干預(yù)的信息生產(chǎn)非主動干預(yù)的信息生產(chǎn)能夠突破人類注意力的瓶頸而產(chǎn)生海量的信息；非主動干預(yù)所生產(chǎn)的信息更加真實信息生產(chǎn)的民主化我們所生活的信息環(huán)境是由多數(shù)人決定的，而不是被少數(shù)特權(quán)者所把持；每個信息的消費者同時也可能是信息的生產(chǎn)者，即人們在被信息環(huán)境所影響的同時也在影響著信息環(huán)大數(shù)據(jù)時代趨勢的本質(zhì)及特點信息生產(chǎn)的廉價與泛在信息反饋豐富及66大數(shù)據(jù)的產(chǎn)生備注存儲價格的下降計算能力的提升帶寬的增加感知器成本的下降f()=技術(shù)以指數(shù)的速度進步觸發(fā)了大數(shù)據(jù)現(xiàn)象的出現(xiàn)大數(shù)據(jù)的產(chǎn)生備注存儲價格的下降f()=技術(shù)以指數(shù)的速度進步觸67算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奧巴馬政府的六個部門聯(lián)合發(fā)布了“大數(shù)據(jù)研究與發(fā)展計劃”，其中美國國家自然科學(xué)基金（NSF）的1,300萬美元預(yù)算中的1,000萬美元投資于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分別對應(yīng)MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——數(shù)據(jù)商業(yè)“三駕馬車”備注Algorit682B，2C到2D。

數(shù)據(jù)驅(qū)動的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟Step2Step3傳統(tǒng)經(jīng)濟模式下，企業(yè)向客戶出售產(chǎn)品或服務(wù)，以直接賺取金錢為目的互聯(lián)網(wǎng)經(jīng)濟下，企業(yè)盡可能多地發(fā)展用戶，不以直接從用戶處賺取金錢為目的，希望通過后向收費或者發(fā)掘用戶終身價值等方式賺取利潤?；ヂ?lián)網(wǎng)經(jīng)濟大數(shù)據(jù)經(jīng)濟數(shù)據(jù)將是未來企業(yè)的重要資產(chǎn)，企業(yè)通過數(shù)據(jù)創(chuàng)造新的商業(yè)模式，或直接通過數(shù)據(jù)售賣以及利用數(shù)據(jù)提供增值服務(wù)獲得巨大利潤產(chǎn)品、服務(wù)用戶數(shù)據(jù)海量用戶+良好的數(shù)據(jù)資產(chǎn)成為未來核心競爭力與收入的重要來源2D2C2B2B，2C到2D。

數(shù)據(jù)驅(qū)動的新業(yè)務(wù)模式傳統(tǒng)經(jīng)濟Step69

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺走向前臺，IT從后臺走向前臺

從業(yè)務(wù)支撐走向業(yè)務(wù)引導(dǎo)

形成新的生產(chǎn)資料和生產(chǎn)力IT從后臺702、應(yīng)用中看大數(shù)據(jù)2、應(yīng)用中看大數(shù)據(jù)71使用紀錄大規(guī)模人類行為活動的全量數(shù)據(jù)動畫視頻是演示的2012除夕夜北京市民短信拜年的行為，隨時間推進拜年短信在市區(qū)地圖上以煙花效果顯示?；趯?shù)百萬條短信的可視化分析，拜年的高潮并不是我們想像的午夜，而是晚餐前。全量數(shù)據(jù)，告訴了我們所不知的事實。量尺、天平、顯微鏡是我們認知傳統(tǒng)物理世界的工具。而今天，能夠如上帝般掌控全量數(shù)據(jù)，依賴于創(chuàng)新的信息技術(shù)，計算機不再只是打字、記賬、通訊工具，大數(shù)據(jù)幫助我們重新認識探索世界使用紀錄大規(guī)模人類行為活動的全量數(shù)據(jù)動畫視頻是演示的201272大數(shù)據(jù)開啟個性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時代才真正的開啟了對個體的關(guān)注，對意識層面的關(guān)注。

輸入你的微博賬戶，系統(tǒng)會計算并試圖描述你，主題詞標簽云，你背后的朋友圈、事業(yè)圈，性格分析、情緒分析，這些都來自于你的歷史言論和社交行為。天云大數(shù)據(jù)利用自然語言處理和機器學(xué)習(xí)技術(shù)，為零售、金融等商業(yè)活動，精確感知客戶，從而洞察市場，有效干預(yù)。大數(shù)據(jù)開啟個性化商業(yè)

借助網(wǎng)絡(luò)數(shù)據(jù)的客戶感知大數(shù)據(jù)的時代才真73要效率，大數(shù)據(jù)3秒鎖定疑犯－

公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車，住同一酒店的兩個人可能是同伙，刑偵人員將不同線索拼湊起來排查疑犯，可是來自于多源數(shù)據(jù)的處理在傳統(tǒng)IOE架構(gòu)上，需要數(shù)小時甚至整日。天云大數(shù)據(jù)平臺將這一操作縮短至3秒，同時描述出疑犯的交往關(guān)系。公安人員可以基于計算出的線索流暢的思考。大數(shù)據(jù)的效率讓量變成為質(zhì)變，形成新的洞察與知識要效率，大數(shù)據(jù)3秒鎖定疑犯－公安刑偵系統(tǒng)應(yīng)用乘坐同一班列車74“感覺”“情緒”等大量碎片息的度量與評估

大數(shù)據(jù)品牌影響力分析收集社交網(wǎng)絡(luò)中索納塔8新車發(fā)布一年里的全部言論，通過天云大數(shù)據(jù)的NPL和機器學(xué)習(xí)技術(shù)，對該品牌的各類主題關(guān)鍵詞形成標簽云?！皟?yōu)惠”“客運”“出租”“帕薩特”等標簽，基本勾勒出了基本品牌定位和競爭車型。同時社交網(wǎng)絡(luò)談?wù)摰臄?shù)量，可以描述該品牌的市場活躍度和影響力?；谡Z義情緒分析引擎可以定量品牌美譽度（藍色）和負面評論（紅色），從而對線下市場營銷活動做針對性指導(dǎo)。大數(shù)據(jù)提供更廣、更多維度的度量工具，幫助我們認知和改造世界。“感覺”“情緒”等大量碎片息的度量與評估

大數(shù)據(jù)品牌75移動：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析移動：已經(jīng)落地——經(jīng)分上網(wǎng)行為分析76移動：上網(wǎng)行為分析應(yīng)用架構(gòu)移動：上網(wǎng)行為分析應(yīng)用架構(gòu)77移動：BDA——URL解析分詞庫爬取基準url分類日志URL比對陌生URL已知URL網(wǎng)頁分類訓(xùn)練集百度熱詞爬取爬取內(nèi)容，分詞，根據(jù)規(guī)則將分詞入分詞庫爬取內(nèi)容，與分詞庫根據(jù)規(guī)則匹配，找出對應(yīng)url類別讀庫入庫匹配入庫入庫讀庫移動：BDA——URL解析分詞庫爬取基準url分類日志URL78運營商——CDR話單的交往圈識別CDR話單基于大數(shù)據(jù)處理及分析技術(shù)的交往圈運算全量用戶真實的交往圈機器學(xué)習(xí)算法：最大邊緣算法最大連通圖最短路徑Hip-Hop社交圈分析…垃圾用戶

主叫多

通話人之間無社交關(guān)系

通話時間短…優(yōu)質(zhì)用戶互動

社交圈

通話時間長…基于大數(shù)據(jù)技術(shù)的交往圈識別與分析運營商——CDR話單的交往圈識別CDR話單基于大數(shù)據(jù)處理及分銀行：根據(jù)用戶行為與交往圈進行個貸信用評估購買一氧化碳檢測器以及煙霧警報器的顧客購買了房子，并且他們的生活態(tài)度比較謹慎，是低信用風險顧客。購買鈦合金鉆頭以及木工工具的顧客有著比較奢侈的業(yè)余愛好，這部分顧客的信用風險也比較低。“風險”最高的消費是：加拿大蒙特利爾市的SharxPool酒吧里的消費，其中47%的顧客用CanadianTire信用卡消費以后在12個月內(nèi)曾經(jīng)四次拖欠還款。最“安全”的顧客是：購買昂貴的鳥食以及一種新型的“屋頂雪鏟”的顧客——戶主用這種雪鏟清除高處的積雪以免它們落到人行道上。社會資本代表了一個人的社交網(wǎng)絡(luò)的價值。一個人的社會資本由其所處的社會地位、影響力、聲望等因素決定社會資本和資產(chǎn)、人力資本存在一定相關(guān)性，但其中相關(guān)性并非絕對，有可能資產(chǎn)較低的人卻擁有較高的社會資本。一個擁有較低的資產(chǎn)，但是他擁有較好的社會資產(chǎn)，有可能在短期內(nèi)調(diào)動有用資源完成任務(wù)?？梢允褂妙愃芇ageRank的算法對用戶的社會資本進行評估?！澳愕某晒Σ粌H取決于你擁有什么，還取決于你認識誰”“你的行為有可能出賣了你”銀行：根據(jù)用戶行為與交往圈進行個貸信用評估購買一氧化碳檢80銀行——歷史數(shù)據(jù)存儲查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……BDP平臺數(shù)據(jù)準備層需求定義結(jié)構(gòu)統(tǒng)一邏輯定義轉(zhuǎn)換加載BDF中間件固定查詢動態(tài)查詢司法查詢其他查詢條件解析異構(gòu)轉(zhuǎn)換數(shù)據(jù)更新優(yōu)化策略瀏覽器客戶端Excel下載PDF下載門戶管理任務(wù)監(jiān)控權(quán)限管理運維管理系統(tǒng)管理銀行——歷史數(shù)據(jù)存儲查詢業(yè)務(wù)系統(tǒng)A業(yè)務(wù)系統(tǒng)B業(yè)務(wù)系統(tǒng)N……B813、迎接電力大數(shù)據(jù)時代3、迎接電力大數(shù)據(jù)時代82備注每個設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬條數(shù)據(jù)如果一個家庭有10個設(shè)備需要監(jiān)控，則一年產(chǎn)生400TB

存儲12傳統(tǒng)電表每年產(chǎn)生12條數(shù)據(jù)電力大數(shù)據(jù)源起備注每個設(shè)備15分鐘產(chǎn)生一組數(shù)據(jù)，每年產(chǎn)生35萬條數(shù)據(jù)1283電力大數(shù)據(jù)價值內(nèi)涵電力大數(shù)據(jù)價值內(nèi)涵84電力大數(shù)據(jù)特征電力大數(shù)據(jù)特征854、展望電力大數(shù)據(jù)時代4、展望電力大數(shù)據(jù)時代86電力大數(shù)據(jù)價值分析大數(shù)據(jù)技術(shù)能夠為中國電力工業(yè)帶來顯著的財務(wù)價值，在企業(yè)內(nèi)部的應(yīng)用也將極大的提高電力企業(yè)的運營效率和營收能力。除此之外，由于電力能源基礎(chǔ)設(shè)施的泛在性，其“天然聯(lián)系千家萬戶”的能源特質(zhì)，將使電力大數(shù)據(jù)的理念得到了全社會的廣泛認可。由此帶來的規(guī)?；?yīng)，電力工業(yè)的發(fā)展，加速傳統(tǒng)能源設(shè)施行業(yè)的快速轉(zhuǎn)型之外，整個國家經(jīng)濟中國社會的可持續(xù)發(fā)展都將起到積極而特殊的作用、綠色發(fā)展的方法、路線和政策。電力大數(shù)據(jù)價值分析大數(shù)據(jù)技術(shù)能夠為中國電87電力大數(shù)據(jù)應(yīng)用前景電力大數(shù)據(jù)應(yīng)用前景88電力大數(shù)據(jù)應(yīng)用前景（續(xù)）電力大數(shù)據(jù)應(yīng)用前景（續(xù)）89電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強。二數(shù)據(jù)共享不暢，數(shù)據(jù)集成程度不夠。三防御能力不足，信息安全面臨挑戰(zhàn)。四承載能力不足，基礎(chǔ)設(shè)施函待完善。五相關(guān)人才欠缺，專業(yè)人員供應(yīng)不足。電力大數(shù)據(jù)發(fā)展挑戰(zhàn)一數(shù)據(jù)質(zhì)量較低，數(shù)據(jù)管控能力不強。二數(shù)據(jù)共905、邁向電力大數(shù)據(jù)時代5、邁向電力大數(shù)據(jù)時代91電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)四數(shù)據(jù)展現(xiàn)技術(shù)電力大數(shù)據(jù)關(guān)鍵技術(shù)一數(shù)據(jù)分析技術(shù)二數(shù)據(jù)管理技術(shù)三數(shù)據(jù)處理技術(shù)92電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三人才培養(yǎng)、生態(tài)建設(shè)四智慧電力、智慧城市電力大數(shù)據(jù)發(fā)展策略一策劃先行、加快示范二數(shù)據(jù)質(zhì)量、行業(yè)共享三936、電力大數(shù)據(jù)實踐6、電力大數(shù)據(jù)實踐94實時海量數(shù)據(jù)是堅強智能電網(wǎng)的重要資產(chǎn)實時海量數(shù)據(jù)是堅強智能電網(wǎng)的重要資產(chǎn)95對實時數(shù)據(jù)的接入、存儲與處理、

監(jiān)測與智能分析要求海量安全接入信息網(wǎng)絡(luò)覆蓋范圍，支持智能傳感器、智能表計等設(shè)備接入多渠道互動用戶入口信息雙向交互的安全防護能力海量存儲電網(wǎng)狀態(tài)、設(shè)備狀態(tài)、用電信息采集等海量信息的存儲能力海量實時數(shù)據(jù)的處理、分析能力覆蓋營銷、生產(chǎn)調(diào)度、經(jīng)營管理的公司一體化數(shù)據(jù)模型，統(tǒng)一管理公司各類數(shù)據(jù)資源實時監(jiān)測資產(chǎn)運行績效的實時監(jiān)測和分析能力電網(wǎng)的動態(tài)運行監(jiān)測、智能報警、自動故障定位等能力用戶用電行為、能效、電能質(zhì)量等分析能力智能分析新能源和分布式能源的并網(wǎng)控制能力電網(wǎng)調(diào)度和運行監(jiān)控的協(xié)同融合能力實時線損管理及實時費控能力儲能系統(tǒng)的遠方監(jiān)視和控制能力需求側(cè)管理和對用戶負荷的控制能力對實時數(shù)據(jù)的接入、存儲與處理、

監(jiān)測與智能分析要求海量安全接96電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率調(diào)控中心SCADA/EMS電流、電壓、功率、檔位、頻率、開關(guān)動作、SOE、保護事件、計算值、積分電量132980點1~3秒電能計量關(guān)口電量數(shù)據(jù)2860個表計15分鐘生技(電科院)設(shè)備在線監(jiān)測系統(tǒng)變壓器監(jiān)測SPTR、絕緣監(jiān)測SINS、局放監(jiān)測與診斷SPDC、斷路器SCBR、避雷器SLAR、環(huán)境監(jiān)測SENV、絕緣氣體監(jiān)測SIMG、絕緣液體監(jiān)測SIML等待調(diào)研3秒覆冰檢測系統(tǒng)平均溫度（℃）、溫度（℃）、濕度（%RH）、風速（m/s）、雨量（mm/h）、導(dǎo)線拉力（kg）、地線拉力（kg）、導(dǎo)線傾角（°）、地線傾角（°）、導(dǎo)線覆冰厚度（mm）、地線覆冰厚度（mm）12個檢測點5-15分鐘變壓器絕緣油在線監(jiān)測氫氣、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、總烴、總可燃氣體350個檢測點日變壓器中性點直流分量監(jiān)測系統(tǒng)變壓器中性點直流電流347個檢測點3秒

雷電定位系統(tǒng)電流、地點（經(jīng)緯度）18個檢測點

秒

電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布1部門業(yè)務(wù)系統(tǒng)實時數(shù)97電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率電科院電能質(zhì)量所電能質(zhì)量監(jiān)測系統(tǒng)頻率、諧波電流、諧波電壓等180個采集點秒

計量中心計量自動化系統(tǒng)凍結(jié)電量,實時電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報警數(shù)據(jù)

四分線損統(tǒng)計數(shù)據(jù)主網(wǎng)3000個表計，

配網(wǎng)專變用戶266418表計，配網(wǎng)公變用戶192853表計，低壓用戶322153815分鐘電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某省實時數(shù)據(jù)分布2部門業(yè)務(wù)系統(tǒng)實時數(shù)98電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某市實時數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)數(shù)據(jù)量頻率系統(tǒng)運行部（調(diào)度）SCADA/EMS電壓，電流，開關(guān)位置，電網(wǎng)拓撲結(jié)構(gòu)遙測：超過3萬遙信：超過6萬1~3秒DMS10kv出線到用戶表計的電壓、電流、開關(guān)位置等信息1萬個監(jiān)測點遙測2-3萬遙信2萬多15分鐘計量中心計量自動化系統(tǒng)凍結(jié)電量,實時電量,功率數(shù)據(jù),電流數(shù)據(jù),電壓數(shù)據(jù),報警數(shù)據(jù)，四分線損統(tǒng)計數(shù)據(jù)專變1萬多公變1萬多小區(qū)集抄20多萬15分鐘電網(wǎng)實時數(shù)據(jù)調(diào)研現(xiàn)狀——某市實時數(shù)據(jù)分布部門業(yè)務(wù)系統(tǒng)實時數(shù)據(jù)99大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計控制動畫中實時記錄了每一座建筑的用電情況，酒店因party而在周末達到峰值，區(qū)域的用電情況并不均衡…智能電表的應(yīng)用引爆了數(shù)據(jù)激增，數(shù)據(jù)從12條每年增至400TB(10萬人口的城鎮(zhèn)每15秒采集)。但數(shù)據(jù)形成了新的生產(chǎn)力，不僅是預(yù)測，更可精確指導(dǎo)送電和發(fā)電。如同工業(yè)時代的機器人批量生產(chǎn)工業(yè)品，信息時代大數(shù)據(jù)在規(guī)?；詣踊庸ば碌纳a(chǎn)資料(數(shù)據(jù))，形成新的生產(chǎn)力。大數(shù)據(jù)生產(chǎn)力并不僅僅是供人類使用的洞察與決策，更可直接嵌入生產(chǎn)環(huán)節(jié)，機器指導(dǎo)機器，形成新的控制閉環(huán)，服務(wù)于工業(yè)、農(nóng)業(yè)、商業(yè)、服務(wù)業(yè)等，相對于互聯(lián)網(wǎng)的注意力經(jīng)濟，大數(shù)據(jù)構(gòu)建了一張更為廣闊的產(chǎn)業(yè)藍圖。Bigdata

ismoreaboutAutomation

thanInsight大數(shù)據(jù)不僅服務(wù)于決策，更是新的生產(chǎn)力

精確城市用電統(tǒng)計控制動100大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析系統(tǒng)需求隨著公司信息化水平的不斷提高，主機、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件數(shù)量不斷增多，業(yè)務(wù)資源訪問、操作量不斷增加，急需建立一套統(tǒng)一的日志集中管理和審計系統(tǒng)，能夠收集來自企業(yè)和組織計算環(huán)境中各種設(shè)備和應(yīng)用的安全日志，并進行存儲、監(jiān)控、分析、報警、響應(yīng)和報告。目標基于HADOOP分布式存儲和計算平臺的開發(fā)及系統(tǒng)部署全面的日志采集及歸一化處理功能開發(fā)及實施多維關(guān)聯(lián)分析功能開發(fā)及實施價值IT服務(wù)創(chuàng)新，提高服務(wù)水平和生產(chǎn)效率大數(shù)據(jù)新技術(shù)的引入創(chuàng)新，團隊大數(shù)據(jù)技術(shù)的使用和掌握探索大數(shù)據(jù)新模式，為深入挖掘數(shù)據(jù)價值鋪墊大數(shù)據(jù)服務(wù)IT創(chuàng)新，提高生產(chǎn)效率

浙江電力統(tǒng)一日志采集與分析1017、大數(shù)據(jù)技術(shù)實現(xiàn)7、大數(shù)據(jù)技術(shù)實現(xiàn)102其他數(shù)據(jù)旁路采集數(shù)據(jù)HA管理集群監(jiān)控集群告警日志管理元數(shù)據(jù)管理數(shù)據(jù)生命周期管理安全管理操作系統(tǒng)自動部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)層資源部署層分布式集群自動部署數(shù)據(jù)獲取層數(shù)據(jù)并行采集數(shù)據(jù)文件導(dǎo)入開發(fā)管理層清洗轉(zhuǎn)換腳本開發(fā)流程開發(fā)流程管理流程調(diào)度SQL開發(fā)接口訪問層JDBC接口Web服務(wù)接口自定義API平臺管理監(jiān)控層監(jiān)控報表展示（展現(xiàn)，告警，報送，門戶集成）邏輯架構(gòu)圖其他數(shù)據(jù)旁路采集數(shù)據(jù)操作系統(tǒng)自動部署接口采集數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)103物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群物理架構(gòu)圖電力大數(shù)據(jù)服務(wù)群104數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡從發(fā)展趨勢和支撐的數(shù)據(jù)擴展規(guī)模上看，傳統(tǒng)給MPP技術(shù)是數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡性技術(shù)。不能有效的支持應(yīng)用靈活性及隨需變化的要求。大數(shù)據(jù)解決方案提供了釋放應(yīng)用靈活性所需要的底層平臺和數(shù)據(jù)加工能力：通過WEB頁面和網(wǎng)絡(luò)就能進行HADOOP相關(guān)組件的部署、監(jiān)控、配置和操作的自動化管理平臺。提供了是能夠?qū)崿F(xiàn)如多種主流Linux操作系統(tǒng)的網(wǎng)絡(luò)分發(fā)安裝，基于Hadoop集群的快速部署、管理和監(jiān)控，以及分布式的數(shù)據(jù)就緒及處理等等的組件。為企業(yè)中大數(shù)據(jù)能力及項目的快速就緒提供簡單有效的高性價比解決方案。大數(shù)據(jù)技術(shù)固然誘人，但是其進入企業(yè)的過程仍然需要適合企業(yè)的生長環(huán)境，需要與企業(yè)已有的生態(tài)系統(tǒng)的方方面面共同生存。因此，大數(shù)據(jù)之于企業(yè)而言，在考慮業(yè)務(wù)需求的同時，對于數(shù)據(jù)安全、系統(tǒng)高可用性和容災(zāi)能力的要求也非常重要。流計算平臺可以捕捉數(shù)據(jù)流、篩選內(nèi)容并調(diào)用復(fù)雜的分布式事件計算，從而在最短的時間內(nèi)把數(shù)據(jù)關(guān)聯(lián)、分類和轉(zhuǎn)換為有價值的信息。

用普通PC服務(wù)器集群構(gòu)建的分布式流計算平臺，實現(xiàn)高性能、高可靠性、高彈性；易用性（便捷開發(fā)與靈活定制以及自動化運維）和即時就緒能力；可視化（流計算的可視化實時性往往與實時性相關(guān)，決定了其技術(shù)與傳統(tǒng)的BI的可視化不同）數(shù)據(jù)處理向大數(shù)據(jù)處理的過渡從發(fā)展趨勢和支撐的數(shù)據(jù)擴展規(guī)模上看105大數(shù)據(jù)核心技術(shù)——Hadoop

大數(shù)據(jù)核心技術(shù)——Hadoop106

大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實踐的執(zhí)行者BDABDFBDPBeagleDataFlow:企業(yè)友好MapReduce免開發(fā)行業(yè)最佳實踐的集成BeagleDataPlatform:自動化部署智能調(diào)度使用簡單助力構(gòu)建企業(yè)差異化競爭優(yōu)勢為企業(yè)提供：專家服務(wù)解決方案基礎(chǔ)平臺架構(gòu)BeagleDataAccelerator:機器學(xué)習(xí)等算法的集成ANN,SVM,BAYERS,NLP…數(shù)據(jù)到商業(yè)價值的轉(zhuǎn)換分布式計算基于分布式計算的開發(fā)能力科研成果的商業(yè)化使用簡單加速創(chuàng)新解決問題核心競爭力大數(shù)據(jù)產(chǎn)業(yè)化的領(lǐng)跑者

行業(yè)最佳實踐107商品化的X86服務(wù)器無需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中間件開發(fā)運行

BDA(BeagleDataAccelerator)ML機器學(xué)習(xí)工具包發(fā)布語義計算行為關(guān)系視覺計算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融歷史紀錄/影像/風險管理醫(yī)療衛(wèi)生EMR/HER/重癥監(jiān)護醫(yī)療／BI/能源智能電網(wǎng)/油田制造自動控制/質(zhì)檢零售消費行為分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自動化/監(jiān)控/調(diào)度任務(wù)管理/任務(wù)分配/日常維護電信精準營銷/話單查詢/IT支撐優(yōu)化DataMgnt:企業(yè)友好數(shù)據(jù)視圖位置感知／數(shù)據(jù)膨脹／生命周期管理／容災(zāi)業(yè)務(wù)能力數(shù)據(jù)能力平臺能力領(lǐng)先的大數(shù)據(jù)