大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)應(yīng)用

1大數(shù)據(jù)問題及技術(shù)與產(chǎn)業(yè)應(yīng)用清華大學(xué)蘇研院大數(shù)據(jù)處理中心林輝，趙勇1/27海量數(shù)據(jù)212+TBs

oftweetdata

everyday25+TBsof

logdataeveryday?TBsof

dataeveryday2+billionpeopleontheWebbyend30billionRFIDtagstoday

(1.3Bin)4.6billioncameraphonesworldwide100sofmillionsofGPSenableddevicessoldannually76millionsmartmetersin…

200Mby2/27數(shù)據(jù)分析復(fù)雜度3/27大數(shù)據(jù)BigData大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理數(shù)據(jù)集合大數(shù)據(jù)=“海量數(shù)據(jù)”+“復(fù)雜類型數(shù)據(jù)”包括各個行業(yè)領(lǐng)域電力、電信、經(jīng)貿(mào)、教育、醫(yī)療、金融、石油、民航天文、氣象、基因、醫(yī)學(xué)、物理、互聯(lián)網(wǎng)與人類社會活動相關(guān)網(wǎng)絡(luò)數(shù)據(jù)44/27大數(shù)據(jù)特征5不一樣結(jié)構(gòu)復(fù)雜數(shù)據(jù)：關(guān)系型數(shù)據(jù)、日志和文本數(shù)據(jù)流量大：數(shù)據(jù)處理從批處理轉(zhuǎn)向流處理大容量：從TB、PB到ZB數(shù)據(jù)即資源，表達(dá)價值，數(shù)據(jù)中能挖掘出價值信息Variety:Velocity:Volume:Value：

5/27數(shù)據(jù)==價值6數(shù)據(jù)正在成為各行各業(yè)，乃至每個人最關(guān)心、最有價值東西醫(yī)生需要了解病人病歷以及經(jīng)典病人治療方式相關(guān)數(shù)據(jù)，方便對癥治療；疾病預(yù)防中心需要了解疫情暴發(fā)、擴(kuò)散相關(guān)數(shù)據(jù)，方便做好疫情防御；醫(yī)院需要病床、藥品及季節(jié)行流行病相關(guān)數(shù)據(jù)，方便統(tǒng)一布署醫(yī)療設(shè)施；股票經(jīng)濟(jì)人需要對股票行情數(shù)據(jù)分析，判定下一個市場投資熱點(diǎn)；企業(yè)供給鏈需要了解產(chǎn)品進(jìn)銷存數(shù)據(jù)，方便下一步備料生產(chǎn)；企業(yè)經(jīng)營者需要對市場數(shù)據(jù)進(jìn)行分析，方便制訂企業(yè)下一步市場策略；投資者需要靠數(shù)據(jù)進(jìn)行投資前景、可行性進(jìn)行分析評定，確保投資收益；民航、酒店需要了解旅客出行規(guī)律，方便更加好服務(wù)客戶；商場、商家需要了解用戶生活習(xí)慣、購物心理，制訂最有效市場推廣方式；商業(yè)網(wǎng)站則需要了解用戶網(wǎng)絡(luò)瀏覽方式，方便推出更貼切客戶習(xí)慣產(chǎn)品；癌癥研究者需要了解分子結(jié)構(gòu)和癌分子綁定數(shù)據(jù)，方便研制新型抗癌藥；石油勘探需要需要了解地質(zhì)數(shù)據(jù)并分析建模；氣象工作者需要了解海洋氣候數(shù)據(jù)，方便公布及時準(zhǔn)確公布；6/27大數(shù)據(jù)藍(lán)海7區(qū)域發(fā)展氣候信息行業(yè)信息市場信息國家戰(zhàn)略投資信息經(jīng)濟(jì)信息生活咨詢貿(mào)易信息旅游咨詢計算應(yīng)用分析加工個人生活相關(guān)（投資理財、居家生活、旅游出行）企業(yè)發(fā)展相關(guān)（投資前景、市場戰(zhàn)略、市場先機(jī)）區(qū)域經(jīng)濟(jì)發(fā)展（區(qū)域規(guī)劃、城市發(fā)展、發(fā)展先機(jī)）國家發(fā)展戰(zhàn)略（全球經(jīng)濟(jì)、國計民生、政策法規(guī)）大數(shù)據(jù)影響到我們生活周圍各個方面。7/27大數(shù)據(jù)處理意義8大數(shù)據(jù)不是噱頭，是技術(shù)發(fā)展的必然階段云計算等新興信息技術(shù)正在真正地落地和實(shí)施云計算等新興信息技術(shù)恰恰是是解決大數(shù)據(jù)問題的核心關(guān)鍵應(yīng)用背景對大數(shù)據(jù)的推動作用大于其他條件有充足的應(yīng)用場景有一個系統(tǒng)科學(xué)的方法論合理的人才和知識儲備有極為廣泛的創(chuàng)新動機(jī)大數(shù)據(jù)是一個不可多得的發(fā)展機(jī)遇關(guān)鍵技術(shù)和核心技術(shù)各國之間的差距不是很大，這是追趕和減少綁架進(jìn)而實(shí)現(xiàn)自主創(chuàng)新的最大契機(jī)8/27海外市場環(huán)境美國奧巴馬政府推出了“大數(shù)據(jù)研究和發(fā)展倡議”，并投資2億美金支持大數(shù)據(jù)研發(fā)，說明大數(shù)據(jù)已成為信息科技領(lǐng)域熱點(diǎn)。資本市場高度關(guān)注大數(shù)據(jù)技術(shù)型企業(yè)發(fā)展風(fēng)投機(jī)構(gòu)AccelPartners設(shè)置1億美元專題基金大數(shù)據(jù)分析企業(yè)Splunk，首日上市IPO即上漲109%大數(shù)據(jù)軟件提供商Birst企業(yè)今年已經(jīng)從紅杉資本等機(jī)構(gòu)取得了2600萬美元投資為開源大數(shù)據(jù)技術(shù)Hadoop商業(yè)版本提供銷售和支持服務(wù)Cloudera取得7500萬美元投資MapR、10Gen、DataStax等大數(shù)據(jù)軟件服務(wù)商近期都完成了千萬美元級融資。99/27市場預(yù)測10依據(jù)Wikibon最近公布匯報，大數(shù)據(jù)市場正處于井噴式增加前夕，未來五年全球大數(shù)據(jù)市場價值將高達(dá)500億美元。國內(nèi)云計算及大數(shù)據(jù)市場已經(jīng)初步具備發(fā)展態(tài)勢，據(jù)研究表明，大數(shù)據(jù)市場規(guī)模也將從167億元增加到年1174億元，年均復(fù)合增加率到達(dá)91.5%。10/27市場規(guī)模11政府、互聯(lián)網(wǎng)、電信、金融大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)二分之一市場份額。11/27大數(shù)據(jù)問題12速度方面的問題導(dǎo)入導(dǎo)出問題統(tǒng)計分析問題檢索查詢問題實(shí)時響應(yīng)問題

種類及架構(gòu)問題多源問題異構(gòu)問題原系統(tǒng)的底層架構(gòu)問題體量及靈活性問題線性擴(kuò)展問題動態(tài)調(diào)度問題成本問題大機(jī)與小型服務(wù)器的成本比對原有系統(tǒng)改造的成本把控價值挖掘問題數(shù)據(jù)分析與挖掘問題數(shù)據(jù)挖掘后的實(shí)際增效問題存儲及安全問題結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)安全隱私安全互聯(lián)互通與數(shù)據(jù)共享問題數(shù)據(jù)標(biāo)準(zhǔn)與接口共享協(xié)議訪問權(quán)限12/27大數(shù)據(jù)技術(shù)13計算結(jié)果展現(xiàn)報表、圖形、可視化工具、增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)計算查詢、統(tǒng)計、分析、預(yù)測、挖掘、圖譜、BI數(shù)據(jù)存儲分布式文件系統(tǒng)，分布式數(shù)據(jù)庫數(shù)據(jù)采集ETL工具，數(shù)據(jù)總線基礎(chǔ)架構(gòu)支持云計算平臺、云存儲、分布式文件系統(tǒng)等13/27行業(yè)大數(shù)據(jù)應(yīng)用挑戰(zhàn)1414/27清華大學(xué)大數(shù)據(jù)產(chǎn)品及結(jié)果云計算管理平臺：計算、網(wǎng)絡(luò)、存儲資源的虛擬化管理、調(diào)度、監(jiān)控虛擬資源池管理系統(tǒng)：跨數(shù)據(jù)中心的虛擬資源池部署、配置、管理大規(guī)模分布式云存儲系統(tǒng)：分布式自容錯、自恢復(fù)的云存儲系統(tǒng)分布式閃電數(shù)據(jù)庫：高效率的、支持綜合查詢及事務(wù)的分布式數(shù)據(jù)庫行業(yè)大數(shù)據(jù)處理平臺：結(jié)合多模態(tài)的大數(shù)據(jù)綜合處理平臺數(shù)據(jù)挖掘算法平臺：分布式數(shù)據(jù)挖掘平臺視頻處理平臺：多媒體綜合檢索、識別及語義分析平臺3D建模及體感交互技術(shù)：3D數(shù)字化建模及體感交互控制技術(shù)1515/27行業(yè)大數(shù)據(jù)處理方案云燕：大規(guī)模任務(wù)流程管理系統(tǒng)應(yīng)用定制復(fù)雜流程管理自動容錯機(jī)制可視化云鷹：大規(guī)模任務(wù)調(diào)度系統(tǒng)輕型高效任務(wù)調(diào)度：每秒分發(fā)幾千個任務(wù)高可擴(kuò)展性支持：上千萬任務(wù)、數(shù)十萬CPU跨數(shù)據(jù)中心資源協(xié)同使用自動負(fù)載均衡云龍：云資源管理監(jiān)控系統(tǒng)集中統(tǒng)一計算平臺：資源共享，彈性調(diào)度虛擬鏡像：自動應(yīng)用環(huán)境布署完善監(jiān)控及日志功效1616/27云燕系統(tǒng)架構(gòu)17云燕處理海量數(shù)據(jù)計算中數(shù)據(jù)多樣復(fù)雜性、系統(tǒng)異構(gòu)性、系統(tǒng)流程管理問題；自動實(shí)現(xiàn)并行化運(yùn)行，能夠運(yùn)行于集群、網(wǎng)格、超級計算機(jī)及云平臺上。17/27管理調(diào)度160000個CPU核1818/27應(yīng)用效果：醫(yī)藥學(xué)靶點(diǎn)分析19CPU核:118784任務(wù)數(shù):934803運(yùn)行時間:2.01小時CPU年:21.43利用率:連續(xù):99.6%總體:78.3%吞吐量(任務(wù)/秒)

完成任務(wù)數(shù)處理器數(shù)目時間(秒)處理器活動任務(wù)完成任務(wù)吞吐量(任務(wù)/秒)19/27大數(shù)據(jù)應(yīng)用20大數(shù)據(jù)智慧安全智慧商業(yè)國家電網(wǎng)中航信工商總局審計中移動智慧城市智能交通智能小區(qū)智能政務(wù)20/27國家電網(wǎng)2121/27中航信動態(tài)航班聯(lián)程300萬航班實(shí)時路徑搜索與規(guī)則匹配90%查詢操作在50ms內(nèi)完成跨數(shù)據(jù)中心同時分布式數(shù)據(jù)庫2222/27中移動營銷數(shù)據(jù)分析及建模移動終端促銷數(shù)據(jù)業(yè)務(wù)/手機(jī)應(yīng)用推廣2323/27社保審計大數(shù)據(jù)處理24政策分析模型績效監(jiān)測模型分析型監(jiān)測模型正當(dāng)性合規(guī)性監(jiān)測模型基礎(chǔ)數(shù)據(jù)統(tǒng)計業(yè)務(wù)審計、財務(wù)審計、復(fù)核審計供養(yǎng)比、替換率、基尼系數(shù)可連續(xù)性、政策一致性等地市區(qū)劃或行業(yè)劃分業(yè)務(wù)流程險種企業(yè)職員基本養(yǎng)老保險發(fā)放數(shù)據(jù)A市職員基本醫(yī)療保險征繳數(shù)據(jù)24/27清華大數(shù)據(jù)中心運(yùn)行模式25企業(yè)研究院生產(chǎn)一線企應(yīng)用教授組政政府扶持力量海外資源產(chǎn)教授委員會研專業(yè)研究人員學(xué)師資團(tuán)體企業(yè)化平臺合約關(guān)系優(yōu)勢：企業(yè)化運(yùn)行獨(dú)立法人機(jī)構(gòu)研發(fā)、實(shí)施、運(yùn)維、服務(wù)以當(dāng)代服務(wù)業(yè)理念服務(wù)于行業(yè)需求25/27大數(shù)據(jù)應(yīng)用提議正確應(yīng)對大機(jī)、單機(jī)問題