大數(shù)據(jù)基礎(chǔ)知識(shí)

大數(shù)據(jù)基礎(chǔ)知識(shí)電信云@大數(shù)據(jù)產(chǎn)品線目錄大數(shù)據(jù)定義大數(shù)據(jù)價(jià)值大數(shù)據(jù)產(chǎn)業(yè)鏈1.大數(shù)據(jù)定義共識(shí)，全球數(shù)據(jù)量每年+50%的速度指數(shù)遞增工業(yè)、生產(chǎn)數(shù)據(jù)遠(yuǎn)大于我們 現(xiàn)在關(guān)注的消費(fèi)數(shù)據(jù)大量即時(shí)數(shù)據(jù)在價(jià)值未流失之前等待處理大數(shù)據(jù)營(yíng)銷，根據(jù)企業(yè)數(shù)據(jù)需要組織挖掘分析，并基于IT系統(tǒng)實(shí)時(shí)把分析提供給需要決策幫助的內(nèi)部企業(yè)成員?；ヂ?lián)網(wǎng)統(tǒng)計(jì)

大數(shù)據(jù)是一個(gè)服務(wù)行業(yè)。大數(shù)據(jù)是傳統(tǒng)統(tǒng)計(jì)與互聯(lián)網(wǎng)相結(jié)合的行業(yè)。1.大數(shù)據(jù)定義大數(shù)據(jù)定義：所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。主要的特點(diǎn):Volume數(shù)據(jù)體量Velocity數(shù)據(jù)速度Variety數(shù)據(jù)多樣Veracity數(shù)據(jù)真實(shí)2.大數(shù)據(jù)價(jià)值在闡述大數(shù)據(jù)價(jià)值時(shí)，先一起先學(xué)習(xí)下數(shù)據(jù)價(jià)值

數(shù)據(jù)<信息<知識(shí)<智慧數(shù)據(jù)是約定俗成的數(shù)值量化，對(duì)客觀事物的數(shù)量、熟悉、位置及其相互關(guān)系進(jìn)行抽象表示，以適合在這個(gè)領(lǐng)域中用人工或自然的方式進(jìn)行保存、傳遞和處理。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧信息是在時(shí)效內(nèi)的一定含義的，經(jīng)過(guò)加工處理對(duì)決策有價(jià)值的數(shù)據(jù)流。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧通過(guò)人們的參與對(duì)信息進(jìn)行歸納、演繹、比較等手段進(jìn)行挖掘，使其有價(jià)值的部分沉淀下來(lái)，并于已存在的人類知識(shí)體系相結(jié)合，這部分有價(jià)值的信息就轉(zhuǎn)變成知識(shí)。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧智慧是人類基于已有的知識(shí)，針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來(lái)創(chuàng)造價(jià)值。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧智慧是人類基于已有的知識(shí)，針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來(lái)創(chuàng)造價(jià)值。2.大數(shù)據(jù)價(jià)值在此大數(shù)據(jù)作為服務(wù)工具，是數(shù)據(jù)分析能力的表現(xiàn)對(duì)大數(shù)據(jù)分析，主要分為五個(gè)方面（提供大數(shù)據(jù)解決方案時(shí)的價(jià)值輸出載體）：可視化分析（AnalyticVisualization）數(shù)據(jù)挖掘算法（DateMiningAlgorithms）預(yù)測(cè)性分析能力（PredictiveAnalyticCapabilities）語(yǔ)義引擎（SemanticEngines）數(shù)據(jù)質(zhì)量管理（DataQualityManagement）2.大大數(shù)據(jù)價(jià)價(jià)值可視化分分析（AnalyticVisualization）2.大大數(shù)據(jù)價(jià)價(jià)值數(shù)據(jù)挖掘掘算法（（DateMiningAlgorithms）數(shù)據(jù)挖掘掘算法是是大數(shù)據(jù)據(jù)分析的的理論核心心，其本質(zhì)質(zhì)是一組組根據(jù)算算法事先先定義好好的數(shù)學(xué)學(xué)公式，，將收集集到的數(shù)數(shù)據(jù)作為為參數(shù)變變量帶入入其中，，從而能能夠從大大量復(fù)雜雜的數(shù)據(jù)據(jù)中提取取到有價(jià)價(jià)值的信信息。著名的““啤酒和和尿布””的故事事就是數(shù)數(shù)據(jù)挖掘掘算法的的經(jīng)典案案例。沃沃爾瑪通通過(guò)對(duì)啤啤酒和尿尿布購(gòu)買買數(shù)據(jù)的的分析，，挖掘出出以前未未知的兩兩者間的的聯(lián)系，，并利用用這種聯(lián)聯(lián)系，提提升了商商品的銷銷量。亞亞馬遜的的推薦引引擎和谷谷歌的廣廣告系統(tǒng)統(tǒng)都大量量使用了了數(shù)據(jù)挖挖掘算法法。2.大大數(shù)據(jù)價(jià)價(jià)值語(yǔ)義引擎擎（SemanticEngines））語(yǔ)義引擎擎是機(jī)器器學(xué)習(xí)的的成果之之一。過(guò)過(guò)去，計(jì)計(jì)算機(jī)對(duì)對(duì)用戶輸輸入內(nèi)容容的理解解僅僅停停留在字字符階段段，不能能很好的的理解輸輸入內(nèi)容容的意思思，因此此常常不不能準(zhǔn)確確的了解解用戶的的需求。。通過(guò)對(duì)對(duì)大量復(fù)復(fù)雜的數(shù)數(shù)據(jù)進(jìn)行行分析，，讓計(jì)算機(jī)從從中自我我學(xué)習(xí)，可以使使計(jì)算機(jī)機(jī)能夠盡盡量精確確的了解用戶戶輸入內(nèi)容的意意思，從從而把握握住用戶戶的需求求，提供供更好的的用戶體驗(yàn)驗(yàn)。蘋果的的Siri和谷谷歌的GoogleNow都采用用了語(yǔ)義義引擎。。2.大大數(shù)據(jù)價(jià)價(jià)值大數(shù)據(jù)解解決方案案在企業(yè)業(yè)知識(shí)管管理項(xiàng)目目上的價(jià)價(jià)值點(diǎn)：：1.提提供供專業(yè)團(tuán)隊(duì)隊(duì)（數(shù)據(jù)建建模、挖挖掘技術(shù)術(shù)）與客客戶（行行業(yè)專家家）進(jìn)行行企業(yè)數(shù)數(shù)據(jù)價(jià)值勘探探。2.提提供統(tǒng)統(tǒng)一可擴(kuò)擴(kuò)展的元數(shù)據(jù)規(guī)規(guī)則庫(kù)構(gòu)構(gòu)建方案案。避免組組織內(nèi)產(chǎn)產(chǎn)生不同同信息和和知識(shí)體體系，保證數(shù)據(jù)的信息流通通、知識(shí)識(shí)管理、、智慧創(chuàng)創(chuàng)新。3.在在公共大數(shù)數(shù)據(jù)挖掘掘平臺(tái)。定制數(shù)據(jù)據(jù)匯集，，并依托托平臺(tái)集集約化的的全面高高效支持持的時(shí)效、海海量、彈彈性、關(guān)關(guān)聯(lián)等核心能能力下快快速構(gòu)建建解決和和集成實(shí)實(shí)施方案案。4.提提供供私有大數(shù)數(shù)據(jù)挖掘掘平臺(tái)解決、集集成方案案，并建建設(shè)性開開放安全全數(shù)據(jù)接接口避免免“數(shù)據(jù)孤島島”。3.大大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈，，關(guān)鍵點(diǎn)點(diǎn)，1.基基礎(chǔ)設(shè)施施提供商商2.基基礎(chǔ)系統(tǒng)統(tǒng)提供商商3.大大數(shù)據(jù)解解決方案案提供商商4.平平臺(tái)服務(wù)務(wù)提供商商3.大大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈1.基基礎(chǔ)設(shè)施施提供商商a.采采集卡/視視頻采集集卡、監(jiān)監(jiān)控采集集卡、空空氣質(zhì)量量采集器器b.網(wǎng)網(wǎng)絡(luò)帶寬寬/電電信c.存存儲(chǔ)介質(zhì)質(zhì)/d.計(jì)計(jì)算設(shè)備備/e.數(shù)據(jù)提供供商2.基基礎(chǔ)系統(tǒng)統(tǒng)提供商商-目前最熱熱門的開開源生態(tài)態(tài)系統(tǒng)：：hadoop分布式計(jì)計(jì)算框架架-Yarn:MR/Spark/Storm分布式文文件系統(tǒng)統(tǒng)-Hdfs分布式結(jié)結(jié)構(gòu)化存存儲(chǔ)-Hbase/Cassandra3.大大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈3.大大數(shù)據(jù)解解決方案案提供商商a.行行業(yè)、政政府解決決方案發(fā)現(xiàn)周期期規(guī)律、、促進(jìn)數(shù)數(shù)據(jù)關(guān)聯(lián)聯(lián)、b.企企業(yè)大數(shù)數(shù)據(jù)解決決方案加強(qiáng)數(shù)據(jù)據(jù)一致，，信息流流通，知知識(shí)積累累b.企企業(yè)面向向主題解解決方案案面向市市場(chǎng)營(yíng)銷銷、推廣廣回報(bào)比比、渠渠道質(zhì)量量、投資資風(fēng)險(xiǎn)、、產(chǎn)品品定價(jià)等等主題題c.企企業(yè)面面向運(yùn)營(yíng)營(yíng)解決方方案發(fā)現(xiàn)異常常、跟蹤蹤質(zhì)量、、客戶管管理、預(yù)預(yù)警風(fēng)險(xiǎn)險(xiǎn)解決決方案3.大大數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈4.平平臺(tái)服務(wù)務(wù)提供商商/電電信云云.大數(shù)數(shù)據(jù)產(chǎn)品品線我們致力力于云計(jì)計(jì)算.大大數(shù)據(jù)生生態(tài)環(huán)境境的建設(shè)設(shè)，全面面提供集集約化面面向企業(yè)業(yè)提供大大數(shù)據(jù)平平臺(tái)和技技術(shù)服務(wù)務(wù)支持，，在核心心技術(shù)上上我們已已經(jīng)完成成，a.大大規(guī)模數(shù)數(shù)據(jù)分析析支持Map、Reduce、、Join、Union等等多種數(shù)數(shù)據(jù)節(jié)點(diǎn)點(diǎn)處理模模式，支支持直接接使用SQL語(yǔ)語(yǔ)句對(duì)對(duì)海量數(shù)數(shù)據(jù)進(jìn)行行離線分分析提供與ANSISQL高高度兼容容的語(yǔ)法法支持，，支持用用戶復(fù)雜雜的數(shù)據(jù)據(jù)分析需需求。3.大大數(shù)數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈鏈4.平平臺(tái)臺(tái)服務(wù)務(wù)提供供商/電電信信云.大數(shù)數(shù)據(jù)產(chǎn)產(chǎn)品線線b.分分布布式文文件系系統(tǒng)分布式式文件件系統(tǒng)統(tǒng)擁有有高可可擴(kuò)展展性，，支持持上億億個(gè)文文件和和PB以上上量級(jí)級(jí)的文文件存存儲(chǔ)實(shí)現(xiàn)了了大規(guī)規(guī)模數(shù)數(shù)據(jù)的的快速速讀寫寫功能能，實(shí)實(shí)現(xiàn)了了文件件并行行操作作的高高效機(jī)機(jī)制支持大大規(guī)模模并發(fā)發(fā)讀寫寫，充充分利利用分分布式式并行行帶寬寬3.大大數(shù)數(shù)據(jù)產(chǎn)產(chǎn)業(yè)鏈鏈4.平平臺(tái)臺(tái)服務(wù)務(wù)提供供商/電電信信云.大數(shù)數(shù)據(jù)產(chǎn)產(chǎn)品線線c.任任務(wù)務(wù)調(diào)度度采用數(shù)數(shù)據(jù)驅(qū)驅(qū)動(dòng)的的多級(jí)級(jí)流水水線并并行計(jì)計(jì)算框框架，，在表表述能能力上上兼容容MapR