大數(shù)據(jù)基礎(chǔ)知識

1、大數(shù)據(jù)基礎(chǔ)知識 電信云大數(shù)據(jù)產(chǎn)品線目錄 大數(shù)據(jù)定義 大數(shù)據(jù)價(jià)值 大數(shù)據(jù)產(chǎn)業(yè)鏈1. 大數(shù)據(jù)定義共識，共識， 全球數(shù)據(jù)量每年 +50% 的速度指數(shù)遞增 工業(yè)、生產(chǎn)數(shù)據(jù)遠(yuǎn)大于我們 現(xiàn)在關(guān)注的消費(fèi)數(shù)據(jù) 大量即時(shí)數(shù)據(jù)在價(jià)值未流失之前等待處理大數(shù)據(jù)營銷，大數(shù)據(jù)營銷， 根據(jù)企業(yè)數(shù)據(jù)需要組織挖掘分析，并基于IT系統(tǒng)實(shí)時(shí)把分析提供給需要決策幫助的內(nèi)部企業(yè)成員。 互聯(lián)網(wǎng)統(tǒng)計(jì) 大數(shù)據(jù)是一個(gè)服務(wù)行業(yè)。 大數(shù)據(jù)是傳統(tǒng)統(tǒng)計(jì)與互聯(lián)網(wǎng)相結(jié)合的行業(yè)。1. 大數(shù)據(jù)定義大數(shù)據(jù)定義：大數(shù)據(jù)定義： 所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。主要的特點(diǎn)

2、主要的特點(diǎn): Volume 數(shù)據(jù)體量 Velocity 數(shù)據(jù)速度 Variety 數(shù)據(jù)多樣 Veracity 數(shù)據(jù)真實(shí)2. 大數(shù)據(jù)價(jià)值在闡述大數(shù)據(jù)價(jià)值時(shí)，先一起先學(xué)習(xí)下數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識 智慧數(shù)據(jù)是約定俗成的數(shù)值量化，對客觀事物的數(shù)量、熟悉、位置及其相互關(guān)系進(jìn)行抽象表示， 以適合在這個(gè)領(lǐng)域中用人工或自然的方式進(jìn)行保存、傳遞和處理。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識 智慧信息是在時(shí)效內(nèi)的一定含義的， 經(jīng)過加工處理對決策有價(jià)值的數(shù)據(jù)流。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識 智慧通過人們的參與對信息進(jìn)行歸納、演繹、 比較等手段進(jìn)行挖掘， 使其有價(jià)值的部分沉淀下來， 并于已存在的

3、人類知識體系相結(jié)合， 這部分有價(jià)值的信息就轉(zhuǎn)變成知識。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識 智慧智慧是人類基于已有的知識， 針對物質(zhì)世界運(yùn)動(dòng)過程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，對比，演繹找出解決方案的能力。智慧乃以知識為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來創(chuàng)造價(jià)值。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識 智慧智慧是人類基于已有的知識， 針對物質(zhì)世界運(yùn)動(dòng)過程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，對比，演繹找出解決方案的能力。智慧乃以知識為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來創(chuàng)造價(jià)值。2. 大數(shù)據(jù)價(jià)值在此大數(shù)據(jù)作為服務(wù)工具，是數(shù)據(jù)分析能力的表現(xiàn)對大數(shù)據(jù)分析，

4、主要分為五個(gè)方面（提供大數(shù)據(jù)解決方案時(shí)的價(jià)值輸出載體）：可視化分析（Analytic Visualization）數(shù)據(jù)挖掘算法（Date Mining Algorithms）預(yù)測性分析能力（Predictive Analytic Capabilities）語義引擎（Semantic Engines）數(shù)據(jù)質(zhì)量管理（Data Quality Management）2. 大數(shù)據(jù)價(jià)值可視化分析（Analytic Visualization）2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)挖掘算法（Date Mining Algorithms）數(shù)據(jù)挖掘算法是大數(shù)據(jù)分析的理論核心，其本質(zhì)是一組根據(jù)算法事先定義好的數(shù)學(xué)公式，將收集到的

5、數(shù)據(jù)作為參數(shù)變量帶入其中，從而能夠從大量復(fù)雜的數(shù)據(jù)中提取到有價(jià)值的信息。著名的“啤酒和尿布”的故事就是數(shù)據(jù)挖掘算法的經(jīng)典案例。沃爾瑪通過對啤酒和尿布購買數(shù)據(jù)的分析，挖掘出以前未知的兩者間的聯(lián)系，并利用這種聯(lián)系，提升了商品的銷量。亞馬遜的推薦引擎和谷歌的廣告系統(tǒng)都大量使用了數(shù)據(jù)挖掘算法。2. 大數(shù)據(jù)價(jià)值語義引擎（Semantic Engines）語義引擎是機(jī)器學(xué)習(xí)的成果之一。過去，計(jì)算機(jī)對用戶輸入內(nèi)容的理解僅僅停留在字符階段，不能很好的理解輸入內(nèi)容的意思，因此常常不能準(zhǔn)確的了解用戶的需求。通過對大量復(fù)雜的數(shù)據(jù)進(jìn)行分析，讓計(jì)算機(jī)從中自我學(xué)習(xí)，可以使計(jì)算機(jī)能夠盡量精確的了解用戶輸入內(nèi)容的意思，從而把

6、握住用戶的需求，提供更好的。蘋果的Siri和谷歌的Google Now都采用了語義引擎。2. 大數(shù)據(jù)價(jià)值大數(shù)據(jù)解決方案在企業(yè)知識管理項(xiàng)目上的價(jià)值點(diǎn)：1. 提供專業(yè)團(tuán)隊(duì)（數(shù)據(jù)建模、挖掘技術(shù)）與客戶（行業(yè)專家）進(jìn)行企業(yè)數(shù)據(jù)價(jià)值勘探。2. 提供統(tǒng)一可擴(kuò)展的元數(shù)據(jù)規(guī)則庫構(gòu)建方案。避免組織內(nèi)產(chǎn)生不同信息和知識體系，保證數(shù)據(jù)的信息流通、知識管理、智慧創(chuàng)新。3. 在公共大數(shù)據(jù)挖掘平臺。 定制數(shù)據(jù)匯集，并依托平臺集約化的全面高效支持的時(shí)效、海量、彈性、關(guān)聯(lián)等核心能力下快速構(gòu)建解決和集成實(shí)施方案。4. 提供私有大數(shù)據(jù)挖掘平臺解決、集成方案，并建設(shè)性開放安全數(shù)據(jù)接口避免“數(shù)據(jù)孤島”。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈

7、，關(guān)鍵點(diǎn)，1. 基礎(chǔ)設(shè)施提供商2. 基礎(chǔ)系統(tǒng)提供商3. 大數(shù)據(jù)解決方案提供商4. 平臺服務(wù)提供商 3. 大數(shù)據(jù)產(chǎn)業(yè)鏈1. 基礎(chǔ)設(shè)施提供商a. 采集卡 / 視頻采集卡、監(jiān)控采集卡、空氣質(zhì)量采集器b. 網(wǎng)絡(luò)帶寬 / 電信 c. 存儲介質(zhì) / d. 計(jì)算設(shè)備 /e. 數(shù)據(jù)提供商 2. 基礎(chǔ)系統(tǒng)提供商- 目前最熱門的開源生態(tài)系統(tǒng)：hadoop 分布式計(jì)算框架 - Yarn: MR / Spark / Storm 分布式文件系統(tǒng) - Hdfs 分布式結(jié)構(gòu)化存儲 - Hbase / Cassandra3. 大數(shù)據(jù)產(chǎn)業(yè)鏈3. 大數(shù)據(jù)解決方案提供商 a. 行業(yè)、政府解決方案 發(fā)現(xiàn)周期規(guī)律、促進(jìn)數(shù)據(jù)關(guān)聯(lián)、 b.

8、 企業(yè)大數(shù)據(jù)解決方案 加強(qiáng)數(shù)據(jù)一致，信息流通，知識積累 b. 企業(yè)面向主題解決方案 面向 市場營銷、推廣回報(bào)比 、渠道質(zhì)量、投資風(fēng)險(xiǎn) 、產(chǎn)品定價(jià) 等主題 c. 企業(yè)面向運(yùn)營解決方案 發(fā)現(xiàn)異常、跟蹤質(zhì)量、客戶管理、預(yù)警風(fēng)險(xiǎn) 解決方案 3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 我們致力于云計(jì)算.大數(shù)據(jù)生態(tài)環(huán)境的建設(shè)，全面提供集約化面向企業(yè)提供大數(shù)據(jù)平臺和技術(shù)服務(wù)支持，在核心技術(shù)上我們已經(jīng)完成， a. 大規(guī)模數(shù)據(jù)分析 支持Map、Reduce、Join、Union 等多種數(shù)據(jù)節(jié)點(diǎn)處理模式，支持直接使用SQL 語句對海量數(shù)據(jù)進(jìn)行離線分析 提供與ANSI SQL 高度兼容的語法支持，支持用戶復(fù)雜的數(shù)據(jù)分析需求。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 b. 分布式文件系統(tǒng) 分布式文件系統(tǒng)擁有高可擴(kuò)展性，支持上億個(gè)文件和PB以上量級的文件存儲 實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的快速讀寫功能，實(shí)現(xiàn)了文件并行操作的高效機(jī)制 支持大規(guī)模并發(fā)讀寫，充分利用分布式并行帶寬 3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 c.