大數(shù)據(jù)基礎(chǔ)知識培訓

1、大數(shù)據(jù)根底(gnd)知識 電信(dinxn)云大數(shù)據(jù)產(chǎn)品線第一頁，共二十三頁。目錄(ml)大數(shù)據(jù)定義(dngy)大數(shù)據(jù)價值大數(shù)據(jù)產(chǎn)業(yè)鏈第二頁，共二十三頁。1. 大數(shù)據(jù)(shj)定義共識， 全球數(shù)據(jù)量每年 +50% 的速度指數(shù)(zhsh)遞增 工業(yè)、生產(chǎn)數(shù)據(jù)遠大于我們 現(xiàn)在關(guān)注的消費數(shù)據(jù) 大量即時數(shù)據(jù)在價值未流失之前等待處理大數(shù)據(jù)營銷， 根據(jù)企業(yè)數(shù)據(jù)需要組織挖掘分析，并基于IT系統(tǒng)實時把分析提供給需要決策幫助的內(nèi)部企業(yè)成員。 互聯(lián)網(wǎng)統(tǒng)計 大數(shù)據(jù)是一個效勞行業(yè)。 大數(shù)據(jù)是傳統(tǒng)統(tǒng)計與互聯(lián)網(wǎng)相結(jié)合的行業(yè)。第三頁，共二十三頁。1. 大數(shù)據(jù)(shj)定義大數(shù)據(jù)定義： 所涉及的資料量規(guī)模巨大到無法通過(tn

2、ggu)目前主流軟件工具，在合理時間內(nèi)到達擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。主要的特點:Volume 數(shù)據(jù)體量Velocity 數(shù)據(jù)速度Variety 數(shù)據(jù)多樣Veracity 數(shù)據(jù)真實第四頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值在闡述大數(shù)據(jù)(shj)價值時，先一起先學習下數(shù)據(jù)價值 數(shù)據(jù) 信息 知識 智慧數(shù)據(jù)是約定俗成的數(shù)值量化，對客觀事物的數(shù)量、熟悉、位置及其相互關(guān)系進行抽象表示， 以適合在這個領(lǐng)域中用人工或自然的方式進行保存、傳遞和處理。第五頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值數(shù)據(jù)價值 數(shù)據(jù) 信息 知識 智慧信息是在時效內(nèi)的一定含義的， 經(jīng)過加工(ji

3、gng)處理對決策有價值的數(shù)據(jù)流。第六頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值數(shù)據(jù)價值 數(shù)據(jù) 信息 知識 智慧(zhhu)通過人們的參與對信息進行歸納、演繹、 比較等手段進行挖掘， 使其有價值的局部沉淀下來， 并于已存在的人類知識體系相結(jié)合， 這局部有價值的信息就轉(zhuǎn)變成知識。第七頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值數(shù)據(jù)價值(jizh) 數(shù)據(jù) 信息 知識 智慧智慧是人類基于已有的知識， 針對物質(zhì)世界運動過程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，比照，演繹找出解決方案的能力。智慧乃以知識為根基，加上的運用能力、綜合判斷、創(chuàng)造力及實踐能力來創(chuàng)造價值。第八頁，共二十三頁。2. 大數(shù)據(jù)(shj)價

4、值數(shù)據(jù)價值 數(shù)據(jù) 信息 知識 智慧智慧是人類基于已有的知識， 針對物質(zhì)世界運動過程中產(chǎn)生的問題根據(jù)獲得的信息盡行分析，比照，演繹找出解決方案的能力。智慧乃以知識為根基，加上的運用能力、綜合判斷(pndun)、創(chuàng)造力及實踐能力來創(chuàng)造價值。第九頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值在此大數(shù)據(jù)作為效勞工具，是數(shù)據(jù)分析能力的表現(xiàn)對大數(shù)據(jù)分析，主要分為五個方面提供大數(shù)據(jù)解決方案時的價值輸出載體：可視化分析Analytic Visualization數(shù)據(jù)挖掘算法(sun f)Date Mining Algorithms預測性分析能力Predictive Analytic Capabilities語義引

5、擎Semantic Engines數(shù)據(jù)質(zhì)量管理Data Quality Management第十頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值可視化分析(fnx)Analytic Visualization第十一頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值數(shù)據(jù)挖掘算法Date Mining Algorithms數(shù)據(jù)挖掘算法是大數(shù)據(jù)分析的理論核心，其本質(zhì)是一組根據(jù)算法事先定義好的數(shù)學公式，將收集到的數(shù)據(jù)作為參數(shù)(cnsh)變量帶入其中，從而能夠從大量復雜的數(shù)據(jù)中提取到有價值的信息。著名的“啤酒和尿布的故事就是數(shù)據(jù)挖掘算法的經(jīng)典案例。沃爾瑪通過對啤酒和尿布購置數(shù)據(jù)的分析，挖掘出以前未知的兩者間的聯(lián)系，并

6、利用這種聯(lián)系，提升了商品的銷量。亞馬遜的推薦引擎和谷歌的廣告系統(tǒng)都大量使用了數(shù)據(jù)挖掘算法。第十二頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值語義引擎Semantic Engines語義引擎是機器學習的成果之一。過去，計算機對用戶輸入內(nèi)容的理解僅僅停留在字符階段，不能很好的理解輸入內(nèi)容的意思，因此常常(chngchng)不能準確的了解用戶的需求。通過對大量復雜的數(shù)據(jù)進行分析，讓計算機從中自我學習，可以使計算機能夠盡量精確的了解用戶輸入內(nèi)容的意思，從而把握住用戶的需求，提供更好的用戶體驗。蘋果的Siri和谷歌的Google Now都采用了語義引擎。第十三頁，共二十三頁。2. 大數(shù)據(jù)(shj)價值大數(shù)

7、據(jù)解決方案在企業(yè)知識管理工程上的價值點：1. 提供專業(yè)團隊數(shù)據(jù)建模、挖掘技術(shù)與客戶行業(yè)專家進行企業(yè)數(shù)據(jù)價值勘探。2. 提供統(tǒng)一可擴展的元數(shù)據(jù)規(guī)那么庫構(gòu)建方案。防止組織內(nèi)產(chǎn)生不同信息和知識體系，保證數(shù)據(jù)的信息流通、知識管理、智慧創(chuàng)新。3. 在公共大數(shù)據(jù)挖掘平臺。 定制數(shù)據(jù)聚集，并依托平臺集約化的全面高效支持的時效、海量(hiling)、彈性、關(guān)聯(lián)等核心能力下快速構(gòu)建解決和集成實施方案。4. 提供私有大數(shù)據(jù)挖掘平臺解決、集成方案，并建設(shè)性開放平安數(shù)據(jù)接口防止“數(shù)據(jù)孤島。第十四頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈，關(guān)鍵點，1. 根底設(shè)施提供商2. 根底系統(tǒng)提供商3. 大

8、數(shù)據(jù)解決方案提供商4. 平臺效勞提供商 第十五頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈1. 根底設(shè)施提供商a. 采集卡 / 視頻采集卡、監(jiān)控采集卡、空氣質(zhì)量采集器b. 網(wǎng)絡帶寬 / 電信 c. 存儲介質(zhì) / d. 計算(j sun)設(shè)備 /e. 數(shù)據(jù)提供商 2. 根底系統(tǒng)提供商- 目前最熱門的開源生態(tài)系統(tǒng)：hadoop 分布式計算框架 - Yarn: MR / Spark / Storm 分布式文件系統(tǒng) - Hdfs 分布式結(jié)構(gòu)化存儲 - Hbase / Cassandra第十六頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈3. 大數(shù)據(jù)解決方案提供商 a. 行業(yè)、政府解決方案 發(fā)現(xiàn)周期規(guī)律、

9、促進數(shù)據(jù)關(guān)聯(lián)、 b. 企業(yè)大數(shù)據(jù)解決方案 加強數(shù)據(jù)一致，信息流通，知識積累 b. 企業(yè)面向(min xin)主題解決方案 面向 市場營銷、推廣回報比 、渠道質(zhì)量、投資風險 、產(chǎn)品定價 等主題 c. 企業(yè)面向運營解決方案 發(fā)現(xiàn)異常、跟蹤質(zhì)量、客戶管理、預警風險 解決方案 第十七頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈4. 平臺(pngti)效勞提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 我們致力于云計算.大數(shù)據(jù)生態(tài)環(huán)境的建設(shè)，全面提供集約化面向企業(yè)提供大數(shù)據(jù)平臺和技術(shù)效勞支持，在核心技術(shù)上我們已經(jīng)完成， a. 大規(guī)模數(shù)據(jù)分析 支持Map、Reduce、Join、Union 等多種數(shù)據(jù)節(jié)點處理模式，支持

10、直接使用SQL 語句對海量數(shù)據(jù)進行離線分析 提供與ANSI SQL 高度兼容的語法支持，支持用戶復雜的數(shù)據(jù)分析需求。第十八頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈4. 平臺效勞提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 b. 分布式文件系統(tǒng) 分布式文件系統(tǒng)擁有高可擴展性，支持上億個文件和PB以上量級的文件存儲 實現(xiàn)了大規(guī)模數(shù)據(jù)的快速讀寫功能，實現(xiàn)了文件并行操作的高效(o xio)機制 支持大規(guī)模并發(fā)讀寫，充分利用分布式并行帶寬 第十九頁，共二十三頁。3. 大數(shù)據(jù)(shj)產(chǎn)業(yè)鏈4. 平臺效勞提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線 c. 任務調(diào)度 采用數(shù)據(jù)驅(qū)動的多級流水線并行計算框架，在表述能力上兼容Map

11、Reduce，Map-Reduce-Merge，Spark等多種編程模式 高可擴展性，支持十萬以上級的并行任務調(diào)度 自動檢測故障(gzhng)和系統(tǒng)熱點，重試失敗任務，保證作業(yè)穩(wěn)定可靠運行完成 第二十頁，共二十三頁。大數(shù)據(jù)根底(gnd)知識Q&A第二十一頁，共二十三頁。9、 人的價值，在招收誘惑的一瞬間被決定。2022/9/12022/9/1Thursday, September 1, 202210、低頭要有勇氣，抬頭要有低氣。2022/9/12022/9/12022/9/19/1/2022 10:23:24 PM11、人總是珍惜為得到。2022/9/12022/9/12022/9/1Sep-

12、2201-Sep-2212、人亂于心，不寬余請。2022/9/12022/9/12022/9/1Thursday, September 1, 202213、生氣是拿別人做錯的事來懲罰(chngf)自己。2022/9/12022/9/12022/9/12022/9/19/1/202214、抱最大的希望，作最大的努力。01 九月 20222022/9/12022/9/12022/9/115、一個人炫耀什么，說明他內(nèi)心缺少什么。九月 222022/9/12022/9/12022/9/19/1/202216、業(yè)余生活要有意義，不要越軌。2022/9/12022/9/101 September 202217、一個人即使已登上頂峰，也仍要自強不息。2022/9/12022/9/12022/9/12022/9/1謝謝(xi xie)收看 第二十二頁，共二十三頁。內(nèi)容(nirng)總結(jié)大數(shù)據(jù)根底知識。定制數(shù)據(jù)聚集，并依托平臺集約化的全