大數(shù)據(jù)技術(shù)核心技術(shù)

1、大數(shù)據(jù)和云計算是什么關(guān)系？大數(shù)據(jù)關(guān)鍵技術(shù)有哪些？課程指導(dǎo)第1頁大數(shù)據(jù)與云計算關(guān)系第2頁大數(shù)據(jù)處理基本流程第3頁大數(shù)據(jù)處理關(guān)鍵技術(shù)hadoop第4頁hadoop組成部分第5頁hadoop HDFS體系結(jié)構(gòu)第6頁hadoop MapReduce處理流程第7頁給定一個巨大文本（如1TB），怎樣計算單詞出現(xiàn)數(shù)目？MapReduce實例第8頁使用MapReduce求解該問題定義Map和Reduce函數(shù)MapReduce實例第9頁使用MapReduce求解該問題Step 1: 自動對文本進行分割，形成初始對MapReduce實例第10頁使用MapReduce求解該問題Step 2:在分割之后每一對進行用戶

2、定義Map進行處理，再生成新對MapReduce實例第11頁使用MapReduce求解該問題Step 3:對輸出結(jié)果集歸攏、排序(系統(tǒng)自動完成）MapReduce實例第12頁使用MapReduce求解該問題Step 4:經(jīng)過Reduce操作生成最終結(jié)果MapReduce實例第13頁什么是NoSQL？NoSQL主要特征是什么？MongoDB有什么作用？課程指導(dǎo)第14頁大數(shù)據(jù)關(guān)鍵技術(shù)NoSQLNoSQL是Not Only SQL縮寫，而不是Not SQL，它不一定遵照傳統(tǒng)數(shù)據(jù)庫一些基本要求，如SQL標準、ACID屬性、表結(jié)構(gòu)等。相比傳統(tǒng)數(shù)據(jù)庫，叫它分布式數(shù)據(jù)管理系統(tǒng)更貼切，數(shù)據(jù)存放被簡化更靈活，重

3、點被放在了分布式數(shù)據(jù)管理上。第15頁關(guān)系數(shù)據(jù)庫表結(jié)構(gòu)（學(xué)生、地址、成績、科目）：StudentsaddressidnamestudentidAddressaddressidaddresscitystatepostalcodeScoresscoreidstudentidcourseidgradeCoursescourseidname什么是NoSQL第16頁NoSQL表結(jié)構(gòu)（學(xué)生、地址、成績、科目）：Students_id : 007name : Janeaddress : address : 123 Main St. city : New York state : NY postalcode :

4、 10014scores : Biolgy : 4.0 English : 3.0什么是NoSQL第17頁為何要用NoSQL？大數(shù)據(jù)特征Volume - 數(shù)據(jù)量巨大，對TB、PB數(shù)據(jù)級處理，已經(jīng)成為基本要求。Variety - 數(shù)據(jù)多樣性，能處理結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，能處理Web數(shù)據(jù)，甚至語音、圖像、視頻數(shù)據(jù)。Velocity - 數(shù)據(jù)實時性，在客戶每次瀏覽頁面，下訂單過程中，都會對用戶進行實時產(chǎn)品推薦，購置決議已經(jīng)變得非常實時。第18頁為何要用NoSQL？大數(shù)據(jù)性能要求High performance - 高并發(fā)讀寫，高并發(fā)、實時動態(tài)數(shù)據(jù)查詢和修改。Huge Storage - 海量數(shù)據(jù)高效

5、存放和訪問，類似SNS網(wǎng)站，海量用戶信息高效、實時存放和查詢。High Scalability & High Availability - 高可擴展性和高可用性，需要擁有快速橫向擴展能力、提供7*二十四小時不間斷服務(wù)。第19頁為何要用NoSQL？關(guān)系數(shù)據(jù)庫處理大數(shù)據(jù)弱勢面對高并發(fā)讀寫需求，數(shù)據(jù)庫讀寫壓力巨大，硬盤IO無法承受。面對海量數(shù)據(jù)，數(shù)據(jù)庫能存放統(tǒng)計數(shù)量有限，SQL查詢效率極低。橫向擴展艱難，無法經(jīng)過快速增加服務(wù)器節(jié)點實現(xiàn)，系統(tǒng)升級和維護造成服務(wù)不可用。第20頁為何要用NoSQL？NoSQL處理大數(shù)據(jù)優(yōu)勢數(shù)據(jù)庫結(jié)構(gòu)簡單，數(shù)據(jù)間無關(guān)系性，這自然就帶來了很高讀寫性能，且易擴展。靈活數(shù)據(jù)模型，

6、能夠隨時存放自定義數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里，增刪字段是件麻煩事。尤其大數(shù)據(jù)量表，增加字段簡直就是一個噩夢。經(jīng)過復(fù)制模型可實現(xiàn)高可用性，能夠分布布署在低廉PC集群上。支持動態(tài)增加、刪除服務(wù)器節(jié)點，隨時控制硬件投入成本。第21頁NoSQL類型key-value存放第22頁NoSQL類型列式存放第23頁NoSQL類型文檔型存放第24頁NoSQL類型圖結(jié)構(gòu)存放第25頁MongoDB介紹一個分布式文件存放數(shù)據(jù)庫。功效最豐富、最像關(guān)系數(shù)據(jù)庫產(chǎn)品。數(shù)據(jù)結(jié)構(gòu)采取JSON格式，所以能夠存放比較復(fù)雜數(shù)據(jù)模型。查詢語言強大，支持索引、MapReduce等功效。面向文檔，以K/V形式存放數(shù)據(jù)。支持主/從服務(wù)器間數(shù)據(jù)復(fù)制和故障恢復(fù)。支持自動分片。第26頁誰在用MongoDB？第27頁MongoDB布署方式（一）PrimarySecondary-1Secondary-2Replica Sets架構(gòu)Primary服務(wù)器：將數(shù)據(jù)同時到多個 Secondary 上。Secondary服務(wù)器：熱機備份主服務(wù)器上數(shù)據(jù)，分擔(dān)主機讀壓力，當(dāng)主機發(fā)生故障不能工作，隨時接管主機工作。第28頁MongoDB布署方式（二）Sharding是什么？分片是指將數(shù)據(jù)拆分，將其分散到不一樣服務(wù)器上過程。經(jīng)過分片能夠增加更多服務(wù)器，來應(yīng)對不停增加負載和數(shù)據(jù)。MongoDB何時需要分片？