大數(shù)據(jù)知識(shí)點(diǎn)總結(jié)

大數(shù)據(jù)知識(shí)點(diǎn)總結(jié)1、Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。

2、Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)硬件上；而且它提供高吞吐量，它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲(chǔ)塊。由于僅存在一個(gè)NameNode，因此這是HDFS的一個(gè)缺點(diǎn)Sqoop：在HADOOP與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。

Sqoop是一個(gè)Hadoop和關(guān)系型數(shù)據(jù)庫(kù)之間的數(shù)據(jù)轉(zhuǎn)移工具?？蓪㈥P(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS中，也可將HDFS中的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。

10、Hadoop1.x與Hadoop2.x的區(qū)別：

Hadoop2.x中有兩個(gè)重要的變更：

2、DataDiscovery來(lái)創(chuàng)建和訪(fǎng)問(wèn)表單。

j、支持協(xié)同開(kāi)發(fā)，Zeppelin的notebook，可以被多人同時(shí)使用，任何一個(gè)人的改動(dòng)都會(huì)被實(shí)時(shí)的同步到其他協(xié)作者的頁(yè)面上。

k、Zeppelinnotebook上產(chǎn)生的圖表，可以被獨(dú)立發(fā)布，通過(guò)iframe，可以嵌入到別的網(wǎng)頁(yè)上。

l、100%開(kāi)源的Apache項(xiàng)目。

15、Ambari是一個(gè)開(kāi)源的分布式Hadoop集群安裝，部署，監(jiān)控和管理的平臺(tái)。

16、Ambari主要由三個(gè)部分組成，AmbariServer，AmbariWeb和AmbariAgent。

AmbariServer：AmbariServer是整個(gè)Ambari的統(tǒng)一入口，只能運(yùn)行在集群中的一臺(tái)機(jī)器上。負(fù)責(zé)管理所有的AmbariAgent。

AmbariWeb：AmbariWeb和AmbariServer運(yùn)行在同一臺(tái)機(jī)器上，作為AmbariServer的一部分功能存在，提供Web和RestAPI的方式訪(fǎng)問(wèn)AmbariServer。

AmbariAgent：AmbariAgent需要在集群中的每個(gè)節(jié)點(diǎn)上都運(yùn)行一個(gè)，負(fù)責(zé)監(jiān)控宿主機(jī)器的狀態(tài)信息，執(zhí)行從AmbariServer上發(fā)送過(guò)來(lái)的操作指令。

17、Spark是UCBerkeleyAMPlab所開(kāi)源的類(lèi)HadoopMapReduce的通用的并行計(jì)算框架，Spark基于mapreduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有HadoopMapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的mapreduce的算法。

18、Spark與Hadoop的對(duì)比，每組任務(wù)被稱(chēng)為Stage，也稱(chēng)TaskSet

RDD：ResilientDistributedDatasets的簡(jiǎn)稱(chēng)，彈性分布式數(shù)據(jù)集，是Spark最核心的模塊和類(lèi)

Transformation/Action：SparkAPI的兩種類(lèi)型；Transformation返回值還是一個(gè)RDD，Action返回值不少一個(gè)RDD，而是一個(gè)Scala的集合；所有的Transformation都是采用的懶策略，如果只是將Transformation提交是不會(huì)執(zhí)行計(jì)算的，計(jì)算只有在A(yíng)ction被提交時(shí)才會(huì)被觸發(fā)。

DataFrame：帶有Schema信息的RDD，主要是對(duì)結(jié)構(gòu)化數(shù)據(jù)的高度抽象。

DataSet：結(jié)合了DataFrame和RDD兩者的優(yōu)勢(shì)，既允許用戶(hù)很方便的操作領(lǐng)域?qū)ο?，又具有SQL執(zhí)行引擎的高效表現(xiàn)。

28、RDD提供了兩種類(lèi)型的操作：transformation和action

1，transformation是得到一個(gè)新的RDD，方式很多，比如從數(shù)據(jù)源生成一個(gè)新的RDD，從RDD生成一個(gè)新的RDD

2，action是得到一個(gè)值，或者一個(gè)結(jié)果和寬依賴(lài)。窄依賴(lài)是指父RDD的每個(gè)分區(qū)都只被子RDD的一個(gè)分區(qū)所使用。相應(yīng)的，那么寬依賴(lài)就是指父RDD的分區(qū)被多個(gè)子RDD的分區(qū)所依賴(lài)。例如，map就是一種窄依賴(lài)，而join則會(huì)導(dǎo)致寬依賴(lài)

依賴(lài)關(guān)系分類(lèi)的特性：

第一，窄依賴(lài)可以在某個(gè)計(jì)算節(jié)點(diǎn)上直接通過(guò)計(jì)算父RDD的某塊數(shù)據(jù)計(jì)算得到子RDD對(duì)應(yīng)的某塊數(shù)據(jù)；

第二，數(shù)據(jù)丟失時(shí)，對(duì)于窄依賴(lài)只需要重新計(jì)算丟失的那一塊數(shù)據(jù)來(lái)恢復(fù)；

35、數(shù)據(jù)分析常見(jiàn)模式：

1、IterativeAlgorithms，

2、RelationalQueries，

3、Map