私塾學(xué)習(xí)網(wǎng)hadoop中高級(jí)

目前Hadoop1.0存在的架構(gòu)的問(wèn)題常見(jiàn)的HA

方案Hadoop0.23

是如何解決的HA本節(jié)課程概覽!：

做最好的學(xué)習(xí)社區(qū)第一部分：目前Hadoop1.0架構(gòu)的問(wèn)題!：

做最好的學(xué)習(xí)社區(qū)Hadoop架構(gòu)的問(wèn)題NameNodeRack1Rack2Client文件元數(shù)據(jù)信息元數(shù)據(jù)信息DataNodesDataNodesBlock的操作BlocksReplication!：

做最好的學(xué)習(xí)社區(qū)單點(diǎn)故障如果NameNode或者JobTraker關(guān)掉，那么整個(gè)集群癱瘓。對(duì)于7×24生產(chǎn)環(huán)境，是具有極大的風(fēng)險(xiǎn)。!：

做最好的學(xué)習(xí)社區(qū)第二部分：常見(jiàn)的HA方案!：

做最好的學(xué)習(xí)社區(qū)方案簡(jiǎn)介第一種是可以設(shè)置一個(gè)NFS的

，

fsimage和editlog， 的是實(shí)時(shí)數(shù)據(jù)，這樣當(dāng)namenode掛掉后能夠通過(guò)fsimage和editlog進(jìn)行完全恢復(fù)。第二種是設(shè)置Secondary

Namenode。問(wèn)題：不能迅速的切換，需要花費(fèi)一定時(shí)間恢復(fù)。!：

做最好的學(xué)習(xí)社區(qū)!的方案不改變namenode和datanode整體邏輯的基礎(chǔ)上，在其上層開(kāi)發(fā)出AvaterNode，AvatarNode的意思就是支持互相切換。提供一個(gè)Pri

vatar和一個(gè)Standby

Avatar，通過(guò)virual

IP來(lái)設(shè)置IP地址。Pri

vatar對(duì)外提供服務(wù)，設(shè)置了NFS

，將FSImage和EditLog中的FSImage和EditLog。Standby

Avatar將NFS過(guò)來(lái)進(jìn)行同步，并且設(shè)置Standby

Avatar一直處于safemode狀態(tài)，不影響正常操作。這樣Standby

Avatar相當(dāng)于一個(gè)熱拷貝，獲得了所有的實(shí)時(shí)數(shù)據(jù)。：

做最好的學(xué)習(xí)社區(qū)第三部分：Hadoop0.23

是如何解決的HA!：

做最好的學(xué)習(xí)社區(qū)Hadoop

0.23

HA!：

做最好的學(xué)習(xí)社區(qū)Hadoop

0.23

HA提供2臺(tái)機(jī)器做雙機(jī)熱備一臺(tái)為Active

節(jié)點(diǎn)，一臺(tái)為StandBy節(jié)點(diǎn)同時(shí)只有Active節(jié)點(diǎn)對(duì)外提供服務(wù)源數(shù)據(jù)

在共享StandBy會(huì)時(shí)刻到共享

拿Meta信息，以保證切換時(shí)不會(huì)丟掉數(shù)據(jù)DataNode會(huì)向2臺(tái)機(jī)器匯報(bào)自己的信息仍需要配置Sencondary

NameNode接解決Edits

log變大問(wèn)題!：

做最好的學(xué)習(xí)社區(qū)本節(jié)課程小結(jié)了解Hadoop存在的單點(diǎn)的問(wèn)題