![貴州移動(dòng)大數(shù)建設(shè)方案10_第1頁(yè)](http://file4.renrendoc.com/view/b92edc7f712df2ad5a68f8f511bae18c/b92edc7f712df2ad5a68f8f511bae18c1.gif)
![貴州移動(dòng)大數(shù)建設(shè)方案10_第2頁(yè)](http://file4.renrendoc.com/view/b92edc7f712df2ad5a68f8f511bae18c/b92edc7f712df2ad5a68f8f511bae18c2.gif)
![貴州移動(dòng)大數(shù)建設(shè)方案10_第3頁(yè)](http://file4.renrendoc.com/view/b92edc7f712df2ad5a68f8f511bae18c/b92edc7f712df2ad5a68f8f511bae18c3.gif)
![貴州移動(dòng)大數(shù)建設(shè)方案10_第4頁(yè)](http://file4.renrendoc.com/view/b92edc7f712df2ad5a68f8f511bae18c/b92edc7f712df2ad5a68f8f511bae18c4.gif)
![貴州移動(dòng)大數(shù)建設(shè)方案10_第5頁(yè)](http://file4.renrendoc.com/view/b92edc7f712df2ad5a68f8f511bae18c/b92edc7f712df2ad5a68f8f511bae18c5.gif)
版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
貴州移動(dòng)大數(shù)據(jù)分析與
應(yīng)用平臺(tái)方案重慶大學(xué)2015年2月目錄TOC\o"1-5"\h\z\o"CurrentDocument"1背景 4\o"CurrentDocument"2系統(tǒng)簡(jiǎn)介 5\o"CurrentDocument"3系統(tǒng)設(shè)計(jì) 6\o"CurrentDocument"3.1通用業(yè)務(wù) 73.1.1 用戶行為特征分析 73.1.2 經(jīng)營(yíng)分析和市場(chǎng)監(jiān)測(cè) 73.1.3 指標(biāo)靈活查詢 8\o"CurrentDocument"3.2專用業(yè)務(wù) 83.2.1 客戶關(guān)懷與客戶生命周期管理 83.2.2 套餐經(jīng)營(yíng)精細(xì)化 83.2.3 市場(chǎng)與精準(zhǔn)營(yíng)銷 93.2.3.1 客戶畫像 93.2.3.2 關(guān)系鏈研究 93.2.3.3 精準(zhǔn)營(yíng)銷和實(shí)時(shí)營(yíng)銷 93.2.3.4 個(gè)性化推薦 10\o"CurrentDocument"3.3 業(yè)務(wù)支撐 103.3.1 報(bào)告系統(tǒng) 103.3.2 報(bào)表系統(tǒng) 10\o"CurrentDocument"3.4 技術(shù)支撐 103.4.1 指標(biāo)管理 103.4.2 配置管理 10\o"CurrentDocument"3.5數(shù)據(jù)商業(yè)化 103.5.1 對(duì)外出售數(shù)據(jù) 113.5.2 提供數(shù)據(jù)服務(wù) 11\o"CurrentDocument"4技術(shù)方案 11\o"CurrentDocument"4.1系統(tǒng)架構(gòu) 114.2HADOOP簡(jiǎn)介 134.2.1 HDFS 134.2.2YARN 144.3SPARK簡(jiǎn)介 151背景全球的商用移動(dòng)通信總的來(lái)說(shuō)自上世紀(jì)70年代末以來(lái),大致經(jīng)歷了四代發(fā)展,1G、2G、3G以及4G時(shí)代。第一代移動(dòng)通信技術(shù),釆用模擬通信技術(shù),其代表作就是我們熟知的霸氣外露大哥大時(shí)代。到了上世紀(jì)90年代初期,第二代也就是2G移動(dòng)通信技術(shù)開(kāi)始投入商用,完成了從模擬技術(shù)到數(shù)字通信技術(shù)的過(guò)渡。進(jìn)入21世紀(jì),定位于多媒體數(shù)據(jù)業(yè)務(wù)、以寬帶CDMA技術(shù)為核心的3G移動(dòng)通技術(shù)的第三代開(kāi)始產(chǎn)生并被廣泛投入使用?,F(xiàn)在移動(dòng)通信技術(shù)正在走進(jìn)LTE和4G時(shí)代,容量更大、速率更高、功能更強(qiáng)的4G把移動(dòng)通信從窄帶推向?qū)拵?。移?dòng)通信寬帶化和寬帶通信移動(dòng)化是未來(lái)通信技術(shù)發(fā)展的必然趨勢(shì)。隨著中國(guó)運(yùn)營(yíng)商的3G網(wǎng)絡(luò)的廣泛使用和4G時(shí)代的到來(lái),蘋果、三星、HTC、華為、中興、iPAD等智能手機(jī)和移動(dòng)終端的不斷推廣,微博、微信、facebook、Twitter社交網(wǎng)絡(luò)等應(yīng)用平臺(tái)的廣泛使用,電信運(yùn)營(yíng)商進(jìn)人了薪新的移動(dòng)增值業(yè)務(wù)運(yùn)營(yíng)時(shí)代,和過(guò)去相比,打電話、發(fā)短信已經(jīng)不再是唯一的消費(fèi)方式,“免費(fèi)”業(yè)務(wù)和移動(dòng)增值業(yè)務(wù)之間的矛盾沖突也越加明顯。2012年Skype、WhatsApp、微信等OTT業(yè)務(wù)已經(jīng)分流全球電信運(yùn)營(yíng)商近140億美元利潤(rùn),運(yùn)營(yíng)商正面臨被管道化、收入降低、流量?jī)r(jià)值下降等三大問(wèn)題。如何在薪新的時(shí)代準(zhǔn)確了解用戶的真正需求,讓移動(dòng)增值業(yè)務(wù)的客戶體驗(yàn)和服務(wù)質(zhì)量超過(guò)這些“免費(fèi)”業(yè)務(wù),讓數(shù)據(jù)流量的收費(fèi)更加具有合理性,增強(qiáng)用戶粘度及提高用戶忠誠(chéng)度等等,是當(dāng)前中國(guó)運(yùn)營(yíng)商非常緊迫且必須認(rèn)真對(duì)待的事情。當(dāng)前客戶的信息消費(fèi)需求呈現(xiàn)出多樣化、個(gè)性化等明顯特征,中國(guó)運(yùn)營(yíng)商需要提供多種多樣的增值業(yè)務(wù),來(lái)滿足客戶的不同消費(fèi)需求,從而提高企業(yè)差異化競(jìng)爭(zhēng)力,增強(qiáng)客戶粘性。只有提供優(yōu)質(zhì)化、體貼及高質(zhì)量的增值業(yè)務(wù)和產(chǎn)品,運(yùn)營(yíng)商才能避免被管道化的風(fēng)險(xiǎn)。4G時(shí)代帶來(lái)了更多豐富多彩的數(shù)據(jù)業(yè)務(wù)應(yīng)用,同時(shí)隨著客戶群體越來(lái)越向小眾化、復(fù)雜化發(fā)展,用戶對(duì)多元化業(yè)務(wù)的需要也不斷提高,這對(duì)運(yùn)營(yíng)商精準(zhǔn)營(yíng)銷能力提出了新的挑戰(zhàn)?!盀榭蛻籼峁┱嬲枰漠a(chǎn)品”已經(jīng)成為運(yùn)營(yíng)商移動(dòng)增值業(yè)務(wù)開(kāi)發(fā)和營(yíng)銷創(chuàng)新的重點(diǎn)所在。在21世紀(jì)網(wǎng)絡(luò)快速發(fā)展的時(shí)代,移動(dòng)增值業(yè)務(wù)已從賣方市場(chǎng)轉(zhuǎn)變?yōu)橘I方市場(chǎng),運(yùn)營(yíng)商需要進(jìn)行營(yíng)銷理念轉(zhuǎn)變,必須依靠先進(jìn)的技術(shù)手段和方案來(lái)實(shí)現(xiàn)電信業(yè)務(wù)的深度運(yùn)營(yíng)和精準(zhǔn)營(yíng)銷,實(shí)現(xiàn)產(chǎn)品、管理及商務(wù)模式的創(chuàng)新,從粗放式營(yíng)銷向精準(zhǔn)營(yíng)銷和深度營(yíng)銷轉(zhuǎn)變。隨著移動(dòng)互聯(lián)網(wǎng)的不斷發(fā)展,移動(dòng)增值業(yè)務(wù)已經(jīng)是運(yùn)營(yíng)商的非常重要經(jīng)營(yíng)業(yè)務(wù)主體。綜上所述,分析和利用移動(dòng)用戶話單與上網(wǎng)行為數(shù)據(jù)信息,可以更好地服務(wù)于用戶,為運(yùn)營(yíng)商獲取更大的利潤(rùn)。系統(tǒng)簡(jiǎn)介基于大數(shù)據(jù)的移動(dòng)用戶行為特征分析與應(yīng)用是基于用戶話單、上網(wǎng)行為數(shù)據(jù),采用“全樣本”(相對(duì)于傳統(tǒng)的抽樣)的大數(shù)據(jù)分析方法與技術(shù),分析出用戶的行為特征,并將其應(yīng)用于經(jīng)營(yíng)分析與市場(chǎng)監(jiān)測(cè)、客戶關(guān)懷與客戶生命周期管理、套餐經(jīng)營(yíng)精細(xì)化、市場(chǎng)精準(zhǔn)營(yíng)銷和對(duì)外數(shù)據(jù)服務(wù),以充分挖掘和利用數(shù)據(jù)的價(jià)值,更好地服務(wù)于用戶,為運(yùn)營(yíng)商獲取更大的利潤(rùn)。如下圖:臺(tái)合貴州移動(dòng)大數(shù)據(jù)分析與應(yīng)用平臺(tái)系統(tǒng)設(shè)計(jì)貴州移動(dòng)大數(shù)據(jù)分析與應(yīng)用平臺(tái)主要分為五大功能模塊分別是通用業(yè)務(wù)專用業(yè)務(wù)、業(yè)務(wù)支撐、技術(shù)支撐以及數(shù)據(jù)商業(yè)化。平臺(tái)框架如下:
貴州移動(dòng)大數(shù)據(jù)分析與應(yīng)用平臺(tái)業(yè)務(wù)支撐報(bào)告系統(tǒng) 報(bào)表系統(tǒng)技術(shù)支撐指標(biāo)管理 配置管理數(shù)據(jù)商業(yè)化貴州移動(dòng)大數(shù)據(jù)分析與應(yīng)用平臺(tái)業(yè)務(wù)支撐報(bào)告系統(tǒng) 報(bào)表系統(tǒng)技術(shù)支撐指標(biāo)管理 配置管理數(shù)據(jù)商業(yè)化對(duì)外出售數(shù)據(jù) 提供數(shù)據(jù)服務(wù)3.1通用業(yè)務(wù)3.1.1用戶行為特征分析移動(dòng)用戶行為特征主要從通話詳單和上網(wǎng)行為來(lái)分析,通過(guò)通話詳單進(jìn)行分析主要理解用戶的社交圈子,以及圈子的特征,通過(guò)用戶上網(wǎng)行為分析可獲得用戶上網(wǎng)時(shí)變特征、空間特征以及上網(wǎng)內(nèi)容。3.1.2經(jīng)營(yíng)分析和市場(chǎng)監(jiān)測(cè)通過(guò)數(shù)據(jù)分析對(duì)業(yè)務(wù)和市場(chǎng)經(jīng)營(yíng)狀況進(jìn)行總結(jié)和分析,主要分為經(jīng)營(yíng)日?qǐng)?bào)、周報(bào)、月報(bào)、季報(bào)以及專題分析等。數(shù)據(jù)來(lái)源主要是企業(yè)內(nèi)部的業(yè)務(wù)和用戶數(shù)據(jù),以及通過(guò)大數(shù)據(jù)手段采集的外部社交網(wǎng)絡(luò)數(shù)據(jù)、技術(shù)和市場(chǎng)數(shù)據(jù)。
3.1.3指標(biāo)靈活查詢按照設(shè)置好的指標(biāo)靈活的進(jìn)行查詢分析,主要為滿足運(yùn)營(yíng)商自定義的查詢需求。3.2專用業(yè)務(wù)3.2.1客戶關(guān)懷與客戶生命周期管理客戶生命周期管理包括新客戶獲取、客戶成長(zhǎng)、客戶成熟、客戶衰退和客戶離開(kāi)等五個(gè)階段的管理??蛻臬@取階段:通過(guò)算法挖掘發(fā)現(xiàn)高潛客戶。客戶成長(zhǎng)階段:通過(guò)關(guān)聯(lián)規(guī)則等算法進(jìn)行交叉銷售,提升客戶人均消費(fèi)額??蛻舫墒炱冢哼M(jìn)行客戶分群(RFM、聚類等)并進(jìn)行精準(zhǔn)推薦,同時(shí)對(duì)不同客戶實(shí)時(shí)忠誠(chéng)計(jì)劃??蛻羲ネ似冢盒枰M(jìn)行流失預(yù)警,提前發(fā)現(xiàn)高流失風(fēng)險(xiǎn)客戶,并作相應(yīng)的客戶關(guān)懷。客戶離開(kāi)階段:通過(guò)大數(shù)據(jù)挖掘高潛回流客戶。通過(guò)分析用戶的使用行為,在用戶做出離開(kāi)決定之前,推出符合用戶興趣的業(yè)務(wù),防止用戶流失。3.2.2套餐經(jīng)營(yíng)精細(xì)化套餐經(jīng)營(yíng)精細(xì)化主要包括基準(zhǔn)套餐推薦、定制應(yīng)用專屬流量套餐?;鶞?zhǔn)套餐推薦:基于用戶歷史套餐使用情況進(jìn)行分析,預(yù)測(cè)下月套餐使用情況,推薦用戶按需要調(diào)低或調(diào)高套餐標(biāo)準(zhǔn),滿足用戶真實(shí)需求,提高用戶粘度。定制應(yīng)用專屬流量套餐:基于用戶上網(wǎng)行為分析,針對(duì)不同的APP應(yīng)用,定制專屬流量套餐。如中國(guó)聯(lián)通為QQ音樂(lè)定制音樂(lè)流量套餐。3.2.3市場(chǎng)與精準(zhǔn)營(yíng)銷市場(chǎng)與精準(zhǔn)營(yíng)銷包括客戶畫像、關(guān)系鏈研究、精準(zhǔn)營(yíng)銷、實(shí)時(shí)營(yíng)銷和個(gè)性化推薦。3.2.3.1客戶畫像基于客戶終端信息、位置信息、通話行為、手機(jī)上網(wǎng)行為軌跡等豐富的數(shù)據(jù),為每個(gè)客戶打上人口統(tǒng)計(jì)學(xué)特征、消費(fèi)行為、上網(wǎng)行為和興趣愛(ài)好標(biāo)簽,并借助數(shù)據(jù)挖掘技術(shù)(如分類、聚類、RFM等)進(jìn)行客戶分群,完善客戶的360度畫像,幫助運(yùn)營(yíng)商深入了解客戶行為偏好和需求特征。3.2.3.2關(guān)系鏈研究通過(guò)分析客戶通話行為、網(wǎng)絡(luò)社交行為以及客戶資料等數(shù)據(jù),開(kāi)展交往圈分析。尤其是利用各種聯(lián)系記錄形成社交網(wǎng)絡(luò)來(lái)豐富對(duì)用戶的洞察,并進(jìn)一步利用圖挖掘的方法來(lái)發(fā)現(xiàn)各種圈子,發(fā)現(xiàn)圈子中的關(guān)鍵人員,以及識(shí)別家庭和政企客戶;或者分析社交圈子尋找營(yíng)銷機(jī)會(huì)。如在一個(gè)行為同質(zhì)化圈子里面,如果這個(gè)圈子大多數(shù)為高流量用戶,并在這個(gè)圈子中發(fā)現(xiàn)異網(wǎng)的用戶,我們可以推測(cè)該用戶也是高流量的情況,便可以通過(guò)營(yíng)銷的活動(dòng)把異網(wǎng)高流量的用戶引導(dǎo)到自己的網(wǎng)絡(luò)上,對(duì)其推廣4G套餐,提升營(yíng)銷轉(zhuǎn)化率??傊?,我們可以利用社交圈子提高營(yíng)銷效率,改進(jìn)服務(wù),低成本擴(kuò)大產(chǎn)品的影響力。3.2.3.3精準(zhǔn)營(yíng)銷和實(shí)時(shí)營(yíng)銷在客戶畫像的基礎(chǔ)上對(duì)客戶特征的深入理解,建立客戶與業(yè)務(wù)、資費(fèi)套餐、終端類型、在用網(wǎng)絡(luò)的精準(zhǔn)匹配,并在在推送渠道、推送時(shí)機(jī)、推送方式上滿足客戶的需求,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷。如可以利用大數(shù)據(jù)分析用戶的終端偏好和消費(fèi)能力,預(yù)測(cè)用戶的換機(jī)時(shí)間尤其是合約機(jī)到期時(shí)間,并捕捉用戶最近的特征事件,從而預(yù)測(cè)用戶購(gòu)買終端的真正需求,通過(guò)短信、呼叫中心、營(yíng)業(yè)廳等多種渠道推送相關(guān)的營(yíng)銷信息到用戶手中。3.2.3.4個(gè)性化推薦利用客戶畫像信息、客戶終端信息、客戶行為習(xí)慣偏好等,提供客戶定制化的服務(wù),優(yōu)化產(chǎn)品、流量套餐和定價(jià)機(jī)制,實(shí)現(xiàn)個(gè)性化營(yíng)銷和服務(wù),提升客戶體驗(yàn)與感知;或者在應(yīng)用商城實(shí)現(xiàn)個(gè)性化推薦,在電商平臺(tái)實(shí)現(xiàn)個(gè)性化推薦,在社交網(wǎng)絡(luò)推薦感興趣的好友。3.3業(yè)務(wù)支撐3.3.1報(bào)告系統(tǒng)按照指標(biāo)導(dǎo)出報(bào)告。3.3.2報(bào)表系統(tǒng)按照指標(biāo)導(dǎo)出報(bào)表。3.4技術(shù)支撐3.4.1指標(biāo)管理制定報(bào)告框架,設(shè)置數(shù)據(jù)分析和統(tǒng)計(jì)維度等。3.4.2配置管理設(shè)置系統(tǒng)可配置項(xiàng)目,如數(shù)據(jù)字典等。3.5數(shù)據(jù)商業(yè)化數(shù)據(jù)商業(yè)化指通過(guò)企業(yè)自身?yè)碛械拇髷?shù)據(jù)資產(chǎn)進(jìn)行對(duì)外商業(yè)化,獲取收導(dǎo)出對(duì)用戶隱私(如姓名、年齡等)處理之后的數(shù)據(jù),直接售賣。3.5.2提供數(shù)據(jù)服務(wù)利用大數(shù)據(jù)資產(chǎn)優(yōu)勢(shì),將數(shù)據(jù)封裝成服務(wù),提供給相關(guān)行業(yè)的企業(yè)用戶,為合作伙伴提供數(shù)據(jù)分析能力。技術(shù)方案4.1系統(tǒng)架構(gòu)基于大數(shù)據(jù)的移動(dòng)增值業(yè)務(wù)精準(zhǔn)營(yíng)銷平臺(tái)采用SparkOnYarn平臺(tái)架構(gòu),使用HadoopHDFS分布式文件系統(tǒng)存儲(chǔ)數(shù)據(jù),采用HadoopYarn對(duì)集群計(jì)算資源進(jìn)行調(diào)度,使用Spark進(jìn)行分布式計(jì)算。平臺(tái)架構(gòu)如下圖所示:應(yīng)用層數(shù)據(jù)預(yù)處理邏輯層規(guī)則分析器Spark查詢引擎丿J 丿胃B服務(wù)器 服務(wù)器應(yīng)用層數(shù)據(jù)預(yù)處理邏輯層規(guī)則分析器Spark查詢引擎丿J 丿胃B服務(wù)器 服務(wù)器本平臺(tái)自底向上由物理層、數(shù)據(jù)存儲(chǔ)層、邏輯層、接口層組成。各功能層的詳細(xì)描述如下:物理層,指由多臺(tái)計(jì)算機(jī)和網(wǎng)絡(luò)交換機(jī)構(gòu)成的局域網(wǎng),是部署和運(yùn)行云計(jì)算Hadoop平臺(tái)的硬件基礎(chǔ)。其中,包含了一臺(tái)或多臺(tái)Master計(jì)算節(jié)點(diǎn),若干臺(tái)Slave計(jì)算節(jié)點(diǎn)。由于Hadoop平臺(tái)自身具備優(yōu)秀的可伸縮性,節(jié)點(diǎn)數(shù)可根據(jù)實(shí)際計(jì)算任務(wù)中涉及的數(shù)據(jù)量大小任意擴(kuò)展。數(shù)據(jù)存儲(chǔ)層,指運(yùn)行于物理層計(jì)算機(jī)局域網(wǎng)之上的HadoopHDFS分布式文件系統(tǒng)。該層提供了文件以數(shù)據(jù)塊的方式進(jìn)行分布式存儲(chǔ)。文件的分發(fā)、容錯(cuò)、備份等功能均由Hadoop平臺(tái)自帶功能實(shí)現(xiàn)。另外,該層還為框架中邏輯層在進(jìn)行Spark分布式計(jì)算時(shí)提供臨時(shí)文件交換基礎(chǔ)。邏輯層,基于HadoopYarn的Spark分布式計(jì)算環(huán)境構(gòu)建,實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的查詢和推理任務(wù),主要包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)適配器、查詢與規(guī)則分析ES器。接口層,是云服務(wù)端與外界實(shí)現(xiàn)信息傳遞和數(shù)據(jù)交換的接口,負(fù)責(zé)云服務(wù)端的負(fù)載均衡以及訪問(wèn)的身份驗(yàn)證、權(quán)限分配以及云計(jì)算安全監(jiān)控與管理等。4.2Hadoop簡(jiǎn)介Hadoop源于兩個(gè)開(kāi)源的項(xiàng)目Lucene和Nutch。Lucene是一個(gè)用Java開(kāi)發(fā)的開(kāi)源高性能全文檢索工具包,Nutch是一個(gè)以Lucene為基礎(chǔ)實(shí)現(xiàn)的開(kāi)源搜索引擎應(yīng)用。Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái),用戶可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn):高可靠性:Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。高擴(kuò)展性:Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的,這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。高效性:Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù),并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,因此處理速度非常快。高容錯(cuò)性:Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并且能夠自動(dòng)將失敗的任務(wù)重新分配。低成本:與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比,Hadoop是開(kāi)源的,項(xiàng)目的軟件成本因此會(huì)大大降低。Hadoop主要由HDFS和YARN兩大組件組成。4.2.1HDFSHDFS是Hadoop架構(gòu)下的一個(gè)分布式文件系統(tǒng),其采用主從結(jié)構(gòu)體系。其架構(gòu)如下圖所示:
Metadata(Namerreplicas,/home/foo/data,3,.HDFS的集群是由一個(gè)或多個(gè)命名節(jié)點(diǎn)(NameNode)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)(DataNode)組成。其中NameNode用來(lái)管理系統(tǒng)的命令空間以及文件的元數(shù)據(jù),此外NameNode還負(fù)責(zé)監(jiān)聽(tīng)DataNode和客戶端的請(qǐng)求,執(zhí)行對(duì)應(yīng)操作,比如打開(kāi)、關(guān)閉、重命名文件或者目錄等,并且負(fù)責(zé)監(jiān)控DataNode的狀態(tài)。DataNode要定期向NameNode發(fā)送心跳(Heartbeat)信息,如果DataNode一段時(shí)間內(nèi)沒(méi)有反應(yīng),NameNode則將此DataNode標(biāo)記為“死”節(jié)點(diǎn),并將處理由此DataNode節(jié)點(diǎn)的離線所導(dǎo)致的副本數(shù)量不足而產(chǎn)生的數(shù)據(jù)復(fù)制操作。DataNode用來(lái)存儲(chǔ)文件的數(shù)據(jù),處理文件客戶端的讀寫請(qǐng)求:創(chuàng)建、刪除、復(fù)制數(shù)據(jù)塊等。4.2.2YarnYarn是一個(gè)分布式的資源管理系統(tǒng),用以提高分布式的集群環(huán)境下的資源利用率,這些資源包括內(nèi)存、10、網(wǎng)絡(luò)、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。所以Yarn具有更好的擴(kuò)展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計(jì)算框架外的更多的計(jì)
算框架(如SparkOnYarn)。其架構(gòu)圖如下:Conl-ain-erClientAppMstrContainerConlain-erCcntaineirNM已ManagerNodeStatusResnurr:已Re
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 《義務(wù)教育法》知識(shí)考試復(fù)習(xí)題庫(kù)(含答案)
- (技師)化學(xué)檢驗(yàn)工職業(yè)技能鑒定理論考試題庫(kù)(含答案)
- 年產(chǎn)1000噸納米復(fù)合氧化鋯項(xiàng)目可行性研究報(bào)告寫作模板-申批備案
- 2025年江西外語(yǔ)外貿(mào)職業(yè)學(xué)院高職單招職業(yè)適應(yīng)性測(cè)試近5年??及鎱⒖碱}庫(kù)含答案解析
- 2025年新疆工業(yè)職業(yè)技術(shù)學(xué)院高職單招職業(yè)技能測(cè)試近5年??及鎱⒖碱}庫(kù)含答案解析
- 幼兒園月亮故事活動(dòng)策劃方案五篇
- 標(biāo)線承包合同范本
- 精準(zhǔn)醫(yī)療項(xiàng)目研發(fā)合作合同
- 麻雀的聽(tīng)評(píng)課記錄
- 承攬貨物運(yùn)輸合同范本
- 房地產(chǎn)調(diào)控政策解讀
- 產(chǎn)前診斷室護(hù)理工作總結(jié)
- 2024-2025學(xué)年八年級(jí)數(shù)學(xué)人教版上冊(cè)寒假作業(yè)(綜合復(fù)習(xí)能力提升篇)(含答案)
- 《AP內(nèi)容介紹》課件
- 醫(yī)生定期考核簡(jiǎn)易程序述職報(bào)告范文(10篇)
- 安全創(chuàng)新創(chuàng)效
- 《中國(guó)糖尿病防治指南(2024版)》更新要點(diǎn)解讀
- 國(guó)外文化消費(fèi)研究述評(píng)
- 部編版語(yǔ)文四年級(jí)下冊(cè)第一單元 迷人的鄉(xiāng)村風(fēng)景 大單元整體教學(xué)設(shè)計(jì)
- 湖南省長(zhǎng)郡中學(xué)2023-2024學(xué)年高二下學(xué)期寒假檢測(cè)(開(kāi)學(xué)考試)物理 含解析
- 五年級(jí)行程問(wèn)題應(yīng)用題100道
評(píng)論
0/150
提交評(píng)論