Alluxio PDDM（基于策略的數(shù)據(jù)流轉(zhuǎn)） 在聯(lián)通智網(wǎng)的應(yīng)用

在聯(lián)通智網(wǎng)的應(yīng)用分享嘉賓：陳得泳一聯(lián)通智網(wǎng)一聯(lián)通智網(wǎng)二二需求與挑戰(zhàn)需求與挑戰(zhàn)三三解決方案：解決方案：AlluxioPDDM四四2關(guān)于“聯(lián)通智網(wǎng)”企業(yè)情況-中國(guó)聯(lián)通網(wǎng)絡(luò)運(yùn)營(yíng)事業(yè)部2024年10月，和集團(tuán)云網(wǎng)運(yùn)營(yíng)中心合并成立網(wǎng)絡(luò)運(yùn)營(yíng)事業(yè)部，主要職責(zé)是以客4部門情況-網(wǎng)絡(luò)數(shù)智運(yùn)營(yíng)中臺(tái)研發(fā)室數(shù)據(jù)中臺(tái)板塊網(wǎng)絡(luò)運(yùn)營(yíng)事業(yè)部設(shè)立黨委辦公室、綜合管理室、運(yùn)營(yíng)管理室、業(yè)務(wù)支化室、接入網(wǎng)運(yùn)營(yíng)室、基礎(chǔ)設(shè)施運(yùn)營(yíng)室、國(guó)際網(wǎng)絡(luò)運(yùn)營(yíng)室等多個(gè)職能處室，以及智網(wǎng)創(chuàng)新中心、網(wǎng)其中，網(wǎng)絡(luò)數(shù)智運(yùn)營(yíng)中臺(tái)研發(fā)室屬于智網(wǎng)創(chuàng)新中心之下的研發(fā)部門，主要負(fù)責(zé)中國(guó)聯(lián)通全國(guó)海量網(wǎng)絡(luò)數(shù)據(jù)集約化采集、存儲(chǔ)、加工、共享、應(yīng)用等運(yùn)營(yíng)研發(fā)工作，為中國(guó)聯(lián)通網(wǎng)絡(luò)創(chuàng)新與數(shù)字化業(yè)務(wù)背景l(fā)統(tǒng)一底座：承接O域全域網(wǎng)絡(luò)數(shù)據(jù)，包括統(tǒng)一底座加工后的DNS/NetFlow等固網(wǎng)基礎(chǔ)數(shù)據(jù)，支撐安全基座數(shù)據(jù)分析需求。7數(shù)據(jù)規(guī)律的KDC。每小時(shí)的數(shù)據(jù)呈規(guī)律性波動(dòng)，日傳輸數(shù)據(jù)總谷4.6TB）業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)帶寬限制數(shù)據(jù)校驗(yàn)共享的帶寬，存在15GB/s每日龐大的數(shù)據(jù)傳輸量及眾每日龐大的數(shù)據(jù)傳輸量及眾實(shí)施嚴(yán)格數(shù)據(jù)校驗(yàn)機(jī)制，以及增量同步技術(shù)，用來提升歷史方案歷史方案歷史同步方案基于Hadoop的DistCP實(shí)現(xiàn)，在統(tǒng)一底座和歷史同步方案基于Hadoop的DistCP實(shí)現(xiàn)，在統(tǒng)一底座和方案缺陷數(shù)據(jù)從YARN-SRC到Y(jié)ARN-DST的傳輸過程中，數(shù)據(jù)會(huì)在非Kerb至目標(biāo)HDFS。這種分步傳輸增加了額外的時(shí)延。同時(shí)，由于中間的本地HDFS集群存在性能瓶頸，導(dǎo)致數(shù)據(jù)吞吐性能受帶寬和本地非KerberosHDFS集群硬件資源的雙重制約。間傳輸時(shí)出現(xiàn)延遲。同時(shí)，本地HDFS集群的硬件資源限制了并發(fā)處理能力（任務(wù)量翻倍），無法充分有1.減少了中間步驟，大大提高了數(shù)據(jù)傳輸效率，減少了性能瓶頸點(diǎn)；2.提升了帶寬利用率，在數(shù)據(jù)波峰時(shí)，可以接近15GB/s的帶寬上限，較于原有方案帶來約3x的性能提升；3.實(shí)現(xiàn)雙KDC交互，避免數(shù)據(jù)落盤，降低數(shù)據(jù)泄露的安全風(fēng)險(xiǎn)；4.提供了豐富的數(shù)據(jù)分發(fā)管控功能和工具。任務(wù)流程任務(wù)流程生產(chǎn)效果業(yè)務(wù)價(jià)值業(yè)務(wù)價(jià)值跨省機(jī)房定時(shí)數(shù)跨省機(jī)房定時(shí)數(shù)據(jù)傳輸任務(wù)吞吐提升3倍以上滿足多個(gè)不互信滿足多個(gè)不互信KDC下HDFS集群接入，規(guī)避數(shù)據(jù)泄露