電信大數(shù)據(jù)平臺(tái)核心處理系統(tǒng)測(cè)試方案啟動(dòng)會(huì)發(fā)布版

目錄范 規(guī)范性引用文 術(shù)語(yǔ)及縮略目錄范 規(guī)范性引用文 術(shù)語(yǔ)及縮略 總體概 測(cè)試綜 測(cè)試原 測(cè)試方 測(cè)試環(huán) 環(huán)境準(zhǔn) 測(cè)試內(nèi) 5.4測(cè)試安 附 6.1組件部署列 前言前言范范規(guī)范性引規(guī)范性引用文術(shù)語(yǔ)及縮略Hadoop是一個(gè)Apache術(shù)語(yǔ)及縮略Hadoop是一個(gè)Apache基金會(huì)所開(kāi)力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)Hadoop的框架最核心的設(shè)計(jì)就是HDFSMapReduce源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫(xiě)的Google論文“Bigtable：一個(gè)樣，HBASEHadoop之上提供了類(lèi)似于Bigtable的能力。HBASE是Apache的Hadoop項(xiàng)目的子項(xiàng)目。據(jù)庫(kù)另一個(gè)不同的是HBASE基于 HDFS被設(shè)計(jì)成適合運(yùn)行在通用硬件是很明顯的。HDFS是一個(gè)高度容錯(cuò)性HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最A(yù)pacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。HDFS是ApacheHadoopCoreHive是建立Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive定義了簡(jiǎn)單的類(lèi)SQL查詢(xún)語(yǔ)HQLSQL的熟悉MapReduce開(kāi)發(fā)者的開(kāi)發(fā)自定義的Mapper和Reducer來(lái)處理內(nèi)建的Mapper和Reducer無(wú)法完成Kafka是一種高吞吐量的分布式發(fā)布像Hadoop的一樣的日志數(shù)據(jù)和離線Kafka是一個(gè)可行的解決方案。Kafka的目的是通過(guò)Hadoop的并行加載機(jī)是為了通過(guò)集群機(jī)來(lái)提供實(shí)時(shí)的消費(fèi)。RedisANSIC語(yǔ)言供多種語(yǔ)言的API201031520135月開(kāi)始，RedisPivotalMapReduce是一種編程模型，用于大系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Spark是UCBerkeleyAMPlab所開(kāi)源的類(lèi)HadoopMapReduce的通用并行框的分的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是為分布式應(yīng)用提供一致性服務(wù)的軟總體概4.1測(cè)試4.2測(cè)試總體概4.1測(cè)試4.2測(cè)試4.3測(cè)試紀(jì)律管測(cè)試環(huán)境須與正常生產(chǎn)和開(kāi)發(fā)環(huán)境隔離（包括網(wǎng)絡(luò)隔離4.3測(cè)試紀(jì)律管測(cè)試環(huán)境須與正常生產(chǎn)和開(kāi)發(fā)環(huán)境隔離（包括網(wǎng)絡(luò)隔離4.4測(cè)試方測(cè)試環(huán)環(huán)境準(zhǔn)5.2.1硬件測(cè)試方測(cè)試環(huán)環(huán)境準(zhǔn)5.2.1硬件環(huán)服務(wù)器配置如下：16C192GB浪潮SA5212M45.2.2軟件環(huán)5.2.3測(cè)試數(shù)序組版123sparkspark5.2.2軟件環(huán)5.2.3測(cè)試數(shù)序組版123sparkspark序系統(tǒng)組版16.72344.4.75Python2.6.6678Serv-U5.2.4數(shù)據(jù)范5.2.4.1數(shù)據(jù)存儲(chǔ)目5.2.4數(shù)據(jù)范5.2.4.1數(shù)據(jù)存儲(chǔ)目5.2.4.25.3測(cè)試序場(chǎng)景分業(yè)務(wù)場(chǎng)業(yè)務(wù)場(chǎng)景描備移動(dòng)用戶月末有效到統(tǒng)計(jì)分析移動(dòng)用戶通話行為特征及群體分統(tǒng)計(jì)中國(guó)電信移動(dòng)用戶通信行為特征及用（按付費(fèi)模式）5.3.1功能測(cè)寬帶產(chǎn)品月末有效計(jì)5.3.1功能測(cè)寬帶產(chǎn)品月末有效計(jì)55.3.1.1移動(dòng)業(yè)務(wù)發(fā) 除易通卡用戶5.3.1.1移動(dòng)業(yè)務(wù)發(fā) 除易通卡用戶省份編碼|產(chǎn)品實(shí)例ID示例停且停機(jī)時(shí)間到統(tǒng)計(jì)賬期的時(shí)間在90天內(nèi)（含90天）或當(dāng)月拆機(jī)用戶，剔除當(dāng)月新5.非單產(chǎn)品用戶（在同一產(chǎn)權(quán)客戶下，有在用的移動(dòng)產(chǎn)品、寬帶產(chǎn)品成員5.3.1.2移動(dòng)業(yè)務(wù)行為統(tǒng)計(jì)分析5.3.1.2移動(dòng)業(yè)務(wù)行為統(tǒng)計(jì)分析用戶數(shù)分布、每一個(gè)特征的用戶群體分布（按付費(fèi)模式時(shí)間長(zhǎng)次數(shù)多時(shí)間長(zhǎng)次數(shù)少時(shí)間短次數(shù)多時(shí)間短次數(shù)少801|2.1.2|后付費(fèi)產(chǎn)品實(shí)例5.3.1.3寬帶業(yè)（用戶5.3.1.3寬帶業(yè)（用戶示例網(wǎng)不足3個(gè)月按實(shí)際在網(wǎng)月份數(shù)取平均）例失效時(shí)間大于統(tǒng)計(jì)賬期5.3.1.4互聯(lián)網(wǎng)分5.3.1.4.1指定APP訪問(wèn)分5.3.1.4互聯(lián)網(wǎng)分5.3.1.4.1指定APP訪問(wèn)分示例《明細(xì)清單》:輸出統(tǒng)計(jì)期訪問(wèn)該5個(gè)APP的用戶清單：省份編碼|示例5、統(tǒng)計(jì)的5個(gè)APP為 'A019000005'微信'A020000019'UC瀏覽器'A009000307'百度地圖'A003000094'手機(jī)淘'A019000001'5.3.1.5實(shí)時(shí)業(yè)5.3.1.5.155.3.1.5實(shí)時(shí)業(yè)5.3.1.5.155（105）5.3.2性能測(cè)5.3.2.15.3.2性能測(cè)5.3.2.15.3.2.2實(shí)時(shí)處理場(chǎng)5.3.2.2實(shí)時(shí)處理場(chǎng)5.4測(cè)試具體如下一、測(cè)試準(zhǔn)備階段（2周Day1召開(kāi)測(cè)試啟動(dòng)會(huì)，貫徹測(cè)試紀(jì)律，發(fā)布5.4測(cè)試具體如下一、測(cè)試準(zhǔn)備階段（2周Day1召開(kāi)測(cè)試啟動(dòng)會(huì)，貫徹測(cè)試紀(jì)律，發(fā)布測(cè)試規(guī)范和接口數(shù)據(jù)規(guī)范，并進(jìn)行答疑限二、進(jìn)場(chǎng)調(diào)試階段（5天1）軟硬件環(huán)境確認(rèn)，抽取服務(wù)器集群（8臺(tái)服務(wù)器場(chǎng)負(fù)責(zé)人（有簽字確認(rèn)權(quán)，廠商出示授權(quán)書(shū)案（3天場(chǎng)負(fù)責(zé)人（有簽字確認(rèn)權(quán)，廠商出示授權(quán)書(shū)案（3天52個(gè)文件，1（ID附6.1組件部署列序系系統(tǒng)軟集群組編譯環(huán)資源配1Metastore2histor