電信客戶分析項(xiàng)目需求說明書

電信客戶分析項(xiàng)目需求說明書XX科技股份有限公司編制目錄一、 功能需求 31. 數(shù)據(jù)生產(chǎn) 32. 數(shù)據(jù)采集/消費(fèi) 33. 數(shù)據(jù)分析 44. 數(shù)據(jù)展示 5二、 可用性需求 6三、 運(yùn)行環(huán)境需求 8四、 性能需求 8

功能需求數(shù)據(jù)生產(chǎn)對(duì)于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會(huì)讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們?cè)诖诵枰獙?shí)時(shí)數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對(duì)接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->sparkstreaming實(shí)時(shí)流式處理消費(fèi)存儲(chǔ)模塊流程圖：數(shù)據(jù)分析我們的數(shù)據(jù)已經(jīng)完整的采集到了HBase集群中，這次我們需要對(duì)采集到的數(shù)據(jù)進(jìn)行分析，統(tǒng)計(jì)出我們想要的結(jié)果。注意，在分析的過程中，我們不一定會(huì)采取一個(gè)業(yè)務(wù)指標(biāo)對(duì)應(yīng)一個(gè)mapreduce-job的方式，如果情景允許，我們會(huì)采取一個(gè)mapreduce分析多個(gè)業(yè)務(wù)指標(biāo)的方式來進(jìn)行任務(wù)。分析模塊流程圖：業(yè)務(wù)指標(biāo)：a)用戶每天主叫通話個(gè)數(shù)統(tǒng)計(jì)，通話時(shí)間統(tǒng)計(jì)。b)用戶每月通話記錄統(tǒng)計(jì)，通話時(shí)間統(tǒng)計(jì)。c）用戶流量使用情況，近兩月使用統(tǒng)計(jì)。d）用戶短信使用情況。e）電信收入來源分配。數(shù)據(jù)展示數(shù)據(jù)展示模塊流程圖：可用性需求先進(jìn)性系統(tǒng)設(shè)計(jì)采用先進(jìn)的體系結(jié)構(gòu)和軟硬件技術(shù)，滿足目前以及將來相當(dāng)一段時(shí)間對(duì)系統(tǒng)的需求。從而達(dá)到既滿足現(xiàn)階段工作對(duì)系統(tǒng)水平和能力的要求，推動(dòng)計(jì)算機(jī)應(yīng)用向更高級(jí)階段發(fā)展，又能夠在今后數(shù)年內(nèi)保持其技術(shù)的先進(jìn)性和實(shí)用性開放性統(tǒng)建設(shè)的根本目的在于信息共享，因此在系統(tǒng)建設(shè)中采用的各項(xiàng)軟、硬件技術(shù)和產(chǎn)品必須符合開放性原則，符合當(dāng)前國際標(biāo)準(zhǔn)或者事實(shí)上的國際標(biāo)準(zhǔn)?？煽啃詫?duì)于信息系統(tǒng)來說，可靠性是指在一定的環(huán)境下、在給定的時(shí)間內(nèi)，系統(tǒng)不發(fā)生故障的概率。衡量軟件可靠性的方法包括正確執(zhí)行操作所占的比例，在發(fā)現(xiàn)新缺陷之前系統(tǒng)運(yùn)行的時(shí)間長度和缺陷出現(xiàn)的密度。根據(jù)如果發(fā)生故障對(duì)系統(tǒng)有多大的影響和對(duì)于最大的可靠性的費(fèi)用是否合理，來定量的確定可靠性需求。數(shù)據(jù)交換、業(yè)務(wù)集成和信息展現(xiàn)承受著大批量的關(guān)鍵性數(shù)據(jù)的流轉(zhuǎn)、交換和存儲(chǔ)，要充分考慮到可能出現(xiàn)的問題。應(yīng)當(dāng)提倡規(guī)范化程序設(shè)計(jì)，預(yù)防可靠性禍害。數(shù)據(jù)和系統(tǒng)的可靠性對(duì)一個(gè)應(yīng)用系統(tǒng)是至關(guān)重要的，因此，必須把這一原則作為極為重要因素考慮。安全性信息安全是防止系統(tǒng)被非法入侵的能力，既屬于技術(shù)問題又屬于管理問題。主要涉及防止非法訪問系統(tǒng)功能，這些訪問包括查詢、導(dǎo)出、導(dǎo)入、新增、修改、刪除等操作，防止數(shù)據(jù)丟失，防止病毒入侵和防止私人數(shù)據(jù)進(jìn)入系統(tǒng)。數(shù)據(jù)交換、業(yè)務(wù)集成和信息展現(xiàn)所處理、傳送和管理的信息，可能涉及到不同部門和系統(tǒng)的秘密或敏感信息，此類信息處理和傳遞的任何環(huán)節(jié)如果出現(xiàn)漏洞，其損失將是巨大的。數(shù)據(jù)和訪問必須通過特定的方法完全保護(hù)起來。用明確的術(shù)語陳述完整性的需求，如身份驗(yàn)證、用戶特權(quán)級(jí)別、訪問約束或者需要保護(hù)的精確數(shù)據(jù)。一般的，如果黑客為非法入侵花費(fèi)的代價(jià)高于得到的好處，那么認(rèn)為這樣的系統(tǒng)是安全的。運(yùn)行環(huán)境需求產(chǎn)品部署1、已安裝“電信客戶分析系統(tǒng)”，且系統(tǒng)能正常使用。（建議內(nèi)存不少于128G，硬盤不少于50G）2、集群部署：數(shù)據(jù)采集/存儲(chǔ)集群、數(shù)據(jù)分析集群3、授權(quán)碼在系統(tǒng)安裝完成以后，需對(duì)電信客戶分析系統(tǒng)注冊(cè)授權(quán)碼才能正常使用。發(fā)送申請(qǐng)授權(quán)碼郵件后，會(huì)收到對(duì)應(yīng)的授權(quán)碼，將該授權(quán)碼填入授權(quán)碼頁面即可。4、瀏覽器火狐、谷歌（建議使用火狐瀏覽器）5、分辨率顯示器的屏幕分辨率，建議設(shè)置為1280*960、1920*1080。6、軟件系統(tǒng)需求支持64位的centos系統(tǒng)，建議采用centos7.5。性能需求（1）性能系統(tǒng)查看頁面響應(yīng)時(shí)間不超過2秒。查詢統(tǒng)計(jì)操作的響應(yīng)時(shí)間不超過5秒。簡單報(bào)表生成時(shí)間不超過10秒。復(fù)雜報(bào)表生成時(shí)間不超過30秒。（2）可靠性系統(tǒng)支持一天24小時(shí)，一周七天，一年365天不間斷運(yùn)行。系統(tǒng)在連續(xù)運(yùn)行中因軟件故障導(dǎo)致停機(jī)的次數(shù)一年不得超過4次，單次系統(tǒng)修復(fù)時(shí)間不得超過1小時(shí)。（3）擴(kuò)展性系統(tǒng)應(yīng)靈活適應(yīng)不斷變化的應(yīng)用需求，不至于因簡單調(diào)整而導(dǎo)致得大量程序修改或推翻重來。隨著用戶數(shù)的增長及功能應(yīng)用的增長系統(tǒng)應(yīng)該能夠保持足夠的穩(wěn)定性，維持正常