通信-綜合資源數(shù)據(jù)處理培訓(xùn)資料

1、Inspur group綜合資源數(shù)據(jù)處理培訓(xùn)資料2022/7/18三、智能校驗(yàn)二、資源自動(dòng)采集目錄四、傳輸數(shù)據(jù)處理一、數(shù)據(jù)維護(hù)2022/7/18如果網(wǎng)絡(luò)從來(lái)不變化，那么所有網(wǎng)管系統(tǒng)都將獲得成功！然而，世界是永恒運(yùn)動(dòng)的，中國(guó)移動(dòng)的網(wǎng)絡(luò)更是如此。唯一不變的是變化，只有變化才真正體現(xiàn)價(jià)值！1）資源本身的增減2）資源名稱屬性的變化3）資源關(guān)聯(lián)關(guān)系屬性的變化4）資源統(tǒng)計(jì)屬性的變化5）資源狀態(tài)屬性的變化網(wǎng)絡(luò)割接調(diào)整網(wǎng)絡(luò)擴(kuò)容網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)管理和分析的變化和深入1）資源新增2) 資源關(guān)聯(lián)關(guān)系屬性的變化3）父資源統(tǒng)計(jì)屬性的變化1）資源特征屬性的變化2）資源統(tǒng)計(jì)屬性的變化3）資源狀態(tài)屬性的變化1）資源特征屬性的變化

2、2）資源統(tǒng)計(jì)屬性的變化3）邏輯資源的調(diào)整和變化即便網(wǎng)絡(luò)不動(dòng)，倘若對(duì)網(wǎng)絡(luò)的分析和管理發(fā)生了變化，資源屬性也會(huì)發(fā)生變化！資源管理系統(tǒng)如何應(yīng)對(duì)不斷變化的網(wǎng)絡(luò)，保證數(shù)據(jù)的準(zhǔn)確和及時(shí)?數(shù)據(jù)維護(hù)-概述2022/7/18 不像一些純IT系統(tǒng)，資源管理系統(tǒng)的建設(shè)和運(yùn)轉(zhuǎn)，在很大程度上依賴于各級(jí)管理和維護(hù)人員的支持和投入；因此，必須通過(guò)技術(shù)手段和管理手段相結(jié)合，實(shí)現(xiàn)生產(chǎn)力和生產(chǎn)關(guān)系的統(tǒng)一管理手段：資源的命名規(guī)范資源數(shù)據(jù)的靜態(tài)錄入和變更管理資源調(diào)度流程資源數(shù)據(jù)質(zhì)量的管理考核資源管理系統(tǒng)的應(yīng)用推廣資源管理系統(tǒng)建設(shè)的組織保證技術(shù)手段：資源數(shù)據(jù)模型的管理維護(hù)資源的自動(dòng)發(fā)現(xiàn)資源數(shù)據(jù)的動(dòng)態(tài)采集更新資源數(shù)據(jù)的歷史管理對(duì)資源共享

3、應(yīng)用的技術(shù)支持技術(shù)手段是基礎(chǔ)，管理手段是核心，相互依賴數(shù)據(jù)維護(hù)-概述2022/7/18eOMS工單調(diào)度執(zhí)行網(wǎng)絡(luò)調(diào)整維護(hù)人員主動(dòng)更新資源配置信息網(wǎng)管系統(tǒng)自動(dòng)發(fā)現(xiàn)變化維護(hù)人員根據(jù)提示確認(rèn)網(wǎng)絡(luò)變化并填補(bǔ)數(shù)據(jù)資源數(shù)據(jù)庫(kù)網(wǎng)絡(luò)調(diào)整完成主動(dòng)維護(hù)被動(dòng)維護(hù)割接/擴(kuò)容/搬遷/升版/局?jǐn)?shù)據(jù)修改/其他數(shù)據(jù)維護(hù)-維護(hù)方式2022/7/18數(shù)據(jù)維護(hù)-資源系統(tǒng)數(shù)據(jù)維護(hù) 為了保證資源數(shù)據(jù)的準(zhǔn)確性和及時(shí)性，數(shù)據(jù)維護(hù)采取手工維護(hù)和自動(dòng)采集相結(jié)合的方式。手工維護(hù)方式簡(jiǎn)潔、便于操作，批量導(dǎo)入導(dǎo)出功能，操作方便，能有效保證導(dǎo)入數(shù)據(jù)的準(zhǔn)確性和導(dǎo)出數(shù)據(jù)的完整性。通過(guò)定制自動(dòng)采集，可以對(duì)資源屬性進(jìn)行自動(dòng)采集更新。每一次的自動(dòng)采集都有日志記錄

4、，以查看資源數(shù)據(jù)采集情況。采集失敗的任務(wù)可以執(zhí)行數(shù)據(jù)補(bǔ)采，以確保某一周期內(nèi)資源數(shù)據(jù)的準(zhǔn)確性、完整性。 為滿足網(wǎng)絡(luò)資源完整性的需要，智能校驗(yàn)管理功能，對(duì)違反完整性規(guī)則的網(wǎng)絡(luò)資源以列表形式呈現(xiàn)。2022/7/18數(shù)據(jù)維護(hù)-資源系統(tǒng)維護(hù)范圍話務(wù)網(wǎng)：TDM交換機(jī)、軟交換、BSC、HLR、BTS、CELL、直放站、室內(nèi)分布系統(tǒng)、 應(yīng)急通信車、中繼端口、信令終端、信令路由、信令鏈路組、中繼群；信令網(wǎng)：STP；數(shù)據(jù)網(wǎng)：GGSN、SGSN、PCU、GPRS VPN業(yè)務(wù)、CDS、路由器、交換機(jī)、防火墻；傳輸網(wǎng)：傳輸網(wǎng)元、通道、通道時(shí)隙、段、傳輸子系統(tǒng)、通道路由、PTP、CTP；智能網(wǎng)：SMP、SCP、SSP、V

5、C、AIP、VRS、VRB、網(wǎng)路設(shè)備； 短消息：短消息中心、短消息網(wǎng)關(guān)；客服：客服中心、交換機(jī)設(shè)備、計(jì)算機(jī)設(shè)備；配套設(shè)備：交換配套設(shè)備、基站配套設(shè)備、其他配套設(shè)備；備品備件；網(wǎng)管設(shè)備：網(wǎng)管服務(wù)器（即OMC）、網(wǎng)管工作站、操作維護(hù)終端；硬件資源：機(jī)架、機(jī)框和單板；空間資源：局站和機(jī)房；2022/7/18數(shù)據(jù)庫(kù)資源管理RMS多種錄入方式減少手工錄入工作量，同時(shí)提高數(shù)據(jù)的準(zhǔn)確性既可以批量錄入，又可以單個(gè)對(duì)象錄入已有數(shù)據(jù)批量錄入Excel導(dǎo)入工具手工采集客戶端工具手工錄入已有數(shù)據(jù)新增數(shù)據(jù)數(shù)據(jù)維護(hù)主要途徑database中間數(shù)據(jù)庫(kù)自動(dòng)采集遵循集團(tuán)接口規(guī)范DB轉(zhuǎn)換工具網(wǎng)元直連其它系統(tǒng)統(tǒng)一接入平臺(tái)OMC采集

6、數(shù)據(jù)維護(hù)輔助途徑變更流程管理工程狀態(tài)管理割接流程管理灰名單管理數(shù)據(jù)有效性校驗(yàn)短信維護(hù)通知資源預(yù)警通知數(shù)據(jù)維護(hù)流程2022/7/18三、智能校驗(yàn)二、資源自動(dòng)采集目錄四、傳輸數(shù)據(jù)處理一、數(shù)據(jù)維護(hù)2022/7/18資源自動(dòng)采集-采集流程數(shù)據(jù)采集及處理大致可以分為數(shù)據(jù)采集（形成標(biāo)準(zhǔn)文件）、數(shù)據(jù)分析（PERL分析）、數(shù)據(jù)入庫(kù)（LOAD入庫(kù)）和數(shù)據(jù)匯總（SQL）四個(gè)步驟。采集歸一化處理DB/網(wǎng)元/OMC入原始表數(shù)據(jù)提取和關(guān)聯(lián)DB2022/7/18數(shù)據(jù)流轉(zhuǎn)流程圖通過(guò)采集系統(tǒng)生成以文件為載體形式的數(shù)據(jù)原始數(shù)據(jù)庫(kù)（分廠商）PERL分析經(jīng)過(guò)處理的原始數(shù)據(jù)庫(kù)（區(qū)分廠商）需特殊處理的數(shù)據(jù)導(dǎo)出PERL對(duì)導(dǎo)出數(shù)據(jù)處理變更

7、流程 正式庫(kù)其它上層應(yīng)用2022/7/18通過(guò)采集系統(tǒng)將數(shù)據(jù)以文件的形式采集下來(lái)以后，系統(tǒng)通過(guò)PERL進(jìn)行分析，通過(guò)任務(wù)定制程序根據(jù)調(diào)度時(shí)間自動(dòng)調(diào)用腳本對(duì)數(shù)據(jù)進(jìn)行分析、入庫(kù)、匯總。及時(shí)反映網(wǎng)管信息。程序在UNIX系統(tǒng)環(huán)境下運(yùn)行，以SHELL腳本的方式實(shí)現(xiàn)各流程的調(diào)用。通過(guò)PERL腳本實(shí)現(xiàn)數(shù)據(jù)分析。通過(guò)SHELL+SQL實(shí)現(xiàn)數(shù)據(jù)的入庫(kù)，通過(guò)SQL語(yǔ)句實(shí)現(xiàn)匯總。最終完成數(shù)據(jù)的展現(xiàn)，及時(shí)反映現(xiàn)網(wǎng)情況。 數(shù)據(jù)接入流程概述2022/7/18一、命令方式采集 該采集方式為目前較為常用的采集方式，具有數(shù)據(jù)時(shí)效性高，準(zhǔn)確性好的特性。由于我們直接從交換機(jī)獲取數(shù)據(jù)，減少了中間數(shù)據(jù)流轉(zhuǎn)的流程，數(shù)據(jù)的可信任程度比較高

8、，這種數(shù)據(jù)獲取方式也是我們首選的采集種類。 但是，由于此種采集方式直接與交換機(jī)交互，如有誤操作可能對(duì)交換機(jī)造成不可逆轉(zhuǎn)的影響。所以如要使用此種方式采集，應(yīng)在用戶許可的前提下，通過(guò)特定賬戶，在特定時(shí)間內(nèi)使用指定命令進(jìn)行數(shù)據(jù)采集。 此種采集方式的原理為登陸交換機(jī)發(fā)送特定命令后，交換機(jī)會(huì)反饋相應(yīng)信息在屏幕上，且當(dāng)反饋接收后不同廠商會(huì)有特定的命令結(jié)束標(biāo)志。根據(jù)不同標(biāo)志拷貝屏幕并保存為文本文件以供系統(tǒng)分析使用。 目前可以通過(guò)采集調(diào)度系統(tǒng)或者我們自己編寫的PERL工具來(lái)配置信息獲取文件。數(shù)據(jù)采集的種類2022/7/18資源自動(dòng)采集-集中代理 集中代理給登陸代理系統(tǒng)的用戶提供了一個(gè)風(fēng)格、模式統(tǒng)一的操作維護(hù)平

9、臺(tái)，使用戶擺脫網(wǎng)元的IP地址、端口號(hào)、用戶名、密碼等登陸參數(shù)及煩瑣登陸步驟的限制。集中日志，所有登陸用戶的操作維護(hù)活動(dòng)都被同步記錄到日志文件中和數(shù)據(jù)庫(kù)中，以備事后監(jiān)督使用。集中鑒權(quán)，可按安全管理模塊配置權(quán)限情況控制用戶可登陸哪一個(gè)網(wǎng)元，在山東移動(dòng)項(xiàng)目更實(shí)現(xiàn)了命令級(jí)的鑒權(quán)，即可以控制用戶在具體網(wǎng)元上可發(fā)送哪些命令。用戶活動(dòng)跟蹤，可讓高級(jí)用戶實(shí)時(shí)監(jiān)控其他用戶在網(wǎng)元上的活動(dòng)（監(jiān)控所發(fā)命令和返回?cái)?shù)據(jù)），在必要時(shí)可以殺掉該用戶，保證網(wǎng)元完全。消息互通，登陸用戶可以在代理系統(tǒng)上互相發(fā)送文本消息，完成交互功能。不但可滿足操作維護(hù)工作，還可支持“集中采集程序get”完成資源管理、局?jǐn)?shù)據(jù)、網(wǎng)元巡檢等模塊的數(shù)據(jù)采

10、集工作。2022/7/18 集中化的數(shù)據(jù)采集程序，依托代理系統(tǒng)proxy，仿真普通的代理系統(tǒng)用戶工作。適合于能提供命令行方式的操作維護(hù)接口的設(shè)備，使用命令交互方式（即發(fā)采集命令，接收返回?cái)?shù)據(jù)）實(shí)現(xiàn)數(shù)據(jù)采集工作。不但可用于資源管理數(shù)據(jù)的采集，還可用于局?jǐn)?shù)據(jù)、網(wǎng)元巡檢等方面的數(shù)據(jù)采集，目前這三部分的數(shù)據(jù)都由該程序?qū)崿F(xiàn)。一般在調(diào)度系統(tǒng)的驅(qū)動(dòng)下運(yùn)行，自動(dòng)完成數(shù)據(jù)采集工作。也可以用手工方式運(yùn)行，運(yùn)行格式如下: get nename -cmdid -sessid -outdir -cmdstr “命令字符串”。 通過(guò)標(biāo)準(zhǔn)輸出報(bào)告采集任務(wù)完成與否。資源自動(dòng)采集-集中代理程序2022/7/18二、數(shù)據(jù)庫(kù)方式采

11、集 此種采集方式為湖南、貴州及聯(lián)通一些運(yùn)營(yíng)商較為常用。尤其涉及多廠商配合建設(shè)資源的情況（例如：貴州底層采集由億陽(yáng)負(fù)責(zé)，上層應(yīng)用由浪潮負(fù)責(zé)）。這時(shí)數(shù)據(jù)庫(kù)的采集方式便成了最合適的跨系統(tǒng)數(shù)據(jù)傳輸平臺(tái)。 經(jīng)過(guò)多年建設(shè)，我們此種采集方式系統(tǒng)已涵蓋了INFORMIX、ORACLE、SYBASE三種比較常用的數(shù)據(jù)庫(kù)，且完善形成了工具性的采集系統(tǒng)。通過(guò)配置相應(yīng)信息便可完成數(shù)據(jù)采集。這種工具在后面的常用工具一章中會(huì)詳細(xì)解釋。 使用此種采集方式應(yīng)注意兩點(diǎn)問(wèn)題：1、采集應(yīng)給底層數(shù)據(jù)準(zhǔn)備留出足夠時(shí)間，避免底層數(shù)據(jù)還在生成過(guò)程中便啟動(dòng)采集造成鎖表。2、采集應(yīng)在保證不鎖表的前提下盡量提前，給資源匯總留出足夠時(shí)間。數(shù)據(jù)采集

12、的種類2022/7/18三、文件方式采集 文件大致分為四種：文本文件、DB數(shù)據(jù)庫(kù)文件、XML文件、EXCEL文件。此種采集方式為三種方式中相對(duì)簡(jiǎn)單的一種，通常與FTP或SMBClient配合使用，需要注意的是SMBClient為跨系統(tǒng)文件系統(tǒng)訪問(wèn)接口（例如UNIX系統(tǒng)訪問(wèn)Windows系統(tǒng)文件），需要在UNIX系統(tǒng)下以root用戶相應(yīng)配置才能生效。而且在文件分析時(shí)需要安裝相應(yīng)的PERL模塊方可識(shí)別不同的文件格式。 使用時(shí)注意兩點(diǎn)：1、過(guò)期歷史文件的垃圾刪除功能。2、文件的互斥訪問(wèn)功能（防止文件生成過(guò)程中被獲取過(guò)來(lái)，造成數(shù)據(jù)丟失）。 目前遼寧傳輸資源數(shù)據(jù)的采集就是通過(guò)文件方式實(shí)現(xiàn)，數(shù)據(jù)文件由直真

13、采集并放到浪潮相應(yīng)的文件目錄下，數(shù)據(jù)分析和入庫(kù)由浪潮來(lái)處理。數(shù)據(jù)采集的種類2022/7/18資源自動(dòng)采集-采集策略 通過(guò)采集任務(wù)管理平臺(tái)來(lái)實(shí)現(xiàn)資源數(shù)據(jù)的自動(dòng)采集、手工補(bǔ)采、采集任務(wù)監(jiān)控、采集任務(wù)調(diào)度，通過(guò)任務(wù)定制界面將該采集任務(wù)保存到數(shù)據(jù)庫(kù)中，通過(guò)任務(wù)調(diào)度完成數(shù)據(jù)庫(kù)中該任務(wù)的調(diào)度解析，最后通過(guò)集中代理完成命令自動(dòng)定時(shí)采集。2022/7/18資源自動(dòng)采集-采集任務(wù)查詢2022/7/18按方案查詢：資源自動(dòng)采集-采集任務(wù)查詢2022/7/18按任務(wù)查詢：資源自動(dòng)采集-采集任務(wù)查詢2022/7/18按網(wǎng)元查詢：資源自動(dòng)采集-采集任務(wù)查詢2022/7/18按采集結(jié)果查詢：資源自動(dòng)采集-采集任務(wù)查詢20

14、22/7/18資源自動(dòng)采集-手工調(diào)度 能被手工調(diào)度的元任務(wù)實(shí)例需要滿足一定條件。不滿足調(diào)度的原因會(huì)右面用紅色標(biāo)記出。未運(yùn)行（正在運(yùn)行的元任務(wù)實(shí)例不能被調(diào)度）；已激活 （未激活的元任務(wù)實(shí)例不能被調(diào)度）；未調(diào)度 （已手工調(diào)度但還未被執(zhí)行的元任務(wù)實(shí)例不能被調(diào)度）；調(diào)度次數(shù)不超過(guò)2次（調(diào)度次數(shù)超過(guò)2次的元任務(wù)實(shí)例不能被調(diào)度）。2022/7/18 選中要手工調(diào)度的元任務(wù)實(shí)例，點(diǎn)擊手工執(zhí)行按鈕，出現(xiàn)時(shí)間設(shè)置輸入框，輸入調(diào)度時(shí)間（也可以默認(rèn)），點(diǎn)擊確定按鈕。資源自動(dòng)采集-手工調(diào)度2022/7/18出現(xiàn)設(shè)置成功提示頁(yè)面，表明手工調(diào)度設(shè)置完成。資源自動(dòng)采集-手工調(diào)度2022/7/18采集系統(tǒng)的產(chǎn)出物必定為以文件

15、為載體的數(shù)據(jù)。但文件的命名必須有一定的規(guī)范。文件名包含多種信息，以“”分隔。形式為： 網(wǎng)元類型廠商標(biāo)識(shí)網(wǎng)元名字命令標(biāo)識(shí)采集時(shí)間進(jìn)程號(hào)是否成功標(biāo)識(shí).src 其中是否成功標(biāo)識(shí)0代表采集成功，1代表采集失敗。采集時(shí)間精確到秒。 例如：MSC#SIEMENS#MSC1#statmp#20070804003000#1471#0.src為什么以此種方式命名？ 一、此種命名方式可以唯一確定一個(gè)最小粒度的命令，以上面說(shuō)明為例，文件給出了我們這樣的信息：該文件為向西門子命名為“MSC1”的MSC網(wǎng)元發(fā)送命令標(biāo)識(shí)為“statmp”的命令生成的數(shù)據(jù)文件，文件采集時(shí)間為2007年8月4日3點(diǎn)整，采集結(jié)果為成功。一目了

16、然。 二、此種命名方式方便系統(tǒng)自動(dòng)判斷文件入庫(kù)的表名稱。在后面的文件入庫(kù)章節(jié)中將會(huì)講到。采集系統(tǒng)產(chǎn)出物2022/7/18我們知道，經(jīng)系統(tǒng)采集下來(lái)的文件格式是千奇百怪的，沒(méi)有一個(gè)統(tǒng)一的格式，但如果我們想將這些數(shù)據(jù)做入庫(kù)操作，那就需要規(guī)定一個(gè)統(tǒng)一的格式，方便數(shù)據(jù)庫(kù)入口命令（例如：SQLLDR、LOAD命令）將文件中的數(shù)據(jù)讀取到數(shù)據(jù)庫(kù)中。文件分析系統(tǒng)做的就是這樣的工作： 調(diào)用PERL解析文件，形成可以入庫(kù)的文件樣式。即：以豎線作為分隔的數(shù)據(jù)形式。例如：西門子STATTRUNK命令文件經(jīng)過(guò)解析后形成如下文件內(nèi)容：MSC3|BSS5|961|33- 1|33|1|TRUNK|BW|0-47-1- 1|0

17、|47|1|1|MOBB|2009-01-01 12:00:00| 其中藍(lán)色部分為數(shù)據(jù)內(nèi)容，通過(guò)PERL程序?qū)⒂幸饬x的數(shù)據(jù)以特定的順序提取出來(lái)，這個(gè)順序還是用來(lái)建立數(shù)據(jù)庫(kù)表結(jié)構(gòu)的依據(jù)。 紅色部分為局號(hào)，從文件名中獲取，用來(lái)標(biāo)識(shí)該數(shù)據(jù)屬于哪一臺(tái)交換機(jī)。（數(shù)據(jù)入庫(kù)的時(shí)候還被用來(lái)作為數(shù)據(jù)安全刪除的依據(jù)）。 位于數(shù)據(jù)的第一列，對(duì)應(yīng)數(shù)據(jù)庫(kù)表的第一個(gè)字段“nename”。 粉色部分為數(shù)據(jù)獲取時(shí)間，從文件名中獲取，用以在系統(tǒng)中標(biāo)識(shí)數(shù)據(jù)的采集、更新時(shí)間。位于數(shù)據(jù)的最后一列，對(duì)應(yīng)數(shù)據(jù)庫(kù)表的最后一個(gè)字段“time_stamp”。 完成分析的文件將會(huì)在原文件名的基礎(chǔ)上增加“.db”后綴，以告訴系統(tǒng)，此文件已經(jīng)分析完

18、畢，可以進(jìn)行入庫(kù)操作。系統(tǒng)在發(fā)現(xiàn).db文件后，將會(huì)調(diào)用入庫(kù)子程序自動(dòng)將文件入庫(kù)并保存入庫(kù)日志，方便查錯(cuò)。 思考：文件分析是否可以同時(shí)分析多個(gè)文件？有何風(fēng)險(xiǎn)？文件分析2022/7/18文件入庫(kù)是一個(gè)數(shù)據(jù)準(zhǔn)備的過(guò)程，原始數(shù)據(jù)完成入庫(kù)后便可以在此基礎(chǔ)上為正式數(shù)據(jù)的數(shù)據(jù)匯總做底層支持。 在分析系統(tǒng)完成對(duì)原始文件的分析形成“db”文件后，入庫(kù)腳本將文件入庫(kù)的過(guò)程是智能的。即：腳本自動(dòng)根據(jù)文件名組合出該文件需要入哪一張表。原始表命名規(guī)范為：廠商縮寫_網(wǎng)元類型_命令標(biāo)識(shí)。 例如：文件BSC#NOKIA#LC_BSC13#ZEEI#20070624233001#100#0.src.db經(jīng)過(guò)分析后將入原始數(shù)據(jù)庫(kù)

19、中的nok_bsc_zeei表中。并且在入庫(kù)前系統(tǒng)自動(dòng)刪除該網(wǎng)元的老數(shù)據(jù)。即：在表中nename值為L(zhǎng)C_BSC13的數(shù)據(jù)。以保證數(shù)據(jù)的及時(shí)性。 流程如下：入庫(kù)程序拿到“.db”文件后自動(dòng)組合表名“nok_bsc_zeei”；其次系統(tǒng)從文件名中得知該文件是網(wǎng)元“LC_BSC13”的數(shù)據(jù)，則系統(tǒng)自動(dòng)尋找表中“nename”值為“LC_BSC13”的數(shù)據(jù)執(zhí)行刪除操作；最后系統(tǒng)將db文件中的數(shù)據(jù)讀入表中完成數(shù)據(jù)入庫(kù)。 需要注意一點(diǎn)：文件在入庫(kù)過(guò)程中表是鎖定的，此時(shí)應(yīng)注意進(jìn)程保護(hù)，否則將會(huì)由于鎖表造成入庫(kù)失敗。 思考： nok_bsc_zeei表的結(jié)構(gòu)大致應(yīng)是什么樣子？文件入庫(kù)2022/7/18要完成

20、數(shù)據(jù)匯總有兩個(gè)必要條件： 一、模型調(diào)研：與系統(tǒng)實(shí)際使用方確認(rèn)模型，用戶關(guān)心那些網(wǎng)元，網(wǎng)元中比較關(guān)心哪些指標(biāo)，上層應(yīng)用需要用到哪些指標(biāo)。這些調(diào)研清楚之后將模型固化到系統(tǒng)中。也就是我們所說(shuō)的正式表，用以頁(yè)面展現(xiàn)。 二、算法調(diào)研：模型中每一個(gè)字段需要用到什么命令采集，對(duì)應(yīng)命令中哪一部分，是否需要多個(gè)命令關(guān)聯(lián)展現(xiàn)，多個(gè)命令之間如何關(guān)聯(lián)（數(shù)據(jù)庫(kù)、文件方式大同小異）。調(diào)研清楚之后將每個(gè)命令配置到采集系統(tǒng)中將文件采集下來(lái)分析入庫(kù)，對(duì)應(yīng)我們所說(shuō)的原始庫(kù)。最終將復(fù)雜的業(yè)務(wù)關(guān)聯(lián)關(guān)系固化到資源系統(tǒng)的原始庫(kù)與正式庫(kù)的數(shù)據(jù)庫(kù)語(yǔ)句關(guān)系，從而實(shí)現(xiàn)將復(fù)雜算法固化到系統(tǒng)中完成數(shù)據(jù)匯總的目的。 原始庫(kù)與正式庫(kù)實(shí)現(xiàn)比較時(shí)的三種情況

21、：1、新增：插入正式表；2、刪除：從正式表中將未采集到的數(shù)據(jù)刪除；3、更新：正式表中某幾個(gè)屬性發(fā)生變化，更新正式表。這一點(diǎn)請(qǐng)各位同事注意，在今后的灰名單章節(jié)中將說(shuō)明此三種情況對(duì)灰名單的影響。 該部分從技術(shù)角度上說(shuō)是最簡(jiǎn)單的一層，單純使用SQL語(yǔ)句就可以完成匯總，但從業(yè)務(wù)角度上說(shuō)，這里面包含了太多復(fù)雜的算法知識(shí)，需要日積月累的專業(yè)知識(shí)方可實(shí)現(xiàn)開(kāi)發(fā)、維護(hù)。感興趣的同事可以在今后的工作中多接觸一下這方面的知識(shí)。 SQL使用注意事項(xiàng)： 1、臨時(shí)表的使用。 2、索引的使用。 3、exists、in、not in的區(qū)別。數(shù)據(jù)匯總2022/7/18 某些情況下，原始的表數(shù)據(jù)可能無(wú)法滿足匯總要求，這時(shí)就需要在

22、原始數(shù)據(jù)的基礎(chǔ)上用PERL進(jìn)行二次分析，將數(shù)據(jù)處理成滿足匯總條件的格式，重新插入新的表中以備數(shù)據(jù)匯總只用。二次數(shù)據(jù)也就應(yīng)運(yùn)而生。 例如：在匯總小區(qū)臨區(qū)列表時(shí)要求將相鄰小區(qū)以逗號(hào)分隔，更新到一個(gè)字段中。而原始文件采到的數(shù)據(jù)卻是多條記錄，這時(shí)就需要將這多條記錄導(dǎo)出壓縮成一條數(shù)據(jù)并以逗號(hào)分隔，以達(dá)到匯總需求。 缺點(diǎn)： 1、頻繁導(dǎo)入、導(dǎo)出操作減慢了系統(tǒng)運(yùn)行速度。 2、過(guò)多的操作增加了故障幾率。例如：鎖表、進(jìn)程將死。 解決思路： 這對(duì)業(yè)務(wù)要求一定的了解，在文件分析時(shí)提早預(yù)見(jiàn)到所需數(shù)據(jù)的格式，必要時(shí)可以一個(gè)文件分析成多個(gè)db文件，分別達(dá)到不同的匯總要求。避免無(wú)謂的導(dǎo)入導(dǎo)出操作。數(shù)據(jù)導(dǎo)出后的二次處理2022

23、/7/18三、智能校驗(yàn)二、資源自動(dòng)采集目錄四、傳輸數(shù)據(jù)處理一、數(shù)據(jù)維護(hù)2022/7/182022/7/18智能校驗(yàn) 為了保證網(wǎng)絡(luò)資源的完整性和準(zhǔn)確性，智能模型校驗(yàn)功能將不符合業(yè)務(wù)規(guī)則的數(shù)據(jù)發(fā)現(xiàn)，放入灰名單庫(kù)，通過(guò)短信、灰名單滾動(dòng)提示、告警呈現(xiàn)、告警自動(dòng)派發(fā)工單等多種途徑提示維護(hù)人員及時(shí)維護(hù)數(shù)據(jù)，最大程度地實(shí)現(xiàn)資源數(shù)據(jù)的智能檢錯(cuò)、糾錯(cuò)，提升資源數(shù)據(jù)的智能化管理程度和準(zhǔn)確性管理。 智能模型校驗(yàn)是根據(jù)定義好的校驗(yàn)規(guī)則對(duì)資源數(shù)據(jù)的合法性進(jìn)行核查，分為智能校驗(yàn)規(guī)則定義、資源數(shù)據(jù)智能校驗(yàn)、短信發(fā)送、灰名單數(shù)據(jù)處理。2022/7/18 在數(shù)據(jù)匯總章節(jié)中我們?cè)?jīng)介紹過(guò)原始庫(kù)與正式庫(kù)實(shí)現(xiàn)比較時(shí)的三種情況，那現(xiàn)在

24、請(qǐng)各位同事想一下，在做數(shù)據(jù)刪除操作時(shí)如果由于采集原因造成采集文件為空是否會(huì)造成正式庫(kù)的數(shù)據(jù)丟失？ 灰名單功能正是在這種背景下開(kāi)發(fā)出來(lái)的。 在數(shù)據(jù)連續(xù)幾天采集不到的情況下，可以認(rèn)為數(shù)據(jù)為退網(wǎng)數(shù)據(jù)，此時(shí)系統(tǒng)并不做刪除操作，而是提交為維護(hù)人員進(jìn)行確認(rèn)，待確認(rèn)后進(jìn)行刪除操作。 當(dāng)數(shù)據(jù)發(fā)生變化時(shí)，還可以提供數(shù)據(jù)對(duì)比功能，讓維護(hù)人員及時(shí)了解到變化前后數(shù)據(jù)的變化過(guò)程。 灰名單相當(dāng)于底層數(shù)據(jù)的一個(gè)上層應(yīng)用，為歷史數(shù)據(jù)對(duì)比的一個(gè)應(yīng)用實(shí)例。它的正常運(yùn)行必須基于底層數(shù)據(jù)的正常匯總?；颐麊喂δ?022/7/18智能校驗(yàn)-校驗(yàn)規(guī)則校驗(yàn)規(guī)則包括：連續(xù)多日未采集到數(shù)據(jù) 連續(xù)5日未采集到的基站、小區(qū)、中繼端口、單板數(shù)據(jù)，則為異常數(shù)據(jù)。 基站配套設(shè)備校驗(yàn) 基站配套設(shè)備中的所屬基站在基站中不存在，則配套設(shè)備數(shù)據(jù)為異常數(shù)據(jù)。 話務(wù)網(wǎng)BTS中，基站ID以G、N、H、Z開(kāi)頭并且“是否一體化、邊界背靠背基站”屬性為否的基站，去掉微蜂窩基站，統(tǒng)計(jì)基站個(gè)數(shù)。配套設(shè)備中的基站空調(diào)所屬基站數(shù)、基站蓄電池組所屬基站數(shù)、基站開(kāi)關(guān)電源所屬基站數(shù)、基站機(jī)房數(shù)量應(yīng)等于基站數(shù)，基站存在而沒(méi)有配套設(shè)備的則為異常數(shù)據(jù)。單板狀態(tài)沖突 同一個(gè)序列號(hào)的單板既存在與現(xiàn)網(wǎng)又存在與備件庫(kù)。2022/7/18智能校驗(yàn)-校驗(yàn)流程2022/7/182022/7/18 將校驗(yàn)匯總模型校驗(yàn)數(shù)據(jù)在首頁(yè)滾動(dòng)顯示，直觀了解模型校驗(yàn)數(shù)據(jù)，以便及時(shí)處理