綜合分析系統(tǒng)技術(shù)規(guī)范書VIP

PAGE23PAGE24綜合分析系統(tǒng)技術(shù)規(guī)范綜合分析系統(tǒng)技術(shù)規(guī)范書總體說明綜合分析系統(tǒng)技術(shù)原則綜合分析系統(tǒng)規(guī)劃和建設(shè)應(yīng)遵循以下基本原則：穩(wěn)定性原則保持系統(tǒng)架構(gòu)的相對穩(wěn)定，根據(jù)網(wǎng)絡(luò)發(fā)展的需要，在綜合分析系統(tǒng)架構(gòu)上，豐富相關(guān)分析應(yīng)用。統(tǒng)一性原則堅持綜合分析系統(tǒng)“一個統(tǒng)計數(shù)據(jù)中心”的原則，在功能實現(xiàn)上應(yīng)遵守統(tǒng)一的數(shù)據(jù)源、統(tǒng)一的數(shù)據(jù)模型和統(tǒng)一的數(shù)據(jù)接口原則。開放性原則系統(tǒng)中的各種網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等符合業(yè)界開放式標(biāo)準(zhǔn)。實用性原則系統(tǒng)應(yīng)用建設(shè)應(yīng)滿足使用人員業(yè)務(wù)需求，能夠解決不同層次使用人員的實際問題。應(yīng)用開發(fā)設(shè)計符合使用人員的工作場景，能夠?qū)ζ鋵嶋H工作進(jìn)行指導(dǎo)，提高其工作效率。易用性原則系統(tǒng)應(yīng)實現(xiàn)用戶可接受的查詢效率與響應(yīng)時間；對現(xiàn)有業(yè)務(wù)運(yùn)營系統(tǒng)影響??；有良好易用的人機(jī)接口界面與靈活多樣的展現(xiàn)方式。綜合分析系統(tǒng)第一階段技術(shù)目標(biāo)實現(xiàn)不同專業(yè)網(wǎng)管的統(tǒng)計類數(shù)據(jù)的統(tǒng)一存儲，達(dá)到集中的、有序的組織、管理和利用；統(tǒng)一數(shù)據(jù)模型規(guī)范，解決專業(yè)網(wǎng)管間數(shù)據(jù)獨立分散問題，達(dá)到OSS體系的數(shù)據(jù)集成與共享，清洗轉(zhuǎn)換不一致數(shù)據(jù)，最終向用戶提供一致的數(shù)據(jù)；建立元數(shù)據(jù)管理體系，規(guī)范業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)，統(tǒng)一業(yè)務(wù)指標(biāo)意義；建立統(tǒng)一信息數(shù)據(jù)模型，實現(xiàn)跨專業(yè)靈活自定義報表和自定義分析，發(fā)揮用戶自主的數(shù)據(jù)消費能力；建立面向主題、面向分析的靈活數(shù)據(jù)模型，與在線事務(wù)系統(tǒng)分離，減輕在線業(yè)務(wù)系統(tǒng)壓力；結(jié)合統(tǒng)計學(xué)分析方法，實現(xiàn)歷史數(shù)據(jù)統(tǒng)計分析、同比分析、環(huán)比分析、分布分析、趨勢分析；實現(xiàn)基礎(chǔ)數(shù)據(jù)質(zhì)量管理功能；綜合分析系統(tǒng)技術(shù)框架綜合分析系統(tǒng)技術(shù)框架圖統(tǒng)計數(shù)據(jù)中心定位與設(shè)計首先，從網(wǎng)管體系定位來講，綜合分析系統(tǒng)承載了網(wǎng)絡(luò)統(tǒng)計數(shù)據(jù)中心的職責(zé)，由此從數(shù)據(jù)管理和數(shù)據(jù)存儲層面設(shè)計了數(shù)據(jù)倉庫（DW）和ODM-DB。由這兩套數(shù)據(jù)存儲體系共同構(gòu)成網(wǎng)絡(luò)統(tǒng)計數(shù)據(jù)中心。其具體定位和原則如下：統(tǒng)計數(shù)據(jù)中心中DW承載已經(jīng)梳理清晰的、具備多維分析模型的統(tǒng)計數(shù)據(jù)；統(tǒng)計數(shù)據(jù)中心中ODM-DB承載全部的數(shù)據(jù)，其存儲遵循如下原則：對于納入DW中的數(shù)據(jù)只保存較短的時間；對于未納入DW中，但比較重要的數(shù)據(jù)長期存儲；對于未納入DW中，只供短期細(xì)節(jié)分析的數(shù)據(jù)短期存儲；ODM-DB和DW中數(shù)據(jù)的存儲時長由元數(shù)據(jù)管理中的“數(shù)據(jù)有效期”決定，綜合分析系統(tǒng)中的系統(tǒng)自身管理模塊會根據(jù)該屬性自動進(jìn)行數(shù)據(jù)維護(hù)；ODM-DB的建模原則遵循ODM-A建模方法，物理上采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫；DW的建模原則遵循多維模型建模方法，物理上采用數(shù)據(jù)倉庫；對于準(zhǔn)實時類的統(tǒng)計應(yīng)用，主要從ODM-DB中獲取數(shù)據(jù)；對于長期統(tǒng)計分析類的專題分析，主要從DW中獲取數(shù)據(jù)；對于強(qiáng)調(diào)最快速的監(jiān)控內(nèi)容，依然由綜合監(jiān)控自行采集獲取相關(guān)數(shù)據(jù)，通過消息觸發(fā)的方式進(jìn)行監(jiān)控；ODM-DB中的數(shù)據(jù)按照層級劃分為Original、VendorSpecific、Common三級；對于Original、VendorSpecific、Common的劃分主要針對與設(shè)備廠家密切相關(guān)的性能數(shù)據(jù)、資源數(shù)據(jù)而設(shè)計；對于單據(jù)域、事件域、知識域等與設(shè)備廠家無關(guān)的統(tǒng)計數(shù)據(jù)一般直接納入Common層級；Original：原始的，一般指從設(shè)備端直接獲取未經(jīng)計算等處理的數(shù)據(jù)集合；VendorSpecific：具備廠家特性的，一般指保留了設(shè)備廠家特性的數(shù)據(jù)集合；Common：通用的，一般指與廠家無關(guān)的通用的數(shù)據(jù)集合；數(shù)據(jù)采集轉(zhuǎn)換工具定位與設(shè)計對于綜合分析系統(tǒng)來講一個非常關(guān)鍵的部分就是數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、裝載，同時根據(jù)綜合分析系統(tǒng)的定位，其在現(xiàn)階段就是從各個專業(yè)網(wǎng)管系統(tǒng)及EOMS、綜合資源、綜合監(jiān)控等系統(tǒng)獲取數(shù)據(jù)，后續(xù)隨著統(tǒng)一采集平臺的建設(shè)，將逐步以統(tǒng)一采集平臺為主進(jìn)行數(shù)據(jù)獲取。根據(jù)當(dāng)前專業(yè)網(wǎng)管系統(tǒng)的現(xiàn)狀，受到設(shè)備端數(shù)據(jù)穩(wěn)定性的影響，專業(yè)網(wǎng)管系統(tǒng)的數(shù)據(jù)質(zhì)量還存在一定的問題，同時結(jié)合上述統(tǒng)計數(shù)據(jù)中心組成架構(gòu)，數(shù)據(jù)采集轉(zhuǎn)換工具也劃分為兩個步驟進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換和裝載。第一步，從各個專業(yè)網(wǎng)管及EOMS等綜合網(wǎng)管系統(tǒng)獲取數(shù)據(jù)，插入到ODM-DB中；在本步驟采用每小時多次同步的方式從各數(shù)據(jù)源獲取數(shù)據(jù)，從而一方面保障數(shù)據(jù)質(zhì)量，另一方面可以滿足對于大時間粒度數(shù)據(jù)的準(zhǔn)實時應(yīng)用的需要（典型的例如準(zhǔn)實時統(tǒng)計報表、準(zhǔn)實時統(tǒng)計監(jiān)控等）；在本步驟，一般從各個數(shù)據(jù)源采集最小空間粒度和最小時間粒度的數(shù)據(jù)，由綜合分析系統(tǒng)自行完成向上匯總；本步驟需要重點完成基礎(chǔ)數(shù)據(jù)的質(zhì)量控制，其中最關(guān)鍵的是要保證數(shù)據(jù)完整性；采集適配模塊以數(shù)據(jù)庫接口為主，同時支持文件等接口；第二步從ODM-DB中抽取數(shù)據(jù)，插入到DW中；由于納入數(shù)據(jù)倉庫的數(shù)據(jù)以數(shù)據(jù)準(zhǔn)確性為第一原則，而且基于數(shù)據(jù)倉庫的分析一般不追求較高的實時性，所以在本階段采用每天一次的數(shù)據(jù)抽取周期；本步驟要進(jìn)一步完成數(shù)據(jù)質(zhì)量控制，最關(guān)鍵的為對象一致性；同時，數(shù)據(jù)采集轉(zhuǎn)換工具根據(jù)其承載的職能和特性，其還需要具備如下技術(shù)功能：具備較完備的任務(wù)調(diào)度、控制能力；能夠根據(jù)數(shù)據(jù)質(zhì)量、數(shù)據(jù)源端的變化主動發(fā)起采集和補(bǔ)采；具備較完備的數(shù)據(jù)質(zhì)量管理能力；利用其數(shù)據(jù)抽取能力同時承載對外共享數(shù)據(jù)發(fā)布封裝的功能，即根據(jù)數(shù)據(jù)訂閱信息進(jìn)行數(shù)據(jù)抽取并按接口規(guī)范進(jìn)行封裝后發(fā)布；具備配合數(shù)據(jù)倉庫的模型實現(xiàn)數(shù)據(jù)匯總和聚合的功能基礎(chǔ)服務(wù)組件定位與設(shè)計根據(jù)對數(shù)據(jù)處理、應(yīng)用的特點，從技術(shù)上進(jìn)行抽象為若干個基礎(chǔ)服務(wù)組件，對于上層應(yīng)用來講就是將這些服務(wù)組件進(jìn)行組裝，添加上相應(yīng)的數(shù)據(jù)和處理邏輯形成具體的功能應(yīng)用。由此抽象出如下基礎(chǔ)服務(wù)組件：“報表引擎”，是生成和操作報表的分析服務(wù)組件，主要用于生成固定格式的報表，它通過報表生成器生成模板，并根據(jù)模板對抽取的數(shù)據(jù)進(jìn)行加工渲染，能生成靜態(tài)的數(shù)據(jù)結(jié)果集，最后通過Web方式在線展現(xiàn)給分析人員；“報告引擎”，主要負(fù)責(zé)生成word、ppt等格式的離線分析報告；“多維分析”，主要提供OLAP分析服務(wù)，包括鉆取、旋轉(zhuǎn)等?？紤]到多維模型一般都是由數(shù)據(jù)倉庫產(chǎn)品自帶，所以這部分同時承載對多維分析模型的管理；“即席查詢”，利用元數(shù)據(jù)、資源配置信息提供即席數(shù)據(jù)查詢能力；“自動分析規(guī)則管理”，通過固化用戶日常中形成的業(yè)務(wù)分析過程或思路，并根據(jù)該流程實現(xiàn)向?qū)椒治龊妥詣臃治?；“信息展現(xiàn)”，主要包括儀表盤、曲線圖、表格等數(shù)據(jù)呈現(xiàn)組件；“信息發(fā)布”，該部分應(yīng)當(dāng)包含完整的數(shù)據(jù)訂閱管理能力，其利用元數(shù)據(jù)和消費者信息來管理指標(biāo)訂閱關(guān)系；應(yīng)用層定位與設(shè)計從技術(shù)角度來講，綜合分析系統(tǒng)的應(yīng)用層就是按照具體的業(yè)務(wù)功能需求，將各個基礎(chǔ)服務(wù)組件進(jìn)行拼裝組合，融入相應(yīng)的數(shù)據(jù)和處理流程及邏輯，所以其在技術(shù)上類似于一種“模板”，所以對于應(yīng)用層采用模板管理的模式，根據(jù)實際需求進(jìn)行定制。數(shù)據(jù)呈現(xiàn)層定位與設(shè)計從技術(shù)角度來講，綜合分析系統(tǒng)的數(shù)據(jù)呈現(xiàn)層就是根據(jù)具體的用戶需要而設(shè)計的界面模板，考慮到不同用戶之間需要的數(shù)據(jù)呈現(xiàn)界面不盡相同，所以需要在技術(shù)上支持針對用戶或角色的界面模板管理能力。此外，考慮到將來綜合分析系統(tǒng)將是網(wǎng)絡(luò)運(yùn)維門戶的主要集成內(nèi)容輸出者，由此，綜合分析系統(tǒng)的數(shù)據(jù)呈現(xiàn)層需要滿足Portal集成的基本要求。系統(tǒng)間數(shù)據(jù)共享定位與設(shè)計由“數(shù)據(jù)訂閱”模塊負(fù)責(zé)接受其他系統(tǒng)的數(shù)據(jù)訂閱請求，由“數(shù)據(jù)采集轉(zhuǎn)換工具”模塊負(fù)責(zé)按照訂閱需求進(jìn)行數(shù)據(jù)抽取并封裝后發(fā)布。同時，考慮到對于準(zhǔn)實時數(shù)據(jù)的需要和系統(tǒng)間接口復(fù)雜度降低的要求，ODM-DB對外完全開放其數(shù)據(jù)庫結(jié)構(gòu)，其將作為一個共享數(shù)據(jù)庫存在，允許其他系統(tǒng)直接通過數(shù)據(jù)庫接口從ODM-DB中獲取數(shù)據(jù)。而數(shù)據(jù)倉庫由于其數(shù)據(jù)量較大，而且分析模型固定，不對外提供數(shù)據(jù)庫接口，只能通過數(shù)據(jù)訂閱進(jìn)行數(shù)據(jù)共享。元數(shù)據(jù)管理定位與設(shè)計根據(jù)CM-OSS2.0規(guī)劃，在現(xiàn)階段，綜合分析系統(tǒng)中的元數(shù)據(jù)管理將只對本系統(tǒng)內(nèi)的元數(shù)據(jù)進(jìn)行管理，不對外界系統(tǒng)進(jìn)行全程管理。元數(shù)據(jù)管理將主要從技術(shù)、業(yè)務(wù)、管理三個維度對綜合分析系統(tǒng)內(nèi)的全部數(shù)據(jù)進(jìn)行管理。安全管理定位與設(shè)計由于綜合分系統(tǒng)中擁有大量的網(wǎng)絡(luò)運(yùn)行質(zhì)量與統(tǒng)計數(shù)據(jù)，由此需要具備嚴(yán)格的權(quán)限控制能力。所以，安全管理模塊需要具備對指標(biāo)、對象、功能菜單的三維授權(quán)控制能力。同時，安全管理模塊負(fù)責(zé)對綜合分析系統(tǒng)內(nèi)使用的全部系統(tǒng)內(nèi)置賬號、口令進(jìn)行安全管控。此外，安全管理模塊負(fù)責(zé)與4A系統(tǒng)進(jìn)行對接。數(shù)據(jù)質(zhì)量管理定位與設(shè)計數(shù)據(jù)質(zhì)量管理模塊負(fù)責(zé)綜合分析系統(tǒng)內(nèi)部的全部數(shù)據(jù)質(zhì)量的統(tǒng)一管理，其從各個數(shù)據(jù)處理環(huán)節(jié)獲取數(shù)據(jù)質(zhì)量信息，進(jìn)行統(tǒng)一的管控。其重點在數(shù)據(jù)采集環(huán)節(jié)的數(shù)據(jù)完整性和數(shù)據(jù)倉庫加載環(huán)節(jié)的數(shù)據(jù)對象一致性的控制。綜合分析系統(tǒng)各子系統(tǒng)、各模塊均應(yīng)當(dāng)滿足數(shù)據(jù)質(zhì)量管理的質(zhì)量控制點設(shè)置要求，并可以為數(shù)據(jù)質(zhì)量管理子系統(tǒng)提供完備的數(shù)據(jù)質(zhì)量信息。系統(tǒng)管理定位與設(shè)計系統(tǒng)管理模塊主要負(fù)責(zé)系統(tǒng)自身運(yùn)轉(zhuǎn)的配置管理（含術(shù)語字典、節(jié)假日定義等）、任務(wù)管理及資源管理。同時，系統(tǒng)管理模塊完成對綜合分析系統(tǒng)用戶行為的分析，從而為實現(xiàn)對功能、數(shù)據(jù)的分級保障維護(hù)提供參考依據(jù)。知識共享定位與設(shè)計在綜合分析系統(tǒng)中的分析模型、元數(shù)據(jù)等都是非常重要的網(wǎng)絡(luò)運(yùn)維知識，現(xiàn)階段這些知識是融入在系統(tǒng)中分散存在的，根據(jù)規(guī)劃，后續(xù)在統(tǒng)一建立知識管理系統(tǒng)后將通過該模塊將相關(guān)抽取、封裝后提供給知識管理系統(tǒng)。在第一階段，該模塊能力預(yù)留，不做實現(xiàn)。數(shù)據(jù)采集及數(shù)據(jù)轉(zhuǎn)換技術(shù)框圖數(shù)據(jù)采集技術(shù)框圖數(shù)據(jù)源在第一階段，綜合分析系統(tǒng)采集的數(shù)據(jù)來源于話務(wù)網(wǎng)管、數(shù)據(jù)網(wǎng)管、傳輸網(wǎng)管、信令監(jiān)測、EOMS、綜合資源管理系統(tǒng)等支撐系統(tǒng)，包含但不限于資源數(shù)據(jù)、性能數(shù)據(jù)、告警統(tǒng)計數(shù)據(jù)、話單數(shù)據(jù)、工單統(tǒng)計數(shù)據(jù)、投訴統(tǒng)計數(shù)據(jù)等。在后續(xù)引入統(tǒng)一采集平臺后，綜合分析系統(tǒng)采集的數(shù)據(jù)主要來源于統(tǒng)一采集平臺，對于統(tǒng)一采集平臺不支持的數(shù)據(jù)仍然從各支撐系統(tǒng)獲取。統(tǒng)一采集平臺的數(shù)據(jù)源為OMC/EMS/網(wǎng)元。所有數(shù)據(jù)源均需優(yōu)先開放數(shù)據(jù)庫接口，為綜合分析系統(tǒng)提供相關(guān)數(shù)據(jù)。由于當(dāng)前各個專業(yè)網(wǎng)管系統(tǒng)由不同的集成商實現(xiàn)，其內(nèi)部數(shù)據(jù)結(jié)構(gòu)并不統(tǒng)一，綜合分析系統(tǒng)需要能夠適應(yīng)各個數(shù)據(jù)源的現(xiàn)狀進(jìn)行接口適配。數(shù)據(jù)采集需要具備的技術(shù)功能要求主動檢測能力要求主動檢測為主動采集的發(fā)起方。檢測數(shù)據(jù)源端數(shù)據(jù)完整性，檢測到數(shù)據(jù)完整后主動發(fā)送觸發(fā)采集的消息。主動檢測需要具有較高效率，最大限度降低由于檢測造成的數(shù)據(jù)源側(cè)負(fù)荷。檢測功能主要包括檢測任務(wù)生成和檢測任務(wù)執(zhí)行。檢測任務(wù)生成需提供配置功能，可對檢測對象、檢測周期、理論數(shù)據(jù)條數(shù)、經(jīng)驗時間點等參數(shù)進(jìn)行配置。各個數(shù)據(jù)源應(yīng)當(dāng)優(yōu)先提供數(shù)據(jù)庫接口，對于數(shù)據(jù)庫接口可以根據(jù)設(shè)定的某測量當(dāng)前時間的理論數(shù)據(jù)條數(shù)、該測量最近一段時間的平均數(shù)據(jù)條數(shù)和指標(biāo)檢查規(guī)則來檢查數(shù)據(jù)源側(cè)數(shù)據(jù)的完整性。對于其他接口方式可以根據(jù)具體的接口特性進(jìn)行檢測規(guī)則的設(shè)置?？紤]到當(dāng)前數(shù)據(jù)源側(cè)的數(shù)據(jù)質(zhì)量的不穩(wěn)定因素，主動檢測模塊應(yīng)當(dāng)能夠?qū)?shù)據(jù)源側(cè)的數(shù)據(jù)入庫時間戳進(jìn)行識別，對于變化的數(shù)據(jù)應(yīng)當(dāng)具備重新采集的能力。也可以通過對數(shù)據(jù)源側(cè)的數(shù)據(jù)庫日志進(jìn)行跟蹤，感知數(shù)據(jù)變化從而觸發(fā)采集。對數(shù)據(jù)源側(cè)觸發(fā)消息的接收能力要求綜合分析系統(tǒng)應(yīng)當(dāng)提供消息接收能力，即能夠接收各專業(yè)網(wǎng)管發(fā)送的專業(yè)網(wǎng)管數(shù)據(jù)準(zhǔn)備好通知消息，及時進(jìn)行數(shù)據(jù)的采集，當(dāng)專業(yè)網(wǎng)管進(jìn)行數(shù)據(jù)補(bǔ)采后，也能及時觸發(fā)綜合分析進(jìn)行數(shù)據(jù)補(bǔ)采，最大限度保持?jǐn)?shù)據(jù)完整性。要求綜合分析系統(tǒng)具有較強(qiáng)的并發(fā)能力，不丟消息，在1分鐘內(nèi)完成消息入庫，保證后續(xù)能及時進(jìn)行采集。數(shù)據(jù)采集解析數(shù)據(jù)采集適配器負(fù)責(zé)按照接口類型、特性從不同的數(shù)據(jù)源通過文件接口、指令接口、數(shù)據(jù)庫接口等方式從網(wǎng)元、OMC側(cè)或其他網(wǎng)管側(cè)獲取基礎(chǔ)數(shù)據(jù)，然后對獲取到的原始數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化，寫入數(shù)據(jù)緩沖區(qū)。采集適配器應(yīng)當(dāng)為支持二次開發(fā)的程序或組件，對于同一種接口類型、接口特性的多個數(shù)據(jù)源應(yīng)當(dāng)作為同一個程序的多個實例存在，而只針對不同的接口類型設(shè)定不同的適配器。采集適配器應(yīng)當(dāng)具備可視化的配置管理能力，即可以通過圖形化界面對不同的數(shù)據(jù)源選擇不同的采集適配器進(jìn)行數(shù)據(jù)采集，并對不同的數(shù)據(jù)源根據(jù)實際需要，可視化的配置需要采集的數(shù)據(jù)范圍和相應(yīng)的約束條件。對于數(shù)據(jù)源側(cè)的數(shù)據(jù)配置信息應(yīng)當(dāng)從元數(shù)據(jù)庫中獲取被采集側(cè)元數(shù)據(jù)，并在采集模塊的配置界面中通過可視化界面進(jìn)行采集范圍的選取。對于數(shù)據(jù)的格式標(biāo)準(zhǔn)化，應(yīng)當(dāng)遵照ODM-A相應(yīng)模型的約定，盡量保持原有數(shù)據(jù)源側(cè)的模型結(jié)構(gòu)。數(shù)據(jù)裝載把格式化的數(shù)據(jù)寫入到ODM-DB數(shù)據(jù)庫中，數(shù)據(jù)入庫策略支持增量入庫、全量入庫方式。增量入庫：只把采集到的新數(shù)據(jù)入庫；全量入庫：采取把數(shù)據(jù)庫中數(shù)據(jù)先刪除后入庫方式。數(shù)據(jù)智能補(bǔ)采根據(jù)數(shù)據(jù)的完整性情況，和數(shù)據(jù)補(bǔ)采策略，能夠自動重新發(fā)起采集任務(wù)，把數(shù)據(jù)重新進(jìn)行采集，保證數(shù)據(jù)的完整性，最大限度和數(shù)據(jù)源側(cè)保持一致。數(shù)據(jù)轉(zhuǎn)換需要具備的技術(shù)功能要求數(shù)據(jù)抽取從ODM-DB中獲取數(shù)據(jù)，加載到數(shù)據(jù)緩沖區(qū)。數(shù)據(jù)緩沖區(qū)可以采取文件方式或者數(shù)據(jù)庫方式；如果采用數(shù)據(jù)庫方式則需要對臨時數(shù)據(jù)和正式數(shù)據(jù)分開存儲。數(shù)據(jù)清洗數(shù)據(jù)清洗負(fù)責(zé)對“臟數(shù)據(jù)”進(jìn)行剔除，消除數(shù)據(jù)的不一致?！芭K數(shù)據(jù)”包括不規(guī)則數(shù)據(jù)、不符合事實數(shù)據(jù)，如：取值范圍、完整性規(guī)則、拼寫檢查等。對于數(shù)據(jù)清洗過程要求具備完善的日志功能，日志內(nèi)容需要記錄數(shù)據(jù)清洗的原因，被清洗的數(shù)據(jù)存放到哪里和被清洗的記錄數(shù)。在元數(shù)據(jù)管理中已經(jīng)對數(shù)據(jù)的基礎(chǔ)值域范圍進(jìn)行了描述，數(shù)據(jù)清洗模塊可以從元數(shù)據(jù)管理系統(tǒng)中獲取相關(guān)信息進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要包括如下三個方面：統(tǒng)一網(wǎng)元數(shù)據(jù)編碼，將不同數(shù)據(jù)源的同一網(wǎng)元的數(shù)據(jù)集中轉(zhuǎn)換成統(tǒng)一格式編碼；轉(zhuǎn)換數(shù)據(jù)類型，對與目標(biāo)數(shù)據(jù)類型不一致的數(shù)據(jù)進(jìn)行轉(zhuǎn)換；轉(zhuǎn)換數(shù)據(jù)格式，對與目標(biāo)數(shù)據(jù)格式不一致的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。在該模塊的程序日志中，需要記錄數(shù)據(jù)轉(zhuǎn)換的原因和記錄數(shù)。數(shù)據(jù)轉(zhuǎn)換算法應(yīng)當(dāng)可被元數(shù)據(jù)管理系統(tǒng)識別并采集。數(shù)據(jù)裝載直接加載數(shù)據(jù)緩沖區(qū)中無需另外處理的“干凈”數(shù)據(jù)；加載經(jīng)過清洗和轉(zhuǎn)換后的符合目標(biāo)數(shù)據(jù)模型的數(shù)據(jù)；加載成功后，刪除緩沖區(qū)中相應(yīng)數(shù)據(jù)，并寫進(jìn)日志文件；加載日志包括加載記錄數(shù)和加載時間戳。數(shù)據(jù)匯總數(shù)據(jù)匯總算法主要包括：匯總時間粒度、匯總網(wǎng)元粒度、匯總映射算法等，采用元數(shù)據(jù)方式描述。需要將細(xì)粒度數(shù)據(jù)根據(jù)維度層次匯總成高粒度數(shù)據(jù)，包含時間、空間粒度、業(yè)務(wù)等匯總。匯總?cè)蝿?wù)觸發(fā)條件：完成維度數(shù)據(jù)和事實數(shù)據(jù)加載后觸發(fā)。匯總?cè)罩局饕ǎ簠R總粒度、匯總時間戳、匯總原始數(shù)據(jù)記錄數(shù)、匯總結(jié)果記錄數(shù)。任務(wù)調(diào)度由于數(shù)據(jù)采集模塊需要發(fā)起大量的數(shù)據(jù)采集、轉(zhuǎn)換、加載等任務(wù)，所以要求該模塊具備完備的任務(wù)調(diào)度管理能力，能夠?qū)Ω黝惾蝿?wù)進(jìn)行配置、啟動、跟蹤。并具備任務(wù)聯(lián)動能力，即可以將多個任務(wù)通過流程組裝成一個聯(lián)合任務(wù)，各任務(wù)之間存在相互制約關(guān)系，任務(wù)調(diào)度管理能夠根據(jù)各任務(wù)的執(zhí)行狀態(tài)、結(jié)果來自動的啟動后續(xù)任務(wù)，任務(wù)間允許并發(fā)及串行兩種模式。要求各任務(wù)的配置應(yīng)當(dāng)為可視化的配置。對于任務(wù)啟動至少包括定時啟動和條件啟動兩種模式。同時允許管理員進(jìn)行任務(wù)的手動執(zhí)行。任務(wù)監(jiān)控系統(tǒng)應(yīng)當(dāng)具備對當(dāng)前系統(tǒng)已經(jīng)執(zhí)行和正在執(zhí)行的各項采集、轉(zhuǎn)換、裝載等任務(wù)的監(jiān)控能力，即可以通過可視化的界面對各任務(wù)的啟動時間、執(zhí)行狀態(tài)、執(zhí)行結(jié)果、結(jié)束時間等進(jìn)行實時監(jiān)控。應(yīng)當(dāng)能夠?qū)θ蝿?wù)隊列深度進(jìn)行監(jiān)控，當(dāng)出現(xiàn)異常時，系統(tǒng)應(yīng)當(dāng)能夠給出相應(yīng)告警信息。對于執(zhí)行不成功的任務(wù)應(yīng)當(dāng)詳細(xì)記錄日志，并給出相應(yīng)的告警信息。數(shù)據(jù)采集需要具備的技術(shù)能力要求性能要求在系統(tǒng)硬件配置正常情況下，長時間主機(jī)CPU平均負(fù)荷在85％以下。要求一天的數(shù)據(jù)能夠在3小時內(nèi)裝載完成（含采集、轉(zhuǎn)換、裝載全過程）。可靠性要求數(shù)據(jù)完整性、準(zhǔn)確性達(dá)到99%。系統(tǒng)應(yīng)支持多采集機(jī)部署，通過多采集機(jī)實現(xiàn)負(fù)荷分擔(dān)，提高系統(tǒng)的可靠性。穩(wěn)定性要求正常維護(hù)情況下,可以連續(xù)運(yùn)行1個月以上。運(yùn)行環(huán)境和平臺要求軟件具有可移植性，可在多種硬件平臺、網(wǎng)絡(luò)和操作系統(tǒng)環(huán)境下工作,可以支持主流的操作系統(tǒng)（solaris、HPUX、AIX、windows）。接口數(shù)據(jù)采集接口數(shù)據(jù)采集接口根據(jù)統(tǒng)一采集平臺的建設(shè)情況有所不同。在未建設(shè)統(tǒng)一采集平臺的情況下，數(shù)據(jù)采集對象是各個專業(yè)網(wǎng)管或其他支撐系統(tǒng)，因此針對不同的系統(tǒng)，綜合分析系統(tǒng)應(yīng)支持下面三種采集接口：文件接口、數(shù)據(jù)庫接口、消息接口。在已建設(shè)統(tǒng)一采集平臺的情況下，綜合分析系統(tǒng)應(yīng)通過統(tǒng)一采集平臺的北向接口獲取網(wǎng)元的基礎(chǔ)數(shù)據(jù)。文件接口文件接口文件采集接口中，因為文本文件格式能夠承載的數(shù)據(jù)量比XML格式的文件更大，所以本系統(tǒng)要求數(shù)據(jù)文件格式為文本文件格式。接口文件第一行為標(biāo)題行，從第二行開始為數(shù)據(jù)行。文本文件有多行記錄組成，在每行記錄中每個字段之間采用可配置的分隔符分割（建議采用豎線“|”），每行以“回車+換行”結(jié)束。文件傳輸方式支持網(wǎng)絡(luò)模式傳輸，可以實現(xiàn)跨越局域網(wǎng)絡(luò)、廣域網(wǎng)絡(luò)等平臺的文件傳送獲??；數(shù)據(jù)傳輸過程中，對大數(shù)據(jù)量的傳輸能夠進(jìn)行有效的壓縮和解壓縮處理；傳輸?shù)倪^程中，應(yīng)該對傳輸?shù)倪^程進(jìn)行差錯處理，發(fā)現(xiàn)網(wǎng)絡(luò)原因引起的傳輸錯誤應(yīng)該主動進(jìn)行文件重傳；文件傳輸支持FTP和HTTP網(wǎng)絡(luò)協(xié)議；文件接口處理模式數(shù)據(jù)提供方根據(jù)不同接口單元，遵循統(tǒng)一的命名規(guī)則生成接口數(shù)據(jù)文件，存放并傳輸?shù)街付夸浵?。命名?guī)則由采集目標(biāo)系統(tǒng)和采集接口雙方商定。由綜合分析系統(tǒng)通過FTP或HTTP協(xié)議到指定的目標(biāo)路徑下提取接口文件。文件接口處理能力通過文件接口進(jìn)行數(shù)據(jù)采集的時候，要求能夠在1秒內(nèi)處理5MB大小的文本數(shù)據(jù)文件，實現(xiàn)數(shù)據(jù)的裝載和入庫。數(shù)據(jù)庫接口當(dāng)目標(biāo)采集系統(tǒng)能夠開放數(shù)據(jù)庫表或視圖的時候，可以使用ETL工具直接從同構(gòu)或者異構(gòu)數(shù)據(jù)庫中抽取相關(guān)表數(shù)據(jù)。此方式為本階段主用方式，要求各個專業(yè)網(wǎng)管廠商開放數(shù)據(jù)庫。對于數(shù)據(jù)庫接口的抽取方式，一般通過ODBC、JDBC等技術(shù)對目標(biāo)采集系統(tǒng)的數(shù)據(jù)表進(jìn)行訪問。消息接口消息接口僅用于數(shù)據(jù)準(zhǔn)備通知消息的傳遞，不負(fù)責(zé)具體數(shù)據(jù)的傳送。一般情況下要求綜合分析系統(tǒng)為消息接收端。抽取策略一般有兩種數(shù)據(jù)抽取的方式，定時抽取和即時抽取。定時抽取定時抽取是指根據(jù)不同的數(shù)據(jù)內(nèi)容，按照數(shù)據(jù)抽取周期，在指定的時間內(nèi)對數(shù)據(jù)進(jìn)行抽取的方式。即時抽取除按設(shè)定的周期進(jìn)行定時抽取，系統(tǒng)還應(yīng)該支持即時抽取。在這種方式下，系統(tǒng)根據(jù)設(shè)定的抽取條件立刻進(jìn)行一次抽取動作。一次完成后，不再重復(fù)此動作。即時抽取可用于抽取歷史數(shù)據(jù)和重新抽取失敗的數(shù)據(jù)。數(shù)據(jù)共享接口綜合分析平臺作為全網(wǎng)統(tǒng)計數(shù)據(jù)中心，其需要具備對外數(shù)據(jù)提供能力。綜合分析系統(tǒng)遵循CM-OSS2.0規(guī)劃統(tǒng)一定義的SDP（共享數(shù)據(jù)模式）對外提供數(shù)據(jù)接口。數(shù)據(jù)使用特點數(shù)據(jù)量大小小數(shù)據(jù)量小數(shù)據(jù)量接口的接口數(shù)據(jù)量偏小，一般在1MB以下。大數(shù)據(jù)量即批量數(shù)據(jù)，用于大量數(shù)據(jù)傳輸，一般是周期性執(zhí)行，如每天、每月等，執(zhí)行速度要求比較低，但是對數(shù)據(jù)傳輸?shù)目煽啃院屯暾杂泻芨叩囊蟆?shù)據(jù)流向單向即數(shù)據(jù)分發(fā)，指系統(tǒng)通過接口將數(shù)據(jù)發(fā)送到其他系統(tǒng)，而不需要其他系統(tǒng)返回數(shù)據(jù)。雙向即請求應(yīng)答，指系統(tǒng)通過接口將數(shù)據(jù)（請求）發(fā)送到其他系統(tǒng)，其他系統(tǒng)收到數(shù)據(jù)做相應(yīng)操作后再返回數(shù)據(jù)（應(yīng)答）。數(shù)據(jù)實時性定時指系統(tǒng)間的交互是周期性發(fā)生的，即調(diào)用方定時調(diào)用接口，如每10分鐘、每30分鐘等。實時指系統(tǒng)有數(shù)據(jù)產(chǎn)生或變更的同時通過接口將相關(guān)信息發(fā)送給其他系統(tǒng)。數(shù)據(jù)交互同步調(diào)用方在調(diào)用接口后必須在接口的結(jié)果返回后才可以繼續(xù)執(zhí)行自己的任務(wù)。異步調(diào)用方在調(diào)用接口后不需要等待接口的結(jié)果返回，可以繼續(xù)執(zhí)行自己的任務(wù)，一個異步接口通常也可以通過兩個同步接口的方式來實現(xiàn)。數(shù)據(jù)庫是否能直接訪問數(shù)據(jù)庫數(shù)據(jù)交互方式根據(jù)數(shù)據(jù)使用特點的幾個維度，結(jié)合數(shù)據(jù)交互模式,可以選擇唯一的共享模式：共享模式選擇示意圖首先根據(jù)集成需求判斷系統(tǒng)間交互的數(shù)據(jù)量大小，是屬于大數(shù)據(jù)量（批量），還是小數(shù)據(jù)量。如果是小數(shù)據(jù)量交互，轉(zhuǎn)到第2步；如果是大數(shù)據(jù)量（批量）交互，轉(zhuǎn)到第5步。根據(jù)集成需求判斷系統(tǒng)間交互是單向（數(shù)據(jù)分發(fā)）還是雙向（請求應(yīng)答）。如果是單向，轉(zhuǎn)到第3步；如果是雙向，則轉(zhuǎn)到第4步。根據(jù)集成需求判斷數(shù)據(jù)分發(fā)是實時還是定時。如果是定時，我們統(tǒng)一定義為“定時數(shù)據(jù)分發(fā)類”集成需求，可以選擇定時數(shù)據(jù)分發(fā)模式（適用于需要定時將數(shù)據(jù)分發(fā)到其他系統(tǒng)）和準(zhǔn)實時增量更新模式（適用于增量數(shù)據(jù)定時更新）；如果是實時，我們統(tǒng)一定義為“實時數(shù)據(jù)分發(fā)類”集成需求，可以選擇實時數(shù)據(jù)分發(fā)、數(shù)據(jù)更新通知和文件更新通知共三個模式，此三個模式實現(xiàn)的機(jī)制相似，但交互的內(nèi)容有差異，分別適用于不同的場景：實時數(shù)據(jù)分發(fā)，有新數(shù)據(jù)生成時，將數(shù)據(jù)分發(fā)給其他系統(tǒng)。數(shù)據(jù)更新通知，數(shù)據(jù)有更新后將數(shù)據(jù)更新通知（對數(shù)據(jù)更新情況的描述）分發(fā)給其他系統(tǒng)。文件更新通知，適用于FTP文件傳輸?shù)目刂疲形募蟼鳎ǜ拢r將文件更新通知（對文件更新情況的描述）分發(fā)給其他系統(tǒng)。根據(jù)集成需求判斷請求應(yīng)答是同步還是異步。如果是同步，我們統(tǒng)一定義為“同步交互類”集成需求，可以選擇同步數(shù)據(jù)查詢模式（適用于數(shù)據(jù)查詢，且調(diào)用方需要等待結(jié)果返回）和同步應(yīng)用交互模式（適用于應(yīng)用功能調(diào)用，且調(diào)用方需要等待結(jié)果返回）；如果是異步，我們統(tǒng)一定義為“異步步交互類”集成需求，可以選擇異步數(shù)據(jù)查詢模式（適用于數(shù)據(jù)查詢，且不需要調(diào)用方等待結(jié)果返回）和異步應(yīng)用交互模式（適用于應(yīng)用功能的調(diào)用，且不需要調(diào)用方等待結(jié)果返回）。如果是大數(shù)據(jù)量（批量）交互，判斷是否能直連數(shù)據(jù)庫，如果可行則通過數(shù)據(jù)庫同步實現(xiàn)集成需求，選擇數(shù)據(jù)庫同步控制模式；否則采用FTP文件傳輸，選用文件更新通知模式。4A接口4A管理平臺提供的賬號訂閱服務(wù)用于綜合分析系統(tǒng)內(nèi)各子模塊之間、綜合分析系統(tǒng)與4A管理平臺管理范圍內(nèi)的其它系統(tǒng)之間進(jìn)行數(shù)據(jù)和服務(wù)調(diào)用的基礎(chǔ)服務(wù)。4A管理平臺提供的賬號訂閱服務(wù)的目的在于為異構(gòu)系統(tǒng)間進(jìn)行數(shù)據(jù)或服務(wù)調(diào)用提供必要的用戶身份和賬號權(quán)限控制，保證被調(diào)用系統(tǒng)的數(shù)據(jù)和服務(wù)是在合法用戶的使用范圍內(nèi)使用。4A賬號訂閱服務(wù)基本流程賬號訂閱服務(wù)的基本流程如下：服務(wù)提供方提供向4A管理平臺提供可開放的服務(wù)和使用該服務(wù)的合法賬號、口令，并在4A管理平臺中進(jìn)行注冊，生成服務(wù)列表ID；當(dāng)服務(wù)請求方需要調(diào)用服務(wù)提供方的開放數(shù)據(jù)或服務(wù)時，首先向4A管理平臺提供服務(wù)請求方的申請賬號和申請服務(wù)列表ID；4A管理平臺驗證服務(wù)請求方的服務(wù)申請賬號合法后，返回所申請的服務(wù)提供方注冊的開放服務(wù)所使用的系統(tǒng)內(nèi)賬號；服務(wù)請求方根據(jù)4A管理平臺返回的服務(wù)提供方賬號，訪問使用相應(yīng)的系統(tǒng)開放服務(wù)。4A管理平臺的賬號訂閱服務(wù)SERVICE應(yīng)具備SERVICE服務(wù)加密和簽名的安全保障機(jī)制。4A管理平臺應(yīng)通過與各被管理系統(tǒng)間的賬號管理同步接口，通過策略方式定期更改已注冊服務(wù)的賬號口令。同樣，對于綜合分析系統(tǒng)來講，也需要將訪問自身系統(tǒng)的用戶名、口令信息向4A系統(tǒng)同步。分析服務(wù)組件分析服務(wù)組件是分析服務(wù)的基本功能模塊，包括報表引擎模塊、報告引擎模塊、多維分析模塊、即席查詢模塊、規(guī)則引擎模塊、信息展現(xiàn)模塊和信息發(fā)布模塊等，這些功能作為分析服務(wù)組件，提供展現(xiàn)結(jié)果供前端分析展現(xiàn)調(diào)用。報表引擎需要具備的技術(shù)功能要求報表引擎是生成和操作報表的分析服務(wù)組件，是數(shù)據(jù)分析展現(xiàn)常用的工具。報表是報表引擎對數(shù)據(jù)的處理結(jié)果，目的是將數(shù)據(jù)組織成一目了然的展現(xiàn)形式。報表引擎工作過程是，通過報表生成器生成模板，并根據(jù)模板對抽取的數(shù)據(jù)進(jìn)行加工渲染，能生成靜態(tài)的數(shù)據(jù)結(jié)果集，最后通過Web方式展現(xiàn)給分析人員。基本要求報表生成系統(tǒng)應(yīng)具有可擴(kuò)展性。報表生成服務(wù)器應(yīng)支持多個服務(wù)進(jìn)程，為報表作業(yè)隊列提供服務(wù)。隨著綜合分析系統(tǒng)應(yīng)用的不斷擴(kuò)展，位于應(yīng)用服務(wù)層的報表生成服務(wù)器應(yīng)能動態(tài)擴(kuò)展，并且在服務(wù)器之間可自動進(jìn)行報表作業(yè)的負(fù)載均衡。具有多線程處理能力，利用硬件平臺上多處理器的性能優(yōu)勢，支持大數(shù)據(jù)量、支持多用戶、并行訪問以及高效的查詢響應(yīng)時間。報表生成系統(tǒng)應(yīng)提供高速緩存機(jī)制。數(shù)據(jù)源支持關(guān)系型數(shù)據(jù)庫、OLAP數(shù)據(jù)源以及Excel、CSV等格式文件使用函數(shù)來設(shè)計自定義數(shù)據(jù)源，包括從XML數(shù)據(jù)源檢索數(shù)據(jù)。支持表格、圖形、文字、符號等多種展現(xiàn)形式。報表支持圖形（包括地圖）和數(shù)據(jù)的聯(lián)動，支持上鉆，下鉆。模板管理支持模板庫及模板管理，并可對模板進(jìn)行增加、刪除和修改；提供界面列出所有報表模板；選中某個模板，可以刪除；選中某個模板，可以打開查看模板內(nèi)容；選中某個模板，可以打開進(jìn)行編輯，可以保存，可以另存為另一個模板；支持模板的預(yù)覽功能。報表設(shè)計功能要求提供簡體中文使用界面、中文說明書、各種向?qū)浇缑?、?lián)機(jī)幫助和提示窗口。提供直觀的管理界面工具和快速開放環(huán)境，支持直觀靈活的報表定制，支持報表格式能迅速以所見即所得方式進(jìn)行顯示?？梢酝ㄟ^專用報表工具定制報表，還可以通過Web的方式實現(xiàn)；用戶可以使用拖拽的方式定義各種報表，不需要了解數(shù)據(jù)庫的內(nèi)部結(jié)構(gòu)。支持使用函數(shù)對數(shù)據(jù)進(jìn)行計算和加工。在進(jìn)行報表設(shè)計過程中，用戶可以通過對于行或列中的指標(biāo)通過簡單點擊，就可手動輸入函數(shù)或公式。提供可重入式的報表設(shè)計向?qū)В措S著應(yīng)用的不斷變化，向?qū)Ы缑婵芍貜?fù)進(jìn)入，原有設(shè)置均可保留，從而提高報表開發(fā)效率。能夠?qū)?shù)據(jù)進(jìn)行預(yù)警，預(yù)警條件可以由用戶動態(tài)設(shè)置。可選支持復(fù)雜格式報表，如內(nèi)嵌報表等；可以支持組件式的設(shè)計，生成報表時可以通過調(diào)用現(xiàn)有組件庫利用已有成果實現(xiàn)；向報表中添加書簽和其他鏈接；創(chuàng)建文檔結(jié)構(gòu)圖以支持在大型報表中導(dǎo)航；報表操作功能要求支持?jǐn)?shù)據(jù)排序功能：對于呈現(xiàn)的數(shù)據(jù)報表，用戶可以指定以一個或多個指標(biāo)進(jìn)行數(shù)據(jù)排序；支持過濾功能：對于呈現(xiàn)的數(shù)據(jù)報表，用戶可以自定義過濾條件，包括行過濾、列過濾、零值過濾等。支持報表之間的鉆取功能：能夠從報表的內(nèi)容、表頭、表尾等任何地方鉆取；支持報表中鏈接，以支持用戶打開網(wǎng)頁或其他報表，或跳至同一報表的其他位置。報表可以與基于Web的動態(tài)應(yīng)用程序的列表、圖形和控件一同嵌入其他報表和圖表。可以嵌入或引用圖像及其他資源，包括外部內(nèi)容。外部接口提供豐富的開放式的API接口，滿足可擴(kuò)展性，便于二次開發(fā)。為Portal和WebService提供開發(fā)包?；赟DK及接口說明，用戶可方便地進(jìn)行各種擴(kuò)展二次開發(fā)。提供系統(tǒng)集成接口，滿足基于接口的形式進(jìn)行報表的展現(xiàn)、設(shè)計、數(shù)據(jù)源獲取以及報表工具所提供的基本軟件功能調(diào)用。支持多種開發(fā)語言接口，包括JAVA、.NET等。安全及權(quán)限管理針對相同報表數(shù)據(jù)可以設(shè)置不同權(quán)限，包括對于同一張報表數(shù)據(jù)行級的展現(xiàn)權(quán)限及功能（打印、分發(fā)、下載等）權(quán)限控制支持高安全性，包括用戶級安全性和數(shù)據(jù)級安全性，通過如上的應(yīng)用功能權(quán)限、訪問控制列表和安全過濾三級權(quán)限控制，可達(dá)到用戶、數(shù)據(jù)級的高安全性。報告引擎需要具備的技術(shù)功能要求概述業(yè)務(wù)報告是指在日常工作中例行可以進(jìn)行IT自動化的Word、Excel、PowerPoint等格式業(yè)務(wù)分析報告。通過業(yè)務(wù)報告IT化，能夠有效支撐報告制作人的日常工作，極大減輕工作量，提高工作效率。業(yè)務(wù)報告從生成格式分：Word、Excel、PowerPoint三種格式。業(yè)務(wù)報告從時間角度分為：時報、日報、周報、月報、季報、年報、節(jié)假日報等。報告引擎為生成業(yè)務(wù)報告所需的基礎(chǔ)服務(wù)集合。功能要求功能能力要求：支持的格式：至少支持Word、Excel、PowerPoint等；報告基于用戶提供的報告樣式；例如：日報、周報、月報、每日告警分析實時KPI分析及行業(yè)網(wǎng)關(guān)下發(fā)成功率分析報告、生產(chǎn)分析相關(guān)報表等；支持在報告中嵌入Word、Excel對象；支持文字、圖形、表格綜合結(jié)合等復(fù)雜格式；支持報告模板定義、修改、刪除，并發(fā)布到服務(wù)器；支持報告模板的分類管理、維護(hù)；支持報告生成調(diào)度策略；報告生成后采用預(yù)設(shè)置目錄格式存放，可以發(fā)布到指定位置共享，用戶可以從檢索編輯報告；支持報告瀏覽和下載；支持報告郵件發(fā)送；支持多種數(shù)據(jù)源，包括：從指定報表模板讀取數(shù)據(jù)、從數(shù)據(jù)庫讀取數(shù)據(jù)及OLAP數(shù)據(jù)模型讀取數(shù)據(jù)?？傮w設(shè)計總體結(jié)構(gòu)和數(shù)據(jù)流圖如下：報告引擎總體結(jié)構(gòu)和數(shù)據(jù)流圖模板定義自定義創(chuàng)建自動報告的模版，分為不同的格式文檔（如Word、Excel、PPT等），將自定義分析報表，SQL腳本或者M(jìn)DX查詢腳本語句插入到Word或Excel中，通過在模板中的設(shè)置處理，可以定義生成后的數(shù)據(jù)顯示方式，以表格、圖形、圖表結(jié)合、內(nèi)嵌對象或者數(shù)值的方式顯示于報告中?？商幚砉δ埽嚎梢远x不同格式的文檔報告模板；模板中可以輸入任意文字，定義格式；可以在模板中嵌入已存在的報表模板，設(shè)置嵌入方式：表格，圖形，表格和圖形,表格的單元格值，SQL語句腳本，MDX語句腳本；可以設(shè)置模板的調(diào)度策略：日調(diào)度，周調(diào)度，月調(diào)度，組合調(diào)度等；可以設(shè)置模板的調(diào)度時間：對于日調(diào)度的報告模板，設(shè)置小時和分鐘；對于周調(diào)度的模板，設(shè)置星期，小時和分鐘；對于月調(diào)度，設(shè)置日，時，分鐘；模板管理可以按照預(yù)設(shè)置的存放模式，按目錄結(jié)構(gòu)組織存放，分為：日報、周報、月報，按樹形結(jié)構(gòu)存放；可以增加，刪除，修改模板；提供界面列出所有報告模板；選中某個模板，可以刪除；選中某個模板，可以打開查看模板內(nèi)容；選中某個模板，可以打開進(jìn)行編輯，可以保存，可以另存為另一個模板；選中一個模板，可以手工執(zhí)行該模板來刷新數(shù)據(jù)；提供界面允許輸入時間范圍；模板調(diào)度依據(jù)不同的報告模板類型，可以分別制定不同的模板生成調(diào)度策略，按照報告生成調(diào)度的自定義規(guī)則，需要達(dá)到以下調(diào)度設(shè)置內(nèi)容：可以對每個模板進(jìn)行調(diào)度設(shè)置，可以設(shè)置為日報，周報，月報；對于日報，可以定義調(diào)度時間（小時：分鐘）；對于周報，可以定義周的起始范圍（周幾－周幾），定義調(diào)度時間（周幾，小時：分鐘）；說明：周的天數(shù)一定小于等于7；可以定義周一到周日為一周（缺省），或周一到周五為一周，或周六到周五為一周；對于月報，可以定義月的起始范圍（幾日－幾日），調(diào)度時間（日，小時：分鐘）；調(diào)度完成后把生成的報告通過指定設(shè)置發(fā)布到預(yù)定義服務(wù)器。外部接口向外部提供生成后的輸出結(jié)果報告文檔接口，通過接口程序，可以提取指定的報告文檔或者指定模板制定時間的報告文檔，也可以批量讀取操作。多維分析需要具備的技術(shù)功能要求多維分析是針對特定的分析主題，設(shè)計多種可能的觀察形式，設(shè)計相應(yīng)的分析主題結(jié)構(gòu)（即進(jìn)行事實表和維表的設(shè)計），使管理決策人員在多維數(shù)據(jù)模型的基礎(chǔ)上進(jìn)行快速、穩(wěn)定和交互性的訪問，并進(jìn)行各種復(fù)雜的分析和預(yù)測工作。功能要求提供相關(guān)數(shù)據(jù)倉庫中數(shù)據(jù)的直觀、易于導(dǎo)航的多維視圖，提供多維視圖的數(shù)據(jù)組織、管理與多維分析；支持圖形化界面；OLAP分析可以通過ROLAP，MOLAP實現(xiàn)。具有分析優(yōu)化處理功能。在MOLAP實現(xiàn)時，支持多維型、關(guān)系型、混合型3種Cube存儲方式，支持定期智能更新CUBE功能；在OLAP分析中應(yīng)能直接鉆取到詳細(xì)數(shù)據(jù)，也能進(jìn)行多維數(shù)據(jù)和詳細(xì)數(shù)據(jù)的混合分析；提供豐富的函數(shù)，可自由擴(kuò)展，便于二次開發(fā)；維度處理應(yīng)具有非受限的跨維操作，具備維度隨意的建立及過濾功能；OLAP分析結(jié)果可輸出為Excel、HTML、文本文件等多種類型的文件，也可為脫機(jī)的獨立分析人員建立分析數(shù)據(jù)子集；能夠靈活地建立、定制不同的分析指標(biāo)和各種指標(biāo)計算公式，實現(xiàn)OLAP分析的動態(tài)化處理。并具有切片、切塊、旋轉(zhuǎn)、鉆取和鉆透等多維分析基本操作；完整的安全性設(shè)計功能。不僅可按使用人員的訪問權(quán)限和職責(zé)范圍進(jìn)行分組，對各類分析報表權(quán)限分配，而且可將訪問權(quán)限控制到數(shù)據(jù)單元級。在完整的安全性策略的基礎(chǔ)上，實現(xiàn)各種分析需求。技術(shù)要求支持對多種數(shù)據(jù)庫的訪問。提供針對數(shù)據(jù)倉庫特征的多種優(yōu)化手段；應(yīng)能提供增量匯總技術(shù)，具備提高匯總和分析性能的技術(shù)；OLAP分析可以通過ROLAP，MOLAP實現(xiàn)。具有分析優(yōu)化處理功能。在MOLAP實現(xiàn)時，支持多維型、關(guān)系型、混合型3種Cube存儲方式，支持定期智能更新CUBE功能；OLAP工具應(yīng)提供JAVA或.Net等開發(fā)語言的API，并提供完備SDK文檔或幫助；支持Client/Server或Brower/Server方式的訪問；支持以CWM標(biāo)準(zhǔn)進(jìn)行元數(shù)據(jù)交換，或提供元數(shù)據(jù)API接口或?qū)С龉δ?；性能要求對?0%以上的OLAP查詢，從用戶發(fā)出查詢請求，到OLAP頁面完整展示的響應(yīng)時間應(yīng)小于25秒。分析流程OLAP分析需要包括三個步驟：確定分析的目標(biāo)和維度，構(gòu)造分析模型，前端分析與展現(xiàn)。確定分析的目標(biāo)和維度對業(yè)務(wù)進(jìn)行OLAP分析，首先應(yīng)確定分析的目標(biāo)，然后提出分析的維度和指標(biāo)。在確定分析的目標(biāo)之后，分析的指標(biāo)以及分析的維度基本確定。分析的維度需要根據(jù)實際需求進(jìn)行細(xì)分。 構(gòu)造分析模型OLAP的分析模型可以分為邏輯模型和物理模型。邏輯模型主要采用星型模式。星型模式由事實表和維表構(gòu)成。事實表存放了需要分析的細(xì)節(jié)數(shù)據(jù)，維表存放了各分析維度的屬性。物理模型指的是OLAP的存儲方式，以星型模式存放在關(guān)系型數(shù)據(jù)庫中或構(gòu)建多維立方體(Cube)等。前端分析與展現(xiàn)針對一個具體的OLAP分析應(yīng)用，在完成分析模型的構(gòu)造之后，應(yīng)相應(yīng)地配置前端展現(xiàn)工具。對于Web訪問方式，根據(jù)需要將有關(guān)內(nèi)容加入OLAPServer中，另外對WebServer作相應(yīng)的配置；對于傳統(tǒng)客戶端訪問方式，需要對客戶端軟件作相應(yīng)的配置。完成配置工作后，用戶可以針對相應(yīng)主題進(jìn)行各種分析操作。前端工具應(yīng)提供多種圖形、表格的展示方式。實現(xiàn)方式多維分析可以通過MOLAP和ROLAP的兩種方式實現(xiàn)：MOLAP基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（MultidemensionalOLAP）。按照主題定義的OLAP分析所要的數(shù)據(jù)，生成并存儲成多維數(shù)據(jù)庫形成“超立方體”的結(jié)構(gòu)。ROLAP基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（RelationalOLAP）。ROLAP以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲，只存儲數(shù)據(jù)模型與數(shù)據(jù)倉庫數(shù)據(jù)之間的映射關(guān)系，真正的關(guān)系物理存儲在數(shù)據(jù)倉庫。進(jìn)行多維分析時，OLAP服務(wù)器根據(jù)定義的模型和用戶的分析需求從數(shù)據(jù)倉庫中取得數(shù)據(jù)，進(jìn)行實時分析。OLAP的分析數(shù)據(jù)一般采用星型模式進(jìn)行組織，將以"事實表-維表"的形式存放在關(guān)系型數(shù)據(jù)庫中。OLAP的展現(xiàn)可以通過如下兩種方式實現(xiàn)：傳統(tǒng)OLAP客戶端方式用戶通過安裝在本機(jī)上的客戶端工具進(jìn)行OLAP分析。OLAP客戶端工具包括獨立的前端工具，以及電子表格的加載項。 Web方式用戶直接通過瀏覽器訪問OLAP服務(wù)器。 即席查詢需要具備的技術(shù)功能要求即席查詢是基于綜合分析業(yè)務(wù)邏輯視圖，面向業(yè)務(wù)使用人員的查詢工具功能之一，提供各種向?qū)浇缑?、圖形查詢生成器、聯(lián)機(jī)幫助等功能，為一線人員提供細(xì)粒度數(shù)據(jù)。功能要求即席查詢應(yīng)具有如下功能特性：即席查詢應(yīng)具有下圖所示的體系結(jié)構(gòu)，提供一個基于服務(wù)器的業(yè)務(wù)邏輯和數(shù)據(jù)庫結(jié)構(gòu)的映射層，使用人員透過該映射層實現(xiàn)對數(shù)據(jù)的即席查詢和分析，映射層管理模塊完成查詢管理工作。即席查詢功能結(jié)構(gòu)圖即席查詢應(yīng)滿足如下要求：使用人員無需了解數(shù)據(jù)庫和SQL的復(fù)雜性，只需按業(yè)務(wù)邏輯規(guī)則即可快速簡潔地定義查詢需求，系統(tǒng)自動完成連接操作、條件定義等復(fù)雜的SQL定義操作；即席查詢應(yīng)提供各種向?qū)浇缑?、圖形查詢生成器、聯(lián)機(jī)幫助、提示卡等，使用人員無需經(jīng)過專業(yè)的培訓(xùn)，通過簡單的鼠標(biāo)拖拉操作即可實現(xiàn)即席查詢、報告生成、圖表生成等功能；即席查詢的管理應(yīng)具有高度的易用性。系統(tǒng)管理員可通過各種向?qū)А⒅改虾驮诰€幫助進(jìn)行業(yè)務(wù)邏輯映射層的各種管理工作；即席查詢應(yīng)具備多表之間的鉆取訪問、具備主表與子表之間的鉆取訪問功能?？稍诓簧啥嗑S立方體的情況下，通過各種鉆取和旋轉(zhuǎn)分析工具進(jìn)行數(shù)據(jù)切割，以不同方式查看結(jié)果。即席查詢提供高效的數(shù)據(jù)緩存機(jī)制，使重復(fù)進(jìn)行的查詢操作無需頻繁直接查詢數(shù)據(jù)庫，各種鉆取分析工作也基于緩存機(jī)制。數(shù)據(jù)顯示也應(yīng)按查詢需求分頁顯示，從而減少網(wǎng)絡(luò)傳輸，全面提高即席查詢性能；即席查詢應(yīng)提供資源控制機(jī)制。它能夠監(jiān)控查詢的運(yùn)行進(jìn)程，并停止長時間運(yùn)行的查詢，控制資源使用效率。而且，即席查詢應(yīng)提供查詢預(yù)測能力，使分析人員在運(yùn)行查詢之前，能夠預(yù)測查詢所需時間；即席查詢應(yīng)具有高度的開放性和集成性，應(yīng)能訪問各種數(shù)據(jù)源的數(shù)據(jù)，訪問結(jié)果也能輸出到多種通用文件格式中。即席查詢應(yīng)能集成到綜合分析系統(tǒng)界面中，與標(biāo)準(zhǔn)報表集成為一體，為使用人員提供全面的信息分析服務(wù)；即席查詢可將已執(zhí)行過的查詢保存成為模板，供其它人員或本人今后重復(fù)使用。即席查詢的服務(wù)器支持動態(tài)擴(kuò)展，并且在服務(wù)器之間可自動進(jìn)行負(fù)載均衡。如果某臺服務(wù)器出現(xiàn)故障，其應(yīng)用可被其它服務(wù)器自動恢復(fù)?？蓾M足大量并發(fā)訪問的需要。性能要求即席查詢性能應(yīng)滿足如下要求：即席查詢應(yīng)提供高效的數(shù)據(jù)緩存機(jī)制，使重復(fù)進(jìn)行的查詢操作無需頻繁直接訪問數(shù)據(jù)庫；數(shù)據(jù)顯示應(yīng)按查詢需求分頁顯示，從而提高響應(yīng)速度；即席查詢應(yīng)提供資源控制機(jī)制，能夠監(jiān)控查詢的運(yùn)行進(jìn)程，并停止長時間運(yùn)行的查詢，提高資源使用效率。當(dāng)即席查詢的結(jié)果小于10萬條記錄時，要求90%以上的查詢，從用戶發(fā)出請求，到頁面完整展示的響應(yīng)時間應(yīng)小于180秒；當(dāng)即席查詢的結(jié)果大于(含等于)10萬條記錄時，要求90%以上的查詢，從用戶發(fā)出請求，到頁面完整展示的響應(yīng)時間應(yīng)小于1800秒。自動分析規(guī)則管理自動分析規(guī)則管理是通過固化用戶日常中形成的業(yè)務(wù)分析過程或思路，并根據(jù)該流程實現(xiàn)向?qū)椒治龊妥詣臃治?，從而更有效的對其進(jìn)行維護(hù)和管理。功能概述在網(wǎng)絡(luò)分析過程中，專業(yè)分析人員通過獲取一些網(wǎng)絡(luò)數(shù)據(jù)（實時數(shù)據(jù)、歷史數(shù)據(jù)、分析結(jié)果數(shù)據(jù)等），結(jié)合自己的業(yè)務(wù)經(jīng)驗，開始業(yè)務(wù)分析，得出結(jié)論。在這個業(yè)務(wù)過程中，分析質(zhì)量的關(guān)鍵是使用者的經(jīng)驗，但往往面臨如下問題：第一、分析人員能力不一致，相同的數(shù)據(jù)往往會有不同的結(jié)果；第二、下一次面臨同樣問題時候，還需要進(jìn)行同樣的操作，即分析過程很難自動化。該功能在這里的使用，為解決這些問題提出了建設(shè)性的方案：通過沉淀和固化，專業(yè)技術(shù)人員的知識將固化成為一條條的判斷規(guī)則。隨著系統(tǒng)的不斷演進(jìn)，規(guī)則將越來越多，系統(tǒng)的每次分析將越來越多的依賴于這些規(guī)則庫而非專業(yè)技術(shù)人員的專業(yè)經(jīng)驗在系統(tǒng)運(yùn)行的初期，很多判斷將依賴于人工的判斷操作，在每次操作以后，系統(tǒng)將自動（或人工）將判斷固化下來。條件判斷規(guī)則通過很多IF-ELSE的條件描述，表達(dá)了業(yè)務(wù)判斷邏輯。例如：根據(jù)CDR的ClearCode判斷錯誤原因是網(wǎng)絡(luò)原因還是客戶原因；根據(jù)本月指標(biāo)值和上月指標(biāo)值判斷是否發(fā)生突發(fā)變化。這些獨立的判斷都可以表達(dá)成業(yè)務(wù)規(guī)則。一個獨立的業(yè)務(wù)規(guī)則描述了一個判斷邏輯，通常需要將比較復(fù)雜的業(yè)務(wù)判斷邏輯進(jìn)行拆分，拆分成很多業(yè)務(wù)規(guī)則。這些規(guī)則彼此無關(guān)和獨立。在實際使用中，有很多獨立的規(guī)則被組織在一起，形成規(guī)則集。在規(guī)則集中，某個規(guī)則的判斷結(jié)果可能會是另外規(guī)則的判斷條件。在一次條件判斷過程中，規(guī)則被一次或多次調(diào)用，直至穩(wěn)態(tài)后結(jié)束。輸入：網(wǎng)絡(luò)指標(biāo)、初步分析結(jié)果、人工判斷數(shù)據(jù)、其他規(guī)則輸出結(jié)論等輸出：新的結(jié)論執(zhí)行順序定義在一次復(fù)雜的業(yè)務(wù)判斷過程中，需要涉及多個步驟和人工操作界面。此時需要定義它們的先后執(zhí)行順序。通過定義執(zhí)行順序，將很多規(guī)則集串接起來，完成完整的業(yè)務(wù)判斷。輸入：本規(guī)則集執(zhí)行完成輸出：判斷下一個規(guī)則集的執(zhí)行情況，如：執(zhí)行哪個規(guī)則集、是否執(zhí)行本規(guī)則集等信息展現(xiàn)展現(xiàn)樣式要求特別說明：本章節(jié)中涉及到的圖形樣例，僅僅作為參考樣例，便于理解，與任何廠家選型無關(guān)。數(shù)據(jù)展現(xiàn)主要是指具有對集成的數(shù)據(jù)模型（如數(shù)據(jù)倉庫模型、多維Cube等）具有數(shù)據(jù)探查、檢索、靈活的圖表，甚至是多媒體的展現(xiàn)技術(shù)；其主要目的是將枯燥的結(jié)構(gòu)化數(shù)據(jù)，用友好的、靈活的、可定義的方式展現(xiàn)出來，使用戶可以方便的理解數(shù)據(jù)中隱含的意義和業(yè)務(wù)表現(xiàn)。為滿足界面美觀、清晰明了展現(xiàn)網(wǎng)絡(luò)系統(tǒng)狀況，系統(tǒng)提供豐富的展現(xiàn)圖形，使系統(tǒng)更有數(shù)據(jù)分析的視覺沖擊效果。基本的圖形要求如下：信息展現(xiàn)應(yīng)該能夠根據(jù)特定業(yè)務(wù)需求，按照業(yè)務(wù)邏輯展現(xiàn)針對性分析數(shù)據(jù)。信息展現(xiàn)組件應(yīng)滿足如下功能要求：應(yīng)具備易用性強(qiáng)的快速開發(fā)環(huán)境。通過各種向?qū)浇缑?、?lián)機(jī)幫助、提示窗口等，即可定義各種復(fù)雜的展現(xiàn)形式；具有可擴(kuò)展性。支持多個服務(wù)進(jìn)程，為前端展示作業(yè)隊列提供服務(wù)；支持多種儀表盤圖形呈現(xiàn)；支持文字、圖形、刻度、符號來替代指標(biāo)具體數(shù)據(jù)呈現(xiàn)；支持圖形之間的切換；如：柱狀圖、折線圖、餅圖；提供統(tǒng)一的展現(xiàn)配置，引導(dǎo)展現(xiàn)格式管理；提供集中式的安全控制機(jī)制，這種安全機(jī)制不僅能定義數(shù)據(jù)的安全性，而且能定義應(yīng)用級的安全性。作為綜合分析展現(xiàn)樣式基礎(chǔ)組件，需要要求展現(xiàn)組件具有方便靈活的系統(tǒng)定制展現(xiàn)能力，為上層應(yīng)用業(yè)務(wù)需求功能服務(wù)。外部接口要求通過信息展現(xiàn)外部接口，可以實現(xiàn)應(yīng)用層與數(shù)據(jù)層的交換呈現(xiàn)。信息發(fā)布功能要求信息發(fā)布時通過信息推送方式為用戶定制各類信息，并通過短信、彩信和郵件的方式進(jìn)行推送。具體要求如下：支持用戶自定義推送信息的內(nèi)容，并可提供信息內(nèi)容模板以供用戶選擇；支持用戶選擇通過短信、彩信或郵件的方式將所選信息傳遞到用戶手機(jī)或信箱；支持對定制內(nèi)容的修改功能，包括取消定制內(nèi)容、調(diào)整發(fā)送優(yōu)先級和發(fā)送時間等相關(guān)選項?？梢员O(jiān)控信息發(fā)布狀態(tài)，并對信息發(fā)布內(nèi)容進(jìn)行管理。如本省已經(jīng)具備通用mail、彩信、短信代理接口服務(wù)，則遵從本省接口要求管理。流程設(shè)計信息發(fā)布處理流程為：信息發(fā)布流程用戶定制信息內(nèi)容模板；通過訂閱，根據(jù)模板內(nèi)容，系統(tǒng)實時生成調(diào)度；根據(jù)請求中的發(fā)送通道信息確定信息的發(fā)送方式，發(fā)送方式包括短信、彩信或電子郵件；根據(jù)請求中的用戶信息，查找接收對象的手機(jī)號碼、員工終端屬性、郵箱地址等信息；封裝推送信息內(nèi)容和接收對象的手機(jī)號或郵箱地址；將封裝信息發(fā)送至相應(yīng)的短信接口管理模塊、彩信接口管理模塊或郵件接口管理模塊。短信接口功能設(shè)計短信信息發(fā)布功能是直接調(diào)用短信平臺接口進(jìn)行信息發(fā)布的一種方式。短信發(fā)布的內(nèi)容以簡短內(nèi)容為主，但是要求響應(yīng)及時，如發(fā)送信息的內(nèi)容可以有KPI指標(biāo)名稱，KPI數(shù)值等。接口功能以socket或WebService方式進(jìn)行數(shù)據(jù)接口的交互。短信發(fā)布接口功能模塊負(fù)責(zé)通過CMPP協(xié)議與短信網(wǎng)關(guān)交互，使綜合分析用戶定制的信息以短信方式發(fā)送給用戶。短信通知接口支持短信的群發(fā)與定時發(fā)送，傳輸?shù)膬?nèi)容包括發(fā)送手機(jī)號碼、發(fā)送時間、發(fā)送內(nèi)容、校驗等。短信接口功能模塊應(yīng)有完善的系統(tǒng)出錯處理機(jī)制，避免短信的漏發(fā)、錯發(fā)，系統(tǒng)將對沒有發(fā)送成功的信息進(jìn)行緩存并進(jìn)行多次重發(fā)。彩信接口功能設(shè)計彩信的信息發(fā)布功能是直接調(diào)用短信平臺接口進(jìn)行彩信的信息發(fā)布的一種方式。通過彩信管理程序發(fā)布的內(nèi)容以簡短內(nèi)容為主，但是要求響應(yīng)及時，如發(fā)送信息的內(nèi)容可以有重點考核指標(biāo)值報表、及其圖表等。接口功能彩信信息發(fā)布接口功能負(fù)責(zé)與彩信網(wǎng)關(guān)交互，使綜合分析系統(tǒng)發(fā)布的內(nèi)容可以把信息以彩信方式發(fā)送給用戶。彩信發(fā)布接口傳輸內(nèi)容包括手機(jī)號碼、發(fā)送時間、彩信主題、圖片長度、圖片數(shù)據(jù)、文本長度、文本內(nèi)容、音頻長度、音頻內(nèi)容等。郵件接口功能設(shè)計郵件管理中的郵件信息發(fā)布流程為：獲得來自用戶提交的郵件之后，根據(jù)郵件的接收主機(jī)建立連接，雙方按照SMTP協(xié)議進(jìn)行交互，完成郵件數(shù)據(jù)的發(fā)布投遞。郵件管理發(fā)送信息的內(nèi)容可以包括KPI指標(biāo)名稱，KPI數(shù)值等，用圖形表示的KPI值，EXCEL形式的報表，文本形式的報表，支持發(fā)送文檔附件等。接口功能郵件通知負(fù)責(zé)與郵件服務(wù)器交互，使得信息門戶可以把信息以郵件方式通過郵件服務(wù)器發(fā)出，支持SMTP等協(xié)議?？梢灾С粥]件服務(wù)器的信息配置，內(nèi)容發(fā)布格式定義。系統(tǒng)管理系統(tǒng)自身管理實時運(yùn)行狀態(tài)監(jiān)控為保證綜合分析系統(tǒng)的正常運(yùn)行，需要對系統(tǒng)運(yùn)行狀態(tài)進(jìn)行實時監(jiān)控，以便及時掌握系統(tǒng)的運(yùn)行狀況，對故障做出快速反應(yīng)。監(jiān)控范圍：應(yīng)用軟件本身。不包括硬件、數(shù)據(jù)庫、網(wǎng)絡(luò)等，這些由IT網(wǎng)管負(fù)責(zé)監(jiān)控。監(jiān)控內(nèi)容：應(yīng)用進(jìn)程運(yùn)行情況，例如任務(wù)隊列深度、進(jìn)程運(yùn)行狀態(tài)、進(jìn)程告警信息、任務(wù)執(zhí)行結(jié)果、處理數(shù)據(jù)量、處理時長、關(guān)鍵數(shù)據(jù)庫表數(shù)據(jù)量等。監(jiān)控方式：通過圖形界面呈現(xiàn)監(jiān)控內(nèi)容，并且可以將關(guān)鍵告警信息傳送給綜合監(jiān)控系統(tǒng)。數(shù)據(jù)有效期管理綜合分析系統(tǒng)中各種類型數(shù)據(jù)的有效期信息由元數(shù)據(jù)管理模塊進(jìn)行描述，有效期管理模塊根據(jù)Meta-DB中數(shù)據(jù)的有效期信息，自動完成對過期歷史數(shù)據(jù)的可讀性備份（對于系統(tǒng)、數(shù)據(jù)庫的整體備份策略不在本規(guī)范管轄范圍內(nèi)，這里的備份指有針對性的數(shù)據(jù)獨立備份，可以被再次利用）及刪除，以維持?jǐn)?shù)據(jù)量的相對穩(wěn)定性。所有的數(shù)據(jù)有效期設(shè)置，系統(tǒng)都必須通過圖形化的界面操作，以避免維護(hù)人員直接接觸系統(tǒng)后臺和數(shù)據(jù)庫。指標(biāo)關(guān)聯(lián)自動學(xué)習(xí)功能系統(tǒng)能夠基于用戶即席查詢的日志，自動學(xué)習(xí)、歸納可能的指標(biāo)關(guān)聯(lián)關(guān)系，并提供給業(yè)務(wù)人員進(jìn)行最終確定。熱點功能與熱點數(shù)據(jù)統(tǒng)計熱點功能統(tǒng)計可以對綜合分析系統(tǒng)中各種報表、菜單項、數(shù)據(jù)訂閱等進(jìn)行頻次統(tǒng)計，從而發(fā)現(xiàn)系統(tǒng)中的熱點功能和熱點數(shù)據(jù)，為系統(tǒng)的進(jìn)一步優(yōu)化提供參考。熱點統(tǒng)計可以按照以下內(nèi)容統(tǒng)計：報表/功能點名稱用戶組/用戶名稱時間指標(biāo)網(wǎng)元應(yīng)用系統(tǒng)日志管理應(yīng)用系統(tǒng)日志分析綜合分析系統(tǒng)各模塊的日志能夠被日志分析模塊進(jìn)行管理，能夠根據(jù)預(yù)先設(shè)定的規(guī)則進(jìn)行分析并輸出不同級別的提示信息。提示信息的級別分為提示、警告、故障和重大故障四級。所有的分析規(guī)則運(yùn)行結(jié)果無論是否產(chǎn)生提示信息，均應(yīng)該能夠被查詢。日志分析規(guī)則能夠被擴(kuò)展，新增模塊的時候，只需要增加新的分析規(guī)則即可，不用對日志分析模塊進(jìn)行總體升級。系統(tǒng)告警根據(jù)日志分析的結(jié)果，通過可設(shè)置提示信息的前轉(zhuǎn)規(guī)則，將提示信息推送到綜合告警平臺。前轉(zhuǎn)規(guī)則可通過用戶界面進(jìn)行設(shè)置，內(nèi)容包括：日志分析規(guī)則名稱日志分析輸出信息級別資源配置管理資源管理資源管理負(fù)責(zé)將綜合分析系統(tǒng)從各專業(yè)網(wǎng)管抽取出來各種實體及虛擬網(wǎng)元、地理信息有機(jī)組織在一起，為綜合分析系統(tǒng)中其他模塊提供資源相關(guān)的服務(wù)。拓?fù)涑尸F(xiàn)拓?fù)涑尸F(xiàn)能夠?qū)⒕C合分析系統(tǒng)中各種資源的關(guān)系通過圖形化的方式進(jìn)行呈現(xiàn)。在拓?fù)鋱D中，各種資源的屬性能夠被直觀進(jìn)行呈現(xiàn)，拓?fù)鋱D能夠?qū)Y源進(jìn)行分級呈現(xiàn)，各種資源支持下鉆和上鉆功能。資源編輯綜合分析系統(tǒng)從各專業(yè)網(wǎng)管中抽取的資源信息還不能進(jìn)行跨專業(yè)關(guān)聯(lián)，需要在綜合分析里面對這些資源間的關(guān)系進(jìn)行編輯。同時，對于專業(yè)網(wǎng)管不能提供的資源本身的屬性，也需要在綜合分析系統(tǒng)里面進(jìn)行錄入。資源編輯需要各種便捷的編輯方式，以減輕錄入人員的負(fù)擔(dān)，提供勞動效率。資源編輯方式包括但不限于以下功能：批量錄入、修改、刪除資源功能提供圖形化的資源修改界面，能夠通過拖曳來改變資源間的關(guān)聯(lián)關(guān)系容錯和自動核查功能說明：資源模型以綜合資源管理系統(tǒng)為準(zhǔn)，考慮到系統(tǒng)建設(shè)的階段性，在綜合分析系統(tǒng)中僅僅提供最基本的資源配置信息調(diào)整功能，不提供高級的、復(fù)雜的功能。場景管理場景管理對日期設(shè)置不同的屬性（節(jié)假日、重大事件等），為分析系統(tǒng)提供統(tǒng)一的日歷信息。場景管理應(yīng)具備以下功能：能夠自動區(qū)別工作日和非工作日陽歷節(jié)假日（五一、十一等）能夠進(jìn)行周期性設(shè)置陰歷節(jié)假日能夠提供友好的圖形界面，供維護(hù)人員進(jìn)行單獨設(shè)置自定義功能，以支持地域性節(jié)假日（如藏歷新年）和重大事件術(shù)語字典管理對一些專業(yè)屬于給出業(yè)務(wù)解釋，例如“忙時集中系數(shù)”、“話務(wù)不均衡系數(shù)”等；安全管理安全管理是綜合分析系統(tǒng)建設(shè)中不可或缺的一部分，是系統(tǒng)安全建設(shè)中最關(guān)鍵的一個環(huán)節(jié)。系統(tǒng)所存儲的數(shù)據(jù)和提供的各類分析應(yīng)用，涉及到公司經(jīng)營方面的各類敏感信息，須采用全面的安全管理機(jī)制和措施來保障系統(tǒng)和數(shù)據(jù)的安全。系統(tǒng)安全管理模塊要求系統(tǒng)安全管理模塊負(fù)責(zé)綜合分析系統(tǒng)的敏感數(shù)據(jù)的訪問控制和各環(huán)節(jié)審計日志記錄的管理，對綜合分析系統(tǒng)的數(shù)據(jù)訪問和功能使用進(jìn)行有效監(jiān)控和控制。同時配合4A管理平臺實現(xiàn)安全管理功能。當(dāng)4A管理平臺發(fā)生異常時，應(yīng)急配置管理可以提供應(yīng)急處理方案。系統(tǒng)安全管理模塊功能結(jié)構(gòu)如附圖22所示。安全管理模塊目前分為應(yīng)用數(shù)據(jù)安全管理功能、統(tǒng)一日志管理功能及配合4A安全管理功能。其中應(yīng)用數(shù)據(jù)安全管理功能包含敏感數(shù)據(jù)鑒權(quán)控制、數(shù)字水印和電子審批等。統(tǒng)一日志管理功能分為日志記錄獲取和日志記錄存儲。經(jīng)營分析系統(tǒng)通過從帳號登錄接口、審計日志傳送接口、帳號角色管理接口及應(yīng)急響應(yīng)配置管理配合4A管理平臺完成安全管理功能。用戶及權(quán)限管理用戶信息管理用戶管理模塊管理用戶基本信息及相關(guān)驗證信息，主要包括：姓名、賬號、密碼、部門、手機(jī)號、郵箱、所在地區(qū)、備注等。用戶組信息管理用戶組管理包含以下內(nèi)容：用戶組維護(hù)

可以對用戶組進(jìn)行增加、修改、刪除等操作，用戶組信息主要包括：名稱、描述、是否有效、所屬上層用戶組等。樹形結(jié)構(gòu)

用戶組采用樹形的管理結(jié)構(gòu)，參照公司的組織架構(gòu)，使對用戶的管理更加清晰，權(quán)限分配也更加容易。角色管理角色管理應(yīng)包含兩部分內(nèi)容：管理各功能模塊與角色的對應(yīng)關(guān)系，支持角色對綜合分析系統(tǒng)功能模塊權(quán)限的增、刪、改等操作角色本身和管理：角色進(jìn)行增刪改操作時，屬于本角色的用戶對相應(yīng)的綜合分析系統(tǒng)功能模塊的權(quán)限也作相應(yīng)的變動。權(quán)限管理權(quán)限管理架構(gòu)要求權(quán)限管理是對綜合分析系統(tǒng)維護(hù)及使用權(quán)限的管理，主要涉及對操作該系統(tǒng)的人員進(jìn)行授權(quán)管理和對系統(tǒng)功能角色的管理。系統(tǒng)應(yīng)從多層次上進(jìn)行權(quán)限管理，配置相關(guān)權(quán)限參數(shù)。系統(tǒng)權(quán)限管理應(yīng)滿足RBAC（基于角色的權(quán)限控制管理模型）的要求，用戶權(quán)限管理需要按照用戶、系統(tǒng)內(nèi)角色的方式進(jìn)行定義，通過指派用戶對應(yīng)的系統(tǒng)內(nèi)角色實現(xiàn)對具體用戶的授權(quán)。針對用戶的細(xì)粒度權(quán)限劃分包括用戶功能權(quán)限、用戶數(shù)據(jù)權(quán)限、用戶資源權(quán)限三個部分：功能權(quán)限指針對某一個功能是否能訪問（如用戶是否能訪問網(wǎng)絡(luò)質(zhì)量分析）。功能權(quán)限分為模塊權(quán)限和功能對象權(quán)限，直接分配到角色（其中，模塊權(quán)限主要是指應(yīng)用程序具體模塊的訪問權(quán)限，功能對象權(quán)限細(xì)化到某一模塊內(nèi)的菜單對象、視圖按鈕對象的訪問權(quán)限）；用戶資源權(quán)限原則上是在指定用戶功能權(quán)限的具體對象。如某一個報表的基礎(chǔ)上，指定用戶用戶資源權(quán)限（例如，地市用戶組只具有訪問本地市的數(shù)據(jù)結(jié)果權(quán)限）。用戶數(shù)據(jù)權(quán)限指在允許訪問某一功能權(quán)限的基礎(chǔ)上，控制可訪問的數(shù)據(jù)范圍(如用戶能訪問網(wǎng)絡(luò)質(zhì)量分析資料，但只能訪問本人職責(zé)范圍之內(nèi)的網(wǎng)絡(luò)質(zhì)量的分析資料)。數(shù)據(jù)權(quán)限通過用戶組來控制。各項權(quán)限一般僅在用戶組級別上進(jìn)行控制。資源權(quán)限用戶組角色是各種基本權(quán)限的集合，系統(tǒng)應(yīng)提供角色功能，以方便授權(quán)及修改權(quán)限。各級系統(tǒng)管理員有權(quán)對本級所屬角色進(jìn)行增加、修改、刪除，可通過組合各種基本權(quán)限，設(shè)定新角色的權(quán)限。使用者的權(quán)限由一個或多個角色和一組基本權(quán)限組成。角色由系統(tǒng)管理員統(tǒng)一管理。權(quán)限的設(shè)置必須由被授權(quán)的系統(tǒng)管理員完成，管理員不能設(shè)置大于自身權(quán)限的權(quán)限；權(quán)限管理采用分級的管理方式，上一級可以設(shè)置下一級的管理權(quán)限。數(shù)據(jù)權(quán)限管理的技術(shù)目標(biāo)對數(shù)據(jù)權(quán)限在使用用途上劃分為兩類：一種是對元數(shù)據(jù)的數(shù)據(jù)訪問權(quán)限定義，用于綜合分析系統(tǒng)的數(shù)據(jù)挖掘和數(shù)據(jù)自由分析中，主要采用數(shù)據(jù)分級的方法進(jìn)行自由分析時的數(shù)據(jù)查詢權(quán)限控制，一種是對功能對象的數(shù)據(jù)訪問權(quán)限定義，用于針對具體功能對象如某個報表的數(shù)據(jù)權(quán)限控制?；诠δ軐ο蟮臄?shù)據(jù)訪問權(quán)限控制目前已經(jīng)可以成熟的應(yīng)用于各類數(shù)據(jù)分析系統(tǒng)中，因此在網(wǎng)絡(luò)綜合分析系統(tǒng)建設(shè)的一階段，應(yīng)具備完整的基于功能對象的數(shù)據(jù)訪問權(quán)限功能，并實現(xiàn)以下技術(shù)功能目標(biāo)：可針對角色或具體用戶組指定可訪問的功能對象的權(quán)限，如指定某用戶組具體可以訪問的某一個報表；可根據(jù)指定的具體功能對象，細(xì)分對象內(nèi)的數(shù)據(jù)分組權(quán)限，如某張報表的具體字段的數(shù)據(jù)權(quán)限；數(shù)據(jù)權(quán)限的指定包括數(shù)據(jù)的增加、修改、刪除、查詢和無功能等；可通過組合資源權(quán)限控制用戶訪問已授權(quán)的功能對象數(shù)據(jù)權(quán)限；建立和完善元數(shù)據(jù)的分級化描述和定義機(jī)制；在第一階段完善基于功能對象的數(shù)據(jù)訪問權(quán)限功能基礎(chǔ)上，二階段應(yīng)重點完善和實現(xiàn)對元數(shù)據(jù)的分級訪問權(quán)限控制功能并實現(xiàn)以下技術(shù)目標(biāo)：建立完善針對元數(shù)據(jù)的分級化數(shù)據(jù)描述體系；可針對具體用戶定義個人的可訪問數(shù)據(jù)秘密級別；在進(jìn)行自由分析時可根據(jù)用戶的可訪問數(shù)據(jù)秘密級別控制和限制對高密集數(shù)據(jù)的訪問權(quán)限；可通過組合資源權(quán)限控制用戶訪問已授權(quán)的功能對象數(shù)據(jù)權(quán)限；資源權(quán)限管理應(yīng)支持按照參與者主題域、資源主題域、事件主題域、性能主題域、財務(wù)主題域的具體實體內(nèi)容進(jìn)行資源權(quán)限指定和定義個功能，如指定某個用戶只能按照某一主題域?qū)嶓w進(jìn)行數(shù)據(jù)訪問操作。資源權(quán)限管理應(yīng)支持基于模板的批量授權(quán)配置方法資源權(quán)限可作為自由分析時的條件輸入，限制和控制用戶的自由分析數(shù)據(jù)范圍。用戶認(rèn)證管理綜合分析系統(tǒng)與4A平臺配合，實現(xiàn)單點認(rèn)證SSO（SingleSignOn）功能：用戶在登錄4A平臺后，在訪問綜合分析系統(tǒng)時無需重復(fù)登錄。綜合分析系統(tǒng)接收用戶的認(rèn)證請求，將用戶請求信息發(fā)送到4A平臺，由4A平臺為合法用戶生成用戶身份憑證，并將憑證反饋至綜合分析系統(tǒng)，從而完成用戶登錄認(rèn)證過程，日志管理日志管理功能要求綜合分析系統(tǒng)從各環(huán)節(jié)層次抽取的審計日志信息，按照4A管理平臺的要求對其進(jìn)行重新過濾和格式化整理，并最終進(jìn)行日志信息入庫。整個過程需實現(xiàn)處理的流程化及自動調(diào)度機(jī)制，以保證4A管理平臺能夠及時地獲取日志數(shù)據(jù)。日志記錄要求綜合分析系統(tǒng)對各層次所產(chǎn)生的日志記錄進(jìn)行獲取并整理。其中包括訪問層日志記錄、應(yīng)用層日志記錄、數(shù)據(jù)存儲層日志記錄、數(shù)據(jù)獲取層日志記錄以及元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量監(jiān)控的日志記錄。訪問層日志記錄訪問層審計日志記錄的內(nèi)容包括：操作時間、操作從帳號、客戶端IP、服務(wù)器IP、操作類型、操作名稱、應(yīng)用編號、應(yīng)用名稱、模塊編號、模塊名稱、操作內(nèi)容和操作結(jié)果等信息。訪問層需要記錄的事件類型包括：用戶登錄事件、用戶注銷事件、帳號管理事件、口令管理事件、權(quán)限更改事件和其它關(guān)鍵操作事件等。應(yīng)用層日志記錄應(yīng)用層主要包括的日志內(nèi)容有：操作時間、操作從帳號、客戶端IP、服務(wù)器IP、操作類型、操作名稱、應(yīng)用編號、應(yīng)用名稱、模塊編號、模塊名稱、操作內(nèi)容和操作結(jié)果等信息。應(yīng)用層需要記錄的日志類型包括：應(yīng)用訪問日志：應(yīng)用訪問日志是經(jīng)營分析系統(tǒng)登錄用戶的功能應(yīng)用訪問記錄；數(shù)據(jù)訪問日志：記錄用戶在訪問應(yīng)用的過程中的數(shù)據(jù)訪問記錄，包括指標(biāo)類應(yīng)用的指標(biāo)名稱、查詢類應(yīng)用的數(shù)據(jù)查詢范圍及查詢條件、多維分析中的維度和度量的選擇等信息和清單查詢信息。數(shù)據(jù)層日志記錄數(shù)據(jù)層主要包括的日志內(nèi)容有：操作時間、操作從帳號、客戶端IP、服務(wù)器IP、操作類型、操作名稱等信息。數(shù)據(jù)層需要記錄的日志類型包括：敏感數(shù)據(jù)查詢?nèi)罩荆簩νㄟ^數(shù)據(jù)庫客戶端提交的敏感數(shù)據(jù)查詢請求進(jìn)行日志記錄，記錄內(nèi)容包括敏感數(shù)據(jù)級別、查詢時間、查詢內(nèi)容、客戶端類型、客戶端IP地址和登陸帳戶等；數(shù)據(jù)庫系統(tǒng)權(quán)限管理日志：記錄數(shù)據(jù)庫系統(tǒng)中帳號權(quán)限變更信息，主要包括數(shù)據(jù)庫帳號和角色的創(chuàng)建、修改和刪除，以及帳號角色的具體權(quán)限的變更。核對指定帳號的功能權(quán)限是否超出了業(yè)務(wù)需要的授權(quán)，包括數(shù)據(jù)庫級帳號變動、Schema級帳號變動、表空間級帳號變動和表級帳號變動；數(shù)據(jù)庫對象變更日志：記錄數(shù)據(jù)倉庫和數(shù)據(jù)集市中的各類對象的變更信息，主要針對表空間定義、表定義、字段和索引等對象的變更進(jìn)行記錄；數(shù)據(jù)庫系統(tǒng)配置變更日志：對數(shù)