大數(shù)據(jù)分析系統(tǒng)項目方案

大數(shù)據(jù)分析系統(tǒng)方案

目錄第1章 項目概述 51.1 項目背景 51.2 項目必要性 51.3 建設目的 6第2章 需求分析 82.1 功效及性能需求 82.2 系統(tǒng)集成需求 92.3 運行環(huán)境 102.4 安全需求 10第3章 總體設計 123.1 總體設計原則 123.2 總體目的 133.3 系統(tǒng)總體構(gòu)造 133.4 系統(tǒng)邏輯構(gòu)造 15第4章 具體設計方案 164.1 信息資源規(guī)劃和數(shù)據(jù)庫設計 164.1.1 數(shù)據(jù)模型概述 164.1.2 數(shù)據(jù)建模辦法論 174.1.3 數(shù)據(jù)建模基本原則 184.1.4 數(shù)據(jù)庫架構(gòu)設計 194.2 數(shù)據(jù)應用支撐系統(tǒng)設計 214.2.1 大數(shù)據(jù)平臺核心技術(shù) 214.2.2 云平臺數(shù)據(jù)共享功效 264.3 數(shù)據(jù)服務層計 334.3.1 模型的應用 334.3.2 平臺基礎應用 334.4 數(shù)據(jù)解決和存儲系統(tǒng)設計 344.4.1 大數(shù)據(jù)解決核心技術(shù) 354.4.2 數(shù)據(jù)存儲采用MPP與hadoop融合架構(gòu) 354.5 網(wǎng)絡系統(tǒng)設計 354.6 安全系統(tǒng)設計 364.6.1 系統(tǒng)安全滿足狀況 364.6.2 系統(tǒng)安全配備管理功效 374.6.3 系統(tǒng)無安全漏洞保障 404.6.4 軟件本身安全 434.6.5 性能和可靠性 444.7 運行維護系統(tǒng)設計 464.7.1 服務器管理 464.7.2 網(wǎng)絡設備管理 464.7.3 進程管理 464.7.4 服務管理 464.7.5 數(shù)據(jù)庫管理 464.7.6 中間管理 464.7.7 集群管理 474.7.8 故障管理 474.7.9 性能管理 474.7.10 配備文獻管理 474.7.11 SYSLOG管理 474.8 其它系統(tǒng)設計 474.9 系統(tǒng)配備及軟硬件選型原則 484.9.1 軟硬件布署 484.9.2 數(shù)據(jù)規(guī)定 484.9.3 技術(shù)規(guī)定 494.10 系統(tǒng)軟硬件物理布署方案 49第5章 項目建設與運行管理 515.1 項目領(lǐng)導機構(gòu) 515.2 項目管理機構(gòu) 515.3 項目承建機構(gòu) 535.4 運行維護機構(gòu) 535.5 有關(guān)管理制度 545.6 項目測試 555.6.1 單元測試 555.6.2 集成測試 555.6.3 系統(tǒng)測試 565.6.4 性能測試 565.6.5 驗收測試 575.6.6 安裝測試 575.7 安全性測試 585.7.1 功效驗證 585.7.2 漏洞掃描 585.7.3 模擬攻擊實驗 585.8 項目驗收 605.8.1 項目驗收規(guī)定 605.8.2 項目驗收的目的和原則 615.8.3 項目驗收的組織和實施 615.8.4 項目驗收的環(huán)節(jié)和程序 615.8.5 項目驗收的測試方案 615.8.6 項目驗收的文檔清單 61第6章 項目培訓計劃 626.1 培訓對象和培訓目的 626.2 培訓內(nèi)容 62項目概述項目背景現(xiàn)在，隨著JW改革的不停推動，XX網(wǎng)絡系統(tǒng)、信息中心、信息安全系統(tǒng)的規(guī)模不停擴大，各類信息應用系統(tǒng)日趨復雜，迫切需要借助云計算平臺，實現(xiàn)靈活、高效的軟硬件資源分派和管理，從而有效整合XX的各類信息資源，提高XX信息系統(tǒng)的安全性、穩(wěn)定性、可擴展性。另首先，隨著社會公共安全管理的日趨復雜，XX行業(yè)通過大數(shù)據(jù)應用，把大量的關(guān)聯(lián)信息進行匯總解決，能夠重新認知和感知我們的外部環(huán)境。不僅能快速鎖定疑犯，并且還能夠防止和打擊犯罪。XX云計算+大數(shù)據(jù)系統(tǒng)，將成為面對各J種的管理和分析利器，通過高效的云計算平臺提供強大的大數(shù)據(jù)應用承載能力，面對各J種提供集中資源、集中管理、集中監(jiān)控、配套實施的統(tǒng)一大數(shù)據(jù)應用環(huán)境，為各J實戰(zhàn)應用提供強大支撐、服務、保障作用。云計算和大數(shù)據(jù)是變化將來XX工作發(fā)展的新趨勢，并且已經(jīng)實實在給XX科技管理與創(chuàng)新來了深刻的變革，有力地推動了XX各J種的工作優(yōu)化和提高。項目必要性第一，構(gòu)建“智慧XX”是將來JW形態(tài)演進的必然趨勢。近年來，隨著XX信息化建設的持續(xù)推動，我國XX機關(guān)的JW改革已開始邁進智能化發(fā)展的快車道，JW與人之間的互相感知和聯(lián)系越來越緊密，“XX大數(shù)據(jù)分析系統(tǒng)”建設已成為當代JW發(fā)展的新趨勢。第二，構(gòu)建“智慧XX”是新一輪信息技術(shù)變革下的時代潮流。現(xiàn)在，全球正進行物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等新一輪信息技術(shù)變革。新技術(shù)往往孕育著新的重大突破，信息資源成為重要的XX戰(zhàn)斗力要素，信息化不僅成為推動XXJW方式變革的重要引擎，也給整個社會管理創(chuàng)新帶來深刻變化?！癤X大數(shù)據(jù)分析系統(tǒng)”建設將極大地創(chuàng)新XX管理方式，增進“管制型XX”向“服務型XX”轉(zhuǎn)變。應當說，通過近來十年的發(fā)展，以網(wǎng)絡化、數(shù)字化為載體的信息化JW特性日益顯現(xiàn)，JW活動中人、事、物之間的互動能力明顯增強，JW工作傳載的功效不停增多，智能化程度逐步提高，“XX大數(shù)據(jù)分析系統(tǒng)”建設已成為當代信息技術(shù)變革下的時代潮流。第三，構(gòu)建“智慧XX”是推動XX戰(zhàn)斗力生成模式轉(zhuǎn)變的重要途徑。XX信息化的“智慧XX”建設是一場新的JW革命，對于整合JW情報資源、改造J情解決流程、創(chuàng)新J情研判模式、減少JW成本、實現(xiàn)JW效能的最優(yōu)化含有推動作用。這場新JW革命的實質(zhì)是推動XX建設和JW工作由數(shù)量規(guī)模型向質(zhì)量效能型、由人力密集型向科技密集型轉(zhuǎn)變。它規(guī)定把傳統(tǒng)的XX戰(zhàn)斗力生成模式轉(zhuǎn)變到依靠科學技術(shù)特別是以信息技術(shù)為核心的高新技術(shù)上來。在這一轉(zhuǎn)變過程中，大數(shù)據(jù)將成為XX戰(zhàn)斗力生成的核心要素。擁有對海量數(shù)據(jù)占有、控制、分析、解決的主導權(quán)，將大數(shù)據(jù)優(yōu)勢轉(zhuǎn)化為XX決策優(yōu)勢，繼而轉(zhuǎn)化為治安優(yōu)勢，將成為“XX大數(shù)據(jù)分析系統(tǒng)”的制勝核心。第四，構(gòu)建“智慧XX”有助于拓呈當代JW功效、增進JW機制改革和提高JW管理精細化水平。首先，“智慧XX”的建設和實施將增進XX機關(guān)由傳統(tǒng)的一元化管理職能向管理與服務功效并重、融合轉(zhuǎn)化。另首先，“智慧XX”的建設和應用將變化傳統(tǒng)的“金字塔”型XX管理體制，實現(xiàn)JW領(lǐng)導與指揮機制的扁平化，從而減少中間管理層，加緊信息流動，達成精減機構(gòu)、快速反映、即時聯(lián)動的目的。同時，構(gòu)建“智慧XX”尚有助于提高XX機關(guān)JW管理的精細化和科學化水平，提高XX機關(guān)的執(zhí)法水平和服務水平。建設目的XX部推行的“扁平化指揮模式”，就是最大程度地壓縮指揮層級。減少中間環(huán)節(jié)，優(yōu)化現(xiàn)有的情報信息管理，建立情報信息主打JW的有關(guān)機制，著力拉近指揮與實戰(zhàn)，機關(guān)與一線的時空距離，縮短響應時間，提高快速反映能力?；跀?shù)據(jù)中心融合空間采集、電信運行商、交管部門、XX部門、社會公眾的移動位置等數(shù)據(jù)形成大數(shù)據(jù)環(huán)境，建立大數(shù)據(jù)分析平臺，支持J情解決、宏觀決策、情報分析等大數(shù)據(jù)專項應用。智慧XX大數(shù)據(jù)分析系統(tǒng)項目一期建設重要目的為：建立智慧、高效的情報研判體系；建立扁平、快速的指揮調(diào)度體系建立打防一體化JW管理體系建立集約化的信息技術(shù)支撐體系。建立專業(yè)化的JW指揮作戰(zhàn)隊伍。需求分析功效及性能需求功效需求作為XX信息化發(fā)展到高級階段的一種JW形態(tài)，“智慧XX”重要采用大數(shù)據(jù)、云計算、等新一代信息技術(shù)，將XX工作IT基礎設施與物理設施、人際環(huán)境等高度融合，以提供智能化XX決策與服務。其建設目的是充足運用科技創(chuàng)新，以“智慧”引領(lǐng)JW改革與發(fā)展，打造XX行政高效、JW指揮扁平、治安管控聯(lián)動、XX服務便捷的良性XX工作機制?！爸腔踃X”建設是一項涉及XX機關(guān)內(nèi)外各領(lǐng)域、各部門的復雜系統(tǒng)工程，需要從整體上進行統(tǒng)一規(guī)劃協(xié)調(diào)，做好頂層設計。性能需求軟件系統(tǒng)必須確保質(zhì)量，并在實施前通過完全測試；系統(tǒng)應含有自動報J功效，以提示系統(tǒng)管理員避免出現(xiàn)系統(tǒng)崩潰等嚴重事件；主服務器宕機時，可實時地切換到備用服務器上，顧客的應用應當不受影響；主備切換時，業(yè)務不感知，任務不失敗，業(yè)務不會中斷；主備切換時間不大于1秒；故障節(jié)點重啟時間不大于2分鐘；系統(tǒng)不得出現(xiàn)數(shù)據(jù)丟失、切換失敗等，影響正常業(yè)務運行的故障；服務器端系統(tǒng)應可長久穩(wěn)定運行，必須支持負載均衡能力，確保無單點故障；不會因長久使用或負載過高造成系統(tǒng)故障。系統(tǒng)應含有良好的并行解決機制，對存取沖突的競爭含有有效的仲裁和加鎖機制，充足確保事務解決的完整性，并減少系統(tǒng)I/O開銷，提高并發(fā)顧客查詢和存取的性能。平臺提供自底層硬件到上層解決流程的全方面監(jiān)控體系，協(xié)助運維人員快速定位問題解決問題，使系統(tǒng)持續(xù)健康穩(wěn)定的運行。系統(tǒng)集成需求軟件平臺含有集成內(nèi)外多個運行系統(tǒng)的基本能力。軟件平臺集成性涉及下列幾個方面：軟件平臺含有對不同廠家提供的各類軟件產(chǎn)品接入、運行、監(jiān)控能力；軟件平臺提供獨立的集成平臺來提供多個集成手段實現(xiàn)和移動現(xiàn)有業(yè)務支撐系統(tǒng)和能力系統(tǒng)的集成，以及對于此后有可能存在的各類業(yè)務平臺進行業(yè)務引入的接口能力等。集成手段涉及實時調(diào)用、批量數(shù)據(jù)交換等方式，集成接口兼容WEBSERVICE、FTP、XML等方式，能夠提供服務的封裝能力。集成平臺能力涉及下列方面：數(shù)據(jù)路由：能夠?qū)?jīng)由應用集成平臺的數(shù)據(jù)進行檢查和過濾，根據(jù)預定義的規(guī)則實現(xiàn)基于主題或數(shù)據(jù)內(nèi)容的動態(tài)路由機制，應支持點對點、廣播以及公布/訂閱方式；合同轉(zhuǎn)換：含有系統(tǒng)間傳輸/調(diào)用合同轉(zhuǎn)換的能力，這些合同涉及但不限于JMS、FTP、CORBA、Socket、HTTP等；格式轉(zhuǎn)換：含有不同數(shù)據(jù)格式轉(zhuǎn)換的能力，能夠?qū)碜圆煌瑧孟到y(tǒng)的數(shù)據(jù)進行識別和解析，能夠以圖形化方式定制不同的數(shù)據(jù)轉(zhuǎn)換邏輯，實現(xiàn)數(shù)據(jù)格式的轉(zhuǎn)換和數(shù)據(jù)內(nèi)容的整頓；消息映射：將來自于源系統(tǒng)的消息構(gòu)造或業(yè)務數(shù)據(jù)對象映射為目的系統(tǒng)的消息構(gòu)造或業(yè)務數(shù)據(jù)對象；事件解決：支持事件驅(qū)動的架構(gòu)技術(shù)，支持對系統(tǒng)之間信息交換事件的獲取、解決和監(jiān)控；集成監(jiān)控：提供對接入訪問、數(shù)據(jù)傳輸和集成服務等多個集成解決能力的監(jiān)控功效，可根據(jù)多個日志查詢并監(jiān)控應用集成組件的運行狀況。數(shù)據(jù)傳輸：實現(xiàn)多個應用之間的數(shù)據(jù)交換，數(shù)據(jù)交換支持基于消息隊列和文獻傳輸?shù)饶Ｊ?。集成平臺要能確保應用時間數(shù)據(jù)傳輸?shù)目煽啃裕С纸灰椎耐暾?，支持?shù)據(jù)傳輸?shù)牟⑿薪鉀Q，并且支持管理人員對數(shù)據(jù)傳輸?shù)倪^程進行監(jiān)控和干預。數(shù)據(jù)訪問：支持但不限于JDBC、ODBC等多個數(shù)據(jù)庫接入模式。運行環(huán)境智慧XX大數(shù)據(jù)分析系統(tǒng)服務平臺需要接受來自XX系統(tǒng)各部門的數(shù)據(jù)資源，各權(quán)屬單位向系統(tǒng)共享、交換業(yè)務數(shù)據(jù)，系統(tǒng)需要提供對應的匯交、接受工具，以及導入、導出工具，業(yè)務數(shù)據(jù)的查詢、統(tǒng)計等功效，并能夠?qū)ν夤?。安全需?.物理安全規(guī)定物理安全規(guī)定涉及但不限于：物理位置的選擇、物理訪問控制、供電安全保障、防火防潮等。2.網(wǎng)絡及設備安全規(guī)定網(wǎng)絡安全規(guī)定涉及但不限于：系統(tǒng)布署所在的網(wǎng)絡構(gòu)造安全、設備入侵防備、設備防護、安全審計等。3.數(shù)據(jù)安全性規(guī)定涉及數(shù)據(jù)存儲的安全性、數(shù)據(jù)傳輸?shù)陌踩浴?shù)據(jù)傳輸?shù)耐暾?、?shù)據(jù)傳輸?shù)膶Φ男浴?shù)據(jù)傳輸?shù)募皶r性、數(shù)據(jù)備份及恢復機制、異常解決機制等。4.系統(tǒng)安全規(guī)定涉及數(shù)據(jù)資源及應用模塊的等級訪問控制、身份鑒別（不限于數(shù)字證書應用）及不可抵賴性、安全審計、系統(tǒng)的容錯性等。5.應用安全規(guī)定（1）以CA認證系統(tǒng)為基礎，實現(xiàn)顧客與服務資源的雙向認證機制；（2）以基于角色的授權(quán)原則，建立與政務信息資源共享平臺業(yè)務、平臺管理人員、部門管理人員崗位職責相對應的權(quán)限管理機制及統(tǒng)一的安全登陸機制；（3）以密碼技術(shù)為基礎的數(shù)據(jù)完整與保密機制；（4）對安全事件進行審計機制以及根據(jù)政務信息資源共享平臺不同的業(yè)務、數(shù)據(jù)應用需求而采用原則的安全合同；（5）對應用進行嚴格的監(jiān)控，實時掌握個應用系統(tǒng)資源的消耗、運行的狀況，保障服務的持續(xù)性和可用性。6.制度安全7.涉及項目管理制度、系統(tǒng)巡檢及維護制度、數(shù)據(jù)備份制度、各類緊急應急方法；明確該項目基于該制度下的職責分工。8.含有豐富安全特性的交換機構(gòu)成數(shù)據(jù)中心網(wǎng)絡的第一重保護；9.含有高性能檢測引擎的IPS對網(wǎng)絡報文深度檢測，構(gòu)成數(shù)據(jù)中心網(wǎng)絡第二重保護；10.憑借高性能硬件防火墻構(gòu)成的數(shù)據(jù)中心網(wǎng)絡邊界，對數(shù)據(jù)中心網(wǎng)絡做第三重保護?？傮w設計總體設計原則遵照對應原則：系統(tǒng)的設計應符合國家、省及有關(guān)信息化建設的政策法規(guī)、規(guī)范和原則，并考慮與正在制訂或即將出臺的有關(guān)政策法規(guī)、規(guī)范和原則的銜接。技術(shù)先進性：平臺作為一種大投資、復雜度高、周期長的網(wǎng)絡數(shù)據(jù)應用系統(tǒng)，必須在開發(fā)早期考慮到技術(shù)的延展性。作為應用系統(tǒng)建設的首要規(guī)定，就是應當確保系統(tǒng)在將來的幾年中在軟件基礎構(gòu)造和應用形態(tài)方面的技術(shù)先進性。安全性和可靠性：運用先進的訪問控制、身份認證等技術(shù)避免非法顧客入侵；確保系統(tǒng)在異常狀況下的對的可靠運行。數(shù)據(jù)的完整性和一致性：數(shù)據(jù)在全網(wǎng)各個應用系統(tǒng)中的采集、存儲、傳輸和解決應當保持完整和一致。易擴展性：全部的產(chǎn)品均考慮到應用及系統(tǒng)不停擴展的規(guī)定，以形成一種易于管理、可持續(xù)發(fā)展的體系構(gòu)造。將來業(yè)務的擴展只須在現(xiàn)有機制、原則的基礎上，增加新的應用與服務模塊。易用性：顧客界面規(guī)范統(tǒng)始終觀，易于顧客掌握；提供方便的軟件配備、管理和分發(fā)手段，門戶網(wǎng)站系統(tǒng)作為信息系統(tǒng)統(tǒng)一架構(gòu)體系，規(guī)定含有保持基本功效統(tǒng)一的前提下，能靈活開發(fā)擴展功效，采用統(tǒng)一的接口技術(shù)和接口規(guī)范?；ゲ僮髂芰Γ涸诓煌瑢哟蔚母鱾€應用系統(tǒng)之間的數(shù)據(jù)應能充足共享，并通過技術(shù)手段實現(xiàn)應用程序之間的互操作。規(guī)范性：規(guī)范性涉及業(yè)務規(guī)范、開發(fā)規(guī)范、術(shù)語規(guī)范和數(shù)據(jù)規(guī)范等方面?？删S護性及可擴展性：應用系統(tǒng)要便于維護，并可實現(xiàn)跨平臺運行，同時應留有與將來工程的軟件接口，確保系統(tǒng)能夠擴展、升級。實用性：提供方便的軟件工具，便于系統(tǒng)的配備、管理和維護，門戶網(wǎng)站系統(tǒng)將針對不同類型的信息訪問者提供不同的信息呈現(xiàn)內(nèi)容，使顧客根據(jù)本身對信息的訪問規(guī)定，快速獲取有關(guān)的信息內(nèi)容，從而充足發(fā)揮門戶系統(tǒng)的渠道、橋梁作用。信息兼容性強：系統(tǒng)的建設支持對現(xiàn)有數(shù)據(jù)庫數(shù)據(jù)的實時抽取，自動轉(zhuǎn)化成統(tǒng)一的XML格式并且集成后的數(shù)據(jù)由本平臺統(tǒng)一管理、聯(lián)合查詢、綜合分析。另外，對于查詢基礎業(yè)務系統(tǒng)內(nèi)數(shù)據(jù)的請求，要能夠?qū)崟r的對多個不同的數(shù)據(jù)庫進行聯(lián)合查詢，還涉及了對文檔，影音文獻等內(nèi)容，因此規(guī)定本系統(tǒng)的建設必須能夠?qū)Ψ菢?gòu)造化的數(shù)據(jù)統(tǒng)一管理、聯(lián)合查詢?？傮w目的基于先進的云服務體系，建立統(tǒng)一的JW大數(shù)據(jù)平臺和數(shù)據(jù)中心，運用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合JW指揮體系及電信運行商、交通部門、大數(shù)據(jù)中心信息挖掘，實現(xiàn)信息最大共享的基礎上，構(gòu)建JW指揮核心智慧應用方案。系統(tǒng)總體構(gòu)造本項目系統(tǒng)總體架構(gòu)，是在統(tǒng)一的基礎設施支撐下，根據(jù)智慧XX大數(shù)據(jù)中心建設目的，建立統(tǒng)一的大數(shù)據(jù)資源中心，構(gòu)建自主可控的統(tǒng)一信息安全保障體系。在統(tǒng)一的技術(shù)原則和業(yè)務規(guī)范支撐下，建立數(shù)據(jù)采集、數(shù)據(jù)清洗、質(zhì)量管理、信息安全服務和資源統(tǒng)一調(diào)度等系統(tǒng)，并通過內(nèi)、外網(wǎng)服務支撐其它智慧應用，建設覆蓋全區(qū)的公共數(shù)據(jù)綜合服務體系。平臺架構(gòu)以下圖所示：圖4-1智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體架構(gòu)示意圖IaaS層：運用虛擬化技術(shù)將計算、存儲和網(wǎng)絡等基礎硬件資源，以邏輯方式形成基礎資源池層，再將資源池提供的虛擬機、虛擬存儲或虛擬端口組等通過二次封裝與組合、調(diào)度使用，形成一種個面對組織顧客的虛擬服務器、虛擬桌面或者云存儲系統(tǒng)，通過這樣的形式為系統(tǒng)的各業(yè)務單位提供資源服務；同時提供物理資源和虛擬資源的統(tǒng)一。PaaS層：在IaaS層基礎上，提供開放式XX基礎大數(shù)據(jù)解決平臺整合XX內(nèi)部數(shù)據(jù)和運行商數(shù)據(jù)，提供分布式數(shù)據(jù)庫來解決海量構(gòu)造化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供原則SQL接口、JDBC技術(shù)，能夠與前臺應用進行無縫對接；同時提供海量流式計算解決cstorm，能夠?qū)崟r解決大規(guī)模并發(fā)任務的負載均衡和任務分發(fā)，做到全部任務實時分發(fā)解決，不堆積，做到高度可靠性，任何任務解決過程中不會丟失，保障全部任務都能夠解決完。SaaS層：平臺能夠支撐全部電信運行商、XXJW系統(tǒng)數(shù)據(jù)運行，全部業(yè)務數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對安全訪問，基于數(shù)據(jù)中心運用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合XX部門、電信運行商等多部門采集的移動位置、輿情信息等，建立宏觀決策、J情分析、JW調(diào)度管理等分析模型，為JW及公共安全管理提供大數(shù)據(jù)專項分析及應用。系統(tǒng)邏輯構(gòu)造圖4-2XX大數(shù)據(jù)庫邏輯架構(gòu)圖MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點面對行業(yè)大數(shù)據(jù)，采用SharedNothing架構(gòu)，通過列存儲、粗粒度索引等多項大數(shù)據(jù)解決技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計算模式，完畢對分析類應用的支撐，運行環(huán)境多為低成本PCServer，含有高性能和高擴展性的特點，在公司分析類應用領(lǐng)域獲得極其廣泛的應用。具體設計方案信息資源規(guī)劃和數(shù)據(jù)庫設計數(shù)據(jù)模型概述XX大數(shù)據(jù)模型是采用一種與技術(shù)實現(xiàn)無關(guān)的方式，對系統(tǒng)內(nèi)的業(yè)務信息，以及各類信息之間關(guān)聯(lián)關(guān)系的數(shù)據(jù)描述。數(shù)據(jù)模型是數(shù)據(jù)倉庫建設的基礎，是建設數(shù)據(jù)倉庫必不可少的一種環(huán)節(jié)。一種統(tǒng)一、完整、靈活、穩(wěn)定的數(shù)據(jù)模型對數(shù)據(jù)倉庫項目的成功起著重要作用，并且最少滿足下列幾點：統(tǒng)一溝通口徑數(shù)據(jù)模型形成對業(yè)務定義和術(shù)語的統(tǒng)一認識，是各部門之間溝通的橋梁，使不同部門、單位的業(yè)務人員、應用開發(fā)人員和系統(tǒng)管理人員對系統(tǒng)的理解達成一致；數(shù)據(jù)整合與管控數(shù)據(jù)模型是整合多個數(shù)據(jù)源的重要手段。數(shù)據(jù)模型為復雜的數(shù)據(jù)倉庫系統(tǒng)實施提供規(guī)范和基礎構(gòu)造，建立起各個業(yè)務系統(tǒng)與數(shù)據(jù)倉庫之間的映射關(guān)系，實現(xiàn)源數(shù)據(jù)的有效整合和集中管控；增強分析能力通過數(shù)據(jù)建模，能夠更全方面抽象數(shù)據(jù)的維度和指標關(guān)聯(lián)信息，全方面反映數(shù)據(jù)本質(zhì)，使數(shù)據(jù)反映的業(yè)務更加清晰，最大化數(shù)據(jù)價值；增進數(shù)據(jù)原則化通過數(shù)據(jù)模型的建立，排除數(shù)據(jù)描述的不一致性。如：同名異義、同物異名等等，更有助于從完整性、及時性、一致性等方面對數(shù)據(jù)質(zhì)量進行管控。提高擴展性系統(tǒng)設計應當考慮到系統(tǒng)后續(xù)的應用擴展，系統(tǒng)整合，增加接口系統(tǒng)等擴展性，數(shù)據(jù)建?？捎X得后續(xù)系統(tǒng)在接口層面和應用層面的擴展提供基礎；因此，通過構(gòu)建性能管理系統(tǒng)的統(tǒng)一數(shù)據(jù)模型，能統(tǒng)一和原則化系統(tǒng)的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)一致性，最大化數(shù)據(jù)價值，輔助提高數(shù)據(jù)質(zhì)量，增強系統(tǒng)數(shù)據(jù)應用能力和系統(tǒng)擴展性。數(shù)據(jù)建模辦法論XX數(shù)據(jù)倉庫建模辦法從方向和驅(qū)動力來分，能夠分為“自頂向下、逐步求精”以及“自底向上、綜合集成”兩種。圖5-1數(shù)據(jù)倉庫建模辦法自頂而下的建模辦法根據(jù)業(yè)務需求和業(yè)務問題來明確系統(tǒng)邊界，劃分主題域，再進行逐步細化，建立反映公司業(yè)務規(guī)則和業(yè)務關(guān)系的實體和實體關(guān)系。在業(yè)務需求明確的時候，該辦法能夠提高分析效率；自底向上的建模辦法需要整合各業(yè)務系統(tǒng)的源數(shù)據(jù)，先抽象業(yè)務規(guī)則，劃分主題域，再進行逐步細化，建立反映公司業(yè)務規(guī)則和業(yè)務關(guān)系的實體和實體關(guān)系。這種辦法更關(guān)注搭建公司數(shù)據(jù)框架，建立完整的公司信息視圖；在實際系統(tǒng)數(shù)據(jù)建模過程中普通采用這兩種辦法相結(jié)合，綜合運用。數(shù)據(jù)建?；驹瓌t原則化、規(guī)范化原則數(shù)據(jù)模型應遵從統(tǒng)一的主題域劃分和實體命名規(guī)則，確保模型的原則化和規(guī)范化；先進性原則規(guī)定邏輯模型在設計上吸取業(yè)界、國內(nèi)外優(yōu)秀的建模經(jīng)驗與辦法，確保模型的先進性；一致性原則數(shù)據(jù)模型的設計要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致性，以確保數(shù)據(jù)模型內(nèi)的信息是有關(guān)整個公司一致的全局信息；擴展性原則規(guī)定數(shù)據(jù)模型含有良好的可擴展性，支持對模型的迭代性演進。當業(yè)務需求提出新問題或有新的數(shù)據(jù)加入模型時，規(guī)定數(shù)據(jù)模型能夠確保現(xiàn)有的數(shù)據(jù)和應用都不發(fā)生變化，更不得造成系統(tǒng)崩潰；自上而下的設計與自下而上的驗證原則數(shù)據(jù)模型是為業(yè)務分析服務的，因此在創(chuàng)立模型時，應以業(yè)務需求為驅(qū)動。根據(jù)業(yè)務需求采用自上而下的辦法設計并實現(xiàn)數(shù)據(jù)模型，并且采用迭代演進的模式，逐步豐富數(shù)據(jù)模型，逐步求精。同時，為了驗證設計與實現(xiàn)的合理性與對的性，規(guī)定以實際數(shù)據(jù)對模型進行自下而上的驗證；簡樸可識別原則實體命名等要遵照簡潔、能直接識別出業(yè)務意義的原則。數(shù)據(jù)庫架構(gòu)設計本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進行開發(fā)，采用多層體系構(gòu)造來構(gòu)建符合原則與管理規(guī)范體系、安全與運行保障體系的高可用性系統(tǒng)。綜上，本項目開發(fā)的整體技術(shù)架構(gòu)以下：圖5-2智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體技術(shù)架構(gòu)示意圖數(shù)據(jù)采集層，負責從XX系統(tǒng)內(nèi)外部系統(tǒng)獲取基礎數(shù)據(jù)，涉及XX系統(tǒng)內(nèi)部數(shù)據(jù)、運行商數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及手工導入數(shù)據(jù)，以及移動通信網(wǎng)絡的信息數(shù)據(jù)。外部系統(tǒng)在向本系統(tǒng)輸出基礎數(shù)據(jù)之前，需要開發(fā)一套程序完畢原始的格式轉(zhuǎn)換和數(shù)據(jù)解決。首先要屏蔽顧客隱私信息，即顧客號碼信息全部剔除，輸出時采用通過加密的顧客數(shù)據(jù)。另首先需要篩選出核心字段，每條統(tǒng)計都是原始數(shù)據(jù)的幾十個字段抽取出幾個核心字段，這樣能大大減少數(shù)據(jù)存儲量。數(shù)據(jù)管控層，通過數(shù)據(jù)原則、數(shù)據(jù)等級、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等原則化的規(guī)則管理和調(diào)度控制，建立各類數(shù)據(jù)稽核手段、數(shù)據(jù)質(zhì)量分析體系，確保平臺數(shù)據(jù)一致性、完整性、合規(guī)性，實現(xiàn)信息共享和數(shù)據(jù)的高效流轉(zhuǎn)。數(shù)據(jù)存儲層，負責對獲取的構(gòu)造化和非構(gòu)造化數(shù)據(jù)進行解決，并精確匹配到上層定義好的各類計算模型。數(shù)據(jù)管控層采用了基于開源的Hadoop分布式架構(gòu)，將傳統(tǒng)ETL的數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)校驗工作承載在智慧XX大數(shù)據(jù)云計算平臺上，大大減少了大數(shù)據(jù)的解決成本，提高海量數(shù)據(jù)解決的及時性。數(shù)據(jù)挖掘?qū)?，重要對?shù)據(jù)進行建模和分析，模型的重要類型有：關(guān)聯(lián)分析：是在關(guān)系數(shù)據(jù)中，發(fā)現(xiàn)存在于項目集或?qū)ο蠹g的關(guān)聯(lián)規(guī)則，涉及關(guān)聯(lián)、有關(guān)性、因果構(gòu)造或頻繁出現(xiàn)的模式。慣用的關(guān)聯(lián)分析算法有Apriori算法及它的多個改善或擴展算法。分類分析：分類是實現(xiàn)定義好類別，屬于有指導學習范疇。分類分析是根據(jù)數(shù)據(jù)的特性為每個類建立一種模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分派到不同的組中。慣用分類算法有決策樹、神經(jīng)網(wǎng)絡、貝葉斯分類等。聚類分析：是按照某種相近程度度量辦法將數(shù)據(jù)分成互不相似的某些分組，實現(xiàn)每一聚類內(nèi)部的相似性很高、各聚類之間的相似性很低。慣用的聚類算法有K均值、近來鄰、神經(jīng)網(wǎng)絡等。預測模型分析：是從數(shù)據(jù)庫或數(shù)據(jù)倉庫中已知的數(shù)據(jù)推測位置的數(shù)據(jù)或?qū)ο蠹心承傩缘闹捣植肌＝㈩A測模型的慣用辦法涉及回歸分析、線型模型、支持矢量集、決策樹預測、遺傳算法、隨機森林算法等。文本挖掘：文本是無構(gòu)造或半構(gòu)造化的數(shù)據(jù)，文本挖掘是從文本數(shù)據(jù)中推導出模式，其過程是通過文本分析、特性提取、模式分析的過程來實現(xiàn)。重要技術(shù)涉及文本構(gòu)造分析、文本特性提取、文本檢索、文本自動分類/聚類、文檔自動摘要、話題檢測與追蹤、文本過濾、文本情感分析等。數(shù)據(jù)服務層，采用模塊化獨立封裝技術(shù)與原則化應用接口，功效強大且擴展性強，提供數(shù)據(jù)公布/訂閱服務、檢索、統(tǒng)計、分析類服務集，并可通過定制服務集平滑擴展其它服務。數(shù)據(jù)應用支撐系統(tǒng)設計大數(shù)據(jù)平臺核心技術(shù)（1）云平臺流式計算技術(shù)Storm為分布式實時計算提供了一組通用原語，可被用于“流解決”之中，實時解決消息并更新數(shù)據(jù)庫。這是管理隊列及工作者集群的另一種方式。Storm也可被用于“持續(xù)計算”（continuouscomputation），對數(shù)據(jù)流做持續(xù)查詢，在計算時就將成果以流的形式輸出給顧客。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算。Storm能夠方便地在一種計算機集群中編寫與擴展復雜的實時計算，Storm用于實時解決，就好比Hadoop

用于批解決。Storm確保每個消息都會得到解決，并且它很快——在一種小集群中，每秒能夠解決數(shù)以百萬計的消息。更棒的是你能夠使用任意編程語言來做開發(fā)。Storm有許多應用領(lǐng)域，涉及實時分析、在線機器學習、信息流解決（例如，能夠使用Storm解決新的數(shù)據(jù)和快速更新數(shù)據(jù)庫）、持續(xù)性的計算（例如，使用Storm持續(xù)查詢，然后將成果返回給客戶端，如將微博上的熱門話題轉(zhuǎn)發(fā)給顧客）、分布式RPC（遠過程調(diào)用合同，通過網(wǎng)絡從遠程計算機程序上請求服務）、ETL（ExtractionTransformationLoading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等。cstorm集群由一種主節(jié)點和多個工作節(jié)點構(gòu)成。主節(jié)點運行了一種名為“cnimbus”的守護進程，用于故障檢測。每個工作節(jié)點都運行了一種名為“csupervisor”的守護進程，用于監(jiān)聽工作，開始、并終止工作進程。同時，csupervisor監(jiān)聽分派給它的機器，根據(jù)cnimbus的委派，在必要時啟動和關(guān)閉工作進程。每個工作進程執(zhí)行topology的一種子集。一種運行中的topology由諸多運行在諸多機器上的工作進程構(gòu)成。cnimbus和csupervisor都能快速失敗，并且是無狀態(tài)的，這樣一來它們就變得十分強健，兩者的協(xié)調(diào)工作是由ApacheZooKeeper來完畢的。圖5-3布署方式cstorm可確保一種Spout發(fā)射出的每個元組都會解決；如果它在超時時間內(nèi)沒有解決，cstorm會從該Spout重放該元組。消息流是cstorm里面的最核心的抽象對象。一種消息流是一種沒有邊界的tuple（元組）序列，而這些tuples會被以一種分布式的方式并行地創(chuàng)立和解決。對消息流的定義重要是對消息流里面的tuple的定義，我們會給tuple里的每個字段一種名字。并且不同tuple的對應字段的類型必須同樣。也就是說：兩個tuple的第一種字段的類型必須同樣，第二個字段的類型必須同樣，但是第一種字段和第二個字段能夠有不同的類型。每個類型的流都能夠按照實際需要定義一種流名，也叫流的唯一ID，以標記他的特殊性，如果開發(fā)者不定義流名，系統(tǒng)會默認一種流名為“#STEAM#”?？紤]到系統(tǒng)之間傳遞構(gòu)造，需要發(fā)送和接受端都對對應的字段進行網(wǎng)絡字節(jié)序的轉(zhuǎn)化，并且需要額外傳遞構(gòu)造中每個字段的長度標記信息，這些額外的標記信息在傳遞的構(gòu)造字段諸多的狀況會給網(wǎng)絡帶寬帶來很大壓力，并增加傳遞的字節(jié)數(shù)，因此這里考慮使用JSON串來傳遞tuple。這樣，一種tuple對應著一種完整的json串。在Worker中，并行運行著一種或多個Executor，Executor中運行著顧客邏輯線程，并且每個Executor運行的顧客邏輯可能是不同的（在并行執(zhí)行不同的任務），顧客邏輯都是應用開發(fā)人員自行開發(fā)的，應用開發(fā)人員重要關(guān)注業(yè)務邏輯，而編程技術(shù)細節(jié)可能會考慮不周到，這樣常會出現(xiàn)顧客邏輯線程出現(xiàn)異常，而這種異常往往是類似的，盡管能夠通過編程把線程異常屏蔽在線程范疇內(nèi)，但嚴重的越界操作卻無法屏蔽，這將造成整個進程出現(xiàn)異常，從而影響這個Worker中其它顧客邏輯的執(zhí)行，在一種對準性、一致性規(guī)定高的系統(tǒng)中，這個是不允許出現(xiàn)的。Worker間的消息通信方式以及容災：Worker間的通信方式：由于采用一種數(shù)據(jù)解決節(jié)點對應一種獨立的Worker進程，數(shù)據(jù)解決節(jié)點之間的通信也就是Worker間的通信，這意味著Worker之間的通信需要通過進程間通信機制來進行?？紤]到可靠的TCP方式在效率和穩(wěn)定性上都能夠確保，因此Worker間采用TCP合同進行通信。圖5-4Worker間通信方式通信效率考慮，這里重要從TCP傳輸?shù)慕嵌瓤紤]，由于跨服務器間的通信受限于網(wǎng)絡、網(wǎng)卡帶寬的影響，因此框架通過可配備的方式，Worker間能夠只和本服務器上的下游節(jié)點進行通信Worker容災重要從兩方面考慮：同一服務器內(nèi)的容災，在同一臺服務器上同時啟動兩個同樣的Worker進程，以避免別人誤操作，或由于程序異常造成一種Worker死掉后，尚有一種繼續(xù)能夠用，這里為什么是兩個同樣的Worker進程呢？由于系統(tǒng)采用多線程，并且線程調(diào)度方略是操作系統(tǒng)范疇內(nèi)，因此線程的調(diào)度優(yōu)先級相對是比較高的，啟動再多的線程只會浪費資源。不同服務器之間的容災，這個重要針對混合集群的部分解決節(jié)點以及全網(wǎng)集群的全部解決節(jié)點，如果下游的某個節(jié)點死掉了，現(xiàn)在Worker節(jié)點將按照流分組規(guī)則在全網(wǎng)集群范疇將消息分發(fā)到集群中的下游節(jié)點中。當某個服務器上的Worker出現(xiàn)問題，該服務器上的csupervisor會自動檢測到，并重啟對應的Worker。簡樸集群：集群中各服務器獨立、并行的運行對應的計算拓撲，這些計算拓撲能夠是相似的一種或不同的多個，各服務器內(nèi)的Worker視其它服務器上的Worker不存在同樣，每個服務器內(nèi)每個worker之間是并行執(zhí)行的，上下游Worker間異步并行執(zhí)行。集群內(nèi)各服務器間的Worker間不進行通信，正是由于這個才將其稱為簡樸集群，如果涉及到數(shù)據(jù)的一致性性問題，需要通過數(shù)據(jù)庫等全局可見模塊來進行數(shù)據(jù)協(xié)調(diào)。簡樸集群通過多服務器并行、異步計算來提高運行效率，該集群是一種簡樸的集群。全網(wǎng)集群方式：現(xiàn)在節(jié)點和集群中的全部服務器中的全部下游節(jié)點進行TCP常連接，并根據(jù)流分組方略和全部的下游節(jié)點進行通信。集群中全部解決節(jié)點都是并行異步的?；旌霞海摷褐匾菍啒慵旱臄U展，使得某個特定數(shù)據(jù)解決bolt對應的Worker能夠放到另外一臺或幾臺服務器上，這個模式的集群類似與簡樸集群與全網(wǎng)集群的混合體，通過這種集群，能夠讓簡樸集群實現(xiàn)跨服務器的全網(wǎng)聚合或分流。內(nèi)存數(shù)據(jù)庫意義內(nèi)存數(shù)據(jù)庫建立于系統(tǒng)的內(nèi)存之中,計算數(shù)據(jù)依賴于內(nèi)存，無磁盤I/0。實現(xiàn)高效解決，減少傳統(tǒng)數(shù)據(jù)庫的壓力。Redisredis是一種基于內(nèi)存的key-value存儲系統(tǒng)。和memcached類似，它支持存儲的value類型相對更多，涉及string(字符串)、list(鏈表)、set(集合)、zset(sortedset--有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，并且這些操作都是原子性的。在此基礎上，redis支持多個不同方式的排序。與memcached同樣，為了確保效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的統(tǒng)計文獻，并且在此基礎上實現(xiàn)了master-slave(主從)同時。Redis是一種高性能的key-value數(shù)據(jù)庫。redis的出現(xiàn)，很大程度賠償了memcached這類key/value存儲的局限性，在部分場合能夠?qū)﹃P(guān)系數(shù)據(jù)庫起到較好的補充作用。它提供了Python，Ruby，Erlang，PHP客戶端，使用很方便。Redis支持主從同時。數(shù)據(jù)能夠從主服務器向任意數(shù)量的從服務器上同時，從服務器能夠是關(guān)聯(lián)其它從服務器的主服務器。這使得Redis可執(zhí)行單層樹復制。從盤能夠故意無意的對數(shù)據(jù)進行寫操作。由于完全實現(xiàn)了公布/訂閱機制，使得從數(shù)據(jù)庫在任何地方同時樹時，可訂閱一種頻道并接受主服務器完整的消息公布統(tǒng)計。同時對讀取操作的可擴展性和數(shù)據(jù)冗余很有協(xié)助。（2）應用開發(fā)平臺各類創(chuàng)新產(chǎn)品可根據(jù)其業(yè)務需求特點采用多個技術(shù)路線開發(fā)完畢。平臺提供不限廠家、不限類型、不限上線時間的APP之間的應用互聯(lián)，APP之間能夠靈活進行調(diào)用。（3）平臺支持接口技術(shù)闡明Web服務技術(shù)（WebService）WebServices是基于網(wǎng)絡的、分布式的模塊化組件，它執(zhí)行特定的任務，恪守具體的技術(shù)規(guī)范，這些規(guī)范使得WebService能與其它兼容的組件進行互操作。它能夠使用原則的互聯(lián)網(wǎng)合同，像超文本傳輸合同HTTP和XML，將功效體現(xiàn)在互聯(lián)網(wǎng)和公司內(nèi)部網(wǎng)上。結(jié)合WebService技術(shù)，ESB提供一套原則的用于溝通不同平臺、編程語言和組件模型的技術(shù)框架，實現(xiàn)原則、通用的數(shù)據(jù)共享。ESB平臺支持最新的有關(guān)合同和原則，涉及XML、XSD、SOAP、WSDL、UDDI等，同時兼顧WebService的安全性、事務解決、性能等方面。文獻傳輸技術(shù)（FTP）FTP是FileTransportationProtocol（文獻傳輸合同）的縮寫，是計算機之間交換數(shù)據(jù)的方式。FTP專門用來下載，顧客按照一定的規(guī)則（合同）和提供文獻的服務器獲得聯(lián)系并將文獻搬到自己的計算機中來。在進行FTP下載之前必須獲得有效的資源鏈接或者服務器地址。首先，提供系統(tǒng)上傳要共享的文獻到FTP服務器，然后發(fā)送該文獻的下載鏈接到ESB平臺；ESB平臺分發(fā)消息到訂閱該數(shù)據(jù)的系統(tǒng)；數(shù)據(jù)消息系統(tǒng)解析消息中的下載鏈接，下載文獻。消息隊列技術(shù)（MQ）消息隊列技術(shù)是分布式應用間交換信息的一種技術(shù)，在集成分布式應用環(huán)境中，對異構(gòu)網(wǎng)絡環(huán)境下的數(shù)據(jù)共享提供有效的通信手段。消息隊列可駐留在內(nèi)存或磁盤上,隊列存儲消息直到它們被應用程序讀走。通過消息隊列，應用程序可獨立地執(zhí)行--它們不需要懂得彼此的位置、不需要等待接受程序接受此消息。其它技術(shù)對于數(shù)據(jù)庫直連、Socket直連等數(shù)據(jù)共享技術(shù)，以建設分布式、低耦合系統(tǒng)架構(gòu)為目的，建議改造為以上三種技術(shù)之一。云平臺數(shù)據(jù)共享功效（1）數(shù)據(jù)共享的目的智慧XX大數(shù)據(jù)分析系統(tǒng)應采用松耦合、分層的技術(shù)架構(gòu)實現(xiàn)，數(shù)據(jù)開放共享是智慧XX大數(shù)據(jù)分析系統(tǒng)要實現(xiàn)的目的，具體來說即為：通過采用層次化、面對開放共享的技術(shù)架構(gòu)，將顧客行為分析系統(tǒng)的應用與數(shù)據(jù)解耦，形成相對穩(wěn)定、獨立、開放的數(shù)據(jù)共享平臺（該平臺由數(shù)據(jù)裝載層、數(shù)據(jù)解決層、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)共享模塊等組件構(gòu)成），支撐應用及外部系統(tǒng)的數(shù)據(jù)需求，實現(xiàn)“一種數(shù)據(jù)平臺，支撐多樣化內(nèi)、外部應用”的目的。智慧XX大數(shù)據(jù)分析系統(tǒng)在實現(xiàn)時需有獨立的功效組件“數(shù)據(jù)共享模塊”來統(tǒng)一管理顧客行為分析系統(tǒng)中數(shù)據(jù)共享平臺對系統(tǒng)內(nèi)部上層應用以及外部系統(tǒng)提供原則化的數(shù)據(jù)共享服務、方式及內(nèi)容。數(shù)據(jù)共享模塊需含有共享接口管理、訪問控制、負荷控制及訪問集群管理能力。共享接口管理：統(tǒng)一管理數(shù)據(jù)共享平臺的接口，涉及查詢、訂閱、消息交換、數(shù)據(jù)庫等接口。訪問控制：訪問權(quán)限的判斷、會話管理、訪問頻率管理、請求隊列管理以及安全控制等能力。負荷控制：對共享請求的成本進行評定，并回絕不合理的請求。訪問集群管理：重要用來實現(xiàn)“數(shù)據(jù)共享模塊”在分布式布署時的負載均衡和Failover管理。（2）數(shù)據(jù)共享服務對象及共享內(nèi)容數(shù)據(jù)共享服務于智慧XX大數(shù)據(jù)分析系統(tǒng)本身的上層應用智慧XX大數(shù)據(jù)分析系統(tǒng)的上層應用能夠分為三類：“實時KPI計算類”、“實時細節(jié)查詢類”，以及“分析類非實時統(tǒng)計”，數(shù)據(jù)共享平臺通過不同的共享方式向上層應用提供數(shù)據(jù)支撐。經(jīng)營分析系統(tǒng)顧客行為分析系統(tǒng)能夠為經(jīng)營分析系統(tǒng)提供顧客行為數(shù)據(jù)（重要是xDR及顧客網(wǎng)絡行為標簽信息），使經(jīng)營分析系統(tǒng)能形成全視角的客戶數(shù)據(jù)。數(shù)據(jù)共享內(nèi)容無論是針對顧客行為分析系統(tǒng)的上層應用還是外部系統(tǒng)的應用需求，數(shù)據(jù)共享平臺均可向其提供數(shù)據(jù)共享服務，共享數(shù)據(jù)應涉及但不限于下列內(nèi)容：原始信令原始信令為xDR合成前的信令消息，用于信令回溯，通過文獻方式向外提供。xDR明細數(shù)據(jù)xDR明細數(shù)據(jù)屬于統(tǒng)計類數(shù)據(jù)，是顧客有關(guān)觀看行為、業(yè)務資源使用統(tǒng)計的總和，涉及各類信令合成xDR、話單等數(shù)據(jù)。維度匯總數(shù)據(jù)數(shù)據(jù)倉庫層的全部數(shù)據(jù)。實時指標數(shù)據(jù)本系統(tǒng)實時指標數(shù)據(jù)是指在下個統(tǒng)計周期內(nèi)需要完畢計算的指標，例如某實時指標5分鐘統(tǒng)計，是指從業(yè)務需求角度應在下一種5分鐘內(nèi)完畢統(tǒng)計計算。建議15分鐘（包含）粒度實時指標數(shù)據(jù)由流解決引擎技術(shù)解決。數(shù)據(jù)質(zhì)量信息數(shù)據(jù)質(zhì)量管理是智慧XX大數(shù)據(jù)分析系統(tǒng)的重要能力之一，在智慧XX大數(shù)據(jù)分析系統(tǒng)中，通過在數(shù)據(jù)采集、分發(fā)、加載等環(huán)節(jié)設立檢測點，以生成多個數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)質(zhì)量預J信息，這些信息能夠提供應外部系統(tǒng)，讓外部系統(tǒng)能夠掌握有關(guān)數(shù)據(jù)的質(zhì)量信息，例如：及時性、精確性、完整性等信息。應用匯總數(shù)據(jù)應用匯總數(shù)據(jù)重要指上層應用直接使用的數(shù)據(jù)。該部分數(shù)據(jù)能否共享，取決于該類數(shù)據(jù)與否可由上層應用下沉到數(shù)據(jù)共享平臺。如果能夠下沉到數(shù)據(jù)共享平臺，則可通過數(shù)據(jù)共享平臺進行共享。如果僅為應用的個性化數(shù)據(jù)，則不通過數(shù)據(jù)共享平臺進行共享。（4）數(shù)據(jù)共享服務數(shù)據(jù)訂閱方式系統(tǒng)支持通過數(shù)據(jù)共享服務接口，例如ESB數(shù)據(jù)服務總線，對各類數(shù)據(jù)進行訂閱。訂閱過程中有關(guān)所需數(shù)據(jù)的描述可通過元數(shù)據(jù)管理功效獲取。API方式此種數(shù)據(jù)獲取接口是一組由數(shù)據(jù)共享服務模塊提供的API集合，供數(shù)據(jù)消費系統(tǒng)調(diào)用以達成以下目的：界定所需數(shù)據(jù)的位置、范疇、規(guī)格，設立數(shù)據(jù)過濾條件；向智慧XX大數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)共享服務及接口傳遞有關(guān)所需數(shù)據(jù)范疇的參數(shù)；獲取所需的數(shù)據(jù)成果。API接口的優(yōu)勢在于能夠更加貼近智慧XX大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)組織構(gòu)造，更加貼近數(shù)據(jù)的應用場景與業(yè)務需求。同時，API接口方式也限定了對共享數(shù)據(jù)的訪問方式，避免對數(shù)據(jù)的違規(guī)操作，利于對系統(tǒng)的管理與維護。API接口方式的本質(zhì)是結(jié)合應用需求封裝某些通用的數(shù)據(jù)訪問及信息交換合同的綜合應用。數(shù)據(jù)庫接口方式通用的數(shù)據(jù)獲取接口。涉及：各類數(shù)據(jù)庫產(chǎn)品所自帶的原生數(shù)據(jù)庫訪問接口合同，如OCI，以及原則的數(shù)據(jù)庫訪問接口合同，如：JDBC、ODBC等。通過這類接口除了能夠直接獲取所需的數(shù)據(jù)，也能夠?qū)⑵鋺迷陂g接地返回訂閱數(shù)據(jù)的過程中（此狀況下向數(shù)據(jù)訂閱者返回的是一組能夠查詢到所需數(shù)據(jù)的SQL，然后通過數(shù)據(jù)庫接口方式發(fā)SQL查詢）。實時數(shù)據(jù)共享方式對于“實時”指標及預J數(shù)據(jù)，需要考慮對外提供專門的實時數(shù)據(jù)共享及獲取接口。對于共享給告J與故障管理系統(tǒng)的“實時數(shù)據(jù)”。（5）數(shù)據(jù)共享服務管理數(shù)據(jù)共享服務管理功效涉及安全管理、服務注冊、查找及路由，尚有日志管理功效。安全管理：服務認證鑒權(quán)是用于鑒別服務請求方與否含有服務調(diào)用權(quán)限；數(shù)據(jù)交換安全是用于確保服務請求、響應過程中的數(shù)據(jù)安全；權(quán)限管理是用于擬定服務請求方可調(diào)用的服務權(quán)限；注冊、查找和路由：提供服務的注冊、查找和路由管理功效；日志管理：是用于統(tǒng)計服務調(diào)用過程中產(chǎn)生的日志信息。安全管理認證鑒權(quán)認證鑒權(quán)是服務提供方對服務請求方與否正當進行的鑒別和確認。通過認證鑒權(quán)，能夠使服務提供方確認服務請求方的身份，擬定與否有該服務的訪問權(quán)限。認證鑒權(quán)涉及兩個方面：擬定服務請求方與否有訪問服務提供方所提供服務的功效權(quán)限；對于有功效權(quán)限的服務請求方，還需要再擬定其與否含有可訪問的具體服務及有關(guān)數(shù)據(jù)范疇的權(quán)限。認證鑒權(quán)需提供以下功效：在服務請求時，服務請求方要提供顧客名、密碼等校驗信息。服務提供方針對校驗信息進行認證，如果顧客名、密碼校驗失敗，不解決請求消息，并返回失敗提示信息；通過顧客名、密碼校驗后，驗證該顧客與否有請求該服務的功效權(quán)限。如果顧客沒有功效權(quán)限，不解決請求消息，并返回失敗提示信息；通過功效權(quán)限校驗后，根據(jù)該服務請求方可訪問服務的數(shù)據(jù)范疇權(quán)限，解決請求消息，并返回響應成果。權(quán)限管理權(quán)限管理涉及功效權(quán)限和數(shù)據(jù)范疇權(quán)限的管理。功效權(quán)限是指服務請求方與否能夠訪問某一種服務。數(shù)據(jù)范疇權(quán)限是在允許服務請求方訪問某一服務的基礎上控制可訪問的數(shù)據(jù)范疇。對第三方應用接入做權(quán)限控制，只允許那些被授權(quán)的第三方應用訪問系統(tǒng)。訪問頻度管理對第三方應用接入訪問的頻度管理，有效避免惡意攻擊，確保數(shù)據(jù)訪問性能與安全。數(shù)據(jù)傳輸安全在服務的請求和響應過程中，需要通過網(wǎng)絡傳輸有關(guān)的數(shù)據(jù)。數(shù)據(jù)的交換需要進行安全控制，能夠采用以下安全技術(shù)手段：密鑰管理：密鑰是一種基于密碼技術(shù)的安全機制。密鑰機制中除密碼的設計安全外，另一種重要的方面就是密鑰管理體制，涉及密鑰的產(chǎn)生、分發(fā)、更換、存儲和銷毀等內(nèi)容；數(shù)字簽名機制：數(shù)字簽名是基于非對稱加密技術(shù)的安全機制。它為需要加密的對象提供兩類密鑰：公鑰和私鑰，統(tǒng)一采用公鑰方式加密，采用私鑰方式解密；加密機制：加密可提高數(shù)據(jù)或業(yè)務流量信息的機密性。普通有兩種形式的加密：物理層的群路加密和網(wǎng)絡層或應用層的端到端加密。對大數(shù)據(jù)量的傳輸安全，能夠在數(shù)據(jù)打包的基礎上考慮整體的數(shù)字簽名，而不強制規(guī)定加密。服務注冊、查找及路由服務注冊、查找服務注冊、查找是服務管理的基礎功效。服務注冊用于公布服務，提供應服務請求方使用。服務查找是服務的請求方在服務注冊信息中查找到對應的服務，并根據(jù)查找到的服務綁定信息，調(diào)用該服務。對于沒有數(shù)據(jù)共享總線的省份，服務注冊功效也是數(shù)據(jù)地圖子模塊功效的一部分。服務路由服務路由是將服務請求方的請求按照一定的路由規(guī)則發(fā)送到對應的服務提供方。而服務路由按照代理服務和目的服務的關(guān)系分為1對1模式和1對N模式：1對1模式：是指1個代理服務路由到1個目的服務。服務請求方訪問代理服務，代理服務直接路由至目的服務提供數(shù)據(jù)；1對N模式：是指1個代理服務路由到N個目的服務。服務請求方訪問代理服務，代理服務通過路由轉(zhuǎn)發(fā)規(guī)則，路由至適宜的目的服務提供數(shù)據(jù)。日志管理日志管理統(tǒng)計服務運行過程中的重要事件，需要長久保存并定時備份。日志重要包含以下內(nèi)容：服務的注冊信息：服務注冊者信息、服務標記、服務地址、服務描述、服務名稱和注冊時間等；服務訪問信息：服務請求方身份信息、請求IP、服務標記、服務地址、服務名稱、數(shù)據(jù)范疇、請求時間和響應時間等；服務的運行信息：服務啟動時間、服務停止時間、服務運行狀態(tài)、服務地址和服務停止因素等。（6）數(shù)據(jù)訪問接入控制會話管理對訪問的接入連接管理，涉及：對接入時長、計算資源及存儲資源進行管理。訪問優(yōu)先級管理通過設立不同的隊列，確保請求的不同優(yōu)先級次序，以確保系統(tǒng)在高負荷狀況下的核心請求的含有最小的解決時延。查詢請求過濾完畢查詢請求內(nèi)容的特定解決，例如：采用HTTP的壓縮以減小網(wǎng)絡流量等。（7）數(shù)據(jù)訪問負荷控制負載均衡采用服務負荷均衡技術(shù)是為了提高服務的穩(wěn)定性，減少訪問的壓力。服務負荷分攤能夠采用集群方式實現(xiàn)。數(shù)據(jù)服務集群的重點在于服務的負載分攤，通過集群技術(shù)提高數(shù)據(jù)服務的訪問性能。負載分攤是把負載壓力根據(jù)某種算法合理分派到集群中的每一臺服務器上，以平衡每個集群節(jié)點的壓力。訪問請求數(shù)據(jù)緩存管理通過數(shù)據(jù)緩存，將訪問熱點數(shù)據(jù)緩存在內(nèi)存中，以減輕二次訪問對數(shù)據(jù)倉庫帶來的查詢壓力。查詢成本控制通過實現(xiàn)對查詢成本的預預計算，避免那些查詢壓力巨大的查詢請求給數(shù)據(jù)解決層各個存儲區(qū)域帶來的不必要的查詢壓力。按照負荷控制方略的定義，能夠直接回絕某些查詢請求。數(shù)據(jù)服務層計XX大數(shù)據(jù)平臺對外發(fā)揮價值的核心是提供種類豐富、類型多樣的服務接口和服務能力。從服務類型來看，可分為通用類服務、研判類服務和智能類服務。通用類服務：在大數(shù)據(jù)平臺提供的數(shù)據(jù)資源基礎上，結(jié)合分布式計算、可視化分析和呈現(xiàn)等技術(shù)，可實現(xiàn)綜合查詢、搜索引擎、數(shù)據(jù)比對、布控預J、分類統(tǒng)計等慣用功效，以及趨勢分析、異常分析、有關(guān)性分析等挖掘功效。研判類服務：基于大數(shù)據(jù)分析挖掘，實現(xiàn)各類戰(zhàn)法集市、積分預J模型、全要素分析工具、社交網(wǎng)絡分析、隱性重點人挖掘、治安態(tài)勢分析等綜合情報研判功效。智能類服務：綜合情報研判功效，實現(xiàn)案件多維分析、人流激增預J、犯罪預測模型、人員智能畫像、涉恐系數(shù)分析、人員親密度模型分析等功效。模型的應用平臺基礎應用（1）大數(shù)據(jù)統(tǒng)一門戶平臺門戶元數(shù)據(jù)管理與統(tǒng)計提供可視化的數(shù)據(jù)管理與統(tǒng)計界面，基于大數(shù)據(jù)平臺采集挖掘技術(shù)、主題分類算法模型等技術(shù)，顧客能夠多維度、可視化的快速理解大數(shù)據(jù)平臺中的數(shù)據(jù)狀況。（2）數(shù)據(jù)分析看板（3）可視化指揮調(diào)度數(shù)據(jù)解決和存儲系統(tǒng)設計圖5-13數(shù)據(jù)解決與存儲架構(gòu)大數(shù)據(jù)解決核心技術(shù)圖5-14大數(shù)據(jù)解決核心技術(shù)數(shù)據(jù)存儲采用MPP與hadoop融合架構(gòu)新型數(shù)據(jù)庫將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP解決PB級別的、高質(zhì)量的構(gòu)造化數(shù)據(jù)，同時為應用提供豐富的SQL和事務支持能力；用Hadoop實現(xiàn)半構(gòu)造化、非構(gòu)造化數(shù)據(jù)解決。這樣可同時滿足構(gòu)造化、半構(gòu)造化和非構(gòu)造化數(shù)據(jù)的解決需求。網(wǎng)絡系統(tǒng)設計系統(tǒng)布署在公眾服務云中，所需云主機全部布署在業(yè)務網(wǎng)絡中，通過業(yè)務接入交換機向上級聯(lián)到業(yè)務核心交換機。圖5-16系統(tǒng)網(wǎng)絡設計模型安全系統(tǒng)設計系統(tǒng)含有完善的安全管控機制，重要體現(xiàn)在：系統(tǒng)滿足集團各項安全合規(guī)性規(guī)范規(guī)定；另外系統(tǒng)仍滿足SOX法案對系統(tǒng)安全的各項規(guī)定與約束。從系統(tǒng)功效上考慮，提供安全監(jiān)控、口令管理、登陸控制與日志審計等多項安全管控功效。另外，在網(wǎng)絡安全、敏感數(shù)據(jù)安全與軟件本身安全方面含有完畢的保障方案與流程。系統(tǒng)安全滿足狀況LTE信令分析平臺滿足狀況：（1）系統(tǒng)提供密碼方略設立功效；（2）系統(tǒng)中密碼密文存儲，配備文獻中涉及密碼的必須是密文；（3）系統(tǒng)間數(shù)據(jù)加密傳輸；（4）系統(tǒng)維護賬號和預設賬號分開，預設賬號（涉及：應用程序使用的賬號）不能被維護使用；（5）訪問數(shù)據(jù)庫的賬號采用最小權(quán)限原則設立；（6）避免通過手工批解決進行業(yè)務維護；（7）避免通過直接操作數(shù)據(jù)庫進行局數(shù)據(jù)制作；（8）避免采用手工方式進行數(shù)據(jù)統(tǒng)計；（9）滿足操作維護日志審計，能夠?qū)Σ僮飨到y(tǒng)、數(shù)據(jù)庫、應用系統(tǒng)、網(wǎng)絡設備的操作維護日志進行全方面審計；（10）滿足日志的可過濾審計和統(tǒng)計分析；（11）滿足數(shù)據(jù)庫自動備份、全量及增量備份，操作系統(tǒng)和應用系統(tǒng)手工備份，日志的備份、核心業(yè)務數(shù)據(jù)備份；（12）規(guī)定單獨布署測試環(huán)境，軟件新版本、補丁在測試環(huán)境中測試，測試通過后，布署于運行環(huán)境中。系統(tǒng)安全配備管理功效安全監(jiān)控我方解決方案中提供的主機服務器和多個應用服務器會予以專門的保護，避免未授權(quán)顧客的非法訪問，其具體能力以下：通過良好的登錄活動統(tǒng)計和報告、顧客和網(wǎng)絡活動的周期檢查，避免未被授權(quán)使用系統(tǒng)的顧客進入系統(tǒng)；按照顧客、組模式對操作系統(tǒng)的訪問進行控制，避免已授權(quán)或未授權(quán)的顧客存取互相的重要信息。不同部門或類型的顧客只能訪問對應的文獻或應用，能夠采用授權(quán)方式限定顧客對主機的訪問范疇；避免惡意顧客占用過多系統(tǒng)資源（CPU、內(nèi)存、文獻系統(tǒng)等），從而避免因無系統(tǒng)資源造成系統(tǒng)對其它顧客的不可用的事件發(fā)生；對主機的安全事件進行具體的統(tǒng)計，并根據(jù)需要隨時進行查閱。應提供完善的漏洞掃描手段，及時發(fā)現(xiàn)系統(tǒng)的安全隱患，并據(jù)此提供必要的解決方案；周期性進行操作系統(tǒng)備份，能夠在系統(tǒng)崩潰后快速修復系統(tǒng)文獻?？诹罟芾砦曳浇鉀Q方案中對各類主機及應用服務器系統(tǒng)登錄口令的設立、使用、保存及配備管理已達成下列能力，以確保系統(tǒng)對非法入侵的抵抗能力。提供的安全方略強制實現(xiàn)顧客口令復雜度和長度安全規(guī)則，在此基礎上可設定口令的安全限制條件，嚴禁顧客使用某些易被猜中的口令，如：帳號名、單位名稱等，核心字在系統(tǒng)中可配備。主機系統(tǒng)的顧客口令不允許采用明文形式寄存，從而避免顧客的口令不被任何人直接非法獲取。系統(tǒng)提供限制口令有效天數(shù)的功效，能夠強迫使用者在規(guī)定的時間間隔中必須變更口令，使口令被猜中的可能性減少。登錄控制管理人員能夠通過安全的終端登錄程序訪問系統(tǒng)主機環(huán)境，來完畢系統(tǒng)配備和管理等有關(guān)工作。終端登錄程序能夠最大程度減少非法訪問系統(tǒng)軟件的機率，登錄程序應當最大程度地減少公開的系統(tǒng)信息，避免為非法顧客提供方便。在登錄過程未成功時不顯示系統(tǒng)軟件的標記；顯示普通性注意事項，提示顧客只有正當顧客才干訪問系統(tǒng)軟件；在登錄期間不提供協(xié)助信息，以免為非法顧客提供方便；在全部數(shù)據(jù)輸入完畢之后才驗證登錄信息，出錯時不提示哪些數(shù)據(jù)錯誤哪些數(shù)據(jù)對的；限制允許進行的登錄失敗次數(shù)（可設立為5次），并且能夠通過審計功效進行統(tǒng)計，允許再次登錄前強制時延，斷開數(shù)據(jù)鏈路連接；限制登錄程序允許的時間上限和下限，如果超出限制則中斷登錄進程；登錄完畢后，顯示上次成功登錄時間和地址，以及登錄失敗的具體信息；當?shù)卿浕卦捥幵诓还ぷ鳡顟B(tài)時，應當在設定的超時時間后自動斷開登錄連接，以避免未授權(quán)顧客的非法訪問。終端登錄超時功效應實現(xiàn)中斷連接、關(guān)閉應用和網(wǎng)絡會話的功效；在性能管理系統(tǒng)以外的高風險地區(qū)（例如公司無法監(jiān)測和進行安全管理的外部區(qū)域）的終端遠程連接，或者服務于高風險系統(tǒng)的終端，應當限制連接時間以提高系統(tǒng)軟件的安全性，終端的連接時間應在正常工作時間之內(nèi)；日志審計生成和保存具體操作日志、登陸日志、任務操作日志統(tǒng)計和系統(tǒng)錯誤日志等信息的能力，所產(chǎn)生的日志能夠在運行商所布署的審計方略之下進行有效的審計，審計日志應保存3個月，涉及：應用系統(tǒng)日志：應用系統(tǒng)含有完善的日志功效，能夠統(tǒng)計系統(tǒng)異常狀況及其它安全事件。應用系統(tǒng)日志涉及下列內(nèi)容：顧客登錄和退出的日期和具體時間及IP地址等信息；成功的和被回絕的系統(tǒng)訪問活動的統(tǒng)計；成功的和被回絕的數(shù)據(jù)與其它資源的訪問統(tǒng)計；成功的和被回絕的管理操作統(tǒng)計。操作系統(tǒng)日志啟動操作系統(tǒng)日志功效對系統(tǒng)日志進行統(tǒng)計；系統(tǒng)日志應最少統(tǒng)計下列內(nèi)容：對系統(tǒng)登錄進行統(tǒng)計，統(tǒng)計登錄主機的IP地址、顧客名、時間等；統(tǒng)計系統(tǒng)成功以及失敗的登錄事件；統(tǒng)計系統(tǒng)事件。系統(tǒng)必須提供一種機制審計與安全性有關(guān)的故障與沖突，其中涉及：授權(quán)（Authorization）失敗：差錯通行字，無效的SNMP通信，無效令牌；對控制方略的違反：嚴禁的源路由，被過濾掉的目的地；授權(quán)通過：對的通行字，遠程登錄帶內(nèi)訪問，控制臺訪問等。系統(tǒng)必須提供一種機制審計用于統(tǒng)計并監(jiān)控設備配備信息的變化，統(tǒng)計內(nèi)容涉及登錄時間，帳號，實施的操作和時間等信息。系統(tǒng)應支持“存在遠端Server的操作審計功效”，即將系統(tǒng)上進行的全部操作在遠端Server上都進行實時備份。系統(tǒng)備份在大數(shù)據(jù)量的應用場景中，系統(tǒng)采用數(shù)據(jù)庫全量備份與增量備份相結(jié)合、庫內(nèi)數(shù)據(jù)備份與庫外文獻備份相結(jié)合的方式，完整、及時、有效地備份數(shù)據(jù)內(nèi)容。系統(tǒng)無安全漏洞保障網(wǎng)絡安全網(wǎng)絡配備安全我方解決方案中通過防火墻（硬件防火墻）對進入內(nèi)部網(wǎng)絡的數(shù)據(jù)包進行掃描過濾，能夠根據(jù)顧客、IP地址、訪問類型等方式進行訪問規(guī)則限制，能夠?qū)ΤＲ姷娜肭中袨檫M行判斷并制止，有條件的公司應使用多個防火墻進行集成。提供地址翻譯功效，屏蔽網(wǎng)絡內(nèi)部細節(jié)，避免外部黑客運用IP探測技術(shù)發(fā)現(xiàn)內(nèi)部網(wǎng)絡構(gòu)造和服務器真實地址，從而實現(xiàn)有針對性的攻擊。能夠?qū)W(wǎng)絡通訊進行監(jiān)控，及時發(fā)現(xiàn)任何來自于網(wǎng)絡內(nèi)部或外部的黑客入侵或可疑的訪問行為，并做到及時報J與阻斷。數(shù)據(jù)傳輸安全我方解決方案中對各子網(wǎng)間或遠程顧客傳輸中的數(shù)據(jù)進行安全保護，運用認證、校驗、加密、等方式確保數(shù)據(jù)在網(wǎng)絡層的安全。網(wǎng)絡層認證報文的來源，避免攻擊者運用偽裝地址來發(fā)送報文；網(wǎng)絡層確保數(shù)據(jù)報的完整性，報文在網(wǎng)絡中傳輸時沒有發(fā)生變化；網(wǎng)絡層報文的內(nèi)容在傳輸過程中未被讀取，未授權(quán)方不能讀取報文的內(nèi)容；網(wǎng)絡層認證報文沒有重復，避免攻擊者通過重發(fā)截獲的認證報文來干擾正常的通信，從而造成事務多次執(zhí)行，或是使依賴于被復制報文的上層應用發(fā)生混亂狀況。防病毒安全由于系統(tǒng)中現(xiàn)在存在多個方式的連接，在多個途徑的數(shù)據(jù)交換中都可能含有病毒感染的隱患。對于這些存在的安全問題，我方提供的安全方案通過有效的手段，對在網(wǎng)絡中傳輸?shù)臄?shù)據(jù)及郵件進行實時的監(jiān)視，對多個類型的文獻都能夠進行病毒的查殺工作，對遠程子網(wǎng)中的服務器、工作站提供全方面的病毒防備，自動進行病毒代碼庫的更新，對發(fā)現(xiàn)的病毒能夠在全網(wǎng)絡范疇內(nèi)進行去除。生產(chǎn)環(huán)境與開發(fā)測試環(huán)境分離我方提供的安全方案通過構(gòu)建科學完善的系統(tǒng)環(huán)境及管理機制，對系統(tǒng)開發(fā)、測試、上線各個環(huán)節(jié)采用安全的區(qū)隔及流程管理，保障系統(tǒng)生產(chǎn)環(huán)境的安全可靠及高效運行。系統(tǒng)環(huán)境分為生產(chǎn)環(huán)境、開發(fā)環(huán)境及測試環(huán)境，各個環(huán)境之間采用嚴格的分離管理，對原有功效的升級改造、原有功效下線及新增功效開發(fā)，先在開發(fā)、測試環(huán)境進行有關(guān)的開發(fā)測試工作，確保數(shù)據(jù)解決及應用邏輯符合業(yè)務規(guī)定并能夠?qū)Φ倪\行之后，才在生產(chǎn)環(huán)境進行上線布署。在開發(fā)、測試環(huán)境構(gòu)建與生產(chǎn)環(huán)境主體架構(gòu)相似的、與生產(chǎn)環(huán)境互相獨立的物理平臺。敏感數(shù)據(jù)安全為了確保系統(tǒng)的敏感數(shù)據(jù)安全，對敏感數(shù)據(jù)的導出進行管理，實現(xiàn)敏感數(shù)據(jù)“不落地”，避免人工參加數(shù)據(jù)操作造成的數(shù)據(jù)泄漏?！安宦涞亍笔侵笖?shù)據(jù)在使用過程中不下載或者保存在個人PC機、手提電腦、U盤等個人存儲設備上。感數(shù)據(jù)導出管理實現(xiàn)方案：圖5-17敏感數(shù)據(jù)不落地管理實現(xiàn)圖敏感數(shù)據(jù)導出重要是系統(tǒng)以系統(tǒng)控制方式或者以人工參加方式對系統(tǒng)的敏感數(shù)據(jù)進行導出。系統(tǒng)控制方式：針對外部系統(tǒng)（如專業(yè)網(wǎng)管、監(jiān)控與告J管理系統(tǒng)、資源管理系統(tǒng)、CRM、BOSS、客服營銷系統(tǒng)等系統(tǒng)）對性能管理系統(tǒng)固定的數(shù)據(jù)需求，建立“互動接口”，實現(xiàn)性能管理系統(tǒng)的目的數(shù)據(jù)傳遞到其它系統(tǒng)中執(zhí)行分析、營銷、管控等活動。能夠通過文獻接口等方式進行交互。人工參加方式：通過人工參加方式，實現(xiàn)臨時的數(shù)據(jù)需求而實現(xiàn)管理方式。顧客能夠通過“文獻服務器”從性能管理系統(tǒng)下載數(shù)據(jù)到該服務器上；能夠?qū)ο螺d的數(shù)據(jù)文獻進行篩選、修改、等操作，并且以人工方式到外部系統(tǒng)中。文獻操作服務器是類似于遠程桌面類型的服務器。顧客能夠通過遠程登錄該服務器登錄各類外部系統(tǒng)；并且能夠通過登錄實現(xiàn)查詢、上傳、下載等功效。該服務器能夠安裝多個解決文獻的軟件，例如Excel、FoxPro等軟件。但是該服務器必須有日志進行統(tǒng)計顧客操作過程，嚴禁提供文獻下載到個人存儲設備上。有條件的省市能夠?qū)崿F(xiàn)在性能管理系統(tǒng)下載敏感數(shù)據(jù)時，下載的文獻直接發(fā)送到“文獻操作服務器”上的該顧客帳戶中，顧客通過登錄文獻服務器實現(xiàn)操作。從管理角度，我方解決方案中對敏感數(shù)據(jù)導出具體以下：系統(tǒng)控制方式導出的敏感數(shù)據(jù)，對接外部系統(tǒng)以“系統(tǒng)接口”辦法實現(xiàn)數(shù)據(jù)對接。在此期間確保數(shù)據(jù)安全，不下載或者保存在個人PC機、手提電腦、U盤等個人存儲設備上；通過人工參加方式導出的敏感數(shù)據(jù)，通過有關(guān)部門的審核才干下載或者保存在個人PC機、手提電腦、U盤等個人存儲設備上。軟件本身安全WEB站點安全我方提供的產(chǎn)品不使用common、login、system等默認登錄頁名稱，嚴格限制口令明文口令，避免站點應用的顧客、主機、DB等口令信息存儲明文保存在配備文獻、代碼或數(shù)據(jù)庫中，具體已達成下列能力：杜絕跨站腳本弱點與跨站偽造請求。跨站腳本攻擊（XSS）。是指運用網(wǎng)站漏洞從顧客那里惡意盜取信息。顧客在瀏覽網(wǎng)站、使用即時通訊軟件、甚至在閱讀電子郵件時，普通會點擊其中的鏈接。攻擊者通過在鏈接或者表單中插入惡意代碼，就能夠盜取顧客信息。攻擊者普通會用十六進制（或其它編碼方式）將鏈接編碼，以免顧客懷疑它的正當性。網(wǎng)站在接受到包含惡意代碼的請求之后會產(chǎn)成一種包含惡意代碼的頁面，而這個頁面看起來就像是那個網(wǎng)站應當生成的正當頁面同樣。即跨站偽造請求（CSRF），是偽造客戶端請求的一種攻擊，英文全稱是CrossSiteRequestForgery。攻擊者可偽造顧客請求進行操作。杜絕泄露站點實際途徑，避免通過頁面右擊屬性、輸入錯誤參數(shù)報錯等操作而暴露實際文獻途徑。杜絕IIS上傳組件漏洞。手工上傳文本文獻等應用的IIS上傳組件本身就存在較大風險漏洞。攻擊者能夠上傳類似“aa.asp;.xls”文獻，上傳組件檢查后綴名為.xls就認為是.xls文獻，而IIS內(nèi)部解析時卻會截取“;”前的內(nèi)容為文獻名，事實上傳文獻就成了aa.asp，攻擊者就能夠運用IIS上傳組件的這個本身漏洞隨意上傳木馬腳本，進而能夠以匿名訪問顧客（WebLogin）的身份來控制站點服務器主機。杜絕URL跳轉(zhuǎn)限制被釣魚操作，針對站點的URL跳轉(zhuǎn)嚴格限制，以避免被釣魚。編碼規(guī)范化我方提供的產(chǎn)品不用常規(guī)編碼工具自動生成的默認目錄名稱或文獻名，如SYTEM、LOGIN、COMMON等名稱，對顧客輸入和URL進行過濾，將某些敏感字符進行轉(zhuǎn)義（例如Script、<、>等）進行檢查過濾。表單提交操作中，限制顧客提交的數(shù)據(jù)長度。核心動作使用POST辦法提交，并增加時間戳或驗證碼。軟件正版化我方提供的解決方案主機操作系統(tǒng)為正版操作系統(tǒng)，系統(tǒng)補丁包更新延時不超出三個月。系統(tǒng)運行或維護所應用的第三方軟件全部為正版軟件或開源軟件。性能和可靠性可靠性規(guī)定系統(tǒng)確保7×24小時不間斷運行，系統(tǒng)硬件構(gòu)成含有冗余等安全方法。設備的MTBF（MeanTimeBetweenFailure，平均故障間隔時間）應不大于或等于每年50分鐘內(nèi)。每年每臺設備故障率不超出2%。設備含有避免單點失效的功效，從而確保系統(tǒng)的可靠度不低于99.999%，規(guī)定某一種設備的宕機不影響業(yè)務的運行。具體可靠性方法以下：系統(tǒng)能夠避免單點失效，即某臺設備宕機不會影響到整個業(yè)務的運行系統(tǒng)的系統(tǒng)實現(xiàn)陣列級RAID備份系統(tǒng)提供核心部件的冗余能力系統(tǒng)設計壽命不不大于系統(tǒng)的硬件與軟件互相配合，提供對系統(tǒng)故障的管理能力系統(tǒng)可靠、穩(wěn)定，平均故障時間間隔不低于5000h，故障平均修復時間不高于1h。硬件設備有較高的可靠性和容錯能力系統(tǒng)可監(jiān)控各主機運行狀況和數(shù)據(jù)解決狀況，提前預J系統(tǒng)故障，減少系統(tǒng)故障率。系統(tǒng)含有壓力緩沖能力，能夠在一定時間內(nèi)承受突發(fā)的超負荷的請求。系統(tǒng)含有動態(tài)調(diào)配集群資源的能力，支持在物理和邏輯上隔離多個任務所占用的資源?？蓴U展性系統(tǒng)含有布署靈活性與系統(tǒng)可擴展性，方便擴展設備容量和提高設備性能，系統(tǒng)能平滑升級。采用開放體系的硬件和基礎軟件平臺；所應用的軟硬件能夠適應2-3年內(nèi)網(wǎng)絡擴容的需求。硬件系統(tǒng)采用模塊構(gòu)造，以確保系統(tǒng)內(nèi)存、CPU及儲存容量的擴展；硬件配備的升級不會引發(fā)應用級軟件的修改和開發(fā)；應用軟件的構(gòu)造應能確保功效的擴展。為了適應系統(tǒng)的容量增加，硬件設備應含有較強的擴展能力，并應含有升級和向后兼容的能力。采用通用的計算機系統(tǒng)，使用分布式系統(tǒng)構(gòu)造，局域網(wǎng)和廣域網(wǎng)混合相連。系統(tǒng)的硬件性能優(yōu)良、運行平穩(wěn)可靠，并能夠確保長時間的持續(xù)工作。系統(tǒng)重要硬件的容量和性能指標（涉及內(nèi)存容量、解決器主頻、硬盤容量、通信網(wǎng)帶寬）應能適應整個系統(tǒng)解決能力、通信傳輸量、數(shù)據(jù)存儲量和顧客實際需求等各方面的規(guī)定。系統(tǒng)根據(jù)實際需要能配備各類外設：磁帶機或磁帶庫、光盤機、活動硬盤等設備。對于新的查詢參數(shù)和規(guī)定，查詢系統(tǒng)的軟件模塊含有可擴展性，可基于原有系統(tǒng)實現(xiàn)靈活、平滑的系統(tǒng)升級。系統(tǒng)各解決模塊支持負載均衡，含有并行內(nèi)存計算能力，支持數(shù)據(jù)的實時解決和離線解決。系統(tǒng)解決模塊間低耦合，可根據(jù)需求和壓力分別彈性擴展?？删S護性系統(tǒng)支持自動化升級，通過維護工具完畢集群的升級管理，減少布署實施工作量；系統(tǒng)支持監(jiān)控各主機運行狀況和數(shù)據(jù)解決狀況，提前預J系統(tǒng)故障，減少系統(tǒng)故障率；系統(tǒng)支持自動化巡檢，提高系統(tǒng)監(jiān)控力度，減少由于系統(tǒng)故障造成的損失；通過UCD設計，提高客戶感知、減少維護工作量；支持故障定位、端到端問題跟蹤和異常事件解決功效；支持話單關(guān)聯(lián)成功率的實時分析，并提供分析報告，可及時定位各網(wǎng)元數(shù)據(jù)的精確性、及時性。運行維護系統(tǒng)設計服務器管理對服務器進行全方面的監(jiān)控，涉及：服務器的基本信息，端口，文獻系統(tǒng)，告J，性能，流量，可用性等綜合呈現(xiàn)。網(wǎng)絡設備管理針對交換機，路由器和防火墻等網(wǎng)絡設備的基本信息、告J、性能、端口信息、端口流量，可用性等信息綜合展示，直觀呈現(xiàn)設備的全部信息。進程管理系統(tǒng)提供對服務器的進程全方面掃描，顧客可根據(jù)掃描成果篩選出重點關(guān)注的進程，并針對進程的重要性定制告J等級和描述，當進程出現(xiàn)異常時，第一時間告知到運維人員。服務管理系統(tǒng)提供對系統(tǒng)重點服務的監(jiān)控，當服務不存在或者服務參數(shù)發(fā)生變化會產(chǎn)生告J。數(shù)據(jù)庫管理數(shù)據(jù)庫監(jiān)控范疇涉及各重要應用系統(tǒng)中使用的各類數(shù)據(jù)庫，能夠監(jiān)視數(shù)據(jù)庫系統(tǒng)進程的運行狀況和日志文獻的變化。根據(jù)數(shù)據(jù)庫的不同，系統(tǒng)重要監(jiān)控數(shù)據(jù)庫的進程、表空間運用率、數(shù)據(jù)文獻運用率、鎖、連接數(shù)等指標。在數(shù)據(jù)庫監(jiān)控頁面系統(tǒng)也提供數(shù)據(jù)庫所在設備的CPU、內(nèi)存及磁盤空間運用率、進程、設備配備信息等性能指標。中間管理系統(tǒng)提供了現(xiàn)在主流廠商中間件的管理功效，能夠監(jiān)視中間件系統(tǒng)的基本信息和運行狀況，能夠動態(tài)收集應用性能數(shù)據(jù)并通過圖形界面呈現(xiàn)。集群管理重要是實時監(jiān)控集群各個節(jié)點的運行狀態(tài)，并對各個節(jié)點進行性能監(jiān)控與分析，以確保高性能、高可用性的集群服務。故障管理系統(tǒng)提供立體化、透明化監(jiān)管、閉環(huán)故障解決、多個的告J預解決方略、實時精確的告J告知接口，豐富的告J解決經(jīng)驗，保障運行質(zhì)量。系統(tǒng)提供一系列的告J預解決流程，顧客可自定義預解決方略。系統(tǒng)提供告J實時監(jiān)控面板，告J將主動推送到實時面板，面板提供某些列的告J解決操作（涉及：告J去除，確認，歸檔，鎖定，查看詳情）。性能管理可針對設備類型或重點設備的重要指標自定義門限（涉及：單級門限和多級門限），并且提供越限告J功效。提供性能指標匯總功效，并對性能數(shù)據(jù)進行深度趨勢分析。配備文獻管理配備文獻管理功效實現(xiàn)每天、每七天或每月定時備份網(wǎng)管設備的配備文獻。備份的范疇是被管范疇內(nèi)全部的網(wǎng)絡設備。并提供配備文獻比較的功效，顧客可選擇需要比較的配備文獻，系統(tǒng)將自動對比其差別，得出比較的成果，協(xié)助顧客分析配備文獻。SYSLOG管理系統(tǒng)可根據(jù)SYSLOG發(fā)送的源設備和報文自定義告J規(guī)則，上報告J。對原始SYSLOG查詢。其它系統(tǒng)設計無額外補充內(nèi)容。系統(tǒng)配備及軟硬件選型原則軟硬件布署根據(jù)對本項目的需求分析，并結(jié)合應用體系架構(gòu)的B/A/S實現(xiàn)形式以及對整個系統(tǒng)網(wǎng)絡、安全、系統(tǒng)管理等方面的總體考慮，整個主機與存儲系統(tǒng)重要分為下列幾個部分：數(shù)據(jù)庫服務器，應用服務器等。系統(tǒng)軟件本項目數(shù)據(jù)庫服務器和應用服務器的操作系統(tǒng)建議選用linux操作系統(tǒng)。數(shù)據(jù)庫服務器數(shù)據(jù)庫系統(tǒng)是整個系統(tǒng)的數(shù)據(jù)中心，設計上采用雙機設計，考慮到項目特殊性，前期采用單數(shù)據(jù)庫實現(xiàn)，后期根據(jù)需要再進行擴容方案建設(預留接口)。核心數(shù)據(jù)庫服務器運行大型數(shù)據(jù)庫，是整個系統(tǒng)的數(shù)據(jù)核心，含有高穩(wěn)定性、高可靠性、高容錯能力的規(guī)定。通過數(shù)據(jù)庫的安全業(yè)務應用端口，能夠提供應現(xiàn)有服務器設備和終端設備的訪問,確保系統(tǒng)運行的高效、穩(wěn)定、不中斷。應用服務器本方案內(nèi)，應用服務器重要為各業(yè)務系統(tǒng)提供硬件平臺支撐。采用負載均衡服務器和Web應用服務器組合方式。同數(shù)據(jù)庫服務器，考慮到項目特殊性，本次均衡服務器采用單節(jié)點，Web應用服務器采用集群方式。數(shù)據(jù)規(guī)定數(shù)據(jù)類型系統(tǒng)數(shù)據(jù)類型包含XX系統(tǒng)已有的數(shù)據(jù)，運行商、交通系統(tǒng)、等部門采集的居民衣、食、住、行的海量數(shù)據(jù)等多個類型的數(shù)據(jù)等。數(shù)據(jù)規(guī)模為確保數(shù)據(jù)的精確性，系統(tǒng)顧客數(shù)采集樣本量不不大于0萬。技術(shù)規(guī)定數(shù)據(jù)存儲能力系統(tǒng)的存儲容量高于3PB。數(shù)據(jù)分析能力規(guī)定系統(tǒng)每天解決日志條數(shù)高于200億條，解決時延于300s，集群服務器數(shù)不不大于300臺，單臺設備配備高于CPU32核2.0G、內(nèi)存256G。數(shù)據(jù)采集能力規(guī)定數(shù)據(jù)采集粒度為15分鐘。數(shù)據(jù)呈現(xiàn)能力規(guī)定數(shù)據(jù)呈現(xiàn)刷新時間為60分鐘。查詢的響應時長不大于15秒。系統(tǒng)并發(fā)連接數(shù)不不大于1000個。系統(tǒng)可靠性規(guī)定系統(tǒng)平臺含有7×24小時持續(xù)穩(wěn)定運行。系統(tǒng)軟硬件物理布署方案智慧XX大數(shù)據(jù)中心建設將重要依靠現(xiàn)有區(qū)傳輸網(wǎng)絡平臺，涉及互聯(lián)網(wǎng)、政務外網(wǎng)來實施布署、訪問大數(shù)據(jù)中心有關(guān)數(shù)據(jù)信息。圖5-19大數(shù)據(jù)中心網(wǎng)絡構(gòu)造示意圖XX系統(tǒng)各部門的系統(tǒng)布署的網(wǎng)絡涵蓋了政務內(nèi)外網(wǎng)、部門專網(wǎng)、互聯(lián)網(wǎng)，分別為XX內(nèi)部、企事業(yè)單位、民眾提供服務。項目建設與運行管理項目領(lǐng)導機構(gòu)項目領(lǐng)導和管理機構(gòu)簡稱項目領(lǐng)導小組，負責項目總體規(guī)劃和方針方略的制訂。（1）人員構(gòu)成組長：XX系統(tǒng)有關(guān)部門主管領(lǐng)導各1人；各部門信息處室領(lǐng)導各1人。（2）重要職責制訂方針方略，指導項目管理實施小組；設定項目目的、范疇及評價考核原則；同意項目計劃，監(jiān)控項目進程；協(xié)調(diào)項目所需有關(guān)資源，調(diào)配人力和資金；解決項目實施小組不能解決的問題；審批建設方案并參加驗收；審批工作準則與工作規(guī)程，確保項目能夠正常進行；對項目成敗全方面負責。項目管理機構(gòu)項目管理機構(gòu)為負責本項目管理實施有關(guān)單位，負責項目建設過程中的日常管理工作。（1）人員構(gòu)成項目管理機構(gòu)組員由下列構(gòu)成建設單位項目管理組長1名；承建單位項目組長1名；監(jiān)理機構(gòu)組長1名；專家組長1名構(gòu)成。（2）重要職責根據(jù)本項目建設內(nèi)容，建議本項目實施機構(gòu)、機構(gòu)構(gòu)成及機構(gòu)職責可按下表所示方式組建。表STYLEREF1\s6SEQ表\*ARABIC\s11實施機構(gòu)職責項目實施機構(gòu)組員機構(gòu)構(gòu)成重要職責備注建設單位項目管理組項目總負責人硬件負責人軟件負責人對項目實施過程進行建設管理承建單位項目組項目經(jīng)理采購合同組硬件實施組軟件開發(fā)組質(zhì)量控制組運維支持組負責具體項目的實施工作硬件實施組、軟件實施組根據(jù)項目內(nèi)容及實施需要還可劃分小組監(jiān)理機構(gòu)組總監(jiān)理工程師專業(yè)監(jiān)理工程師總監(jiān)對項目的建設過程進行“三控兩管一協(xié)調(diào)”專家組行業(yè)專家技術(shù)專家對項目方案從業(yè)務和技術(shù)等多層次進行把關(guān)項目承建機構(gòu)（1）人員構(gòu)成由承建方委派高級項目管理人員出任項目經(jīng)理1名，并由承建方的采購合同組、硬件實施組、軟件開發(fā)組、質(zhì)量控制組、運維支持組組長各1名，組員20名構(gòu)成。（2）重要職責根據(jù)合同規(guī)定，收集項目有關(guān)信息，制訂項目計劃，指導項目執(zhí)行；協(xié)調(diào)顧客和項目組的關(guān)系，安排人力資源，明確職責；評定項目執(zhí)行風險，制訂防備方法；監(jiān)控產(chǎn)品訂貨、運輸、安裝、調(diào)試狀況；定時編寫項目進展狀態(tài)的資料給顧客及有關(guān)人員；協(xié)助對變更進行評定，提出意見。并決定普通變更，重大變更告知有關(guān)決策人；協(xié)助制訂、監(jiān)控變更方法的執(zhí)行；組織系統(tǒng)驗收，簽訂驗收文獻，跟蹤、統(tǒng)計試運行狀況并安排有關(guān)人員解決試運行問題；驗收完畢后，負責對項目進行總結(jié)、結(jié)項。運行維護機構(gòu)在項目質(zhì)保期內(nèi)，項目軟硬件平臺的技術(shù)維護工作由項目承建單位負責；項目質(zhì)保期后，采用購置技術(shù)運維服務的方式進行智慧XX大數(shù)據(jù)分析系統(tǒng)的維護工作。有關(guān)管理制度（1）強化監(jiān)理的監(jiān)督管理作用按照我國的有關(guān)規(guī)定，本項目必須引入監(jiān)理單位，因此在本項的建設過程中，充足發(fā)揮監(jiān)理的作用，對項目建設實施全過程的“進度、質(zhì)量、成本”的監(jiān)督管理，從而確保項目保質(zhì)保量的完畢。（2）對參加項目建設單位的管理本項目的建設，將會有多家承建商參加，因此需要加強對各承建商的管理。管理的內(nèi)容涉及對階段性的成果評審和工作進度檢查，對各承建商的重要人員（如項目經(jīng)理、技術(shù)負責人、業(yè)務骨干等）進行資格審查、到位狀況、主持工作的能力等進行管理，通過管理，確保階段性提交的成果與產(chǎn)品符合