政務大數據交換共享平臺建設方案.doc

*政務大數據交換共享平臺建設方案目 錄第一章 需求分析和項目建設的必要性 .41.1 項目建設目標、內容.41.1.1 項目建設目標.41.1.2 項目建設內容.41.2 編制依據 .51.3 與政務職能相關的社會問題和政務目標分析.61.3.1 社會問題分析.61.3.2 政務目標分析.81.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析 .111.4.1 用戶角色分析.111.4.2 業(yè)務功能分析.121.4.3 業(yè)務流程 .141.4.4 業(yè)務量分析.141.5 信息量分析和預測 .151.5.1 存儲量分析.151.5.2 處理量分析.191.5.3 網絡流量分析.201.6 系統(tǒng)功能和性能需求分析 .201.6.1 系統(tǒng)功能指標.201.6.2 系統(tǒng)性能指標.221.7 信息系統(tǒng)裝備和應用現狀與差距.221.7.1 現狀 .221.7.2 差距 .231.8 項目建設的必要性 .23第二章 總體建設方案 . 262.1 建設原則 .262.1.1 統(tǒng)一性原則.262.1.2 可靠性原則.262.1.3 可伸縮和可擴展性原則.262.1.4 開放性原則.272.1.5 安全性原則.272.1.6 高效性原則.272.1.7 友好性原則.272.1.8 可管理易維護性 .28-I- *政務大數據交換共享平臺建設方案2.2 總體目標與分期目標.282.3 總體建設任務與分期建設內容 .292.4 總體設計方案 .302.4.1 基礎設施層.322.4.2 信息資源層.332.4.3 應用支撐層.342.4.4 應用層.342.4.5 服務層.342.4.6 安全保障體系.342.4.7 標準規(guī)范體系.35第三章 項目建設方案 . 363.1 標準規(guī)范建設 .363.1.1 管理制度建設.363.1.2 標準規(guī)范建設.403.1.3 數據標準建設.433.1.4 標準規(guī)范索引.463.2 信息資源規(guī)劃和數據庫設計.473.2.1 信息資源規(guī)劃.473.2.2 數據中心建設.533.3 門戶系統(tǒng)建設 .693.3.1 信息資源政務門戶.693.3.2 信息資源開放門戶.733.4 應用系統(tǒng)建設 .743.4.1 數據匯聚平臺.743.4.2 數據治理平臺.893.4.3 數據運營平臺.1023.4.4 數據應用平臺.1043.5 四大基礎數據庫管理平臺 .1083.5.1 人口庫.1083.5.2 法人庫. 1113.5.3 經濟庫. 1143.5.4 地理庫. 1153.6 應用支撐系統(tǒng)設計 . 1163.6.1 統(tǒng)一用戶管理. 1163.6.2 統(tǒng)一應用管理.1203.6.3 統(tǒng)一服務管理.1213.6.4 統(tǒng)一消息服務.1233.6.5 統(tǒng)一日志服務.124-II- *政務大數據交換共享平臺建設方案3.7 安全保障體系建設 .1243.7.1 建設目標 .1243.7.2 安全體系架構.1253.7.3 安全防護體系建設.1253.7.4 安全管理體系建設.1333.8 主要軟硬件選型原則和詳細軟硬件配置清單.1363.8.1 主要軟硬件選型原則 .1363.8.2 詳細軟硬件配置清單 .137第四章 效益分析 . 1384.1 經濟效益 .1384.2 社會效益 .140第五章 項目風險與風險管理 . 1425.1 風險識別和分析.1425.1.1 組織風險 .1425.1.2 管理風險 .1425.1.3 業(yè)務風險 .1425.1.4 技術風險 .1425.2 風險對策和管理.1435.2.1 組織風險防范對策.1435.2.2 管理風險防范對策.1435.2.3 業(yè)務風險防范對策.1445.2.4 技術風險防范對策.144-III- *政務大數據交換共享平臺建設方案第一章 需求分析和項目建設的必要性1.1 項目建設目標、內容1.1.1 項目建設目標電子政務公共數據開放共享平臺項目建設目標是，依托統(tǒng)一的“云”數據中心建設統(tǒng)一的公共數據開放共享平臺。集中機關各部門業(yè)務應用進行，制定相關的數據規(guī)范和信息交換標準，使機關各部門業(yè)務系統(tǒng)依托統(tǒng)一的開放平臺進行開發(fā)建設。確保部門之間系統(tǒng)之間的互聯互通、數據共享，為大數據分析提供數據依據。1.1.2 項目建設內容電子政務公共數據開放共享平臺項目建設內容包含：一套標準規(guī)范、兩個數據門戶、四大應用平臺、四大基礎數據庫和一個應用支撐平臺。具體建設內容包括：1、一個應用支撐平臺為了對需要調用電子政務公共數據開放共享平臺信息資源的政府部門應用系統(tǒng)進行有效管理，面向各類電子政務應用，規(guī)劃建設統(tǒng)一的應用支撐平臺，統(tǒng)一標準規(guī)范，通過用戶管理、應用管理、服務管理等核心組件，可以對接入系統(tǒng)有效管理、實現統(tǒng)一認證及單點登錄、統(tǒng)一消息服務。-4- *政務大數據交換共享平臺建設方案2、兩個數據門戶針對政府部門用戶建設信息資源政務門戶，針對企業(yè)、公眾用戶建設信息資源開放門戶。3、四大應用系統(tǒng)建設承載電子政務公共數據匯聚平臺、數據治理平臺、數據運營平臺和數據應用平臺。4、四大基礎數據庫通過電子政務信息資源梳理，制定四大基礎數據庫的建庫、入庫和管理規(guī)則，建立四大基礎數據庫管理平臺，提供基礎庫內容管理、數據處理、共享和應用功能。四大基礎數據庫包括人口庫、法人庫、經濟庫和地理庫。5、一套標準規(guī)范形成標準規(guī)范體系，包括管理制度、標準規(guī)范、數據標準等。1.2 編制依據1、中辦、國辦2006-2020年國家信息化發(fā)展戰(zhàn)略；2、國辦關于促進電子政務協(xié)調發(fā)展的指導意見；3、國務院促進大數據發(fā)展行動綱要；4、國家電子政務總體框架；5、國家電子政務“十二五”規(guī)劃(工信部規(guī)2011567號)；6、關于印發(fā)“十二五”國家政務信息化工程建設規(guī)劃的通知(發(fā)改高技20121202號)；-5- *政務大數據交換共享平臺建設方案7、GB/T 21063-2007 政務信息資源目錄體系8、GB/T 21062-2007 政務信息資源交換體系9、國家電子政務工程建設項目管理暫行辦法10、政府信息公開條例1.3 社會問題和政務目標分析1.3.1 社會問題分析作為世界人口大國，理論上我國數據資源儲量極為豐富，但大部分政府數據（例如：交通、社保、稅收等），屬于結構化數據，距離海量(volume)、速度(velocity)和多樣性(variety)的 3V屬性還有一定距離，但從戰(zhàn)略角度而言差距并不大。從數據規(guī)模來說，政府擁有國內最為龐大的數據儲量。政府數據廣泛存儲于各地、各級政府機關院所等不同單位、不同部門、不同系統(tǒng)甚至不同網絡環(huán)境中，海量超脫于地理空間的政府數據亟待存儲與處理。從數據來源來說，由于各行業(yè)、各地采用的法律法規(guī)和標準并不統(tǒng)一。傳統(tǒng)的電子政務信息系統(tǒng)，僅為滿足特定功能而生，數據結構差異性大，大量數據存放于歷史遺留應用中，委辦局間碎片化、零散化、低效率的數據交互和分析普遍存在，導致政府數據來源極為復雜。從數據質量和價值來說，企業(yè)的數據種類單一化程度較高，而政府數據涉及工商、稅務、交通、醫(yī)療、教育等領域，數據種類繁-6- *政務大數據交換共享平臺建設方案多，事關百姓生活的方方面面，數據質量較高，數據的潛在價值十分可觀。如上所述，政府數據的特點可以概括為：數據規(guī)模大、數據來源和結構復雜、數據價值高但利用率低。政府收集了大量有價值的數據，通過這些數據，可以更好地了解國家資源使用情況，政府開支情況，土地交易和管理情況，這些將不僅強化政府責任，提升治理能力，還能提高資金支出效率，為人民提供更多更好的服務選擇。1、政府數據體量越來越大截至 2014 年，中國共有 664 個城市，2852 個行政縣，40446個行政鄉(xiāng)。當前，中國中央和省級政務部門主要業(yè)務電子政務覆蓋率已經達到 70%。據粗略估算，全國政府大數據加起來相當于數百個阿里巴巴的體量。而隨著硬件技術的進步，對于數據采集精度、采集頻率、數據存儲等能力在增強，使得數據規(guī)模仍有提升空間，近幾年數據中心的新建和擴容呈現井噴式的發(fā)展，這是以硬件基礎設施帶動的變革，促使軟件技術也得到了快速發(fā)展。隨著數據體量的增長，大數據處理、大數據應用分析的門檻將會逐漸提高。2、多部門協(xié)作成為常態(tài)化復雜的城市治理問題，對跨部門的協(xié)作提出了更高的要求，過去個別部門間存在的職責交叉分散、協(xié)調運行不暢等問題。隨著“大部制”完善，建立健全了部門間協(xié)同運行機制，逐步實現“多個部-7- *政務大數據交換共享平臺建設方案門、一個政府”目標。隨著部門與部門的邊界越來越模糊，政府數據跨部門共享共用已不再是亮點和創(chuàng)新，建立常態(tài)化共享機制成為政府大數據建設的入門。3、國家治理不能僅僅依靠政府由于時間和技術的局限性，以往國家治理基本是政府下達指令、向下逐層執(zhí)行的“開環(huán)過程”。如今隨著互聯網發(fā)展，人民對于政府的期望越來越高，國家不僅要在政策出臺前廣泛征求、準確把握民意；出臺后還需要獲得執(zhí)行反饋，并適時調整，政府治理變?yōu)橄逻_指令執(zhí)行反饋的“閉環(huán)過程”，需要借助社會各方面力量參與到國家治理過程之中。無論是社會自治還是合作共建，政府數據共享開放都是大前提。4、社會普遍開始重視數據安全和隱私數據如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱患，隨著全球各地用戶信息安全事件頻出，讓人們開始感受到“數據”與生活接觸如此緊密，數據泄露可以對個人的生活質量造成極大的威脅。數據安全和隱私保護不僅是公民個人的責任，對采集數據和共享數據的政府單位，也有義務保障數據的安全和隱私，此過程中，政策、技術、意識缺一不可。需嚴格依照相關規(guī)范文件，將安全運營意識滲透到政府數據開放中。1.3.2 政務目標分析1、實現政務公開，打造透明政府-8- *政務大數據交換共享平臺建設方案電子政務公共數據開放共享促進政府和公眾互動，讓政務透明，幫助政府進行社會管理和解決社會難題，大數據時代下，政府是整合開放的平臺，是一個大數據共享平臺， 它建立了公眾與政府間的溝通渠道，越來越多的國家和組織利用其開展民意調查，通過在線交互讓民眾成為政務流程的節(jié)點，透明政務，讓公眾參與到政策制定與執(zhí) 行、效果評估和監(jiān)督之中，使民眾參政議政成為可能。大數據推進政府信息資源進一步開放，政府信息開發(fā)利用效率倍增，促進經濟社會快速發(fā)展。2、實現數據融合，打造智慧政府電子政務公共數據開放共享真正跨越了政府內部協(xié)同的鴻溝，大大提高工作效率，降低政府運行成本。其一，政府內部協(xié)同除思想理念上的障礙外，技術上也存在一定障礙，隨著大數據技術發(fā)展，跨越系統(tǒng)、跨越平臺、跨越數據結構的政府將在技術上使政府內部縱向、橫向部門得以流暢協(xié)同。其二，由于利用大數據技術，數據獲取、處理及分析響應時間大幅減少，工作效率明顯提高，同時降低了政府開支。例如，政府利用大數據對社會人群進行細分，對不同人群進行針對性服務和政策施行。3、實現科學決策，打造責任政府電子政務公共數據開放共享提高政府決策的科學性和精準性，提高政府預測預警能力以及應急響應能力，越來越多的政府擯棄經驗和直覺，依賴電子政務的數據和分析進行決策?，F在大數據又超越了傳統(tǒng)的數據分析方法，不但是對大數據分析挖掘，對言論、圖-9- *政務大數據交換共享平臺建設方案表等都可以進行深度挖掘、人工智能。大數據的深入及廣泛應用會給政府帶來科學和精準的決策支持。4、為*電子政務提供一個安全可靠的信息資源存儲中心對各部門的共享交換的數據資源進行統(tǒng)一的規(guī)劃管理和應用，建設集約化的數據資源存儲中心，從而避免了各部門重復建設工作；同時提高數據安全方面的建設，從硬件設備、網絡、信息資源、應用系統(tǒng)、管理平臺、數據庫等方面的全面保證數據的安全性，并根據用戶的不同訪問需求、防止惡意入侵、病毒防護、分區(qū)域的安全設計，并在應用服務上提供安全檢測服務。5、為*電子政務提供一個高效的應用服務平臺*電子政務公共數據開放共享平臺的建設，為政府應用系統(tǒng)和信息資源的高效管理和服務提供手段，通過對相關的基礎信息、業(yè)務信息、服務信息進行管理，實現*電子政務公共數據開放共享平臺的信息管理和服務功能。城市級交換共享平臺則對各部門的信息資源提供交換共享支撐，以提高信息資源的綜合利用水平。通過整合各部門數據信息，建設基礎信息庫，并提供對外服務，實現*電子政務公共數據開放共享平臺的服務功能。6、為*電子政務提供一個長效和可維護的信息服務體系*電子政務公共數據開放共享平臺的建設要對*電子政務體系提供長久的服務，因此在管理和運維上必需配備相應的支撐。這一方面取決于管理制度的完善、管理手段的完備和對管理本身的技術支撐，另一方面，也取決于人員的配備和運維體系的建立。-10- *政務大數據交換共享平臺建設方案1.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析1.4.1 用戶角色分析*電子政務公共數據開放共享平臺的用戶分為：領導、各部門、企業(yè)單位及社會公眾。1.4.1.1 政府領導*電子政務公共數據開放共享平臺有價值的數據、行政地圖、決策方法和應急進行融合，采用大數據分析技術，有利于各級領導、管理決策人員方便、直觀、形象地進行各種分析，從而使統(tǒng)計決策的科學化、人性化、智能化管理走上一個新臺階。1.4.1.2 政府部門可以向*電子政務公共數據開放共享平臺提供數據或使用平臺提供的數據；業(yè)務部門之間可以通過系統(tǒng)平臺交換共享數據；遵循標準規(guī)范進行業(yè)務系統(tǒng)的建造和改進，可實現業(yè)務系統(tǒng)和數據開放共享平臺的對接。1.4.1.3 社會公眾可以依托*電子政務公共數據開放共享平臺提供的應用服務對公眾需求做出快速反應，公眾可以更直接廣泛的獲得政府提供的服務，如證照協(xié)同、社保電子傳遞等。1.4.1.4 企業(yè)單位通過*電子政務公共數據開放共享平臺提供的應用服務可以方-11- *政務大數據交換共享平臺建設方案便企業(yè)進行業(yè)務級信息查詢，并可通過業(yè)務協(xié)同對企業(yè)提供事項審批、信息推送服務。1.4.2 業(yè)務功能分析1.4.2.1 數據共享在政府部門內部強調的是共享共用。先把政府部門內部及部門之間數據共享的工作做起來。各級政府都以數據應用為導向，需要什么數據就共享什么數據。部門間的信息共享，綜合考慮管理難度和技術難度建議分為三個階段：“條線內部門共享”、“平級跨部門共享”、“跨層級和跨區(qū)域的共享”，通過統(tǒng)一規(guī)劃，逐步推進的策略，打造部門間信息資源共享共用的新格局。1.4.2.2 數據開放對社會的數據開放，先從方便百姓生活又不是很敏感的數據開始。特別是涉及公共安全、公共利益的數據，提供公共服務的機構或企業(yè)有義務在一定前提條件下開放，這樣一些可以預警、預防的群體性事件就能夠避免。按照社會關注程度、數據量大小和具體實施難度，數據開放建議分為三個階段：“業(yè)務統(tǒng)計數據”、“少量高頻數據”、“重點業(yè)務數據”。通過以安全為前提，重點關注優(yōu)先試點，逐步擴大范圍為原則，穩(wěn)步推行數據服務開放。-12- *政務大數據交換共享平臺建設方案1.4.2.3 數據融合政務大數據歸根結底，還是要面向行業(yè)應用的，需要基于不同的業(yè)務部門開展，并和現有平臺建立聯系。融合應用可以分為“數據融合”、“業(yè)務融合”、“產業(yè)融合”三個層次：其中，數據融合是把本單位數據、從其他單位共享的數據，以及互聯網等社會相關的數據，相互融合，相互比對，建立融合數據資源中心，統(tǒng)一數據標準和口徑。業(yè)務融合主要圍繞各行業(yè)的特定業(yè)務場景，比如交通出行、醫(yī)療保障、民生服務等領域，建設智慧應用，形成行業(yè)業(yè)務的決策分析體系，支撐城市運行和城市治理的方方面面。產業(yè)融合，隨著一大批大數據處理、大數據分析、大數據運營企業(yè)的興起，政府數據將不單單是自建自用，通過建設數據運營平臺，數據交易平臺等形式，引入社會資本共同參與城市建設和社會治理，實現向集約型、服務型、智慧型政府的轉變。-13- *政務大數據交換共享平臺建設方案1.4.3 業(yè)務流程開 始從 緩 沖 區(qū) 增 量 數 據 表 中 獲 取 人 口 增量 數 據根 據 證 件 類 型 判 斷 證 件 號 是否 符 合 規(guī) 范否通 過 證 件 號 判 斷 該 人 是 否 存在 于 人 口 主 表 中將 該 條 增 量 數 據 插 入 異 常 表 中否是將 人 口 庫 【 人 口 增 量 數 據 表 】中 該 人 口 記 錄 刪 除通 過 【 部 門 業(yè) 務 系 統(tǒng) 提 供 字 段 配 置表 】 得 到 該 業(yè) 務 系 統(tǒng) 需 采 集 的 字 段且 循 環(huán) 這 些 字 段判 斷 人 口 庫 該 字 段 值 的 來 源是 否 是 該 業(yè) 務 系 統(tǒng)將 該 人 口 記 錄 插 入 到 【 人 口 基礎 信 息 表 】 及 【 專 題 表 】是是否根 據 證 件 號 碼 和 類 型 更 新【 人 口 基 礎 信 息 表 】 及 【 專題 表 】 的 字 段否判 斷 新 采 集 的 字 段 值 是 否 為空否將 該 人 口 記 錄 字 段 來 源 插 入 到【 字 段 來 源 表 】判 斷 人 口 庫 庫 該 字 段 值 是 否為 空否否判 斷 該 業(yè) 務 系 統(tǒng) 的 數 據是是 否 是 業(yè) 務 上 的 新 增 ?否是根 據 證 件 號 碼 和 類 型 更 新 【 人 口 基礎 信 息 表 】 及 【 專 題 表 】 的 字 段 值是判 斷 該 業(yè) 務 系 統(tǒng) 是 否 為該 字 段 的 權 威 來 源更 新 【 字 段 來 源 表 】 中 該 字 段的 來 源循 環(huán) 人 口 庫 需 采 集 該 業(yè) 務 系統(tǒng) 的 字 段 是 否 結 束將 人 口 庫 【 人 口 增 量 數 據 表 】 中 該人 口 記 錄 刪 除結 束1.4.4 業(yè)務量分析業(yè)務量分析可以從平臺交互量、每天總用戶數（個）、每天每個用戶平均執(zhí)行操作數、高峰時段交互量占全天交互量的百分比、高峰時段持續(xù)時間（小時）、高峰時段在線用戶數（個）等方面指標進行綜合估算。*互聯網大數據分析平臺的業(yè)務量估算如下表所示：表 3-1 業(yè)務量估算序號數據名稱平臺交互量數據量200（日均）100123每天總用戶數（個）每天每個用戶平均執(zhí)行操作數高峰時段交互量占全天交互量的百分比1000460%-14- *政務大數據交換共享平臺建設方案序號數據名稱數據量4（9：00-11：00，15：00-17：00）60（日均）56高峰時段持續(xù)時間（小時）高峰時段在線用戶數（個）1.5 信息量分析和預測1.5.1 存儲量分析本項目中存儲的數據主要包括兩大部分：系統(tǒng)網站群的在線行為數據和國內外互聯網重點渠道、信息源以及政府網站群的在線內容數據。在線用戶行為數據以符合 W3C格式標準的日志形式進行存儲。網站內容更新數據直接存到關系型數據庫或其他非關系型數據庫中。1、在線行為數據存儲量網站群的在線行為數據存儲主要分為三部分：（1）接收數據，是系統(tǒng)儲存的原始數據。（2）結構化數據，將原始數據進行數據清洗和去重后進行結構化后存儲。（3）分析數據庫，將結構化的數據進行分析預計算后存儲。按照本項目需要涵蓋*系統(tǒng)網站群的 500個網站，每個網站的日平均訪問按照 10000個 PV計算，預計每日需要處理的總的 PV數為 500萬。n 接收數據的測算依據及結論其中接收數據庫的主要條目占用空間，如下表所示：單個 PV所要儲存的信息空間大?。ㄗ止?jié)）訪問路徑信息1600-15- *政務大數據交換共享平臺建設方案來源路徑信息1120其他信息（會話標識、Cookie標識、時間信息等）256匯總2976單個 Session所要儲存的信息(1個 Session大約產生 4PV）訪問路徑信息5121120128來源路徑信息客戶端信息（IP、瀏覽器等）其他信息（會話標識、Cookie標識、時間信息等）256匯總2016單個 Cookie所要儲存的信息(1個 Cookie大約產生1.25Session)訪問路徑信息512256768其他信息（Cookie標識、時間信息等）匯總例如：按照其他同類項目的數據估算，PV和 Session數量比為 4：1，Session和 Cookie的數量比為 1.25：1。則 500萬的 PV會產生 125萬 的 Session 以 及 產 生 100 萬 的 Cookie， 總 占 據 空 間 為5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他表占用的空間之后，約為 20G。原始日志存儲到 SQL Server中會采用壓縮技術，大小將降為 5G。結論：對于接收數據庫，采用了壓縮和優(yōu)化技術后，每 500 萬PV 至少需要 25G 的儲存空間。n 結構化數據的測算依據及結論*系統(tǒng)政府網站群監(jiān)測分析調度系統(tǒng)的結構化數據庫和原始數據庫存儲的數據一致，但是經過對原始數據庫的數據去冗余以及結構化，用外鍵壓縮了原來直接存儲在各表里的信息，大小會變?yōu)樵紨祿囊话?，也就?2.5G。-16- *政務大數據交換共享平臺建設方案結論：對于結構化數據庫，采用了壓縮和優(yōu)化技術后，每 500萬 PV至少需要 2.5GB的儲存空間。n 分析數據的測算依據及結論*系統(tǒng)政府網站群監(jiān)測分析調度系統(tǒng)的分析數據庫內容基本是結構化數據庫的拷貝，大小與結構化數據庫基本一致，也為 2.5G。結論：對于“決策支持系統(tǒng)”的分析數據庫，采用了壓縮和優(yōu)化技術后，每 500萬 PV至少需要 2.5GB的儲存空間。綜上所述，在不做任何備份的情況下，每 500萬的 PV，需要文件存儲空間為：25GB + 2.5GB + 2.5GB=30G。到 2015年底的存儲量為 10.5T，到 2019年底的存儲量為 52.5T，具體測算如下表所示：接收日志明細匯總數據合計875G單月數據量(G)保留周期(月)25*30=750 2.5*30=62.5 2.5*30=62.560606060一年內需要存儲五年內需要存儲90004500075075010.5T52.5T375037502、在線內容數據存儲量n 國內外互聯網重點渠道和信息源按照本項目需要面向國內外互聯網重點渠道和信息源進行在線內容采集爬取，按照覆蓋包括主流媒體在內的 200個信息源，每個信息源爬取 3級計算，平均每天可以爬取更新的總的頁面數約為 30萬 個 ， 每 個 頁 面 按 照 100KB 計 算 ， 共 需 要 占 用 的 空 間 為30W*1000KB=30G。-17- *政務大數據交換共享平臺建設方案到 2015年底的存儲量為 10.8T，到 2019年底的存儲量為 54T，具體測算如下表所示：國內外互聯網重點渠道和信息源單月數據量(G)一年內需要存儲五年內需要存儲30萬*30=900G10.8T54Tn *級以上政府網站群*級以上政府網站群網站內容更新數據主要包括以下三部分：網站更新頁面、網站更新的入口，網站更新的白名單。按照本項目需要涵蓋*系統(tǒng)網站群及*各級政府網站群的6500個網站，平均每個網站每天更新 10個頁面，就是 6.5萬個。如果每天爬取 10次，就是 106500=6.5 萬個入口，每個網站算 10個白名單，那就是 10650010=65 萬個白名單。總共是 6.5萬+6.5萬+65萬=78萬，共需要占用的空間為 78萬頁*100KB/頁=78G。到 2015 年底的存儲量為 28.08T，到 2019 年底的存儲量為140.4T，具體測算如下表所示：更新頁面數據6.5*30=1952.34T網站入口數據 白名單數據合計單月數據量(G)一年內需要存儲五年內需要存儲6.5*30=195 65*30=1950 2340G2.34T11.7T23.4T117T28.08T140.4T11.7T綜上所述，系統(tǒng)的數據存儲總量如下表所示：表 3-2 數據量估算表序號數據名稱初始量10.5T5年內的增量12在線行為數據52.5T54T互聯網重點渠道和信息源*團以上政府網站群10.8T328.08T49.38T140.4T246.9T合計-18- *政務大數據交換共享平臺建設方案1.5.2 處理量分析（1）網站群用戶訪問行為數據處理量分析以每天 725萬個客戶端訪問（包括 500萬 PV、100萬 Session、125萬 Cookie）并發(fā)計算，結合在線行為數據的接收主要集中在工作時間，7250000/8小時/60分鐘/60秒=251個/秒，日志接收服務器接受每秒鐘接收日志請求 251個，遠遠低于系統(tǒng)的每秒接收到的正常數（該值通常為 7000-9000）。根據日志接收每秒鐘的并發(fā)量為 251，因此系統(tǒng)的數據接收只需要再用兩臺服務器做負載均衡即可。但是為了防止數據接收網站的域名出現單點故障，因此系統(tǒng)的數據接收采用雙域名備份，即每個域名對應兩臺數據接收服務器，一共四臺。根據系統(tǒng)需要滿足*政府網站智能分析系統(tǒng)診斷的需要，目前系統(tǒng)的單臺服務器的數據處理能力為 400家左右，因此需要 4臺數據庫服務器，另外需要兩臺相同配置的數據庫服務器作為備份。（2）其他在線內容數據處理量分析一是系統(tǒng)需要支持對不少于 108萬個數據采集點每天至少一次輪詢抓取，同時對抓取回的數據進行數據預處理和清洗入庫工作，二是需要實現對存量數據和增量數據的指標自動抽取和更新工作，三是需要支持前臺交互系統(tǒng)的交互分析挖掘需求。結合以上幾部分需求，預計所需的內容數據處理服務器約 50臺。其中較高性能處理服務器（單機 20 核服務器 CPU:2660*2MEM:144G DISK:SSD 480G*2+SAS 4T*6，萬兆網卡，遠程管理，雙電-19- *政務大數據交換共享平臺建設方案源）10 臺，中等性能處理服務器（單機 12 核服務器,CPU:2620*2MEM:32G DISK:4T*10，萬兆網卡，遠程管理，雙電源）10臺。較低性能服務器（單機 12 核服務器,CPU:2620*2 MEM:72G DISK:SSD480G*2+SAS 600G*4，萬兆網卡，遠程管理，雙電源）30臺。1.5.3 網絡流量分析按每天處理 725萬在線行為數據，每條數據為 10KB大小，108萬條在線內容數據，每條 100KB計算，需要的平均帶寬為 17Mbps，高峰時期按 3倍帶寬需