版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
智慧城市公共數(shù)據(jù)共享交換平臺建設方案2018年3月目錄TOC\o"1-5"\h\z\o"CurrentDocument"項目概述 5\o"CurrentDocument"平臺建設目標 5.\o"CurrentDocument"總體需求分析 6.\o"CurrentDocument"平臺需求分析 9.\o"CurrentDocument"平臺建設思路 9\o"CurrentDocument"一套架構平臺 9.\o"CurrentDocument"兩類構建框架 10\o"CurrentDocument"頁面構建框架 10\o"CurrentDocument"安全構建框架 10\o"CurrentDocument"三種工具組件 10\o"CurrentDocument"日志組件 10\o"CurrentDocument"消息組件 11\o"CurrentDocument"單點登陸組件 11\o"CurrentDocument"四項基礎服務 11\o"CurrentDocument"文件分布式存儲服務 11\o"CurrentDocument"文檔在線閱讀服務 11\o"CurrentDocument"流媒體服務 12\o"CurrentDocument"任務調(diào)度服務 12\o"CurrentDocument"五個運行引擎 12\o"CurrentDocument"工作流引擎 12\o"CurrentDocument"數(shù)據(jù)接口引擎 12\o"CurrentDocument"報表引擎 13\o"CurrentDocument"全文檢索引擎 13\o"CurrentDocument"權限分級引擎 14\o"CurrentDocument"平臺總體設計 14\o"CurrentDocument"平臺建設原則 14\o"CurrentDocument"平臺架構設計 15\o"CurrentDocument"平臺功能設計 17\o"CurrentDocument"數(shù)據(jù)采集 19\o"CurrentDocument"數(shù)據(jù)清洗加載 20\o"CurrentDocument"數(shù)據(jù)共享交換 21\o"CurrentDocument"資源目錄管理 23\o"CurrentDocument"元數(shù)據(jù)管理 24\o"CurrentDocument"數(shù)據(jù)資源管理 25\o"CurrentDocument"目錄管理與服務 25\o"CurrentDocument"資源統(tǒng)一調(diào)度 27\o"CurrentDocument"數(shù)據(jù)質(zhì)量管理 28\o"CurrentDocument"運行監(jiān)控管理 29\o"CurrentDocument"接口開發(fā)與服務 29\o"CurrentDocument"服務總線 30\o"CurrentDocument"云應用引擎 30\o"CurrentDocument"平臺詳細建設方案 31\o"CurrentDocument"數(shù)據(jù)采集 31\o"CurrentDocument"元數(shù)據(jù)管理 33\o"CurrentDocument"采集字段管理 33采集目錄資源庫管理 34\o"CurrentDocument"數(shù)據(jù)源管理 34\o"CurrentDocument"數(shù)據(jù)采集管理 34采集策略管理 35\o"CurrentDocument"采集任務管理 36\o"CurrentDocument"調(diào)度與監(jiān)控 37\o"CurrentDocument"離線數(shù)據(jù)采集 38\o"CurrentDocument"日志管理 38\o"CurrentDocument"數(shù)據(jù)清洗加載 39\o"CurrentDocument"數(shù)據(jù)清洗 39數(shù)據(jù)轉換規(guī)則配置 39\o"CurrentDocument"數(shù)據(jù)轉換 40\o"CurrentDocument"數(shù)據(jù)去贓 40數(shù)據(jù)批量清洗 41\o"CurrentDocument"數(shù)據(jù)加載 41\o"CurrentDocument"日志管理 41\o"CurrentDocument"數(shù)據(jù)共享交換 41交換橋接 45\o"CurrentDocument"前置交換 46\o"CurrentDocument"交換傳輸 48\o"CurrentDocument"交換管理 48\o"CurrentDocument"資源目錄管理 49\o"CurrentDocument"專項資源目錄庫 49\o"CurrentDocument"共享資源目錄庫 49\o"CurrentDocument"資源目錄管理 50\o"CurrentDocument"目錄生產(chǎn) 50\o"CurrentDocument"目錄管理 50\o"CurrentDocument"目錄查詢 52編目管理 53\o"CurrentDocument"元數(shù)據(jù)管理 54\o"CurrentDocument"元數(shù)據(jù)定義 56\o"CurrentDocument"元數(shù)據(jù)存儲 56\o"CurrentDocument"元數(shù)據(jù)查詢 57\o"CurrentDocument"元數(shù)據(jù)維護 57\o"CurrentDocument"元數(shù)據(jù)檢查 57\o"CurrentDocument"元數(shù)據(jù)分析 58\o"CurrentDocument"數(shù)據(jù)資源管理 58\o"CurrentDocument"模型管理 59\o"CurrentDocument"數(shù)據(jù)查詢 59\o"CurrentDocument"同步和遷移 59\o"CurrentDocument"導入導出 59\o"CurrentDocument"計劃任務 60\o"CurrentDocument"目錄管理與服務 60\o"CurrentDocument"資源目錄服務 60\o"CurrentDocument"目錄共享統(tǒng)計分析 61\o"CurrentDocument"數(shù)據(jù)訂閱 61\o"CurrentDocument"資源統(tǒng)一調(diào)度 62\o"CurrentDocument"任務調(diào)度配置 62\o"CurrentDocument"智能調(diào)度運行 62\o"CurrentDocument"資源控制 63\o"CurrentDocument"優(yōu)先級管理評估 63\o"CurrentDocument"調(diào)度策略管理 63\o"CurrentDocument"調(diào)度全面監(jiān)控 64\o"CurrentDocument"作業(yè)告警與錯誤反饋 64\o"CurrentDocument"調(diào)度變更 64\o"CurrentDocument"數(shù)據(jù)質(zhì)量管理 65數(shù)據(jù)質(zhì)量控制 65數(shù)據(jù)質(zhì)量評估 66自動化評估 66\o"CurrentDocument"評估報告 66\o"CurrentDocument"數(shù)據(jù)稽核管理 66\o"CurrentDocument"運行監(jiān)控管理 67運行監(jiān)控 67\o"CurrentDocument"數(shù)據(jù)采集過程監(jiān)控 68\o"CurrentDocument"監(jiān)控告警 68\o"CurrentDocument"日志管理 69\o"CurrentDocument"接口開發(fā)與服務 69服務總線ESB 69\o"CurrentDocument"權限校驗 70\o"CurrentDocument"服務治理 71\o"CurrentDocument"協(xié)議轉換 71\o"CurrentDocument"消息格式轉換 72\o"CurrentDocument"服務路由 74\o"CurrentDocument"監(jiān)控和運維 75\o"CurrentDocument"服務等級 76\o"CurrentDocument"日志管理 76\o"CurrentDocument"異常處理 76\o"CurrentDocument"云應用引擎 771.項目概述平臺建設目標智慧城市是城市信息化發(fā)展的階段演進,是相對數(shù)字城市、互聯(lián)城市而言,城市信息化發(fā)展的高級階段?!皵?shù)字城市”以計算機、辦公軟件、虛擬現(xiàn)實技術等為主要特征,實現(xiàn)從紙面化的到數(shù)字化,將現(xiàn)實物理世界轉化為用電腦數(shù)據(jù)代表的虛擬狀態(tài);“互聯(lián)城市”以互聯(lián)網(wǎng)、軟件技術、城域網(wǎng)快速發(fā)展為主要特征,實現(xiàn)從數(shù)字化到網(wǎng)絡化,通過對分散的、局部的虛擬信息處理,對物理世界做出反應;而進入“智慧城市”階段,強調(diào)從網(wǎng)絡化到云中樞化,通過充分運用信息通信技術手段,更好的感測、分析、整合城市核心系統(tǒng)的各項關鍵信息,從而對包括民生、環(huán)保、公共安全、城市服務、工商業(yè)活動在內(nèi)的各種需求做出智能的響應,為人類創(chuàng)造更美好的城市生活。隨著新型城鎮(zhèn)化建設逐步發(fā)展成為中國最大的內(nèi)需潛力和實現(xiàn)現(xiàn)代化的重要任務,起來越多的城市開始開展智慧城市的規(guī)劃、設計與建設工作,希望能夠有效應對新型城鎮(zhèn)化進程中的各類挑戰(zhàn),實現(xiàn)城市的和諧宜居、產(chǎn)為轉型和高效運營的可持續(xù)發(fā)展。通過智慧城市項目的建設,實現(xiàn)城市內(nèi)的智慧應用數(shù)據(jù)互融互通,如智慧交通、教育醫(yī)療、智慧管網(wǎng)、智慧環(huán)衛(wèi)、智慧綜治、智慧城管、智慧教育、智慧審批、智慧農(nóng)業(yè)等數(shù)據(jù)信息通過公共信息平臺打破信息孤島。實現(xiàn)數(shù)據(jù)信息應用價值的同時,并形成良好的服務運營模式。市場的生活品質(zhì)得到明顯提升,城市建設和管理的科學化水平明顯提高。以信息、知識和腦力資源為支撐,通過透明、充分的信息獲取,廣泛、安全的信息傳遞,有效、科學的信息處理,均衡而有效地提高城市運行和管理效率,改善城市公共服務水平,從而跨越式地提高城市發(fā)展的創(chuàng)新性、有序性和持續(xù)性,形成低碳城市生態(tài)圈,構建城市發(fā)展的新形態(tài),使整個城市像一個有智慧的人那樣,具有較為完善的感知、認知、學習、成長、創(chuàng)新、決策、調(diào)控能力和行為意識,使絕大多數(shù)市民都能享受到智慧城市的服務和應用??傮w需求分析智慧城市(SmartCity),是新一輪信息技術變革的產(chǎn)物,是信息資源日益成為重要生產(chǎn)要素和信息化向更高階段發(fā)展的表現(xiàn)。它以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、無線寬帶、云計算、大數(shù)據(jù)等新技術為基礎,更加廣泛深入地推進基礎型與應用型信息系統(tǒng)開發(fā)建設和各類信息資源的開發(fā)利用,形成技術集成、高端發(fā)展、綜合應用的現(xiàn)代化、信息化、智能化城市。為城市規(guī)劃、建設、調(diào)控、預測提供了革命性的手段,具有廣闊的發(fā)展前景。自2008年IBM首次提出“智慧地球"(SmartEarth)這一概念以來,國外許多城市都在進行智慧城市建設的籌劃與嘗試,有相當一部分城市已經(jīng)開始實施示范性工程。中國已有北京、上海、無錫、寧波、廣州、沈陽、南京、西安、重慶等近百個地區(qū)提出要建設智慧城市。“智慧城市建設”也已被列為中國“十三五”社會發(fā)展戰(zhàn)略的重點之一。當前,信息技術發(fā)展突飛猛進,信息技術創(chuàng)新層出不窮,以“大數(shù)據(jù)”為主導的信息化浪潮正席卷全球,成為全球范圍內(nèi)加速企業(yè)技術創(chuàng)新、推動政府職能轉變、引領社會管理變革的利器。大數(shù)據(jù)既是一種海量的數(shù)據(jù)狀態(tài)及其相應的數(shù)據(jù)處理技術,也是一種新的思維方式,是一系列新理念、新方法、新要素的集中體現(xiàn)。它不僅是信息化的一種手段、一項設施,而是已經(jīng)成為信息化社會發(fā)展演進的重要目標之一,以及實現(xiàn)發(fā)展目標的重要路徑。在大數(shù)據(jù)時代,數(shù)據(jù)就是財富,就是資源,就是競爭力。近年來,多市縣被列為國家新型城鎮(zhèn)化綜合試點地區(qū)。各市緊緊圍繞“精致、獨特、典雅、生態(tài)”目標,秉承“以人為本、以史為脈、以和為魂、以綠為韻”理念,高位規(guī)劃,統(tǒng)籌建設,精細管理,全力推進新型城鎮(zhèn)化建設,城鄉(xiāng)建設品位明顯提升。目前,被列為智慧城市建設試點的地區(qū),將按照《國家新型城鎮(zhèn)化綜合試點總體實施方案》中明確的各項試點任務總體要求,堅持突出地方特色,推動建設功能好、交通暢、環(huán)境優(yōu)、形象美的新型、美麗城鎮(zhèn),努力打造成全國新型城鎮(zhèn)化和城鄉(xiāng)統(tǒng)籌發(fā)展示范區(qū)。而智慧城市的建設和實施,是打造國家新型城鎮(zhèn)化的重要途徑。近兩年,被列為試點政府工作中明確提出,深化智慧城市建設,將各委辦局數(shù)據(jù)實現(xiàn)共享,將是智慧城市建設的第一步,也是最為重要的一步。將公安的人口數(shù)據(jù)、醫(yī)院的衛(wèi)生健康數(shù)據(jù)、綜合治安的治安數(shù)據(jù)等進行抽取共享形成公共交換數(shù)據(jù)中心,為各委辦局提供基礎數(shù)據(jù)的支撐。構建精確、高效、全時段、全方位的城市治理模式。在智慧建設建設過程中,將整合匯集各部門的信息資源,采用云計算、大數(shù)據(jù)等技術建成公共數(shù)據(jù)共享交換平臺及各委辦局業(yè)務應用平臺,以實現(xiàn)強政、利企、惠民的建設目標。按照總體建設要求,把握全域城市化、新型工業(yè)化和高新技術產(chǎn)業(yè)化的內(nèi)在需求,全面促進城市運行管理創(chuàng)新機制的形成、構建功能完善的信息通信基礎設施和城市信息資源高效融合的公共信息服務支撐平臺,催生一批成熟助力經(jīng)濟產(chǎn)業(yè)發(fā)展、城市管理、政務建設和民生保障服務的重點應用,培育一批具有競爭力的智慧產(chǎn)業(yè)集群。建成信息通信技術基礎設施環(huán)境區(qū)域領先、城市管理運營與民生服務質(zhì)量明顯提高、產(chǎn)業(yè)結構與創(chuàng)新能力優(yōu)化發(fā)展的智慧型現(xiàn)代化城市,實現(xiàn)以生態(tài)、高端、活力、宜居為重要特征的現(xiàn)代城市。融合科學發(fā)展理念,創(chuàng)建生態(tài)城市通過“智慧城市”的建設,從創(chuàng)新城市發(fā)展理念、創(chuàng)新城市發(fā)展形態(tài)、創(chuàng)新城市組合功能、創(chuàng)新城市產(chǎn)業(yè)形態(tài)、創(chuàng)新城市要素集成方式、創(chuàng)新城市管理模式等方面創(chuàng)新城市發(fā)展方式。著眼城市功能,進一步提高生態(tài)建設標準,打造生態(tài)文明示范區(qū),完善高端商務、休閑、居住及公共服務等功能,豐富城市文化內(nèi)涵。促進經(jīng)濟發(fā)展,實現(xiàn)活力城市通過“智慧城市”的建設,著眼產(chǎn)業(yè)功能,著力破解制約服務業(yè)發(fā)展的關鍵環(huán)節(jié)和體制機制性障礙,探索以現(xiàn)代服務業(yè)引領區(qū)域經(jīng)濟發(fā)展的新模式,穩(wěn)步發(fā)展現(xiàn)代服務業(yè)重點領域,把城市打造成為全國深化服務業(yè)綜合改革的先行區(qū)和樣板區(qū)。提升民生服務水平,構建宜居城市通過“智慧城市”的建設,提高公共服務、公共治安、城市管理等諸多方面,為政府管理和決策提供支撐。完善管理和服務體制、優(yōu)化資源配置、加強部門間協(xié)作,提高政府的管理效率。充分利用現(xiàn)代信息技術,促進政府工作透明度、豐富公共服務手段、優(yōu)化公共服務內(nèi)容、提高公共服務質(zhì)量,滿足群眾在生活、工作等方面的需求,真正做到“權為民所用、利為民所謀”。1.3.平臺需求分析建設公共數(shù)據(jù)共享交換平臺,采用虛擬化等新技術,通過整合、擴展、完善,建設公共數(shù)據(jù)共享交換平臺,廣泛推行基礎設施共享服務、平臺共享服務、應用共享服務,實現(xiàn)技術資源整合共享。公共數(shù)據(jù)共享交換平臺目標是實現(xiàn)全縣的共性問題的統(tǒng)一處理,解決某一個應用單位或機構難以獨立完成的公共能力,為政府、企業(yè)和公眾的各類應用及其協(xié)同提供平臺支撐。公共數(shù)據(jù)共享交換平臺是智慧城市系統(tǒng)的基礎設施,是系統(tǒng)流轉的核心。公共數(shù)據(jù)共享交換平臺是城市公共數(shù)據(jù)進出的通道,實現(xiàn)城市公共數(shù)據(jù)的交換、清洗、整合和加工;實現(xiàn)城市公共數(shù)據(jù)的組織、編目、管理以及城市公共數(shù)據(jù)應用績效評估;實現(xiàn)城市公共數(shù)據(jù)的共享服務,為城市政府專網(wǎng)和公共網(wǎng)絡上的各類智慧應用提供基于城市公共數(shù)據(jù)庫的服務、時空信息承載服務、基于數(shù)據(jù)挖掘的決策知識服務等。.平臺建設思路智慧城市的邏輯層次要通過提供基礎服務與工具組件,為業(yè)務管理系統(tǒng)提供統(tǒng)一的基礎功能支持,各服務之間通過平臺服務總線進行交互通信。一套架構平臺基于SOA架構應用開發(fā)平臺,為各種復雜應用系統(tǒng)提供標準、安全、集成、高效的開發(fā)平臺。兩類構建框架頁面構建框架符合W3C標準是Web頁面設計的發(fā)展趨勢,更代表了高端網(wǎng)頁構建技術。平臺基于B/S架構設計的,瀏覽器的種類繁多,如IE、Firefox、Safari、Opera、Chrome等,因此終端用戶的使用體驗很大程度上取決其所使用的瀏覽器。如果單純針對某一種瀏覽器,如IE,進行Web頁面設計和優(yōu)化,那么當用戶使用其他瀏覽器時,可能會出現(xiàn)顯示效果不佳甚至某些組件功能不可用的情況,這與平臺的靈活適應特性背道而馳。安全構建框架作為業(yè)務基礎平臺,平臺需要可靠支撐企業(yè)的業(yè)務運行環(huán)境,保證企業(yè)的商業(yè)機密資源等信息的安全。因此平臺需要構建安全保密的網(wǎng)絡運行環(huán)境,提供準確可靠的身份鑒別機制,具備粒度適中授權訪問控制機制和完善的日志管理和審計功能。三種工具組件日志組件日志組件是平臺提供的日志管理服務組件,作為一個獨立的服務組件,它能夠完成模塊注冊、日志表管理、日志字段維護、日志的查詢和審計等功能。消息組件消息組件是平臺之間各個模塊進行互相通信的一種外部體驗。同樣作為一個獨立的服務組件,模塊之間可以設置消息通信,通過頁面消息給予用戶明確的提示信息,以便用戶即時處理待辦信息。單點登陸組件單點登陸組件完成各個子系統(tǒng)之間的單點登陸,用戶無需在各個系統(tǒng)中重復登陸。四項基礎服務文件分布式存儲服務平臺支持件存儲時采用分布式存儲的方式,將文件存儲在不同的文件服務器上,再通過分布式管理服務進行文件調(diào)用和查閱。這樣既處理了海量數(shù)據(jù)的存儲問題,同時在數(shù)據(jù)查閱和處理時又提升了計算速度,提高了系統(tǒng)數(shù)據(jù)訪問性能。文檔在線閱讀服務文檔在線閱讀服務打破了以往在線閱讀需要安裝插件的技術限制,用戶只需要安裝好在線閱讀服務,無論進行哪種格式的文檔的查看都不需要在安裝任何第三方插件,使用簡單、操作方便。流媒體服務流媒體服務也和以往不同,主要采用MP4技術,這一特點使得在手機、平板電腦等移動終端上也一樣能夠很好地兼容使用。任務調(diào)度服務任務調(diào)度服務的運行能夠實時的監(jiān)控正在運行的各項任務,包括后臺運行的程序、正在進行中的工作流等等,系統(tǒng)管理員可以通過任務調(diào)度服務將這些正在運行中的任務取消或暫停,并進行更加合理的資源調(diào)配。五個運行引擎工作流引擎工作流是工作流程的計算模型,其將工作流程中的工作以一定的邏輯和規(guī)則組織起來,并使用恰當?shù)挠嬎隳P瓦M行表示以實施計算。在計算機中,工作流系統(tǒng)解決的主要問題是:為實現(xiàn)某個業(yè)務目標,在多個參與者之間,按照預定規(guī)則自動傳遞文檔、信息或者任務。通過使用工作流引擎的這些支撐工具,一方面降低了平臺業(yè)務流程的開發(fā)和維護成本,另一方面加快了平臺的業(yè)務流程開發(fā)速度。數(shù)據(jù)接口引擎智慧城市的業(yè)務平臺一定會需要和各種各樣現(xiàn)有的信息系統(tǒng)進行數(shù)據(jù)交換,平臺設計研發(fā)數(shù)據(jù)接口引擎,用以處理各種復雜的數(shù)據(jù)交互。數(shù)據(jù)引擎主要提供三種類型的數(shù)據(jù)接口,分別是:基礎數(shù)據(jù)整合接口、業(yè)務數(shù)據(jù)交互接口和外部平臺接口。報表引擎平臺作為業(yè)務基礎平臺,需要能夠支撐運行多種業(yè)務流程,為方便用戶查詢和統(tǒng)計各業(yè)務流程產(chǎn)生的數(shù)據(jù),平臺構建報表引擎。報表引擎以企業(yè)熟悉并經(jīng)常使用的表格為建模和設計工具,為平臺提供一種精確管理和深入分析業(yè)務數(shù)據(jù)的途徑。報表引擎融合Excel電子表格和數(shù)據(jù)庫軟件的優(yōu)勢,既具備電子表格展示形式的靈活多樣性和操作簡潔高效性,又具備數(shù)據(jù)庫軟件的大規(guī)模存儲和便于實施統(tǒng)計分析的能力。全文檢索引擎在平臺中,各組件模塊均為用戶提供基于數(shù)據(jù)庫的本模塊內(nèi)容信息的查詢和檢索服務,方便用戶查詢相關業(yè)務信息并分析生成統(tǒng)計數(shù)據(jù)。然而,這種針對組件模塊業(yè)務信息的查詢和檢索服務是有局限的:首先,查詢和檢索服務需要針對不同的組件模塊分別設計開發(fā),缺乏統(tǒng)一的接口和機制,從而造成各組件模塊的檢索功能參差不齊,用戶友好性差;其次,這種查詢檢索服務只能針對結構化信息進行,如數(shù)據(jù)庫中各數(shù)據(jù)表的關鍵字段,而對文本附件等非結構化信息無法檢索,因此無法全面地展示信息資源特征;再次,這種信息查詢和檢索機制對數(shù)據(jù)庫系統(tǒng)依賴較高,使用簡單的字符串匹配算法,效率低下。為此,平臺要有全文檢索技術,用于對平臺上的各種資源實施統(tǒng)一的全文檢索,與針對組件模塊的簡單查詢和檢索服務相比,技術具備結構清晰、簡單易用、用戶體驗好的優(yōu)勢。權限分級引擎權限分級引擎是提出的業(yè)務系統(tǒng)權限管理功能,它通過詳細的權限級別定義,使系統(tǒng)安全員在給用戶或者角色賦權時能夠通過級別來設置。權限分級引擎的提出給系統(tǒng)帶來的優(yōu)勢包括:靈活的權限劃分機制;便捷的權限分配方式。.平臺總體設計平臺建設原則1、平臺獨立性平臺采用基礎型平臺的視角進行規(guī)劃和建設,采用統(tǒng)一、松耦合的技術集成方式與接口,面向業(yè)務提供標準化的接口和服務,實現(xiàn)平臺獨立、標準、統(tǒng)一、共享等特性。2、統(tǒng)一性系統(tǒng)的建設堅持統(tǒng)一規(guī)劃、統(tǒng)一標準、統(tǒng)一實施為原則,既要注重平臺本身的建設要求,也要兼顧業(yè)務不斷集成的需求,還要考慮日后基于精細化使用和管理的需要。3、實用性以滿足業(yè)務需要為首要原則,在滿足功能實現(xiàn)的前提下,盡可能降低技術實現(xiàn)難度,提供方便的系統(tǒng)管理與維護、節(jié)約建設投資,提高運行效率。在硬件規(guī)劃上,利用通用性更強的基于X86平臺的PCServer或云平臺,對于數(shù)據(jù)存儲,可以選用擴展性和并行計算性能更強的Hadoop分布式文件系統(tǒng)架構。這些硬件和軟件的選擇,兼顧了經(jīng)濟、擴展和維護便利及成本。4、先進性平臺利用Hadoop分布式大數(shù)據(jù)架構構建,存儲結構化和非結構化數(shù)據(jù)。通過HDFS、Hbase等組件實現(xiàn)非結構化數(shù)據(jù)的安全存儲和備份,其靈活的橫向擴展能力支持海量數(shù)據(jù)的持久化管理;其次利用ES等組件實現(xiàn)數(shù)據(jù)的快速索引、全文檢索等。5、可擴展性平臺基于當前,放眼未來,在架構設計、功能設計、性能設計、客戶體驗等方面充分考慮可擴展性,滿足不斷發(fā)展變化的業(yè)務和技術需求,擁有靈活、平滑的升級方式和廣闊、長遠的擴展空間,可適應未來3至5年業(yè)務的不斷發(fā)展及業(yè)務規(guī)模的擴張。6、高可靠性平臺通過集群設計、負載均衡設備等應用實現(xiàn)系統(tǒng)運行無單點故障,具備連續(xù)、穩(wěn)定運行的高可靠性。平臺架構設計公共信息平臺是基于微服務的技術架構設計理念來做的總體架構設計。具體的架構設計如下圖所示:基礎設施層基礎層是公共信息平臺的運行網(wǎng)絡及軟硬件環(huán)境。網(wǎng)絡依托智慧城市項目所搭建的數(shù)據(jù)中心、運維中心和指揮中心等基礎設施。平臺支撐層平臺支撐層是基于基礎設施層構建的為數(shù)據(jù)管理和數(shù)據(jù)共享提供支撐的中間件和應用引擎。平臺支撐層包括大數(shù)據(jù)采集、清洗和加載的ETL;ESB企業(yè)服務總線、統(tǒng)一的搜索引擎、統(tǒng)一的接口服務和云應用引擎。數(shù)據(jù)管理層公共信息平臺數(shù)據(jù)管理層由元數(shù)據(jù)管理、資源目錄管理、數(shù)據(jù)資源管理、目錄服務管理、資源調(diào)度管理、運行監(jiān)控管理、數(shù)據(jù)質(zhì)量管理組成。數(shù)據(jù)交換層數(shù)據(jù)交換層是為內(nèi)外部業(yè)務應用系統(tǒng)提供數(shù)據(jù)交換的系統(tǒng)。數(shù)據(jù)交換系統(tǒng)由交換橋接、前置交換、交換傳輸、交換管理等子系統(tǒng)組成,作用在于實現(xiàn)信息資源的統(tǒng)一交換,通過交換橋接子系統(tǒng)將政府部門需要交換的信息送到前置交換信息庫,在交換管理子系統(tǒng)的流程控制下,通過交換傳輸子系統(tǒng)、前置交換子系統(tǒng),把需要交換的信息定向傳輸?shù)浇邮詹块T,同時把共享信息實時交換到共享信息庫。平臺功能設計公共信息平臺目標是實現(xiàn)全縣的共性問題的統(tǒng)一處理,解決某一個應用單位或機構難以獨立完成的公共能力,為政府、企業(yè)和公眾的各類應用及其協(xié)同提供平臺支撐。公共信息平臺是智慧城市系統(tǒng)的基礎設施,是系統(tǒng)流轉的核心。公共信息平臺是城市公共數(shù)據(jù)進出的通道,實現(xiàn)城市公共數(shù)據(jù)的交換、清洗、整合和加工;實現(xiàn)城市公共數(shù)據(jù)的組織、編目、管理以及城市公共數(shù)據(jù)應用績效評估;實現(xiàn)城市公共數(shù)據(jù)的共享服務,為城市政府專網(wǎng)和公共網(wǎng)絡上的各類智慧應用提供基于城市公共數(shù)據(jù)庫的服務、時空信息承載服務、基于數(shù)據(jù)挖掘的決策知識服務等。智慧城市項目的建設對公共信息平臺提出了如下的要求:
數(shù)據(jù);匚聚與整合加服務與妾口數(shù)據(jù)管理與眼務平臺互聯(lián)公共信息平臺的功能設計如下圖所示運營維護Concept數(shù)據(jù);匚聚與整合加服務與妾口數(shù)據(jù)管理與眼務平臺互聯(lián)公共信息平臺的功能設計如下圖所示運營維護Concept崢密信清洗U蹣娛"志袈麴覆海管理五底月引擎崢密信清洗U蹣娛"志袈麴覆海管理五底月引擎元電據(jù)度理交換平臺數(shù)據(jù)采集采集5讖據(jù)管理采集資源目錄管理采餞數(shù)據(jù)源管理采案數(shù)據(jù)字型管理采集策暗酉覆管理離線采蒙管理數(shù)據(jù)采集管I采集5讖據(jù)管理采集資源目錄管理采餞數(shù)據(jù)源管理采案數(shù)據(jù)字型管理采集策暗酉覆管理離線采蒙管理數(shù)據(jù)采集管I里H采集調(diào)蟠制管理果集日志管理視據(jù)管理數(shù)據(jù)采集管理采集模塊支撐大數(shù)據(jù)平臺數(shù)據(jù)源的采集工具,支持各類結構化和非結構化數(shù)據(jù)的采集;平臺實現(xiàn)可視化的數(shù)據(jù)采集,采用元數(shù)據(jù)管理的辦法,由用戶或專業(yè)技術人員在界面上操作實現(xiàn)數(shù)據(jù)采集;于專網(wǎng)或其他原因的用戶,通過客戶端應用實現(xiàn)數(shù)據(jù)采集功能實現(xiàn);并提供線上或線下的導入功能;對政府各機構業(yè)務,以及數(shù)據(jù)進行標準化定義,建立數(shù)據(jù)字典,并建立目錄資源庫;實現(xiàn)數(shù)據(jù)和業(yè)務的唯一解釋;支持離線采集及實時數(shù)據(jù)采集模式;手段包括但不限于“推”模式、“拉”模式、web上傳模式、直連模式;數(shù)據(jù)更新方式包括但不限于快照模式、觸發(fā)器模式、日志模式、API模式、影子表法模式、時間戳模式;提供采集節(jié)點監(jiān)控和異常處理機制,包括:采集任務中斷、采集數(shù)據(jù)失敗等相關異常現(xiàn)象時,實現(xiàn)相關的補采機制,并通過告警的方19式通知系統(tǒng)用戶以保障源數(shù)據(jù)采集的可靠性;支持采集周期配置,可按實分、小時、天、月等不同的時間周期進行配置。支持采集數(shù)據(jù)的存儲路徑配置。數(shù)據(jù)清洗加載數(shù)據(jù)處理日志數(shù)據(jù)清洗數(shù)據(jù)加載數(shù)據(jù)轉換數(shù)據(jù)清洗加載大數(shù)據(jù)清洗加載模塊通過大規(guī)模,可擴展算法的數(shù)據(jù)處理日志數(shù)據(jù)清洗數(shù)據(jù)加載數(shù)據(jù)轉換數(shù)據(jù)清洗加載大數(shù)據(jù)清洗加載模塊通過大規(guī)模,可擴展算法的ETL實現(xiàn)數(shù)據(jù)的清洗、轉換、加載功能;保障采集的數(shù)據(jù)正確、完整、規(guī)范地加載到目的地;實現(xiàn)數(shù)據(jù)整合過程中的傳輸異常、數(shù)據(jù)加載異常、數(shù)據(jù)結構與質(zhì)量異常等問題。數(shù)據(jù)清洗功能包括但不限于:數(shù)據(jù)轉換、數(shù)據(jù)去臟和轉換規(guī)則的計算,批量分布式清洗和實時不落地清洗,數(shù)據(jù)轉換規(guī)則配置,數(shù)據(jù)處理過程日志,數(shù)據(jù)清洗轉換處理多組件設置,硬編碼數(shù)據(jù)轉換、庫外數(shù)據(jù)轉換。數(shù)據(jù)加載功能包括但不限于:全量數(shù)據(jù)加載、增量數(shù)據(jù)加載、流式(實時)數(shù)據(jù)加載、數(shù)據(jù)加載過程控制、數(shù)據(jù)校驗、異常處理等。清洗、加載模塊通過可視化的數(shù)據(jù)處理工具實現(xiàn),該工具應該提供新的數(shù)據(jù)源加入大數(shù)據(jù)平臺體系;并可根據(jù)不同的清洗規(guī)則進行可視化配置;數(shù)據(jù)共享交換數(shù)據(jù)共享交換模塊涉及的核心業(yè)務即交換數(shù)據(jù)。交換數(shù)據(jù)是指數(shù)據(jù)交換過程中產(chǎn)生的信息,包含消息路由信息、流程管理信息、異常管理信息、監(jiān)控管理信息、參數(shù)管理信息和交換臨時庫中的數(shù)據(jù)等。數(shù)據(jù)共享交換系統(tǒng)由交換橋接、前置交換、交換傳輸、交換管理等子系統(tǒng)組成,作用在于實現(xiàn)信息資源的統(tǒng)一交換,通過交換橋接子系統(tǒng)將政府部門需要交換的信息送到前置交換信息庫,在交換管理子系統(tǒng)的流程控制下,通過交換傳輸子系統(tǒng)、前置交換子系統(tǒng),把需要交換的信息定向傳輸?shù)浇邮詹块T,同時把共享信息實時交換到共享信息庫,實現(xiàn)人口、法人、宏觀經(jīng)濟、空間地理等信息資源的同步更新。大數(shù)據(jù)交換與共享模塊負責各委辦局相關業(yè)務信息資源數(shù)據(jù)的傳輸、交換、格式轉換的工作,實現(xiàn)信息資源在全縣范圍內(nèi)的交換與共享。采用SOA架構,能夠在多個異構系統(tǒng)(如不同的數(shù)據(jù)庫、消息中間件、數(shù)據(jù)文件等)之間進行數(shù)據(jù)和應用集成,實現(xiàn)互連互通、數(shù)據(jù)共享交換、應用集成等功能,同時支持分布式多節(jié)點部署。在網(wǎng)絡不可達的情況下,可采用前置機部署。應用中間件應提供JavaEE架構支撐服務,符合GB/T26232-2010國家標準。通用文件共享、交換、傳輸服務中間件:應提供非結構化文件交換,滿足點對點、路由、業(yè)務域、單向、雙向、廣播的交換部署要求,提供基于交換任務、交換域的文件到文件、文件到文件夾、文件夾到文件夾的多排列式交換,支持雙向同步交換。數(shù)據(jù)交換管理監(jiān)控系統(tǒng)應提供交換中心、交換接入、中間件軟件、數(shù)據(jù)交換量的統(tǒng)一監(jiān)控,并支持用戶管理、組織管理、多維數(shù)據(jù)交換量統(tǒng)計分析。通過數(shù)據(jù)交換與共享平臺將各個參建部門的業(yè)務信息資源數(shù)據(jù)匯總到城市大數(shù)據(jù)中心,城市級數(shù)據(jù)交換與共享平臺可支撐多個交換域,從而形成政務信息資源交換體系框架。利用交換平臺實現(xiàn)異構系統(tǒng)的數(shù)據(jù)采集、可靠信息傳輸?shù)裙δ?。資源目錄管理信息資源目錄管理系統(tǒng)包括專項資源目錄庫和共享資源總目錄庫。各部門可以根據(jù)協(xié)同應用的需要建立部門間共享指標項目目錄庫;可以對數(shù)據(jù)中心的所有基礎庫和專題庫資源的進行管理。資源目錄管理系統(tǒng)包括針對全縣統(tǒng)一資源目錄的生產(chǎn)、管理、查詢及維護功能。目錄管理功能包括目錄設計、目錄提交、目錄審核、目錄發(fā)布、目錄數(shù)據(jù)檢索等功能。目錄子系統(tǒng)的建設,以目錄方式實現(xiàn)資源共享,是公共信息平臺實現(xiàn)信息資源共享的有效手段,使用目錄體系可以以更靈活的方式實現(xiàn)更多應用單位、更多資源的接入與共享。目錄管理子系統(tǒng)作為公共服務平臺信息資源目錄體系的載體,采用一種非落地的信息共享模式,是對交換共享模式的補充。在目錄式共享中,各應用單位對各自共享的資源有完整的控制權,可有效地解決交換模式中各應用單位因擔心違反相關規(guī)定而不愿意批量提供數(shù)據(jù)的問題。
元數(shù)據(jù)管理建照存儲建據(jù)分析建鶴定義,據(jù)檢查元數(shù)據(jù)建照存儲建據(jù)分析建鶴定義,據(jù)檢查元數(shù)據(jù)元數(shù)據(jù)是描述資源的數(shù)據(jù),是信息共享和交換的基礎和前提,用于描述數(shù)據(jù)集的內(nèi)容、質(zhì)量、表示方法、空間參考、管理方式以及數(shù)據(jù)集的其他特征。元數(shù)據(jù)庫用于存儲元數(shù)據(jù)。元數(shù)據(jù)與數(shù)據(jù)目錄密切相關,良好的元數(shù)據(jù)管理是目錄管理的有效基礎和前提。元數(shù)據(jù)的范圍包括數(shù)據(jù)源數(shù)據(jù)結構、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等。元數(shù)據(jù)管理包括元數(shù)據(jù)定義、存儲、查詢、維護、檢查和分析應用等功能。數(shù)據(jù)資源管理資源數(shù)據(jù)備份i十劃酉覆資源模型管理資源數(shù)據(jù)查詢數(shù)據(jù)數(shù)?碣同步資源數(shù)據(jù)備份i十劃酉覆資源模型管理資源數(shù)據(jù)查詢數(shù)據(jù)數(shù)?碣同步資瞰據(jù)遷移數(shù)據(jù)資源數(shù)據(jù)資源管理模塊功能需包括但不限于:模型管理,構建專業(yè)的模型設計器,創(chuàng)建、修改和設計所有數(shù)據(jù)對象;數(shù)據(jù)查閱,構建視覺化數(shù)據(jù)查閱工具使運管團隊高效創(chuàng)建和編輯數(shù)據(jù)查閱方案;同步和遷移,保證分布式應用環(huán)境下多服務器間數(shù)據(jù)結構的一致性、安全性,實現(xiàn)字段對應、代碼轉換、量綱轉換、數(shù)據(jù)合并、數(shù)據(jù)拆分等功能;導入導出,完成從不同格式的文件導入數(shù)據(jù)到數(shù)據(jù)中心,以及數(shù)據(jù)到各種格式導出控制;計劃任務,設置計劃并在指定的時間運行,實現(xiàn)不同數(shù)據(jù)庫在同一批處理作業(yè)中的統(tǒng)一調(diào)用。目錄管理與服務目錄管理與服務主要是指資源目錄的共享管理與服務。主要包括有資源目錄服務、目錄共享統(tǒng)計分析、數(shù)據(jù)訂閱等模塊。數(shù)據(jù)共享服務系統(tǒng)是公共信息平臺的基礎設施之一。它以資源目錄為核心,共享平臺作為數(shù)據(jù)支撐,形成信息資源管理、識別、檢索、定位和共享的應用服務體系,將應用服務功能集中在同一服務平臺中。不同機構、不同機構下的各級單位、不同權限用戶通過系統(tǒng)依需獲取相應的應用服務,從而提高管理效率和公共服務水平。目錄管理與服務涉及的業(yè)務邏輯如下圖所示:共享輟源局業(yè)務數(shù)據(jù)庫公共基礎數(shù)據(jù)摩公共數(shù)據(jù)庫應用單粒請求查詢星符/里邙:廣用國勢接口前置環(huán)境公共服務數(shù)據(jù)庫元散據(jù)除合運營中心管理數(shù)據(jù)/——/期叵目錄管理與服務涉及的業(yè)務邏輯如下圖所示:共享輟源局業(yè)務數(shù)據(jù)庫公共基礎數(shù)據(jù)摩公共數(shù)據(jù)庫應用單粒請求查詢星符/里邙:廣用國勢接口前置環(huán)境公共服務數(shù)據(jù)庫元散據(jù)除合運營中心管理數(shù)據(jù)/——/期叵弋昌應用堂也業(yè)務生產(chǎn)庫資源統(tǒng)一調(diào)度調(diào)度優(yōu)先級配置調(diào)度運行監(jiān)控運彳堂警管!里調(diào)度變更配置調(diào)度配置管理調(diào)度資源控制調(diào)度策略配置f調(diào)度優(yōu)先級配置調(diào)度運行監(jiān)控運彳堂警管!里調(diào)度變更配置調(diào)度配置管理調(diào)度資源控制調(diào)度策略配置f度資源統(tǒng)一調(diào)度模塊完成數(shù)據(jù)中心所有數(shù)據(jù)處理工作的統(tǒng)一執(zhí)行調(diào)度,統(tǒng)一調(diào)度提供以下功能:所有任務統(tǒng)一調(diào)度配置、智能調(diào)度運行、資源控制、優(yōu)先級管理評估、調(diào)度策略管控、調(diào)度全面監(jiān)控、集中的作業(yè)告警與錯誤反饋等;調(diào)度管理根據(jù)業(yè)務需要可以進行變更。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)核查封里數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)里控制數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)質(zhì)量管理模塊包含數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)質(zhì)量評估及數(shù)據(jù)稽數(shù)據(jù)核查封里數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)里控制數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)質(zhì)量管理模塊包含數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)質(zhì)量評估及數(shù)據(jù)稽核管理三部分。數(shù)據(jù)質(zhì)量控制部件支持數(shù)據(jù)質(zhì)量規(guī)則需求的手動配置和自動化優(yōu)化建議,依據(jù)歷史運行信息自動調(diào)整算法、閥值、優(yōu)先級建議;支持數(shù)據(jù)質(zhì)量執(zhí)行周期配置;支持數(shù)據(jù)質(zhì)量的數(shù)值、波動、平衡性、關聯(lián)性、一致性監(jiān)控。數(shù)據(jù)評估部件支持數(shù)據(jù)質(zhì)量自動化評估,動態(tài)出具數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)質(zhì)量優(yōu)化建議報告。數(shù)據(jù)稽核管理部件支持數(shù)據(jù)質(zhì)量稽核管理規(guī)則配置、稽核任務調(diào)度配置、稽核結果分析等。運行監(jiān)控管理運行日志管理采集過程監(jiān)控?運行監(jiān)控運行日志管理采集過程監(jiān)控?運行監(jiān)控運行監(jiān)控運行監(jiān)控,從數(shù)據(jù)庫、軟件、硬件等維度進行系統(tǒng)實時監(jiān)控、運行平臺性能(包括CPU、內(nèi)存等使用情況)實時監(jiān)控和預警,以反應數(shù)據(jù)中心運行的整體狀況。日志管理,實現(xiàn)日志信息查詢統(tǒng)計與分析管理,包括但不限于:登錄登出日志、訪問日志、操作日志、日志統(tǒng)計、用戶狀態(tài)管理;數(shù)據(jù)采集過程監(jiān)控,實現(xiàn)對交換過程監(jiān)控的數(shù)據(jù)依據(jù)執(zhí)行中的任務、未啟動的任務、執(zhí)行失敗的任務進行分類篩選監(jiān)控。接口開發(fā)與服務為了實現(xiàn)社會管理服務指揮平臺資源的整合,集成其他獨立運行的系統(tǒng)以及需要新建的各個業(yè)務系統(tǒng),實現(xiàn)政務服務和社會化服務的統(tǒng)一接入、統(tǒng)一發(fā)布、統(tǒng)一治理,需要在公共信息平臺的基礎上基于面向服務的技術體系(SOA)來建立一套接口與服務系統(tǒng),以解決資源整合、互聯(lián)互通的問題。接口與服務系統(tǒng)將公共信息平臺中數(shù)據(jù)分析、共享交換等服務組件和信息資源注冊到服務總線上,由服務總線實現(xiàn)所有系統(tǒng)的集成和管理,并以服務接口的方式開放到門戶系統(tǒng)上,提供給內(nèi)外網(wǎng)用戶或各類智慧應用來使用。服務組件可根據(jù)業(yè)務發(fā)展需要而動態(tài)調(diào)整。公共信息平臺同時也提供開發(fā)接口服務,支持開發(fā)者或應用開發(fā)商調(diào)用平臺提供的服務和自己的業(yè)務應用進行集成,或是開發(fā)基于公共信息平臺的應用系統(tǒng)。服務總線大數(shù)據(jù)交換與共享系統(tǒng)需包含應用集成ESB中間件、應用集成ESB中間件適配器、數(shù)據(jù)集成中間件、消息中間件、通用文件傳輸中間件、應用中間件、數(shù)據(jù)交換管理監(jiān)控系統(tǒng)。數(shù)據(jù)服務為數(shù)據(jù)共享提供基礎支撐,主要包括接口服務、服務編排、發(fā)布服務、日志查詢、日志分析等功能。云應用引擎云應用引擎是為各種服務提供數(shù)據(jù)存儲、應用托管及開發(fā)工具的支持,可以通過微服務管理治理,實現(xiàn)統(tǒng)一應用、服務管理,包括注冊、刪除,可以對服務進行監(jiān)控和保護等,另外還支持將各種應用程序部署到容器上,并對應用程序進行管理,如查看監(jiān)控狀態(tài)、性能統(tǒng)計報告等。.平臺詳細建設方案為了使公共信息平臺具備良好的可擴展性,充分適應未來變化的數(shù)據(jù)管理要求,系統(tǒng)提供了高可擴展性的數(shù)據(jù)適配框架。WebService的Server端、Client端,以及其它適配器,都作為數(shù)據(jù)適配框架的插件而存在。未來如果出現(xiàn)需要擴展的其他適配技術,只需要增加新的插件即可。無論插件的增加、移除,均不影響適配框架的正常運行。數(shù)據(jù)采集數(shù)據(jù)采集支持對組織機構域、公共域、平臺域、基礎設施域、業(yè)務應用域和綜合域等多領域的信息數(shù)據(jù)進行采集。針對不同的采集方式提供相應的WebService適配器、文件適配器、數(shù)據(jù)庫適配器等適配器進行數(shù)據(jù)采集、管理。對數(shù)據(jù)源數(shù)據(jù)結構進行選擇性采集;定制采集ETL策略;數(shù)據(jù)采集模塊詳細的功能設計如下圖所示:襟字葭售理合目超曝:數(shù)據(jù)源管理調(diào)觸渤報限苣電口心湄圉隹控三點凋例控子主題4采集告警設置元數(shù)據(jù)管理采集字段管理采集目錄資源庫管理數(shù)據(jù)源管理數(shù)據(jù)字典管理元數(shù)據(jù)管理采集字段管理采集字段管理是將需要采集的數(shù)據(jù)字段進行可視化的創(chuàng)建、維護、移除等管理操作。可以根據(jù)用戶方的實際應用需要進行處理,采集字段管理分為手工管理、自動管理兩種。手工管理:管理員利用手工維護的方法進行注冊字段或修改字段,主要包括創(chuàng)建、修改、刪除、審核、發(fā)布等功能。自動管理:管理員完成數(shù)據(jù)源的配置后,并配置字段自動管理屬性;系統(tǒng)即可根據(jù)要求對數(shù)據(jù)源進行自動采集,并完成其自動字段的創(chuàng)建、發(fā)布、自動審核等操作。采集目錄資源庫管理采集目錄資源庫是對采集目錄的資源的統(tǒng)一、規(guī)范化管理。通過資源庫對采集目錄以可視化的界面呈現(xiàn)方式供用戶查看并可查詢。數(shù)據(jù)源管理數(shù)據(jù)源管理是對所需要采集的數(shù)據(jù)源地址進行統(tǒng)一的創(chuàng)建管理。包括數(shù)據(jù)源的名稱、采集地址、歸屬單位或部門等信息進行詳細的描述和管理。數(shù)據(jù)采集管理為了使系統(tǒng)具有更好的靈活性,系統(tǒng)采用基于策略的采集技術和任務化的采集方式,支持管理員靈活設置采集周期、執(zhí)行時間、采集接口等參數(shù),同時對于采集任務,支持增加、修改、刪除、啟用、停用等操作。
全量采集采集策略管理采集任務管理調(diào)度與控制c離線數(shù)據(jù)采集令一次性凝一次調(diào)度控權限管理中心調(diào)全量采集采集策略管理采集任務管理調(diào)度與控制c離線數(shù)據(jù)采集令一次性凝一次調(diào)度控權限管理中心調(diào)度監(jiān)捽節(jié).調(diào)度監(jiān)控采集告警發(fā)置.采集策略管理全量采集對數(shù)據(jù)源中的數(shù)據(jù)進行完全復制。該復制將產(chǎn)生與源數(shù)據(jù)完全一致的數(shù)據(jù)副本,該采集方式主要應用在初始化數(shù)據(jù)采集的時候,用于建立數(shù)據(jù)源和目標數(shù)據(jù)的一致視圖,然后在此基礎上進行增量抽取。增量采集只捕獲源數(shù)據(jù)中被修改的數(shù)據(jù),實現(xiàn)數(shù)據(jù)源的變化能夠反饋到目標數(shù)據(jù)中,使得目標數(shù)據(jù)能夠隨著數(shù)據(jù)源的變化而改變。此類數(shù)據(jù)采集方式支持觸發(fā)器、MD5、時間戳三種方式捕獲變化的數(shù)據(jù)。支持雙向數(shù)據(jù)同步,能夠避免雙向同步產(chǎn)生的循環(huán)觸發(fā)問題。一次性采集一次性采集是系統(tǒng)初次上線運行前,將數(shù)據(jù)源中的所有數(shù)據(jù)一次性的采集到目錄數(shù)據(jù)庫中用于建立數(shù)據(jù)源和目標數(shù)據(jù)的一致視圖。采集任務管理采集任務管理是將數(shù)據(jù)采集的任務與數(shù)據(jù)采集的策略相配合進行數(shù)據(jù)采集,對采集任務進行分類管理,采集任務包括定時采集、周期性采集和一次性采集三種。定時采集定時采集即設置數(shù)據(jù)采集任務執(zhí)行的時間。當?shù)竭_指定采集時間時,采集任務將會自動執(zhí)行。周期性采集對采集任務設置周期性采集間隔。采集任務從第一次執(zhí)行,間隔所設置的時長后,將會自動進行采集任務,形成周期性采集??砂磳嵎?、小時、天、月等不同的時間周期進行配置。支持采集數(shù)據(jù)的存儲路徑配置。一次性采集一次性采集是通過手動執(zhí)行的采集方式。當數(shù)據(jù)采集需要進行一次性采集的時候,由管理人員進行手動操作,根據(jù)數(shù)據(jù)源、采集字段等信息完成數(shù)據(jù)的一次性采集。調(diào)度與監(jiān)控調(diào)度與監(jiān)控,分為中心調(diào)度監(jiān)控和節(jié)點調(diào)度監(jiān)控;中心控制整個網(wǎng)絡系統(tǒng);節(jié)點僅僅控制自身的采集任務與調(diào)度;權限管理權限管理功能主要提供基于機構、用戶、權限和服務等方面的綜合配置管理功能,其主要包括資源權限等級定義、系統(tǒng)參數(shù)管理、機構環(huán)境管理、用戶角色管理、分類方式管理、服務類型查詢和權限管理等功能。在此,權限和用戶機構管理均為托管方式,由平臺運維系統(tǒng)中的用戶管理系統(tǒng)進行統(tǒng)一權限認證。權限管理對于調(diào)度任務,權限相應的角色權限進行授權。所有的調(diào)度任務只有經(jīng)過中心授權后才能實現(xiàn)任務的調(diào)度操作。中心調(diào)度監(jiān)控中心調(diào)度監(jiān)控是為管理中心權限的用戶對整個應用平臺的網(wǎng)絡數(shù)據(jù)采集的任務運行狀態(tài)進行監(jiān)控節(jié)點調(diào)度監(jiān)控節(jié)點調(diào)度監(jiān)控是為各節(jié)點的調(diào)度、監(jiān)控管理權限的角色提供的調(diào)度監(jiān)控功能。節(jié)點調(diào)度監(jiān)控功能只監(jiān)控自己所需要的數(shù)據(jù)采集任務的執(zhí)行狀態(tài)。采集告警設置對采集采集進行有效的中心監(jiān)控和節(jié)點監(jiān)控兩級調(diào)度監(jiān)控過程中,如果數(shù)據(jù)采集任務狀態(tài)異?;虿杉蝿帐?,可以通過采集告警設置功能將此類異常情況做相應的反饋方式設置。采集告警設置包括重新執(zhí)行采集任務的次數(shù)設置、采集任務異常狀態(tài)的聲光報警燈、報警聲音提醒等提醒方式。采集異常處理當數(shù)據(jù)采集任務狀態(tài)發(fā)生異常時,系統(tǒng)會自動根據(jù)采集告警設置中用戶所設置的方式進行執(zhí)行。用戶在收到異常報警后,通過采集異常處理功能對發(fā)生異常的任務進行手動的檢查或刪除、重新執(zhí)行等異常處理。離線數(shù)據(jù)采集離線數(shù)據(jù)采集的主要手段是數(shù)據(jù)的批量上傳接口。通過制定數(shù)據(jù)采集上傳的規(guī)范、統(tǒng)一的采集模板。將數(shù)據(jù)通過數(shù)據(jù)源導出后,經(jīng)離線數(shù)據(jù)采集模塊將數(shù)據(jù)源導出的數(shù)據(jù)進行批量的上傳。在數(shù)據(jù)離線上傳的過程中,同樣需要執(zhí)行數(shù)據(jù)校驗規(guī)則以驗證數(shù)據(jù)的規(guī)范性。4.1.3.日志管理采集日志管理系統(tǒng)自動記錄數(shù)據(jù)采集接口的日志,主要包括接口名稱、接口地址、采集時間、采集結果等參數(shù)。同時,系統(tǒng)提供支持
管理員對采集日志進行查詢和導出。數(shù)據(jù)清洗加載數(shù)據(jù)清洗加載模塊包括數(shù)據(jù)轉換、數(shù)據(jù)去臟和轉換規(guī)則的計算,批量分布式清洗和實時不落地清洗,數(shù)據(jù)轉換規(guī)則配置,數(shù)據(jù)處理過程日志,數(shù)據(jù)清洗轉換處理多組件設置,硬編碼數(shù)據(jù)轉換、庫外數(shù)據(jù)轉換。數(shù)據(jù)加載功能包括但不限于:全量數(shù)據(jù)加載、增量數(shù)據(jù)加載、流式(實時)數(shù)據(jù)加載、數(shù)據(jù)加載過程控制、數(shù)據(jù)校驗、異常處理等。清洗、加載模塊通過可視化的數(shù)據(jù)處理工具實現(xiàn),該工具應該提供新的數(shù)據(jù)源加入大數(shù)據(jù)平臺體系;并可根據(jù)不同的清洗規(guī)則進行可視化配置。數(shù)據(jù)清洗加載重點功能如下圖所示:數(shù)據(jù)轉換規(guī)則設置數(shù)據(jù)轉換數(shù)據(jù)去贓數(shù)據(jù)批量清洗數(shù)據(jù)清洗轉換妥蛆件設置數(shù)據(jù)加載日數(shù)據(jù)批量清洗數(shù)據(jù)清洗轉換妥蛆件設置數(shù)據(jù)加載日志管理數(shù)據(jù)清洗.數(shù)據(jù)轉換規(guī)則配置以圖形操作模式配置數(shù)據(jù)整合參數(shù),實現(xiàn)進行清洗、轉換、比對、
數(shù)據(jù)導出、數(shù)據(jù)拆分等數(shù)據(jù)整合規(guī)則的動態(tài)配置。.數(shù)據(jù)轉換數(shù)據(jù)轉換是探測和去除(修正)數(shù)據(jù)庫來增加數(shù)據(jù)精確性的過程,實現(xiàn)減少冗余和提高已經(jīng)結合了分散數(shù)據(jù)庫的不同數(shù)據(jù)集的一致性。數(shù)據(jù)轉換與清洗能通過列映射、派生列、條件性拆分、排序、聯(lián)接、聚合、SQL腳本、Java腳本等多種手段完成以下任務:(1)把多個不同數(shù)據(jù)源的數(shù)據(jù)合并。(2)不同數(shù)據(jù)集的轉換和同步。(3)數(shù)據(jù)類型和格式的轉換。用于不同目標表的數(shù)據(jù)分離。(4)(1)把多個不同數(shù)據(jù)源的數(shù)據(jù)合并。(2)不同數(shù)據(jù)集的轉換和同步。(3)數(shù)據(jù)類型和格式的轉換。用于不同目標表的數(shù)據(jù)分離。(4).數(shù)據(jù)去贓數(shù)據(jù)云贓是對采集到的數(shù)據(jù)中存在的重復性數(shù)據(jù)、不完整且不可補充的數(shù)據(jù)、空數(shù)據(jù)等贓數(shù)據(jù)進行刪除操作。.數(shù)據(jù)批量清洗數(shù)據(jù)批量清洗是根據(jù)數(shù)據(jù)轉換規(guī)則配置模塊中所設置的數(shù)據(jù)清洗規(guī)則,對所采集到的數(shù)據(jù)按照規(guī)則進行大批量的檢查,將不需要數(shù)據(jù)規(guī)則的數(shù)據(jù)一次性的查找并顯示出來供用戶進行二次檢查。數(shù)據(jù)加載完成數(shù)據(jù)清洗形成規(guī)則、可用的數(shù)據(jù)后,通過數(shù)據(jù)分類、批量的輸入形成最終可供各業(yè)務應用平臺所使用的數(shù)據(jù)。日志管理在數(shù)據(jù)清洗加載的過程中,系統(tǒng)執(zhí)行的每一步操作,在日志管理模塊中均有詳細的執(zhí)行時間、所執(zhí)行的操作、執(zhí)行結果、執(zhí)行人等信息記錄。管理員可以通過信息查詢將所需要的操作日志查找出來,并提供下載操作。數(shù)據(jù)共享交換數(shù)據(jù)共享交換是通過集成不同應用系統(tǒng)之間形成松耦合連接,實現(xiàn)信息交換、路由、分發(fā)、轉換等功能。數(shù)據(jù)交換系統(tǒng)主要以消息和異步通訊技術為手段,面向服務體系為框架,服務總線為基礎,XML為信息描述語言,實現(xiàn)各應用系統(tǒng)間的集成。數(shù)據(jù)共享交換由基礎服務、消息服務、消息代理服務三部分組成。內(nèi)置安全和目錄管理提供安全認證、信息加密傳輸和資源訪問控制等功能。同時,提供系統(tǒng)管理工具,實現(xiàn)系統(tǒng)的分布式遠程管理和監(jiān)控。數(shù)據(jù)交換系統(tǒng)的主要功能有以下5個子功能構成1.基礎服務基礎服務主要包括MBean服務、SOAP服務、Web服務、XML消息封裝、目錄服務和基于PKI技術的安全認證系統(tǒng)?;A服務提供用于管理服務的MBean服務,實現(xiàn)組件的可管理(包括遠程管理和部署)。利用Web服務、SOAP服務、XML消息封裝實現(xiàn)基于Web服務技術的信息封裝、信息交換和應用整合,以服務描述語言格式封裝業(yè)務系統(tǒng),對外提供Web服務接口。基礎服務提供LDAP或UDDI等目錄服務,實現(xiàn)服務的注冊、查詢、檢索等功能?;A服務提供符合PKI規(guī)范的安全認證系統(tǒng),實現(xiàn)消息摘要、身份認證和消息加密功能;同時,提供和外部安全支撐系統(tǒng)的接口,連接符合PKI規(guī)范的外部安全支撐平臺?;A服務還提供消息隊列存儲、事務控制、雙機熱備、錯誤處理等服務,以保障基礎服務的穩(wěn)定性和可靠性。2.消息服務消息服務將數(shù)據(jù)以“點到點(PeertoPeer)”方式或“發(fā)布/訂閱(Pub/Sub)”方式傳送,支持基礎服務提供的HTTP、HTTPS、RMI、SMTP、SOAP等多種傳輸協(xié)議。消息服務的主要功能是:支持亞?6服務和消息隊列兩種消息傳輸機制,保證平臺對不同系統(tǒng)的適應性;信息以XML格式表示,數(shù)據(jù)交換和傳輸通過HTTP等傳輸協(xié)議,數(shù)據(jù)打包采用SOAP技術標準。提供可靠的信息傳輸,支持大規(guī)模信息發(fā)布、消息隊列的存儲保護、傳輸確認、斷點續(xù)傳、一次性傳輸和消息壓縮傳輸。提供符合PKI規(guī)范的安全信息傳輸功能,支持551傳輸、消息報文和消息內(nèi)容加密等不同級別的安全保護措施,支持消息摘要、數(shù)字簽名、消息加密。支持局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)消息通信,支持靜態(tài)和動態(tài)IP地址?;谙④浛偩€的體系結構,利用智能化的信息路由傳輸機制,動態(tài)地實現(xiàn)點到點、點到多點和多點到多點等不同的信息通信方式,支持多播功能。提供靈活方便的應用開發(fā)接口,便于二次開發(fā);提供易于使用的部署工具,方便系統(tǒng)實施。提供易于使用的遠程管理接口和圖形化界面,實現(xiàn)集中管理。提供和其他消息系統(tǒng)之間的消息傳輸和轉換。3.消息代理服務消息代理服務提供消息的傳遞、轉換、過濾、映射和路由等功能。根據(jù)設定的消息格式規(guī)則和轉換規(guī)則,進行消息格式的轉換。同時,根據(jù)消息路由規(guī)則,實現(xiàn)消息的路由,并將消息傳遞給相應的應用系統(tǒng)。4.消息轉換消息轉換根據(jù)轉換規(guī)則,實現(xiàn)不同數(shù)據(jù)存儲格式和表示格式的轉換。消息轉換規(guī)則支持乂511語言,用戶可自定義消息傳輸格式。消息傳輸提供圖形化的轉換工具,利用圖形化界面,將一種應用數(shù)據(jù)格式“映射”到另一種數(shù)據(jù)格式,轉換工具能夠自動生成轉換規(guī)則文件(XSLT文件)。轉換功能支持乂乂1和數(shù)據(jù)庫之間、不同數(shù)據(jù)庫之間、不同XML之間的轉換。轉換規(guī)則文件可以動態(tài)地部署到數(shù)據(jù)交換系統(tǒng)中。5.消息路由根據(jù)消息路由規(guī)則,消息路由服務實現(xiàn)消息在不同的數(shù)據(jù)交換系統(tǒng)之間和不同消息隊列之間的路由。消息路由支持兩種路由規(guī)則:基于內(nèi)容的路由根據(jù)消息的內(nèi)容,消息路由按照定義的規(guī)則將特定內(nèi)容的消息路由到不同的數(shù)據(jù)交換系統(tǒng)或消息隊列中?;谙㈩^的路由根據(jù)消息頭中的目的地進行消息路由。
數(shù)據(jù)共享交換的交換橋接功能指由各業(yè)務數(shù)據(jù)庫(或文件等數(shù)據(jù))到前置交換數(shù)據(jù)庫(或文件等數(shù)據(jù))之間的信息交換橋接接口,以完成兩個數(shù)據(jù)庫(或文件等數(shù)據(jù))之間的在線實時交換的系統(tǒng)。之所以采用橋接系統(tǒng)是為了保護業(yè)務系統(tǒng)的安全性和獨立性,信息交換平臺通過前置機與業(yè)務系統(tǒng)相連,在前置機上建立交換庫,用于存儲各節(jié)點想外發(fā)布的信息和從其他節(jié)點交換過來的信息。橋接功能的實現(xiàn)可以利用集成中間件提供的編程接口,但業(yè)務系統(tǒng)接口的編程是必不可少的,必須像適配器提供一個透明的數(shù)據(jù)提供源??紤]到業(yè)務系統(tǒng)的復雜情形,有時并不一定是提供數(shù)據(jù)接口,也可以是文件的格式,提供給前置交換系統(tǒng),再通過交換平臺進行傳遞。交換橋交與數(shù)據(jù)交換中心的網(wǎng)絡系統(tǒng),交換前置機的操作系統(tǒng)、前置交換數(shù)據(jù)庫、數(shù)據(jù)交換通訊接口、數(shù)據(jù)交換橋接接口、前置交換安全管理模塊等組成。交換前置機的主要任務是由部門業(yè)務數(shù)據(jù)庫到前置交換機數(shù)據(jù)庫之間的信息交換橋接接口,以完成兩個信息庫之間的在線實時交換。數(shù)據(jù)交換前置機是該系統(tǒng)的重要組成部分,從功能上,可以看作是一個小型的中轉平臺。數(shù)據(jù)交換前置機擔負著來自數(shù)據(jù)交換平臺的數(shù)據(jù)抓取、數(shù)據(jù)轉換、數(shù)據(jù)封裝和消息監(jiān)聽、消息處理等功能。前置交換前置機交換主要通過以前置數(shù)據(jù)庫為載體,實現(xiàn)與數(shù)據(jù)交換平臺的橋接。前置交換系統(tǒng)主要通過交換平臺傳輸和接收各部門或委辦局的交換數(shù)據(jù),保證數(shù)據(jù)的安全準確及時傳輸。資源初始化提供前置與平臺中心之間的初始化設置,通過初始化可以實現(xiàn)前置與平臺中心之間的通信和目錄同步,主要包括前置節(jié)點注冊、用戶權限認證等相關服務。結構化數(shù)據(jù)編目前置編目系統(tǒng)提供對異構數(shù)據(jù)庫等結構化數(shù)據(jù)進行手工或自動編目,應支持主流數(shù)據(jù)庫,包括:Oracle、DB2、MSSQL、MYSQL等異構數(shù)據(jù)庫。非結構化數(shù)據(jù)編目前置編目系統(tǒng)除了可以對數(shù)據(jù)庫等結構化數(shù)據(jù)進行編目外,也可以對非結構化的數(shù)據(jù)進行編目,如文件、圖片、視頻等進行編目,通過文件交換系統(tǒng)實現(xiàn)文件的共享服務。編目信息查詢提供前置編目信息的查詢服務,支持快速查詢和自定義查詢,可以通過資源標示符、資源名稱、關鍵字、分類方式、編目日期等多種條件進行查詢,并支持查詢結果的目錄詳細信息查看,從而讓用戶快速定位信息資源位置。編目信息提交提供前置編目信息提交至平臺中心的服務,編目信息經(jīng)過提交后,在編目中心等待審核人員進行審批,并最終發(fā)布。提供編目信息批量發(fā)布功能,并能夠查詢已提交的編目信息。編目信息審核編目信息審核主要提供給編目前置管理員使用,編目信息經(jīng)審核后方能向編目中心提交,在編目信息審核后可以進行該條編目信息的查看。編目信息注冊編目信息注冊主要提供前端編目信息提交至編目中心的服務,通過編目信息注冊服務,前置編目信息會被注冊至中心的信息資源目錄中供多個應用單位進行目錄訪問和資源申請。編目信息管理編目信息管理提供編目信息的修改和刪除功能,前置編目人員可以對編目的信息進行修改,包括編目信息的核心元數(shù)據(jù)項、核心表數(shù)據(jù)項、字段數(shù)據(jù)項等內(nèi)容。修改完畢后,可以對編目重新進行提交、審核和注冊。同時,前置編目人員也可以通過編目信息刪除的方式刪除多余的編目信息。交換傳輸交換傳輸提供數(shù)據(jù)同步的監(jiān)控和手動執(zhí)行傳輸?shù)墓δ?,其主要是針對系統(tǒng)參數(shù)管理中的參數(shù)進行手動執(zhí)行傳輸,通過目錄傳輸,將前置子系統(tǒng)修改的參數(shù)與共享數(shù)據(jù)交換系統(tǒng)進行同步。交換管理交換管理提供交換隊列管理、交換規(guī)則定義等功能,主要包括交換隊列查詢、交換隊列管理(添加、刪除、查看、修改)、交換規(guī)則定義等。資源目錄管理資源目錄管理數(shù)據(jù)庫用于存儲基礎數(shù)據(jù)、業(yè)務數(shù)據(jù)、模型數(shù)據(jù)等平臺資源的目錄信息。專項資源目錄庫專項資源目錄庫是根據(jù)各業(yè)務平臺所專屬的資源形成不對處共享,只應用于專屬業(yè)務平臺的資源目錄庫。共享資源目錄庫共享資源目錄庫是為了實現(xiàn)各業(yè)務平臺間的資源目錄共享而設計的共享資源目錄庫。各業(yè)務平臺所需要的外部資源目錄均通過各自的數(shù)據(jù)共享接口,根據(jù)資源目錄的應用權限從共享資源目錄庫中抽取相應的共享資源。資源目錄管理生產(chǎn)目錄收集目錄收集是通過對各業(yè)務應用平臺在數(shù)據(jù)采集的過程中,將采集到的數(shù)據(jù)形成目錄進行批量的收集形成資源目錄。目錄生產(chǎn)目錄的生產(chǎn)是相關權限的用戶通過手動創(chuàng)建的資源目錄進行歸類管理。目錄生產(chǎn)包括資源目錄的創(chuàng)建和資源目錄的維護。元數(shù)據(jù)關聯(lián)對采集的數(shù)據(jù)庫根據(jù)數(shù)據(jù)間的業(yè)務關聯(lián)關系實現(xiàn)元數(shù)據(jù)的關聯(lián),通過元數(shù)據(jù)的關聯(lián),增加實體數(shù)據(jù)的維度,將單個的數(shù)據(jù)擴展成行業(yè)信息資源,提高數(shù)據(jù)的價值。管理目錄審核目錄審核功能是規(guī)范的目錄管理流程,提供合理的確認管理流程,允許政府信息管理部門對各單位用戶錄入的目錄信息進行審批確認,并對未滿足條件的信息進行回退操作,提高信息質(zhì)量。提供批量審核、審批及退回功能:為了提高用戶操作操作效率,簡化操作流程,系統(tǒng)應支持政府信息管理部門批量審核、審批單位用戶上報的信息,批量退回未通過審核的信息。目錄發(fā)布對審核通過的目錄數(shù)據(jù),填寫有關的發(fā)布參數(shù)(發(fā)布信息類型、更新時間、優(yōu)先級等),然后通過網(wǎng)絡接口對外發(fā)布。同時支持提供以網(wǎng)站方式的目錄發(fā)布和以HTTP+XML接口的形式發(fā)布。以網(wǎng)站形式的目錄發(fā)布是把信息資源目錄以網(wǎng)頁的形式發(fā)布到網(wǎng)站上。用戶通過登錄網(wǎng)站訪問網(wǎng)頁,查詢和檢索信息資源的目錄信息。用戶根據(jù)需要選擇多種風格的網(wǎng)頁界面模版,美化發(fā)布效果。分系統(tǒng)發(fā)布的目錄資源是和業(yè)務應用相關的信息內(nèi)容。以HTTP+XML接口的方式進行發(fā)布則是其他分系統(tǒng)通過調(diào)用這套接口實現(xiàn)目錄資源信息的查詢和檢索等功能。所提供的接口大致包括:目錄查詢、安全認證等內(nèi)容。目錄權限管理目錄權限管理是對目錄的生產(chǎn)、審核、發(fā)布、利用等操作權限,根據(jù)用戶的角色、工作職責等設置相應的權限,以確保資源目錄的安全性和管理的規(guī)范性。.目錄查詢多維度目錄查詢資源目錄信息建立索引劃分為索引信息的規(guī)劃和索引信息的建立。索引信息的規(guī)劃是建立在目錄資源信息元數(shù)據(jù)的基礎上,根據(jù)用戶查詢和檢索的需要,設定需要建立索引的信息。比如:標題、內(nèi)容、類型、來源等;索引信息的建立是在索引信息規(guī)劃的基礎上,根據(jù)數(shù)據(jù)更新的規(guī)則建立索引信息??梢越⒌乃饕畔㈩愋陀校耗夸涃Y源信息的元數(shù)據(jù)中描述性字段文本文件HTML文件Word文件中的文本內(nèi)容Excel文件中的文本內(nèi)容PowerPoint文件中的文本內(nèi)容等索引信息的建立,按照數(shù)據(jù)范圍可以劃分為全文索引信息的建立、指定目錄索引信息的建立、全文增量索引信息的建立和指定目錄增量索引信息的建立;按照建立的方式可以劃分為手動建立索引信息、定時建立索引信息和觸發(fā)式建立索引信息。索引信息的建立,按照數(shù)據(jù)范圍劃分全文索引信息的建立。清除原來所有的索引信息,按照索引信息的規(guī)劃為所有目錄的數(shù)據(jù)建立索引信息。指定目錄索引信息的建立。清除指定目錄原來所有的索引信息,按照索引信息的規(guī)劃,為指定目錄的數(shù)據(jù)建立索引信息。全文增量索引信息的建立。按照索引信息的規(guī)劃為所有目錄的發(fā)生變化的數(shù)據(jù)建立索引信息。這些數(shù)據(jù)包括刪除的數(shù)據(jù)、新增加的數(shù)據(jù)和發(fā)生改動的數(shù)據(jù)。指定目錄增量索引信息的建立。索引信息的建立,按照建立方式劃分手動建立索引信息。通過操作界面建立索引信息。定時建立索引信息。設置好建立索引的時間和周期,建立索引的參數(shù);系統(tǒng)根據(jù)這些設置自動建立索引信息。觸發(fā)式建立索引信息。設置建立索引的觸發(fā)條件,如:數(shù)據(jù)更新維護以后設置建立索引的參數(shù),系統(tǒng)根據(jù)這些設置在觸發(fā)條件成立的時候自動建立索引信息。列表查詢以列表的方式對目錄信息進行查詢,且查詢到的符合查詢條件目錄信息以音序的順序排列列表方式進行呈現(xiàn)。信息資源訪問信息資源訪問提供對目錄信息進行查詢檢索。點擊信息資源訪問,進入信息資源頁面,進行查看信息資源的詳細描述。編目管理編目管理包括編目信息發(fā)布、編目信息撤銷和編目狀態(tài)同步操作。編目信息發(fā)布主要提供注冊至編目中心的編目信息的發(fā)布功能(同時支持批量及指定),在發(fā)布時可指定允許訪問資源或目錄的應用單位列表及資源訪問權限要求,通過編目信息發(fā)布,可以將前置編目信息發(fā)布到全市統(tǒng)一的門戶中供各級應用單位進行檢索、查看和申請。針對無效的編目信息或需要進行下線的目錄信息,系統(tǒng)提供編目信息撤消的功能,該功能可對已發(fā)布的編目信息進行撤消和下線,該編目信息撤消后可重新進入待發(fā)布狀態(tài),如需發(fā)布可以重新進行發(fā)布。編目狀態(tài)同步主要提供平臺門戶與后臺數(shù)據(jù)的手動同步功能,系統(tǒng)提供自動同步檢測的功能,能夠自動檢測目錄狀態(tài)不一致的狀況,通過選對相應的編目數(shù)據(jù)手工進行同步,可實現(xiàn)目錄狀態(tài)的同步修正更新。元數(shù)據(jù)管理元數(shù)據(jù)通常是指關于數(shù)據(jù)的數(shù)據(jù)(DataaboutData)。從共享平臺的角度,是關于信息資源的描述數(shù)據(jù),主要描述信息資源管理與應用所需的核心數(shù)據(jù)。共享平臺的元數(shù)據(jù)除管理業(yè)務公用基礎數(shù)據(jù)外,還要管理各個部門子系統(tǒng)可以共享數(shù)據(jù)的元數(shù)據(jù),為實現(xiàn)數(shù)據(jù)的集成提供服務。元數(shù)據(jù)模型如下圖所示:
元數(shù)據(jù)可以分為資源位置元數(shù)據(jù)、服務元數(shù)據(jù)、數(shù)據(jù)庫元數(shù)據(jù)、文件元數(shù)據(jù)四大類,其中資源位置元數(shù)據(jù)主要描述信息資源所在位置,以信息系統(tǒng)為基本單元,包含服務器和數(shù)據(jù)源;服務元數(shù)據(jù)主要描述信息系統(tǒng)中服務器可以提供的服務,如WebService;數(shù)據(jù)庫元數(shù)據(jù)主要描述數(shù)據(jù)庫的組成結構及其相互關系;文件元數(shù)據(jù)主要描述文件數(shù)據(jù)的相關信息,如類型、所有者、創(chuàng)建時間基于元數(shù)據(jù)模型可以有效地管理信息資源,并為應用軟件提供元數(shù)據(jù)驅動的機制,也就是說應用軟件通過元數(shù)據(jù)訪問系統(tǒng)的數(shù)據(jù),系統(tǒng)的數(shù)據(jù)的調(diào)整與修改,只需修改元數(shù)據(jù),而無須修改應用軟件。元數(shù)據(jù)管理詳細功能如下圖所示:元數(shù)據(jù)管理元數(shù)據(jù)定義元數(shù)據(jù)存儲元數(shù)據(jù)查詢元數(shù)據(jù)維護元數(shù)據(jù)檢查元數(shù)據(jù)分析元數(shù)據(jù)定義公共信息平臺的元數(shù)據(jù)定義提供對核心元數(shù)據(jù)的定義管理,包括核心元數(shù)據(jù)查詢、添加、編輯和刪除功能,同時提供核心元數(shù)據(jù)詳細信息查看的功能。元數(shù)據(jù)存儲通過元數(shù)據(jù)定義功能對元數(shù)據(jù)進行創(chuàng)建和信息完善后形成最終審核后的元數(shù)據(jù)信息并進行保存、存儲。在元數(shù)據(jù)存儲過程中,以元數(shù)據(jù)目錄樹的形成分級別進行存儲,且存儲的元數(shù)據(jù)目錄樹可導出。元數(shù)據(jù)查詢在公共信息平臺應用的過程中,隨著對元數(shù)據(jù)的逐步增加,將會形成數(shù)量龐大的元數(shù)信息庫。在元數(shù)據(jù)管理模塊中,為解決元數(shù)據(jù)快速定位的問題,特提供了元數(shù)據(jù)查詢的功能。元數(shù)據(jù)查詢功能可以通過元數(shù)據(jù)名稱和模糊查詢、元數(shù)據(jù)的類別等方式進行快速的查找和定位。元數(shù)據(jù)維護隨著各智慧城市應用系統(tǒng)的運行,對于元數(shù)據(jù)的理解也越來越深入或者對于有疑問或有二義性的元數(shù)據(jù)需要做出相應的修改。為解決此類問題,元數(shù)據(jù)管理模塊提供了元數(shù)據(jù)維護功能。元數(shù)據(jù)維護功能是主要是針對需要進行維護和修改的元數(shù)據(jù)信息。通過元數(shù)據(jù)維護功能對其進行完善和維護。元數(shù)據(jù)檢查元數(shù)據(jù)的名稱、類型、基礎信息等屬性信息可以通過可視化的元數(shù)據(jù)檢查功能進行詳細的檢查。元數(shù)據(jù)檢查功能通過點擊需要檢查的元數(shù)據(jù),可以顯示出此元數(shù)據(jù)的所有信息及類似名稱、類似基礎信息的類似元數(shù)據(jù)供用戶進行關聯(lián)分析,以對此元數(shù)據(jù)進行檢查。元數(shù)據(jù)分析元數(shù)據(jù)分析是對元數(shù)據(jù)的類型、生成日期,啟用時間、使用時長、利用率、元數(shù)據(jù)用戶等信息進行綜合性統(tǒng)計分析并以圖表的表示方式呈現(xiàn)給元數(shù)據(jù)管理人員查看、分析使用。數(shù)據(jù)資源管理數(shù)據(jù)資源管理模型管理數(shù)據(jù)查閱同步和遷移導人導出模型管理模型管理是通過可視化的操作界面,由用戶通過拖拽控件的方式去構建專業(yè)的模型設計器。包括對所有的數(shù)據(jù)對象模型進行創(chuàng)建、修改和設計等操作。數(shù)據(jù)查詢數(shù)據(jù)查詢功能提供數(shù)據(jù)資源管理中數(shù)據(jù)資源的各種服務狀態(tài)的查詢,如數(shù)據(jù)信息評價、訪問量統(tǒng)計等信息,數(shù)據(jù)信息評價主要提供各應用單位對已發(fā)布數(shù)據(jù)信息的評價信息查詢功能,訪問量統(tǒng)計能夠根據(jù)各應用單位對該數(shù)據(jù)信息的瀏覽數(shù)量進行統(tǒng)計。過程信息查詢提供數(shù)據(jù)信息在數(shù)據(jù)資源管理的過程信息記錄。同步和遷移對數(shù)據(jù)資源可以通過同步和遷移操作來保證數(shù)據(jù)資源的一致性和安全性?,F(xiàn)字段對應、代碼轉換、量綱轉換、數(shù)據(jù)合并、數(shù)據(jù)拆分等功能數(shù)據(jù)資源的同步即將數(shù)據(jù)源數(shù)據(jù)完成數(shù)據(jù)采集的目錄數(shù)據(jù)通過數(shù)據(jù)同步實現(xiàn)數(shù)據(jù)的一致性;數(shù)據(jù)資源的遷移是將數(shù)據(jù)進行一次性的批量遷移,以確保數(shù)據(jù)的安全性。導入導出導入導出功能是通過制定統(tǒng)一的數(shù)據(jù)資源導入模板和數(shù)據(jù)資源導出模板,完成從不同格式的文件導入數(shù)據(jù)到數(shù)據(jù)中心,以及數(shù)據(jù)到各種格式導出控制。計劃任務計劃任務通過數(shù)據(jù)庫的統(tǒng)一調(diào)用規(guī)則,通過界面操作的方式設置計劃并在指定的時間運行,實現(xiàn)不同數(shù)據(jù)庫在同一批處理作業(yè)中的統(tǒng)一調(diào)用。目錄管理與服務目錄管理與服務,以目錄方式實現(xiàn)資源共享,是智慧城市公共信息平臺實現(xiàn)信息資源共享的有效手段,使用目錄體系可以以更靈活的方式實現(xiàn)更多應用單位、更多資源的接入與共享。共享信息庫資源目錄服務資源目錄服務作為智慧城市公共信息平臺信息資源目錄體系的載體,采用一種落地的信息共享模式,是對交換共享模式的補充,在目錄式共享中,各應用單位對各自共享的資源有完整的控制權,可有效地解決交換模式中要求各應用單位因擔心違反相關規(guī)定不愿意批量提供數(shù)據(jù)的問題。通過構建共享信息庫,將各單位需要共享給其他業(yè)務應用的數(shù)據(jù)進行匯集并設置相應的應用權限,以保證數(shù)據(jù)的安全性。數(shù)據(jù)共享信息服務是對各業(yè)務應用平臺和手機APP等應用等第三方應用系統(tǒng)提供訪問系統(tǒng)內(nèi)數(shù)據(jù)的服務。目錄共享統(tǒng)計分析目錄共享統(tǒng)計分析是對資源目錄對外部各業(yè)務應用平臺共享過程中的各資源目錄的利用次數(shù)、利用率、所涉及的業(yè)務等數(shù)據(jù)進行多維度的統(tǒng)計分析并以圖表的形式呈現(xiàn)給相關人員。數(shù)據(jù)訂閱數(shù)據(jù)訂閱是供各業(yè)務應用平臺訂閱數(shù)據(jù)資源所使用的功能模塊。各業(yè)務應用平臺在使用共享目錄資源數(shù)據(jù)前,需要先通過數(shù)據(jù)訂閱模塊將所所需要的資源目錄進行訂閱申請,待申請審核通過授權后,方可在共享數(shù)據(jù)資源目錄中調(diào)用訂閱的數(shù)據(jù)目錄信息。數(shù)據(jù)訂閱功能主要以表訂閱和整合信息訂閱的方式為主,主要包括表訂閱查詢、表訂閱管理、表訂閱審批、表訂閱啟動、整合訂閱查詢、整合訂閱管理、整合訂閱審批和整合訂閱啟動。資源統(tǒng)一調(diào)度統(tǒng)一資源調(diào)度任務調(diào)度配置智能調(diào)度運行資源控制優(yōu)先級管理評估調(diào)度策咯管理調(diào)度全面監(jiān)控作業(yè)告警與錯誤反饋調(diào)度變更統(tǒng)一資源調(diào)度任務調(diào)度配置智能調(diào)度運行資源控制優(yōu)先級管理評估調(diào)度策咯管理調(diào)度全面監(jiān)控作業(yè)告警與錯誤反饋調(diào)度變更任務調(diào)度配置任務調(diào)度配置功能主要提供基于機構、用戶、權限和服務等方面的綜合配置管理功能,其主要包括資源權限等級定義、系統(tǒng)參數(shù)管理、機構環(huán)境管理、用戶角色管理、分類方式管理、服務類型查詢和權限管理等功能。在此,權限和用戶機構管理均為托管方式,由平臺運維系統(tǒng)中的用戶管理系統(tǒng)進行統(tǒng)一權限認證。智能調(diào)度運行智能調(diào)度運行功能是由系統(tǒng)根據(jù)任務調(diào)度配置所設置的調(diào)度任務在不需要人工干預的情況下,進行智能調(diào)度。智能調(diào)度運行功能提供可視化的調(diào)度運行狀態(tài)的顯示供用戶進行查看任務的執(zhí)行狀態(tài)及執(zhí)行的詳細信息。資源控制對應用的信息,包括對應服務,資費等進行維護。系統(tǒng)定義每一種業(yè)務為一種系統(tǒng)支持的服務,每種服務加上相應不同的資費策略在系統(tǒng)中定義為應用,是用戶可以最終定購的。應用管理就是對應的分類、定義設置。定義服務類別、服務子類別。服務提供商發(fā)布應用,給平臺審核;平臺對服務提供商的應用進行審核,審核通過的應用才能夠被用戶訂購使用。應用審核包括對應用的服務、價格進行審核。優(yōu)先級管理評估對資源統(tǒng)一調(diào)度的任務通過調(diào)度評估管理模塊對任務的優(yōu)先級進行評估。完成優(yōu)先級評估的任務,在執(zhí)行過程中,遇到同時執(zhí)行且數(shù)據(jù)不支持同時使用的任務,系統(tǒng)將根據(jù)優(yōu)先級標簽按順序提供相應的服務。調(diào)度策略管理采用緩存技術,具有良好的可靠性,當系統(tǒng)斷電、數(shù)據(jù)源連接斷開等情況發(fā)生后,系統(tǒng)具有響應的保護措施,保證消息傳輸不丟失。系統(tǒng)具有故障自主監(jiān)測配置策略,當數(shù)據(jù)轉換過程中出現(xiàn)故障時,系統(tǒng)可以記錄運行日志并可以自動恢復。調(diào)度全面監(jiān)控系統(tǒng)提供圖形化監(jiān)控功能,實現(xiàn)對數(shù)據(jù)處理各流程的監(jiān)控管理,出現(xiàn)問題時主動報警,便于數(shù)據(jù)管理員及時處理。作業(yè)告警與錯誤反饋資源統(tǒng)一調(diào)度模塊具備完整的作業(yè)告警監(jiān)控和錯誤反饋能力。能夠將計算框架的每個作業(yè)進度、狀態(tài)、資源利用情況進行監(jiān)控,并通過可視化圖形界面進行展示。作業(yè)告警與錯誤反饋模塊提供作業(yè)運行狀態(tài)檢測的功能,通過周期性巡檢的方式,對各數(shù)據(jù)采集接口和數(shù)據(jù)服務的接口進行檢測,當發(fā)現(xiàn)接口異常時,自動記錄日志便于維護人員進行分析。同時,對于數(shù)據(jù)服務的接口支持自保護的功能,當接口檢測發(fā)現(xiàn)數(shù)據(jù)服務接口異常時,通過自動重啟該接口服務的方式,快速恢復數(shù)據(jù)服務運行。調(diào)度變更調(diào)度變更功能是對資源統(tǒng)一調(diào)度的任務進行維護、變更的功能模塊。當資源統(tǒng)一調(diào)度任務在長時間應用的過程中,遇有突發(fā)情況需要進行變更時,通過調(diào)度變更即可完成資源統(tǒng)一調(diào)度任務的重新設置,進行相應的變更操作。數(shù)據(jù)質(zhì)量管理4.9.1.數(shù)據(jù)質(zhì)量控制數(shù)據(jù)質(zhì)量規(guī)則配置管理包括對采集到的數(shù)據(jù)進行語法檢查、語義分析、格式轉換、持久化存儲等環(huán)節(jié),具體來說:語法檢查:根據(jù)數(shù)據(jù)接口規(guī)范的要求,系統(tǒng)對采集的數(shù)據(jù)進行語法檢查。檢查的內(nèi)容主要包括:數(shù)據(jù)格式的正確性、數(shù)據(jù)的完整性、數(shù)據(jù)類型的正確性、數(shù)據(jù)是否可空等。如果檢查不通過,則在記錄本批次的數(shù)據(jù)異常信息,以便后續(xù)的分析。語義分析:系統(tǒng)對采集到的數(shù)據(jù)進行語義解析和處理。格式轉換:將數(shù)據(jù)從元數(shù)據(jù)模型轉換為物理模型可接受的數(shù)據(jù),同時對數(shù)據(jù)進行統(tǒng)一化處理,轉換單位、保留小數(shù)等。持久化存儲:對轉換為物理模型的數(shù)據(jù)進行數(shù)據(jù)庫存儲。數(shù)據(jù)質(zhì)量評估自動化評估根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測規(guī)則,通過數(shù)據(jù)質(zhì)量檢測引擎,對數(shù)據(jù)表中的增量數(shù)據(jù)進行掃描,調(diào)用規(guī)則算法或擴展程序進行數(shù)據(jù)質(zhì)量檢測,并提供問題數(shù)據(jù)庫的建立、數(shù)據(jù)質(zhì)量報告的生成、問題數(shù)據(jù)的處理、以及對問題數(shù)據(jù)的通報和反饋來保證數(shù)據(jù)的質(zhì)量和實效性等功能。評估報告對采集、交換的數(shù)據(jù)通過數(shù)據(jù)質(zhì)量控制與自動化評估的過程中,以電子文件報告的形式形成評估報告供用戶查看。數(shù)據(jù)稽核管理系統(tǒng)采用ETL工具對數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年度物流行業(yè)擔保合同投標委托保證服務合同3篇
- 2024荒山承包合同轉讓協(xié)議
- 2024年高效辦公大樓物業(yè)管理協(xié)議樣本版B版
- 2025年度彩鋼活動房安全性能檢測合同協(xié)議3篇
- 2024年車輛買賣合同(含舊車)
- 2024年項目服務及居間傭金協(xié)議
- 2024年餐飲業(yè)經(jīng)營權讓渡協(xié)議范本一
- 2024增補采購協(xié)議合同-新能源設備采購協(xié)議3篇
- 2024年網(wǎng)絡建設與維護合同3篇
- 2024幼兒園廚師聘用及營養(yǎng)健康知識普及合同3篇
- JJF 2122-2024 機動車測速儀現(xiàn)場測速標準裝置校準規(guī)范
- 充電樁四方協(xié)議書范本
- 2024年天津市中考語文試卷真題(含答案)
- 2024-2030年中國碳監(jiān)測行業(yè)市場運營態(tài)勢及發(fā)展前景研判報告
- 2024年南京鐵道職業(yè)技術學院單招職業(yè)技能測試題庫及答案解析
- 設備部年終總結
- 湘教版七年級上冊地理全冊教案(共30課時)
- 江西省萍鄉(xiāng)市2022-2023學年高一年級上冊期末考試數(shù)學試題
- 第二單元自測卷(試題)2023-2024學年統(tǒng)編版語文四年級下冊
- 電梯曳引機生銹處理方案
- 山西省呂梁市2023-2024學年高二上學期期末數(shù)學試題
評論
0/150
提交評論