版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
青少年活動(dòng)中心基礎(chǔ)數(shù)據(jù)平臺(tái)及數(shù)字駕駛艙項(xiàng)目建設(shè)方案TOC\o"1-5"\h\z一、 項(xiàng)目概況 4二、 項(xiàng)目建設(shè)原則 4(一) 標(biāo)準(zhǔn)化、規(guī)范性和開放性 4(二) 先進(jìn)性、成熟性和易用性 5(三) 可靠性、穩(wěn)定性和容錯(cuò)性 5(四) 可擴(kuò)展性和易升級(jí)性 5(五) 安全性和保密性 6(六) 可管理性、可維護(hù)性和獨(dú)立性 7(七) 前端定制化 8三、 基礎(chǔ)數(shù)據(jù)管理平臺(tái) 81、平臺(tái)性能要求 81穩(wěn)定可靠 82高效響應(yīng) 81.3高并發(fā)率 91.4高用戶數(shù) 91.5兼容適應(yīng)性 92、 項(xiàng)目建設(shè)內(nèi)容 102.1統(tǒng)一認(rèn)證平臺(tái) 102.2開發(fā)者門戶 172.3消息服務(wù)中心 222.4監(jiān)控中心 242.5日志管理 262.6數(shù)據(jù)管理中心 272.7對(duì)接移動(dòng)端APP 40四、 數(shù)字駕駛艙 401、 項(xiàng)目要求 402、 項(xiàng)目需求 403、 系統(tǒng)交互 41\o"CurrentDocument"4、 功能要求 42\o"CurrentDocument"4.1登錄/權(quán)限 42\o"CurrentDocument"4.2數(shù)據(jù)管理 43\o"CurrentDocument"4.3儀表盤管理 444.4儀表盤場(chǎng)景 47\o"CurrentDocument"4.5業(yè)務(wù)預(yù)警 494.6插件管理 504.7監(jiān)控中心 504.8日志管理 50一、 項(xiàng)目概況根據(jù)杭州青少年活動(dòng)中心十四五規(guī)劃,為了聚焦數(shù)字賦能,提升信息化水平,應(yīng)整合中心現(xiàn)有信息化平臺(tái),以基礎(chǔ)數(shù)據(jù)管理平臺(tái)為核心,以智慧治理、智慧育人、智慧服務(wù)為建設(shè)內(nèi)容,以改善基礎(chǔ)設(shè)施、挖掘應(yīng)用場(chǎng)景、提升信息素養(yǎng)為途徑,著力構(gòu)建中心可持續(xù)發(fā)展的“1+3+3”信息化建設(shè)新體系,努力建成服務(wù)智慧化、決策數(shù)據(jù)化、管理精準(zhǔn)化、育人多元化的智慧少年宮?;A(chǔ)數(shù)據(jù)管理平臺(tái)是信息化平臺(tái)的基礎(chǔ),是打造智慧少年宮的基石。目標(biāo)是在現(xiàn)有數(shù)據(jù)特征和硬件設(shè)備的基礎(chǔ)上,構(gòu)建權(quán)限統(tǒng)一、集約高效、數(shù)據(jù)易控的業(yè)務(wù)中樞平臺(tái),實(shí)現(xiàn)對(duì)杭州青少年活動(dòng)中心各核心業(yè)務(wù)系統(tǒng)的有效支撐,有力發(fā)展各方面重點(diǎn)應(yīng)用,實(shí)現(xiàn)“統(tǒng)一架構(gòu)、統(tǒng)一用戶、統(tǒng)一門戶、統(tǒng)一數(shù)源”的整體架構(gòu)體系。數(shù)字駕駛艙通過采集各應(yīng)用平臺(tái)數(shù)據(jù),利用云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等新技術(shù),將數(shù)據(jù)進(jìn)行統(tǒng)一管理、集中調(diào)度、動(dòng)態(tài)感知、智能分析,使之成為中心各項(xiàng)工作決策的“分析儀”和“指南針”,用科學(xué)、可靠、有效的數(shù)據(jù)分析帶動(dòng)管理由人力密集向人機(jī)交互轉(zhuǎn)型,由經(jīng)驗(yàn)判斷向數(shù)據(jù)實(shí)證轉(zhuǎn)變,提高大數(shù)據(jù)支撐管理、決策、公共服務(wù)的整體效能,為全面構(gòu)建中心智能化的治理、育人、服務(wù)新體系提供有力支撐。二、 項(xiàng)目建設(shè)原則(一)標(biāo)準(zhǔn)化、規(guī)范性和開放性全中心的信息化建設(shè)是一個(gè)龐大的系統(tǒng)工程,其體系的設(shè)計(jì)、系統(tǒng)的實(shí)施等必須遵循一系列的規(guī)范、標(biāo)準(zhǔn),確保各個(gè)分系統(tǒng)的有效協(xié)調(diào),整個(gè)系統(tǒng)能安全地互聯(lián)互通、信息共享。設(shè)計(jì)、開發(fā)和管理維護(hù)各階段的技術(shù)文檔要完整、規(guī)范、條理清晰。作為一個(gè)開放的且符合業(yè)界主流技術(shù)標(biāo)準(zhǔn)的系統(tǒng)平臺(tái),對(duì)網(wǎng)絡(luò)的硬件環(huán)境,通信環(huán)境,軟件環(huán)境,操作平臺(tái)之間的依賴小。(-)先進(jìn)性、成熟性和易用性系統(tǒng)設(shè)計(jì)既要采用先進(jìn)技術(shù)和系統(tǒng)工程方法,又要注意技術(shù)的可行性和實(shí)用性,方法的正確性。在整個(gè)系統(tǒng)的生命周期內(nèi),系統(tǒng)應(yīng)能夠不斷完善、擴(kuò)充、更新,使功能愈來愈豐富,性能愈來愈穩(wěn)定,使用愈來愈方便。系統(tǒng)具備可伸縮的架構(gòu),設(shè)計(jì)既要采用先進(jìn)技術(shù)和系統(tǒng)工程方法,還要注意技術(shù)的合理性,技術(shù)的可行性,方法的正確性。采用面向?qū)ο蟮慕M件技術(shù)開發(fā),著重于開發(fā)構(gòu)成應(yīng)用程序“業(yè)務(wù)對(duì)象”的可重復(fù)使用的組件,利用這些組件順利地建立分布式應(yīng)用程序。(三) 可靠性、穩(wěn)定性和容錯(cuò)性在考慮技術(shù)先進(jìn)性和開放性的同時(shí),還應(yīng)從系統(tǒng)結(jié)構(gòu),技術(shù)措施,系統(tǒng)管理等方面著手,確保系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性,達(dá)到最大的平均無故障時(shí)間。運(yùn)行穩(wěn)定、安全可靠、實(shí)用性強(qiáng),在訪問高峰期系統(tǒng)的接口訪問命中率達(dá)到99%以上。尤其是在報(bào)名期間,要維持系統(tǒng)的強(qiáng)穩(wěn)定性和易用性,避免出現(xiàn)頁面卡死、不可用的情況。提高應(yīng)用數(shù)據(jù)收集和應(yīng)用統(tǒng)計(jì)的穩(wěn)定性,實(shí)現(xiàn)日志收集與數(shù)據(jù)分析的異步處理,建立數(shù)據(jù)倉庫,實(shí)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)的唯一源獲取,避免前、后臺(tái)、用戶個(gè)人中心統(tǒng)計(jì)數(shù)據(jù)不一致。為適應(yīng)IPv4和IPv6網(wǎng)絡(luò)環(huán)境,本項(xiàng)目實(shí)施需滿足IPv4和IPv6網(wǎng)絡(luò)環(huán)境下部署,且所有功能均可正常運(yùn)行。(四) 可擴(kuò)展性和易升級(jí)性為適應(yīng)應(yīng)用不斷拓展的需要,應(yīng)用平臺(tái)的軟硬件環(huán)境必須有良好的平滑可擴(kuò)充性。要提供簡便、規(guī)范、暢通的基礎(chǔ)數(shù)據(jù)服務(wù)。能夠最大限度地適應(yīng)未來業(yè)務(wù)發(fā)展的變化。整個(gè)系統(tǒng)低耦合、模塊化設(shè)計(jì),當(dāng)系統(tǒng)規(guī)模擴(kuò)大,系統(tǒng)可以比較簡單地予以修改、調(diào)整就能適應(yīng),充分滿足用戶的個(gè)性化需求,達(dá)到良好效果,不會(huì)造成硬件和軟件資源的浪費(fèi)。(五)安全性和保密性信息系統(tǒng)具有完備的用戶權(quán)限管理功能,禁止超越權(quán)限的操作,保護(hù)原始數(shù)據(jù),保護(hù)系統(tǒng)免遭破壞,信息資源的充分共享,更要注意信息的保護(hù)和隔離,設(shè)置系統(tǒng)安全機(jī)制,數(shù)據(jù)存取的權(quán)限控制。系統(tǒng)開發(fā)人員安全管理為了保證應(yīng)用系統(tǒng)的安全,首先應(yīng)用系統(tǒng)開發(fā)人員必須負(fù)責(zé)其開發(fā)內(nèi)容的保密性,不得私自將開發(fā)的相關(guān)信息泄漏出去,即使對(duì)家人或開發(fā)團(tuán)隊(duì)中其他開發(fā)人員也不得泄漏,必要時(shí)需簽署保密協(xié)議。同時(shí),系統(tǒng)開發(fā)人員有責(zé)任將開發(fā)的內(nèi)容告訴項(xiàng)目負(fù)責(zé)人員或開發(fā)小組負(fù)責(zé)人員。系統(tǒng)開發(fā)人員在整個(gè)開發(fā)的過程中必須完整持續(xù)地進(jìn)行代碼錯(cuò)誤處理所規(guī)定的流程,應(yīng)對(duì)重要的敏感信息進(jìn)行加密保護(hù),并使用一些相對(duì)復(fù)雜的加密和密鑰生成機(jī)制,單獨(dú)編寫安全性設(shè)計(jì)說明概要。系統(tǒng)設(shè)計(jì)階段應(yīng)用系統(tǒng)設(shè)計(jì)階段應(yīng)確保敏感數(shù)據(jù)的安全性,確保訪問層的安全性,確保日志管理機(jī)制健全。系統(tǒng)開發(fā)階段應(yīng)用系統(tǒng)開發(fā)階段應(yīng)針對(duì)原程序庫和運(yùn)作程序庫進(jìn)行嚴(yán)格管理;并通過系統(tǒng)安全開發(fā)工具,對(duì)系統(tǒng)的各個(gè)版本進(jìn)行安全審核,以滿足防御后門代碼或隱藏通道等安全問題的需要,對(duì)系統(tǒng)進(jìn)行嚴(yán)格的版本控制;平臺(tái)具有高安全性,應(yīng)實(shí)現(xiàn)對(duì)網(wǎng)站后門程序檢測(cè)、目錄權(quán)限安全加固、防SQL注入代碼添加、防跨站腳本代碼添加、數(shù)據(jù)庫信息泄露弱點(diǎn)修復(fù)、源代碼泄露弱點(diǎn)修復(fù)、后臺(tái)地址泄露弱點(diǎn)修復(fù)、不安全的http方法(WebDAV)修復(fù)、應(yīng)用服務(wù)器類型和版本泄漏弱點(diǎn)等網(wǎng)站綜合安全措施。d?系統(tǒng)安全本項(xiàng)目平臺(tái)的系統(tǒng)安全主要遵循以下原則:所有數(shù)據(jù)實(shí)現(xiàn)自動(dòng)備份功能(在總量的備份基礎(chǔ)上,實(shí)現(xiàn)日差異備份,備份的物理區(qū)域可以是本地備份或異地備份),有方便、可靠、安全的方法在數(shù)據(jù)災(zāi)難發(fā)生后實(shí)現(xiàn)快速的數(shù)據(jù)恢復(fù);用戶操作進(jìn)行相應(yīng)的IP限制;詳細(xì)記錄系統(tǒng)安全日志和程序日志;完整記錄所有系統(tǒng)的用戶訪問以及操作情況。日志分析方便、快速、可行;對(duì)有加密需求的字段進(jìn)行加密;用戶密碼弱的情況下,系統(tǒng)有強(qiáng)制要求用戶修改密碼提示,達(dá)到系統(tǒng)的要求為止。在根據(jù)特定的安全要求下,同時(shí)必須遵守國家信息網(wǎng)絡(luò)安全管理相關(guān)標(biāo)準(zhǔn)(如:GB/T20269-2006信息安全技術(shù)-信息系統(tǒng)安全管理要求、GB/T20984-2007信息安全技術(shù)-信息安全風(fēng)險(xiǎn)評(píng)估規(guī)范、GB/T22239-2008信息安全技術(shù)-信息系統(tǒng)安全等級(jí)保護(hù)基本要求、GB/T22240-2008信息安全技術(shù)-信息系統(tǒng)安全等級(jí)保護(hù)定級(jí)指南、GA/T388-2002B計(jì)算機(jī)信息系統(tǒng)安全等級(jí)保護(hù)管理要求等)。敏感數(shù)據(jù)存儲(chǔ)加密(符合國密要求),數(shù)據(jù)傳輸安全,數(shù)據(jù)展示脫敏,禁止全表查詢。&全站訪問均采用SSL加密方式(證書由采購方提供)。(六)可管理性、可維護(hù)性和獨(dú)立性平臺(tái)是由多個(gè)部分組成的較為復(fù)雜的系統(tǒng),為了便于系統(tǒng)的日常運(yùn)行維護(hù)和管理,要求其具有良好的可管理性和可維護(hù)性。另外可管理性和可維護(hù)性還包括對(duì)平臺(tái)的自身。采用先進(jìn)、開放的體系結(jié)構(gòu)和結(jié)構(gòu)化、模塊化的設(shè)計(jì),充分考慮系統(tǒng)的升級(jí)、兼容、處理能力、數(shù)據(jù)庫、軟件二次開發(fā)等方面的可擴(kuò)展性和靈活性,以保證在今后可能出現(xiàn)功能需求變化的情況下,系統(tǒng)可以簡單地予以修改和調(diào)整。系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)應(yīng)遵循獨(dú)立性原則,不依賴非必要的第三方系統(tǒng),若有依賴需要及時(shí)告知。(七)前端定制化前端頁面需要按照采購方需求進(jìn)行定制化的開發(fā),包括但不限于頁面的設(shè)計(jì)布局、頁面之間的跳轉(zhuǎn)操作、頁面中子控件的位置圖標(biāo),并提供對(duì)外頁面可設(shè)置為一鍵黑白的功能。三、基礎(chǔ)數(shù)據(jù)管理平臺(tái)1、平臺(tái)性能要求1.1穩(wěn)定可靠統(tǒng)一平臺(tái)作為未來中心所有業(yè)務(wù)系統(tǒng)的統(tǒng)一入口,應(yīng)該具有強(qiáng)穩(wěn)定性。保證系統(tǒng)功能的正常運(yùn)行,在高并發(fā)場(chǎng)景如報(bào)名的情況下,也可以保證系統(tǒng)的穩(wěn)定、流暢和可用。不應(yīng)該出現(xiàn)一個(gè)頁面卡死、反復(fù)刷新或者登錄不成功的情況。如遇系統(tǒng)崩潰,應(yīng)該及時(shí)響應(yīng)迅速解決。要求交付前進(jìn)行性能測(cè)試,并提供測(cè)試報(bào)告。2高效響應(yīng)對(duì)數(shù)據(jù)、資源進(jìn)行冷熱物理存儲(chǔ)分離,有效使用匹配基礎(chǔ)設(shè)施資源。在服務(wù)器近端測(cè)試,在百兆網(wǎng)速的情況下,前臺(tái)用戶級(jí)應(yīng)用型頁面響應(yīng)時(shí)間1秒以內(nèi),前臺(tái)流媒體展現(xiàn)、管理級(jí)及后臺(tái)用戶級(jí)帶有復(fù)雜算法查詢的頁面在3秒以內(nèi)響應(yīng)。普通接口響應(yīng)時(shí)間平均應(yīng)該在200ms左右,QPS應(yīng)該達(dá)到2萬以上,查詢復(fù)雜的接口應(yīng)該在2秒以內(nèi),控制在等待期間鏈接不斷,調(diào)用其他系統(tǒng)的接口要有失敗自動(dòng)重試的機(jī)制。3高并發(fā)率在互聯(lián)網(wǎng)行業(yè)資源密集型云服務(wù)標(biāo)準(zhǔn)的基礎(chǔ)設(shè)施環(huán)境達(dá)標(biāo)條件下,支持1萬次以上接口訪問并發(fā)。要求門戶端實(shí)現(xiàn)web訪問與空間圖像處理服務(wù)的業(yè)務(wù)分離,提高門戶的訪問速度。1?4高用戶數(shù)支持10萬級(jí)注冊(cè)用戶同時(shí)在線,支持不小于500萬的日頁面訪問量,支持不低于日20萬次的接口調(diào)用。5兼容適應(yīng)性瀏覽器兼容性好,支持IE9.0及以上版本、Edge、360極速瀏覽器、Firefox、Chrome>Safari、手機(jī)網(wǎng)頁等主流操作系統(tǒng)(包括Android.iOS、PC端各操作系統(tǒng))內(nèi)核瀏覽器應(yīng)用軟件瀏覽和操作,在特定業(yè)務(wù)應(yīng)用場(chǎng)景的要求下可支持不同分辨率桌面的自適應(yīng)顯示,確保界面顯示規(guī)整,不會(huì)出現(xiàn)移位、掛角等情況。平臺(tái)級(jí)別能力功能不使用其他任何插件,對(duì)于以上瀏覽器無法獨(dú)立支撐操作的功能要求的需要加載特定插件的需要向用戶給出明確提示給用戶進(jìn)行有選擇性的下載。2、項(xiàng)目建設(shè)內(nèi)容2.1統(tǒng)一認(rèn)證平臺(tái)1.1建設(shè)目標(biāo)隨著應(yīng)用建設(shè)的逐步深入,己經(jīng)建成的和將要建成的各種業(yè)務(wù)部門的應(yīng)用系統(tǒng)存在不同的身份認(rèn)證方式,用戶必須記憶不同的密碼和身份。因此,要建設(shè)以認(rèn)證服務(wù)為基礎(chǔ)的統(tǒng)一用戶管理、授權(quán)管理和身份認(rèn)證體系,將用戶權(quán)限信息統(tǒng)一存儲(chǔ),進(jìn)行分級(jí)授權(quán)和集中身份認(rèn)證,規(guī)范應(yīng)用系統(tǒng)的用戶認(rèn)證方式。提高應(yīng)用系統(tǒng)的安全性和用戶使用的方便性,實(shí)現(xiàn)全部應(yīng)用的單點(diǎn)登錄。即用戶經(jīng)統(tǒng)一應(yīng)用門戶登錄后,從一個(gè)功能進(jìn)入到另一個(gè)功能時(shí),系統(tǒng)平臺(tái)依據(jù)用戶的角色與權(quán)限,完成對(duì)用戶的一次性身份認(rèn)證,提供該用戶相應(yīng)的活動(dòng)“場(chǎng)所”、信息資源和基于其權(quán)限的功能模塊和工具。1.2建設(shè)內(nèi)容以及功能要求一、注冊(cè)、認(rèn)證和登錄序號(hào)功能具體描述1新用戶注冊(cè)流程(含中心第三方應(yīng)用平臺(tái))注冊(cè)通道一中國內(nèi)地:提供姓名、身份證號(hào)(學(xué)生)進(jìn)行實(shí)名認(rèn)證,輸入就讀學(xué)校和年級(jí),再綁定手機(jī)號(hào)并獲取驗(yàn)證碼,完成注冊(cè)。港澳臺(tái)及其他國家地區(qū):提供姓名、國籍/地區(qū)、護(hù)照號(hào)/通行證號(hào)(學(xué)生)、出生日期、性別、就讀學(xué)校和年級(jí),綁定手機(jī)號(hào)并獲取驗(yàn)證碼,上傳證件照進(jìn)入人工審核,完成注冊(cè)。所有學(xué)員的賬號(hào)以身份證號(hào)做唯一標(biāo)識(shí)(主鍵可用uuid)o
申請(qǐng)賬號(hào)時(shí)注意密碼的復(fù)雜度,規(guī)定必須為字母、數(shù)字、特殊字符等組成的結(jié)構(gòu),保證賬號(hào)密碼的安全性。注冊(cè)通道可用戶定義開啟或隱藏。注冊(cè)通道二對(duì)接政務(wù)服務(wù)網(wǎng)的注冊(cè)流程應(yīng)該是先跳轉(zhuǎn)到政務(wù)網(wǎng)注冊(cè),再帶著信息回到本系統(tǒng),提供默認(rèn)密碼為手機(jī)號(hào)。由于政務(wù)網(wǎng)返回的信息可能只有身份證和手機(jī)號(hào)等基礎(chǔ)信息,本系統(tǒng)需要提示并補(bǔ)填其他必要信息后,才允許用戶繼續(xù)使用本系統(tǒng)。系統(tǒng)管理員可自定義注冊(cè)通道的顯示。2其他用戶注冊(cè)提供姓名、身份證、綁定手機(jī)號(hào)并獲取驗(yàn)證碼,完成注冊(cè)。(根據(jù)需要可對(duì)接到政務(wù)服務(wù)網(wǎng)等平臺(tái)進(jìn)行統(tǒng)一的注冊(cè)和實(shí)名驗(yàn)證)3內(nèi)部系統(tǒng)賬戶遷移對(duì)接對(duì)中心內(nèi)部系統(tǒng)己注冊(cè)的賬戶進(jìn)行整體遷入,對(duì)于原系統(tǒng)缺少的信息如身份證號(hào)進(jìn)行統(tǒng)一數(shù)據(jù)清洗。使原來已注冊(cè)的用戶不必重新注冊(cè),即可使用本系統(tǒng)。4登錄認(rèn)證方式用戶名/密碼認(rèn)證。通過第三方平臺(tái)認(rèn)證,如QQ、微信、釘釘、支付寶、浙里辦、浙江政務(wù)服務(wù)網(wǎng)等方式認(rèn)證。教職工可獨(dú)立認(rèn)證通道。5單點(diǎn)登錄實(shí)現(xiàn)在多個(gè)已接入統(tǒng)一平臺(tái)的應(yīng)用系統(tǒng)中,用戶只需要登錄一次就可以訪問所有平臺(tái)上的應(yīng)用系統(tǒng)。即:在token過期之前,用戶只要一次登錄,便可以不需要登錄而直接訪問其他任何已接入統(tǒng)一平臺(tái)的系統(tǒng)。包括輸入統(tǒng)一認(rèn)證
網(wǎng)站網(wǎng)址、輸入任意一個(gè)接入統(tǒng)一平臺(tái)的系統(tǒng)的網(wǎng)址、從其他網(wǎng)站通過超鏈接跳轉(zhuǎn)、從已接入的系統(tǒng)A跳轉(zhuǎn)到已接入的系統(tǒng)B等。6token過期時(shí)間token過期時(shí)間默認(rèn)為5小時(shí),但需實(shí)現(xiàn)可用戶自定義配置token11期時(shí)間。7用戶注銷/登出/切換賬號(hào)單點(diǎn)登出。用戶登錄狀態(tài)下,在某一成員網(wǎng)站或統(tǒng)一平臺(tái)進(jìn)行注銷時(shí),均可實(shí)現(xiàn)處處注銷。一個(gè)家長對(duì)應(yīng)多個(gè)學(xué)生的情況下可能需要切換賬號(hào),切換賬號(hào)時(shí)可根據(jù)瀏覽器保存的密碼登錄或重新輸入密碼。需要注意的是,系統(tǒng)賬號(hào)以學(xué)員身份證為維度,如果一個(gè)家長有多個(gè)孩子,應(yīng)該是賬號(hào)之間的切換,而不是角色之間的切換,也即不能以家長手機(jī)號(hào)作為登錄賬號(hào),而應(yīng)該使用身份證或字符串作為唯一賬戶名。同樣是一處切換,處處切換。8登錄信息安全統(tǒng)一認(rèn)證平臺(tái)對(duì)某用戶認(rèn)證后,返回給其他系統(tǒng)認(rèn)證信息即token等,要注意信息的安全性,謹(jǐn)防被攔截、竊取、篡改信息。9對(duì)接政務(wù)服務(wù)網(wǎng)實(shí)名身份認(rèn)證需要通過對(duì)接政務(wù)服務(wù)網(wǎng)實(shí)現(xiàn),意味著新用戶需要跳轉(zhuǎn)過去注冊(cè),下次登錄時(shí)帶著政務(wù)服務(wù)網(wǎng)的返回信息回到本系統(tǒng),本系統(tǒng)依然保留自身的登錄驗(yàn)證功能,但可對(duì)用戶隱藏,以保證本系統(tǒng)的主動(dòng)性和可擴(kuò)展性。二、用戶角色和應(yīng)月沖戶序號(hào)功能具體描述1用戶權(quán)限1.用戶注冊(cè)后擁有已經(jīng)對(duì)接到統(tǒng)一平臺(tái)的舊系統(tǒng)的先前就綁定好的權(quán)限。
用戶初始時(shí)擁有中心所有對(duì)外開放的系統(tǒng)的訪問權(quán)限,展示包括系統(tǒng)名稱、所屬部門和基本的簡介等信息并可以點(diǎn)選跳轉(zhuǎn)。其他內(nèi)部系統(tǒng),需要由該系統(tǒng)管理員人工為用戶賦予訪問權(quán)限。如果用戶是開發(fā)者,還可以申請(qǐng)接口、數(shù)據(jù)表。2用戶權(quán)限顆粒度統(tǒng)一平臺(tái)給用戶賦予的權(quán)限顆粒度僅精確到是否可以訪問該系統(tǒng),用戶在第三方系統(tǒng)中更具體的角色以及第三方系統(tǒng)內(nèi)的權(quán)限,不由統(tǒng)一平臺(tái)管理。3角色和角色組統(tǒng)一平臺(tái)級(jí)別角色,有開發(fā)者、管理者、應(yīng)用使用者等。有管理員分組、各系統(tǒng)管理員分組、開發(fā)者分組和普通用戶分組,因此一個(gè)用戶可以具有多種角色,一種角色也可以對(duì)應(yīng)多個(gè)用戶,用戶可以根據(jù)角色分組。4權(quán)限管理1?用戶-系統(tǒng)管理的模塊,管理員可以查看其管轄范圍內(nèi)的所有用戶的系統(tǒng)權(quán)限,并可以對(duì)訪問權(quán)限進(jìn)行分配和回收。實(shí)現(xiàn)用戶與角色、用戶組與角色、用戶組與角色的授權(quán),支持根據(jù)用戶屬性自動(dòng)授權(quán)與收回。除了角色授權(quán)以外,管理員可為本單位賬號(hào)進(jìn)行分組,對(duì)組下賬號(hào)的個(gè)人門戶統(tǒng)一添加可用應(yīng)用。對(duì)于異常用戶,管理員有權(quán)限對(duì)其賬號(hào)進(jìn)行凍結(jié),用戶可以自己申請(qǐng)解除凍結(jié),由系統(tǒng)管理員進(jìn)行解凍。具有黑名單功能。
5.對(duì)于異常登錄用戶,可周期性暫緩登錄,可配置。5應(yīng)用門戶用戶從基礎(chǔ)平臺(tái)登錄成功后,顯示用戶有權(quán)限訪問的業(yè)務(wù)系統(tǒng)列表,每個(gè)系統(tǒng)以圖標(biāo)和系統(tǒng)名稱的形式顯示,點(diǎn)擊圖標(biāo)即可進(jìn)入該系統(tǒng)中。在應(yīng)用門戶里具有應(yīng)用的消息數(shù)提示,訪問后可清空。同時(shí)應(yīng)具備應(yīng)用消息內(nèi)容的列表接口,必要時(shí)可進(jìn)行內(nèi)容顯示。6應(yīng)用超市管理員可管理本單位的基礎(chǔ)應(yīng)用、自建應(yīng)用、第三方應(yīng)用,支持應(yīng)用啟用/禁用功能。系統(tǒng)支持應(yīng)用分類管理,以便分類查看。三、用戶中心和基礎(chǔ)數(shù)據(jù)管理序號(hào)功能具體描述1用戶中心信息修改:系統(tǒng)頁面右上角的用戶圖標(biāo)可點(diǎn)擊,點(diǎn)擊后進(jìn)入用戶中心。顯示內(nèi)容包括用戶自己的個(gè)人信息等,用戶信息的更新、修改密碼、找回密碼操作也在用戶中心進(jìn)行,找回密碼根據(jù)個(gè)人信息中填寫的手機(jī)短信驗(yàn)證碼、郵箱郵件驗(yàn)證碼的方式進(jìn)行找回。消息查看:在收到消息通知如管理員收到訪問系統(tǒng)權(quán)限申請(qǐng)的時(shí)候,系統(tǒng)右上方的用戶圖標(biāo)應(yīng)該有紅色小點(diǎn)或數(shù)字,以表示用戶有未讀消息或未處理事項(xiàng),點(diǎn)進(jìn)去可以進(jìn)入消息管理頁面進(jìn)行處理,閱讀完所有未讀消息后紅點(diǎn)消失??梢圆榭醋约杭禾幚砗臀刺幚淼乃写k事項(xiàng)列表。(消息和待處理事項(xiàng)的維度為統(tǒng)一認(rèn)證平臺(tái),和第三方系統(tǒng)消息無關(guān)聯(lián))
3.切換賬號(hào):如果綁定了其他賬號(hào),系統(tǒng)支持賬號(hào)一鍵切換登錄其他賬號(hào)個(gè)人門戶。具體實(shí)現(xiàn)見上文所述。4?權(quán)限管理:可以查看自己擁有的系統(tǒng)列表和權(quán)限。2基礎(chǔ)數(shù)據(jù)管理自動(dòng)更新:如學(xué)生的年級(jí)變化、年級(jí)情況等信息要隨著時(shí)間的增長而自動(dòng)更新?;ソ壎ǜ拢浩渌到y(tǒng)更新的數(shù)據(jù),通過數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)同步或異步的更新。提示更新:如升班等情況,彈出提醒詢問是否更新,點(diǎn)擊一鍵更新。提供批量更新的功能。學(xué)員用戶數(shù)據(jù),根據(jù)最后使用時(shí)間等要素進(jìn)行判斷是否將該用戶數(shù)據(jù)歸檔至歷史數(shù)據(jù)表,不作為熱數(shù)據(jù)繼續(xù)管理。通用數(shù)據(jù)基礎(chǔ)化。保證數(shù)據(jù)的基礎(chǔ)化和可擴(kuò)展性,我們只保存和提供最原始數(shù)據(jù),其他細(xì)分結(jié)構(gòu)則由各業(yè)務(wù)系統(tǒng)自定。所有涉及到的基礎(chǔ)數(shù)據(jù)都要進(jìn)行數(shù)據(jù)清洗和遷移的工作,包括但不限于學(xué)生、教職工、教室、組織架構(gòu)、收入等信息。四、非功能性要求易接入性和非侵入性:使其他業(yè)務(wù)系統(tǒng)可以通過很少的時(shí)間代價(jià)和較少的開發(fā)代碼改動(dòng),而完成對(duì)統(tǒng)一平臺(tái)的對(duì)接。對(duì)于使用不同編程語言開發(fā)的系統(tǒng),都要具有對(duì)接兼容性。提供標(biāo)準(zhǔn)的接入接口等,應(yīng)該提供詳盡的技術(shù)文檔和視頻等進(jìn)行指導(dǎo)??紤]包括客戶端、app應(yīng)用端系統(tǒng)的對(duì)接。高并發(fā)下強(qiáng)穩(wěn)定性:統(tǒng)一平臺(tái)作為未來中心所有業(yè)務(wù)系統(tǒng)的統(tǒng)一入口,應(yīng)該具有強(qiáng)穩(wěn)定性。保證系統(tǒng)功能的正常運(yùn)行,在幾十萬高并發(fā)的請(qǐng)求場(chǎng)景下,也可以保證系統(tǒng)的穩(wěn)定、流暢和可用。如遇系統(tǒng)崩潰,應(yīng)該及時(shí)響應(yīng)迅速解決。要求交付前進(jìn)行性能測(cè)試,并提供測(cè)試報(bào)告。3?安全性:在平臺(tái)的設(shè)計(jì)中,既要充分考慮信息資源的共享,更要注意信息資源的保護(hù)和隔離,應(yīng)分別針對(duì)不同的應(yīng)用和不同的網(wǎng)絡(luò)通信環(huán)境,采取不同的措施,包括用戶、數(shù)據(jù)、運(yùn)行的安全性等。要求對(duì)數(shù)據(jù)庫提供靈活的備份和恢復(fù)機(jī)制,確保系統(tǒng)發(fā)生故障時(shí)能及時(shí)恢復(fù),業(yè)務(wù)功能不受影響。4.數(shù)據(jù)展示脫敏和查詢頁面緩存:數(shù)據(jù)展示的時(shí)候應(yīng)該考慮脫敏,尤其是公開的頁面中、日志展示中,如身份證和手機(jī)號(hào)的展示就要考慮根據(jù)查看權(quán)限的不同進(jìn)行脫敏處理。對(duì)于系統(tǒng)中所有查詢相關(guān)的頁面,都應(yīng)該做成分頁查詢,并且有緩存,避免短時(shí)間內(nèi)多次直連數(shù)據(jù)庫,查詢頁面也應(yīng)該設(shè)置默認(rèn)的查詢條件,不能任何條件都不輸入而進(jìn)行全表查詢,以免造成系統(tǒng)崩潰。5?統(tǒng)一平臺(tái)的監(jiān)控:提供完善的監(jiān)控功能,可對(duì)平臺(tái)內(nèi)的用戶、應(yīng)用、服務(wù)進(jìn)程和服務(wù)器硬件資源進(jìn)行實(shí)時(shí)監(jiān)控,且可通過各類圖表進(jìn)行直觀的結(jié)果展現(xiàn)。可對(duì)用戶身份帳號(hào)的管理、授權(quán)以及用戶的認(rèn)證行為中可能存在的問題進(jìn)行審計(jì),所有操作均日志記錄,日志必須可視化且易看,并提供根據(jù)時(shí)間、關(guān)鍵字、log等級(jí)查詢的功能。能夠?qū)γ總€(gè)角色管理員的操作行為、用戶自助管理行為和用戶登錄訪問行為進(jìn)行記錄。代碼中關(guān)鍵操作步驟必須打log,info、warn>error幾個(gè)等級(jí)的日志都應(yīng)有所涉及。對(duì)于異常行為應(yīng)有告警機(jī)制,及時(shí)通知各系統(tǒng)的管理員,并提供基本的一鍵解決措施等。(具體需求見下文的監(jiān)控中心和日志管理模塊)6?平臺(tái)平穩(wěn)和備用方案:作為所有業(yè)務(wù)系統(tǒng)的基礎(chǔ)平臺(tái),應(yīng)該具有備用方案和策略,當(dāng)系統(tǒng)因各種原因而崩潰時(shí),應(yīng)該啟動(dòng)雙活備份等方案,使登錄和注冊(cè)等功能正常使用,不影響其他業(yè)務(wù)系統(tǒng)的正常使用。易擴(kuò)展性:留好對(duì)接其他統(tǒng)一認(rèn)證平臺(tái)的接口,如果后面需要對(duì)接上級(jí)單位的統(tǒng)一認(rèn)證平臺(tái),希望做到較少開發(fā)量和對(duì)接成本,以及只對(duì)本基礎(chǔ)平臺(tái)進(jìn)行修改,而對(duì)所有已接入的其他業(yè)務(wù)系統(tǒng)透明無感,不需要它們?cè)俅螌?duì)接,也不應(yīng)該影響其他系統(tǒng)的正常登錄注冊(cè)和運(yùn)行。提供開發(fā)文檔:包括接入流程、認(rèn)證配置、創(chuàng)建應(yīng)用流程、申請(qǐng)和上傳接口流程、消息模板配置、開發(fā)者規(guī)范等。需要實(shí)現(xiàn)多種開發(fā)語言的第三方系統(tǒng)對(duì)接,包括但不限于Java、Python.C++、C、Go、Php等。2.2開發(fā)者門戶2.1建設(shè)目標(biāo)開發(fā)者門戶包括開發(fā)者門戶和接口管理兩個(gè)模塊,如上所述,統(tǒng)一平臺(tái)具有三種角色,管理員、開發(fā)者和應(yīng)用訪問者,開發(fā)者作為各接入業(yè)務(wù)系統(tǒng)的開發(fā)管理員,應(yīng)具有單獨(dú)的模塊對(duì)其功能進(jìn)行管理,包括接口的開發(fā)、申請(qǐng)和管理、部門/單位內(nèi)系統(tǒng)和應(yīng)用的上線和管理等,實(shí)現(xiàn)對(duì)接口的統(tǒng)一管理。2.2.2建設(shè)內(nèi)容以及功能要求一、開發(fā)者門戶
序號(hào)功能具體描述1開發(fā)者注冊(cè)系統(tǒng)支持專業(yè)公司或團(tuán)隊(duì)個(gè)人在平臺(tái)上完成開發(fā)者賬號(hào)注冊(cè),成為第三方開發(fā)者。2系統(tǒng)注冊(cè)開發(fā)者可通過平臺(tái)提交系統(tǒng)注冊(cè)申請(qǐng),并根據(jù)本用戶單位部門機(jī)構(gòu)信息選擇所屬部門,該系統(tǒng)應(yīng)用上線后可在該單位應(yīng)用超市中查看。3應(yīng)用添加開發(fā)者可在注冊(cè)完成的系統(tǒng)內(nèi)添加應(yīng)用,并且為了數(shù)據(jù)安全考慮,應(yīng)設(shè)置應(yīng)用的服務(wù)器岀口ip,接口需校驗(yàn)調(diào)用ip才可獲取數(shù)據(jù)。4數(shù)據(jù)權(quán)限系統(tǒng)默認(rèn)賦予應(yīng)用所屬角色組數(shù)據(jù)權(quán)限,系統(tǒng)管理員可管理控制數(shù)據(jù)范圍,保障數(shù)據(jù)在規(guī)定范圍內(nèi)傳輸。5消息模板系統(tǒng)默認(rèn)提供消息接口權(quán)限,但寫入消息時(shí),必須先申請(qǐng)消息模板。消息是為了通知其他接口對(duì)接方或相關(guān)系統(tǒng)有訂閱內(nèi)容發(fā)生改變,通過審核后即可使用。6應(yīng)用管理開發(fā)者可申請(qǐng)應(yīng)用上線。己上線的應(yīng)用需管理員撤銷審核后才可下線。上線應(yīng)用可在應(yīng)用超市的相關(guān)應(yīng)用類型中查看。相應(yīng)機(jī)構(gòu)的管理員可下發(fā)應(yīng)用權(quán)限,使應(yīng)用可在授權(quán)賬號(hào)的個(gè)人門戶中查看。管理員可設(shè)置應(yīng)用暫停使用,使在應(yīng)用門戶中不可點(diǎn)選。(應(yīng)用包括但不限于中心其他部門或處室的系統(tǒng),還應(yīng)包括小功能模塊組件,可供展示和調(diào)用)7發(fā)送信息接口在開發(fā)者門戶中提供一個(gè)單獨(dú)頁面,作為發(fā)送信息接口的申請(qǐng)和管理。第三方系統(tǒng)可進(jìn)行接口調(diào)用申請(qǐng),包括發(fā)送短信、app.郵箱等幾個(gè)渠道。目的是本系統(tǒng)作為一個(gè)網(wǎng)關(guān),向應(yīng)用方
提供統(tǒng)一的消息發(fā)送接口,使應(yīng)用方開發(fā)者們不用考慮發(fā)送消息底層渠道變更的情況。提供統(tǒng)一的消息發(fā)送接口,使應(yīng)用方開發(fā)者們不用考慮發(fā)送消息底層渠道變更的情況。提供統(tǒng)一的消息發(fā)送接口,使應(yīng)用方開發(fā)者們不用考慮發(fā)送消息底層渠道變更的情況。二、接口管理序號(hào)功能具體描述1接口上傳上傳前需要綁定平臺(tái)中己有的數(shù)據(jù)表數(shù)據(jù)源,可選之前添加的數(shù)據(jù)庫連接信息,或新建數(shù)據(jù)表。發(fā)布接口時(shí)可以綁定過去已開發(fā)好的接口,也可以新創(chuàng)建接口,通過配置或?qū)憇ql的方式,從已有數(shù)據(jù)庫表中獲取字段,配置好接口后,點(diǎn)擊發(fā)布,即上傳成功新接口。上傳接口時(shí)可以選擇接口的生效時(shí)間段,并且可配置接口的日/分鐘可調(diào)用次數(shù),每個(gè)接口日/分鐘調(diào)用次數(shù)最多不能超過1萬/I千次。2接口維護(hù)實(shí)現(xiàn)接口的添加、發(fā)布、取消發(fā)布、測(cè)試、版本更新、刪除下架的全生命周期管理。滿足RESTfuKhttps傳輸協(xié)議,能設(shè)置接口的可調(diào)用次數(shù)。3接口詳情接口的信息應(yīng)包括接口名稱、請(qǐng)求方式、url、生產(chǎn)者信息、輸入輸岀字段及其類型、數(shù)據(jù)來源表、接口概述等。發(fā)布接口時(shí)必須具備這些信息,如果后期修改,也要及時(shí)更新信息,然后自動(dòng)觸發(fā)消息中心的通知機(jī)制,對(duì)該接口的所有訂閱者進(jìn)行通知。4接口查詢1.開發(fā)者可檢索平臺(tái)上所有開放的接口,并可對(duì)接口基本信息進(jìn)行預(yù)覽。開發(fā)者通過開發(fā)者賬號(hào)登錄后可申請(qǐng)調(diào)用接口。
2.用戶/開發(fā)者可以對(duì)自己擁有的接口進(jìn)行分類整理,如新建文件夾移動(dòng)保存等。接口也可以樹形結(jié)構(gòu)的方式進(jìn)行分層展示。5接口申請(qǐng)開發(fā)者可以檢索到數(shù)據(jù)平臺(tái)的所有數(shù)據(jù)表,展示出來的只是表名和簡介,開發(fā)者可根據(jù)自己的需求向表的所有者申請(qǐng)?jiān)L問權(quán)限,經(jīng)表所有者和系統(tǒng)管理員審批通過后可以看到表的全部信息。在擁有數(shù)據(jù)表的訪問權(quán)限后,對(duì)自己所需的接口進(jìn)行申請(qǐng)。申請(qǐng)方式有兩種:開發(fā)者和對(duì)方系統(tǒng)直接提出需求,由對(duì)方系統(tǒng)的開發(fā)者直接提供所需接口。申請(qǐng)流程是先由接口的提供者在已發(fā)布的接口上為新消費(fèi)者添加訪問權(quán)限,再流轉(zhuǎn)到系統(tǒng)總管理員進(jìn)行復(fù)核,最后擁有訪問此接口的權(quán)限。此時(shí)不是必須擁有訪問對(duì)方數(shù)據(jù)表的權(quán)限,只要能通過協(xié)商好的接口獲取到自己所需的數(shù)據(jù)即可。開發(fā)者先對(duì)數(shù)據(jù)庫表進(jìn)行訪問權(quán)限申請(qǐng),此時(shí)所需的數(shù)據(jù)不一定在同i張表,甚至不一定在同一個(gè)業(yè)務(wù)系統(tǒng)(庫)中,開發(fā)者可根據(jù)幾張表的字段進(jìn)行手動(dòng)配置,如當(dāng)A表的x字段和B表的y字段相等時(shí),返回A、B表中的哪幾個(gè)字段等,通過配置的方式自動(dòng)生成所需接口o配置可以通過寫sql或者其他方式實(shí)現(xiàn)。應(yīng)用場(chǎng)景少但保留透?jìng)鞴δ埽床槐4嬖诮粨Q中心雙方直接通過接口傳遞數(shù)據(jù),此申請(qǐng)必須通過管理員審核,并且無特殊情況不應(yīng)該通過審核。
3.第三方應(yīng)用開發(fā)的接口,通過接口申請(qǐng),由管理員審核后,存入接口中心,由接口中心統(tǒng)一管理與代理。6接口管理管理者可以查看到系統(tǒng)中所有開發(fā)者和接口的對(duì)應(yīng)關(guān)系列表,并進(jìn)行增刪改的管理。管理者可以看到接口的監(jiān)控信息,如接口的申請(qǐng)次數(shù)、每日調(diào)用次數(shù)、響應(yīng)時(shí)間、是否出現(xiàn)擁塞等情況。7接口權(quán)限提供接口預(yù)覽功能,開發(fā)者申請(qǐng)接口,管理員審核通過后方可調(diào)用。8接口時(shí)效生產(chǎn)者在上傳接口的時(shí)候,要指定接口的上架時(shí)間和下架時(shí)間,超過下架時(shí)間后接口即變?yōu)椴豢烧{(diào)用的狀態(tài)。消費(fèi)者申請(qǐng)接口也有有效時(shí)間,在生效時(shí)間窗口內(nèi)方可調(diào)用接口,過了時(shí)效期要重新進(jìn)行接口的權(quán)限申請(qǐng)。9接口測(cè)試生產(chǎn)者、消費(fèi)者都可以在系統(tǒng)頁面中對(duì)接口進(jìn)行測(cè)試,以設(shè)定的請(qǐng)求地址、請(qǐng)求方式、請(qǐng)求頭請(qǐng)求體發(fā)起請(qǐng)求時(shí),測(cè)試連通性等其他信息。10接口調(diào)用次數(shù)可設(shè)置接口在一天內(nèi)或一分鐘內(nèi)的被調(diào)用次數(shù),防止被頻繁調(diào)用或惡意攻擊。三、非功能性要求1?接口管理中心的可擴(kuò)展性:面對(duì)高速發(fā)展的信息化建設(shè),不斷有新的應(yīng)用系統(tǒng)接口在服務(wù)訂閱中心中創(chuàng)建和第三方接口加入到服務(wù)訂閱中心中,要求接口服務(wù)總線具有高擴(kuò)展性和增長性的接口創(chuàng)建和發(fā)布能力,讓各種業(yè)務(wù)數(shù)據(jù)可以方便的在服務(wù)訂閱中心中通過接口方式發(fā)布,迅速為用戶提供服務(wù)。2?接口傳輸數(shù)據(jù)安全性:數(shù)據(jù)格式易于傳輸,能夠?qū)崿F(xiàn)各個(gè)應(yīng)用系統(tǒng)之間的同步/異步信息交換,格式技術(shù)兼容各種網(wǎng)絡(luò)系統(tǒng)和通訊協(xié)議。交換的數(shù)據(jù)文檔需要基于應(yīng)用系統(tǒng)之間約定的規(guī)則進(jìn)行驗(yàn)證,要能建立數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容、網(wǎng)絡(luò)傳輸?shù)炔煌瑢用娴陌踩雷o(hù)機(jī)制。平臺(tái)對(duì)外提供的API需使用信息安全算法進(jìn)行保護(hù)。3?所有的接口申請(qǐng)、數(shù)據(jù)申請(qǐng)、數(shù)據(jù)庫表申請(qǐng)等都需要在申請(qǐng)前簽訂協(xié)議,通過頁面彈框等方式進(jìn)行簽署,本系統(tǒng)進(jìn)行持久化存儲(chǔ)。協(xié)議的具體內(nèi)容由我方提供。2.3消息服務(wù)中心2.3.1建設(shè)目標(biāo)消息服務(wù)中心分為消息中心和消息機(jī)制兩種,其中消息中心是可以向任何用戶發(fā)送任何一種消息(文本、圖片、語音、視頻等),并能有效到達(dá)任何接收終端(手機(jī)短信、郵件、站內(nèi)信、釘釘?shù)龋┑南⑼扑头?wù)平臺(tái)。可節(jié)約通信成本,同時(shí)對(duì)消息發(fā)送的及時(shí)性、統(tǒng)一性、嚴(yán)謹(jǐn)性進(jìn)行統(tǒng)一管理和審計(jì)。消息中心將消息規(guī)整化處理,提供消息的采集、內(nèi)容規(guī)整、分布式調(diào)度、消息規(guī)則配置、消息內(nèi)容審計(jì),還能夠進(jìn)行微服務(wù)化、分布式的消息處理以及文件、音頻、視頻、新聞、公文、多媒體等多種消息格式處理。消息機(jī)制是一種技術(shù)實(shí)現(xiàn)方法,通過消息隊(duì)列、消息循環(huán)(分發(fā))和消息處理實(shí)現(xiàn)數(shù)據(jù)的傳輸,主要應(yīng)用在數(shù)據(jù)交換和消息處理的場(chǎng)景中。2.3.2建設(shè)內(nèi)容以及功能要求一、消息中心序號(hào)功能具體描述
1消息模板可自定義消息的發(fā)送模板,并提供消息管理頁面,對(duì)所有己讀、未讀消息和消息模板進(jìn)行統(tǒng)一管理。2消息推送根據(jù)用戶訂閱,推送如接口更新、權(quán)限申請(qǐng)、站內(nèi)通信、監(jiān)控預(yù)警、訂閱信息、重要數(shù)據(jù)變動(dòng)、觸發(fā)預(yù)定規(guī)則閾值等消息。提供消息推送供各應(yīng)用系統(tǒng)調(diào)用,實(shí)現(xiàn)消息發(fā)送和管理。3多渠道推送實(shí)現(xiàn)消息的收發(fā),接入手機(jī)短信、站內(nèi)信、釘釘、微信等通道,實(shí)現(xiàn)消息一鍵發(fā)布,全終端接收。允許管理員配置消息發(fā)送間隔,以及單個(gè)用戶每天被發(fā)送信息的上限次數(shù)。4消息傳輸安全支持接口數(shù)據(jù)加密傳輸,保證數(shù)據(jù)能在客戶端與服務(wù)訂閱中心服務(wù)器之間安全通信,接口的不同調(diào)用者可采用的不同的加密技術(shù)。5第三方系統(tǒng)消息聚集所有接入基礎(chǔ)數(shù)據(jù)平臺(tái)的第三方系統(tǒng),將自己系統(tǒng)的消息通知以接口、消息機(jī)制等形式推送給本平臺(tái),本平臺(tái)根據(jù)消息接收者進(jìn)行分類匯總,使每個(gè)用戶可以在個(gè)人門戶的消息中心看到所有第三方系統(tǒng)發(fā)給該用戶的消息,并可以通過鏈接跳轉(zhuǎn)到消息對(duì)應(yīng)的系統(tǒng)進(jìn)行處理。從而完成消息的匯總和統(tǒng)一處理。二、消息機(jī)制消息機(jī)制由消息隊(duì)列、消息循環(huán)和消息處理三大塊組成,消息隊(duì)列應(yīng)用在當(dāng)不需要立即獲得結(jié)果,但是并發(fā)量又需要進(jìn)行控制的場(chǎng)景下,主要解決了應(yīng)用耦合、異步處理、流量削鋒等問題。可以用于:應(yīng)用耦合,多應(yīng)用間通過消息隊(duì)列對(duì)同一消息進(jìn)行處理,避免調(diào)用接口失敗導(dǎo)致整個(gè)過程失敗;異步處理,多應(yīng)用對(duì)消息隊(duì)列中同一消息進(jìn)行處理,應(yīng)用間并發(fā)處理消息,相比串行處理,減少處理時(shí)間;限流削峰,廣泛應(yīng)用于秒殺或搶購活動(dòng)中,避免流量過大導(dǎo)致應(yīng)用系統(tǒng)掛掉的情況;消息驅(qū)動(dòng)的系統(tǒng),系統(tǒng)分為消息隊(duì)列、消息生產(chǎn)者、消息消費(fèi)者,生產(chǎn)者負(fù)責(zé)產(chǎn)生消息,消費(fèi)者(可能有多個(gè))負(fù)責(zé)對(duì)消息進(jìn)行處理。以上幾種場(chǎng)景在本系統(tǒng)中都可能有應(yīng)用,尤其是應(yīng)用間傳遞消息和數(shù)據(jù)等,根據(jù)實(shí)際開發(fā)情況引入該技術(shù),數(shù)據(jù)交換相關(guān)的具體需求見下文數(shù)據(jù)管理中心模塊。2.4監(jiān)控中心2.4.1建設(shè)目標(biāo)基礎(chǔ)數(shù)據(jù)平臺(tái)應(yīng)具有獨(dú)立且完備的監(jiān)控中心模塊,提供全鏈路和全方面的監(jiān)控功能,實(shí)現(xiàn)對(duì)平臺(tái)內(nèi)的用戶、應(yīng)用、服務(wù)進(jìn)程和服務(wù)器硬件資源的實(shí)時(shí)監(jiān)控,且可通過各類圖表進(jìn)行直觀的結(jié)果展現(xiàn),并提供專門的日志查詢頁面,供具有權(quán)限的用戶檢索和查看所有日志,并提供按照日期、關(guān)鍵字和日志等級(jí)查詢幾項(xiàng)功能,方便后續(xù)運(yùn)維和查看問題,保障系統(tǒng)的安全。對(duì)于一些常用的監(jiān)控?cái)?shù)據(jù)進(jìn)行可視化展示,使系統(tǒng)的開發(fā)人員可以及時(shí)關(guān)注到異常數(shù)據(jù)和關(guān)鍵性數(shù)據(jù)。比如數(shù)據(jù)的傳輸速度、某系統(tǒng)數(shù)據(jù)的訪問頻度、數(shù)據(jù)傳輸時(shí)的出錯(cuò)報(bào)告及重試次數(shù)、信道的占用比例、數(shù)據(jù)交換平臺(tái)的健康指數(shù)以及系統(tǒng)每日的運(yùn)行日志??梢杂肎rafana>Prometheus等開源監(jiān)控可視化工具進(jìn)行展示,也可用其他類似方式實(shí)現(xiàn),并通過Alertmanager等工具進(jìn)行告警,告警可以使用消息中心通過站內(nèi)信、郵件、QQ、釘釘?shù)龋ň唧w方式應(yīng)該在訂閱數(shù)據(jù)時(shí)選擇)其他方式通知相應(yīng)訂閱者、管理員。2.4.2建設(shè)內(nèi)容以及功能要求一、監(jiān)控范圍
序號(hào)功能具體描述1系統(tǒng)應(yīng)用監(jiān)控對(duì)于對(duì)接在統(tǒng)一平臺(tái)的系統(tǒng)應(yīng)用,監(jiān)控對(duì)接情況是否有異常,能否通過統(tǒng)一平臺(tái)正常跳轉(zhuǎn)訪問等。2應(yīng)用操作監(jiān)控對(duì)應(yīng)用操作層面的行為進(jìn)行監(jiān)控,比如申請(qǐng)系統(tǒng)、應(yīng)用、訪問權(quán)限、下線系統(tǒng)等,并能夠?qū)γ總€(gè)角色管理員的操作行為、用戶自助管理行為和用戶登錄訪問行為進(jìn)行記錄。3服務(wù)器監(jiān)控可實(shí)時(shí)監(jiān)控認(rèn)證服務(wù)器、緩存服務(wù)器的運(yùn)行及負(fù)載情況,監(jiān)控范圍包括磁盤、CPU運(yùn)行情況、網(wǎng)絡(luò)輸入與輸出、內(nèi)存占用率等。4數(shù)據(jù)庫監(jiān)控監(jiān)控統(tǒng)一身份認(rèn)證數(shù)據(jù)庫連接情況、SQL執(zhí)行響應(yīng)時(shí)間、連接數(shù)等信息,通過監(jiān)控及時(shí)發(fā)現(xiàn)業(yè)務(wù)處理過程中數(shù)據(jù)庫相關(guān)問題。5數(shù)據(jù)質(zhì)量監(jiān)控可監(jiān)測(cè)從各個(gè)業(yè)務(wù)系統(tǒng)匯集的原始數(shù)據(jù),通過自動(dòng)/手動(dòng)方式發(fā)現(xiàn)庫中存在的數(shù)據(jù)質(zhì)量問題。系統(tǒng)提供非空檢查、外鍵檢查、長度檢查、一致性檢查、自定義規(guī)則檢查等監(jiān)測(cè)方式。6數(shù)據(jù)一致性監(jiān)控監(jiān)控?cái)?shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。規(guī)范指的是,一項(xiàng)數(shù)據(jù)存在它特定的格式;邏輯指的是,多項(xiàng)數(shù)據(jù)間存在著固定的邏輯關(guān)系。7接口監(jiān)控每次接口調(diào)用時(shí)記錄相應(yīng)的信息,以便進(jìn)行統(tǒng)計(jì)查詢,用于查詢具體的調(diào)用記錄信息。8數(shù)據(jù)傳輸監(jiān)控對(duì)于在數(shù)據(jù)管理平臺(tái)上進(jìn)行數(shù)據(jù)傳輸進(jìn)行監(jiān)控,數(shù)據(jù)傳輸出現(xiàn)問題如卡頓或反復(fù)重傳失敗。2.5日志管理2.5.1建設(shè)目標(biāo)平臺(tái)應(yīng)提供完備安全的審計(jì)日志機(jī)制,包括人員調(diào)整日志,資源調(diào)整日志等,并提供完整的統(tǒng)計(jì)分析功能,對(duì)系統(tǒng)操作進(jìn)行完整記錄,作為監(jiān)控中心所監(jiān)控行為的記錄和展示,并提供單獨(dú)的日志管理頁面,以便獲取整個(gè)應(yīng)用系統(tǒng)的運(yùn)行情況。系統(tǒng)日志記錄用戶操作和系統(tǒng)自動(dòng)執(zhí)行的各種操作,即2.4節(jié)監(jiān)控中心所述的監(jiān)控范圍,在日志管理頁面中對(duì)日志進(jìn)行增刪改查等管理操作,而不需要去系統(tǒng)文件夾中查詢?nèi)罩?,?shí)現(xiàn)日志的可視化,并實(shí)現(xiàn)對(duì)日志進(jìn)行查看、檢索和導(dǎo)出等。2.5.2建設(shè)內(nèi)容以及功能要求一、日志打印要求序號(hào)功能具體描述1日志打印顆粒度查詢操作的日志不打印查詢頁面所有信息詳情,只打印“XX用戶XX時(shí)間進(jìn)行了XX查詢”。所有寫入操作、接口調(diào)用、寫DB、修改狀態(tài)都必須打印日志,標(biāo)明操作人、操作內(nèi)容和操作時(shí)間。3?上節(jié)2.4.2中監(jiān)控范圍的應(yīng)用操作監(jiān)控、數(shù)據(jù)傳輸監(jiān)控、接口監(jiān)控、數(shù)據(jù)質(zhì)量監(jiān)控等的關(guān)鍵步驟也應(yīng)進(jìn)行日志打印。其他無法用日志打印表示的,可以用可視化等的方式展示。2輸入輸出日志所有調(diào)用本系統(tǒng)的接口或本系統(tǒng)調(diào)用的接口,系統(tǒng)間通過基礎(chǔ)數(shù)據(jù)平臺(tái)進(jìn)行接觸的操作都以切面的方式攔截,進(jìn)行自動(dòng)的日志打印。打印格式遵循我方要求的日志格式規(guī)范。
3日志查詢速度為了不影響系統(tǒng)的正常運(yùn)行,消費(fèi)到日志后,應(yīng)存儲(chǔ)在如Elasticsearch等的數(shù)據(jù)庫中,再通過日志管理頁面進(jìn)行展示,實(shí)現(xiàn)高效查詢。4查詢條件日志查詢的條件提供包括日期時(shí)間段、關(guān)鍵字、日志等級(jí)三種。不輸入查詢條件時(shí)展示最新日志信息,實(shí)時(shí)性要求不高。5內(nèi)容格式每條日志的詳細(xì)信息包括:日志類型(用戶/系統(tǒng)操作)、操作用戶/系統(tǒng)、被操作對(duì)象、操作時(shí)間、具體內(nèi)容、執(zhí)行結(jié)果(成功和失敗)等。另,還有程序運(yùn)行過程中打印的系統(tǒng)日志。6查看權(quán)限具有日志查看權(quán)限的用戶可查看到日志信息。7持久化時(shí)間日志應(yīng)保存至少六個(gè)月以上,保證問題的可追溯性。8日志導(dǎo)岀管理員可以對(duì)日志進(jìn)行導(dǎo)出,可根據(jù)技術(shù)實(shí)現(xiàn)條件設(shè)置日志導(dǎo)出時(shí)每個(gè)文件的大小,導(dǎo)出條件和頁面當(dāng)前的查詢條件相同,如果不輸入查詢條件,則導(dǎo)出按鈕置灰。2.6數(shù)據(jù)管理中心2.6.1建設(shè)目標(biāo)數(shù)據(jù)管理中心的功能包括數(shù)據(jù)交換中心和數(shù)據(jù)持久化管理兩個(gè)方面,基礎(chǔ)數(shù)據(jù)平臺(tái)作為中心其他業(yè)務(wù)系統(tǒng)之間交換數(shù)據(jù)的中間件,不僅要負(fù)責(zé)系統(tǒng)間數(shù)據(jù)的安全、無損傳輸,更要將通過數(shù)據(jù)交換中心的所有數(shù)據(jù)進(jìn)行持久化管理,進(jìn)一步存儲(chǔ)、交換、分析和展示。數(shù)據(jù)共享交換中心提供各部門使用的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)中心的接口功能,在統(tǒng)一的數(shù)據(jù)共享與交換平臺(tái)下進(jìn)行安全、可靠、有效的數(shù)據(jù)共享與交換。作為數(shù)據(jù)中臺(tái),要將數(shù)據(jù)安全分類存儲(chǔ),包括各
種業(yè)務(wù)數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)平臺(tái)自身的數(shù)據(jù),使數(shù)據(jù)管理保證保密性、安全性、多備份、通用性、工具性和易管理,保證數(shù)據(jù)的可靠、高效和穩(wěn)定,為基礎(chǔ)平臺(tái)和中心其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)管理做好基礎(chǔ)的保駕護(hù)航工作。2.6.2建設(shè)內(nèi)容以及功能要求一、數(shù)據(jù)存儲(chǔ)序號(hào)功能具體描述1數(shù)據(jù)來源基礎(chǔ)信息庫:即基礎(chǔ)平臺(tái)自身數(shù)據(jù)。主題庫:即業(yè)務(wù)系統(tǒng)同步過來的主題數(shù)據(jù)。2主從數(shù)據(jù)庫為保障數(shù)據(jù)安全、系統(tǒng)穩(wěn)定和查詢速度,數(shù)據(jù)存儲(chǔ)需要采用主從數(shù)據(jù)庫,讀寫分離,需提供大數(shù)據(jù)高并發(fā)條件下的存儲(chǔ)和查詢測(cè)試報(bào)告。3存儲(chǔ)、交換分離基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng)的運(yùn)行和數(shù)據(jù)存儲(chǔ)用一個(gè)數(shù)據(jù)庫,數(shù)據(jù)交換功能則用另一個(gè)數(shù)據(jù)庫,達(dá)到存儲(chǔ)和交換分離,兩個(gè)業(yè)務(wù)互補(bǔ)影響,兩個(gè)庫的數(shù)據(jù)應(yīng)保證一致。4支持多種數(shù)據(jù)庫類型數(shù)據(jù)導(dǎo)入導(dǎo)出等操作,需要和主流數(shù)據(jù)庫兼容,包括但不限于MySQL、Oracle>SqlServer>MongoDB、HBase>Redis>Hive>CSV等。5建庫要求按部門建庫,數(shù)據(jù)庫分為接入庫和增量庫。數(shù)據(jù)庫命名為部門名稱全拼。對(duì)不同業(yè)務(wù)類型和主題的數(shù)據(jù)表進(jìn)行分類存放。6建表規(guī)則表名稱由兩部分組成,以下劃線連接,如:表前綴—表名。表前綴用來標(biāo)識(shí)第三方系統(tǒng),表名稱釆用各部門原有表的命名。示例:人事處的〃人員職稱關(guān)系表"對(duì)應(yīng)的表名為":rsc_ryzcgx"。
7表結(jié)構(gòu)創(chuàng)建1?數(shù)據(jù)庫表可以通過上傳excel或者新建模板的方式進(jìn)行創(chuàng)建。上傳過數(shù)據(jù)庫表結(jié)構(gòu)后才可以進(jìn)行后續(xù)的數(shù)據(jù)管理和接口創(chuàng)建等工作。創(chuàng)建表之后,可以直接對(duì)用戶/用戶組/角色/角色組進(jìn)行賦權(quán),此表的管理員默認(rèn)為表的創(chuàng)建者,可修改。創(chuàng)建表后可以和其他己有表進(jìn)行關(guān)聯(lián)。在創(chuàng)建表的時(shí)候直接選定所在目錄層級(jí)。8數(shù)據(jù)表管理表的創(chuàng)建者、管理者和所屬平臺(tái)管理者有權(quán)限對(duì)表進(jìn)行管理操作,包括:編輯數(shù)據(jù)表結(jié)構(gòu);刪除數(shù)據(jù)表;移動(dòng)、修改數(shù)據(jù)源表的歸屬目錄。系統(tǒng)管理員有權(quán)限對(duì)數(shù)據(jù)源目錄進(jìn)行增刪改查。9數(shù)據(jù)源表檢索所有用戶均可以查詢到所有數(shù)據(jù)庫表的表名和簡介;申請(qǐng)表的訪問權(quán)限后可以查看具體數(shù)據(jù)結(jié)構(gòu);記錄所有用戶對(duì)表的操作記錄,以日志的形式體現(xiàn)。二、數(shù)據(jù)管理序號(hào)功能具體描述1數(shù)據(jù)血緣關(guān)系在數(shù)據(jù)倉建設(shè)中,對(duì)每張表及其字段的來源,刻畫出關(guān)系網(wǎng)絡(luò),起到數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)治理的作用。2授權(quán)管理規(guī)定在數(shù)據(jù)交換過程中,哪些業(yè)務(wù)數(shù)據(jù)能夠在多大范圍內(nèi)被何種方式訪問到。某用戶的權(quán)限由統(tǒng)一認(rèn)證平臺(tái)管理和控制,權(quán)限在申請(qǐng)接口的時(shí)候被賦予,登錄后即帶有該信息。
3數(shù)據(jù)標(biāo)準(zhǔn)信息標(biāo)準(zhǔn)的數(shù)據(jù)集、數(shù)據(jù)項(xiàng)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)由項(xiàng)目建設(shè)人員在信息標(biāo)準(zhǔn)建設(shè)時(shí)提供并創(chuàng)建到數(shù)據(jù)中心中,同時(shí)提供信息標(biāo)準(zhǔn)文檔。標(biāo)準(zhǔn)根據(jù)和信息中心老師的溝通,如果已有則維護(hù)到數(shù)據(jù)中心中,如沒有則需要各部門進(jìn)行調(diào)研,根據(jù)調(diào)研的結(jié)果制定標(biāo)準(zhǔn),經(jīng)討論確定后和標(biāo)準(zhǔn)的數(shù)據(jù)集、數(shù)據(jù)項(xiàng)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)一起組建成《信息標(biāo)準(zhǔn)規(guī)范》。4數(shù)據(jù)映射標(biāo)準(zhǔn)數(shù)據(jù)庫存儲(chǔ)字段前端呈現(xiàn)映射關(guān)系標(biāo)準(zhǔn)化,采用統(tǒng)一?的國標(biāo)和教育系統(tǒng)標(biāo)準(zhǔn),保證系統(tǒng)間數(shù)據(jù)傳遞內(nèi)容的一致。最好在數(shù)據(jù)中心提供一個(gè)映射關(guān)系對(duì)照文件,供其他系統(tǒng)下載參考。5數(shù)據(jù)項(xiàng)組成包括但不限于:中文簡稱:具有語義,面向用戶;數(shù)據(jù)項(xiàng)名:與中文簡稱一一對(duì)應(yīng);類型:數(shù)據(jù)項(xiàng)容納的數(shù)據(jù)類型;長度:數(shù)據(jù)項(xiàng)能容納的最大字符數(shù);約束:必備數(shù)據(jù)項(xiàng)或可選數(shù)據(jù)項(xiàng)等;值空間:數(shù)據(jù)項(xiàng)取值的范圍與規(guī)范;解釋/舉例:數(shù)據(jù)項(xiàng)屬性的說明或舉例;編號(hào):數(shù)據(jù)項(xiàng)的唯一標(biāo)識(shí),建議使用系統(tǒng)英文前綴+UUID。6數(shù)據(jù)持久化對(duì)上文所述的數(shù)據(jù)來源進(jìn)行持久化,統(tǒng)一存儲(chǔ)到系統(tǒng)數(shù)據(jù)庫中,并同步到交換庫中。根據(jù)調(diào)研的數(shù)據(jù)量大小和需求,考慮是否建設(shè)數(shù)據(jù)湖、數(shù)據(jù)集和數(shù)據(jù)庫等形成數(shù)據(jù)倉庫,對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理,使用分布式存儲(chǔ)的方式,進(jìn)行主從備份,實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的管理和快速查詢。三、數(shù)據(jù)交換序號(hào)功能具體描述
1完整的消息服務(wù)能力數(shù)據(jù)交換中心作為一個(gè)中間件,在信息交換過程中要進(jìn)行頻繁的信息封裝、控制信息的同步/異步交換、排隊(duì)處理等。2數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入前要先新建數(shù)據(jù)庫表結(jié)構(gòu),并選擇現(xiàn)存歷史數(shù)據(jù)導(dǎo)入、后續(xù)增量或全量導(dǎo)入、定時(shí)或?qū)崟r(shí)更新等方式。平臺(tái)需提供包括但不限于excel上傳(平臺(tái)需提供模板)、接口導(dǎo)入、MQ消息隊(duì)列和數(shù)據(jù)庫授權(quán)直連導(dǎo)入等方式。根據(jù)數(shù)據(jù)量和實(shí)時(shí)性使用不同的數(shù)據(jù)交換底層技術(shù),實(shí)現(xiàn)數(shù)據(jù)提供方即開發(fā)者將數(shù)據(jù)同步到基礎(chǔ)數(shù)據(jù)平臺(tái),由平臺(tái)統(tǒng)一存儲(chǔ)和管理,便于后續(xù)將數(shù)據(jù)導(dǎo)出給其他申請(qǐng)者。上傳后數(shù)據(jù)完整性校驗(yàn)功能,待全部合格后入庫。3數(shù)據(jù)交換申請(qǐng)數(shù)據(jù)需求方即消費(fèi)者申請(qǐng)獲取其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù),在接口申請(qǐng)頁面進(jìn)行申請(qǐng),申請(qǐng)時(shí)對(duì)所需字段、接口時(shí)效、增量全量、實(shí)時(shí)定時(shí)等進(jìn)行選擇,得到數(shù)據(jù)表擁有者和系統(tǒng)管理員的審核后,即完成申請(qǐng),可通過所配置的方式得到所需數(shù)據(jù)。如果申請(qǐng)的數(shù)據(jù)、接口沒有,需要消費(fèi)者聯(lián)系生產(chǎn)者進(jìn)行數(shù)據(jù)表的上傳和接口的開發(fā)提供。如果生產(chǎn)者提供的接口是定時(shí)的(即基礎(chǔ)管理平臺(tái)獲取到該數(shù)據(jù)就是定時(shí)的),那么消費(fèi)者在選擇吋無法選擇實(shí)時(shí)傳輸,反之則可以。4數(shù)據(jù)交換方式根據(jù)數(shù)據(jù)量的大小、同步數(shù)據(jù)的實(shí)時(shí)性等不同需求,數(shù)據(jù)交換層應(yīng)該提供不同的技術(shù)實(shí)現(xiàn)方
案,以實(shí)現(xiàn)不同場(chǎng)景下數(shù)據(jù)交換的及時(shí)、高效、安全、數(shù)據(jù)完整、系統(tǒng)穩(wěn)定。5數(shù)據(jù)導(dǎo)出數(shù)據(jù)交換由數(shù)據(jù)導(dǎo)入和數(shù)據(jù)導(dǎo)出組成,導(dǎo)出即為交換的后半部分,由基礎(chǔ)數(shù)據(jù)平臺(tái)將消費(fèi)者申請(qǐng)的數(shù)據(jù)按照申請(qǐng)時(shí)選擇的方式和策略,進(jìn)行數(shù)據(jù)的導(dǎo)出,從而完成數(shù)據(jù)交換流程。6實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)處理部分要確保系統(tǒng)在大規(guī)模訪問量情況下的可靠性和響應(yīng)速度。非實(shí)時(shí)交換處理可以做成定時(shí)任務(wù)在凌晨執(zhí)行,以進(jìn)行數(shù)據(jù)的更新。7數(shù)據(jù)交換對(duì)系統(tǒng)影響數(shù)據(jù)交換是對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行高度集中的導(dǎo)入導(dǎo)出操作,應(yīng)注意數(shù)據(jù)交換對(duì)基礎(chǔ)數(shù)據(jù)平臺(tái)本身業(yè)務(wù)功能的影響,做好技術(shù)上的防范和保障措施。8任務(wù)管理中心展示數(shù)據(jù)交換任務(wù)的執(zhí)行情況,包括待執(zhí)行、已執(zhí)行、執(zhí)行失敗的任務(wù)列表,以及相應(yīng)的執(zhí)行失敗原因等,系統(tǒng)應(yīng)有自動(dòng)重試機(jī)制,并提供人工操作喚起任務(wù)進(jìn)行重試的功能。每條正在執(zhí)行的任務(wù)有執(zhí)行狀態(tài)、進(jìn)度條、異常日志展示等欄目。四、數(shù)據(jù)同步序號(hào)功能具體描述1數(shù)據(jù)修改的同步數(shù)據(jù)提供方在修改數(shù)據(jù)后,需要告知所有的相關(guān)接口訂閱者、數(shù)據(jù)消費(fèi)者,并且按照實(shí)時(shí)或定吋的方式對(duì)已修改的數(shù)據(jù)進(jìn)行廣播通知更新。尤其是對(duì)于通用數(shù)據(jù),如教師、教室、用戶信息、課程信息等業(yè)務(wù)數(shù)據(jù),實(shí)現(xiàn)一處修改、處處
修改,及時(shí)通知到所有數(shù)據(jù)訂閱者進(jìn)行數(shù)據(jù)的同步更新。2數(shù)據(jù)修改的權(quán)限對(duì)于通用數(shù)據(jù),只有數(shù)據(jù)提供方才有全局修改的權(quán)限,修改數(shù)據(jù)后同步給所有訂閱者。實(shí)現(xiàn)數(shù)據(jù)同源,即一處修改,處處修改。數(shù)據(jù)提供方若發(fā)生變化,可以將權(quán)限賦給其他人,但只能賦給一個(gè)人(即保持只有一個(gè)數(shù)據(jù)提供方),該操作同樣需要審核。3同步數(shù)據(jù)的申請(qǐng)所有消費(fèi)者在申請(qǐng)數(shù)據(jù)和接口時(shí)就選擇是否需要同步更新或?qū)崟r(shí)更新。修改全局?jǐn)?shù)據(jù)的權(quán)限默認(rèn)設(shè)置為數(shù)據(jù)提供方。基礎(chǔ)數(shù)據(jù)平臺(tái)本身的數(shù)據(jù)表也提供申請(qǐng)同步的功能,比如用戶表,注冊(cè)在基礎(chǔ)平臺(tái),那么修改數(shù)據(jù)也應(yīng)同步給所有已訂閱的系統(tǒng)。同樣,獲取基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)更新的辦法也是進(jìn)行數(shù)據(jù)、接口的申請(qǐng)。4歷史數(shù)據(jù)遷移對(duì)于所有已經(jīng)存在表,聯(lián)系對(duì)方系統(tǒng)的開發(fā)者合作進(jìn)行歷史數(shù)據(jù)的統(tǒng)一遷移,以規(guī)范的格式存儲(chǔ)到基礎(chǔ)數(shù)據(jù)平臺(tái),必要時(shí)進(jìn)行數(shù)據(jù)清洗,納入管理后再進(jìn)行其他的增量同步、交換等操作。并確保數(shù)據(jù)遷移后系統(tǒng)功能正常、穩(wěn)定運(yùn)行。5已刪除數(shù)據(jù)同步對(duì)于某些己經(jīng)同步過,隨后數(shù)據(jù)提供方又刪除的數(shù)據(jù),同時(shí)又是增量交換數(shù)據(jù)的情況下,要考慮本系統(tǒng)數(shù)據(jù)的刪除或更新問題,那么就需要每條數(shù)據(jù)一定有自己的唯一標(biāo)識(shí)。并且對(duì)于重要數(shù)據(jù)如薪酬工資發(fā)放的修改刪除,同步業(yè)務(wù)數(shù)據(jù)的同時(shí)可能需要同步操作注記/日志信息。
6同步數(shù)據(jù)的id系統(tǒng)之間為了數(shù)據(jù)的連通性和可交換性,需要商定一個(gè)統(tǒng)一的主鍵作為唯一標(biāo)識(shí),如果是系統(tǒng)自己的uuid可能和其他系統(tǒng)不一致,也盡量不應(yīng)該用員工編號(hào)這種真實(shí)數(shù)字,具體的id標(biāo)準(zhǔn)有待進(jìn)一步商定,商定后作為統(tǒng)一標(biāo)準(zhǔn)同步給后續(xù)即將開發(fā)的系統(tǒng)。五、數(shù)據(jù)質(zhì)量管理序號(hào)功能具體描述1設(shè)定規(guī)則通過數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則組件化、函數(shù)化定義,實(shí)現(xiàn)檢測(cè)規(guī)則的高復(fù)用性與集中化管理。通過勾選的方式應(yīng)用一個(gè)或多個(gè)檢測(cè)規(guī)則,可以選擇系統(tǒng)已有的常用規(guī)則,也可以自定義新規(guī)則。當(dāng)檢測(cè)規(guī)則組件進(jìn)行修訂,所有應(yīng)用該規(guī)則的字段將同步更新,按最新規(guī)則進(jìn)行校驗(yàn)。2規(guī)則管理規(guī)則分類管理針對(duì)質(zhì)量的檢查規(guī)則進(jìn)行規(guī)則分類。常規(guī)規(guī)則配置系統(tǒng)內(nèi)置一系列質(zhì)量檢查規(guī)則,主要包括身份證號(hào)、姓名、手機(jī)號(hào)等常見字段的格式檢查、邏輯規(guī)則檢查等。自定義規(guī)則配置可根據(jù)制定的數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)范,對(duì)各種信息項(xiàng)制定數(shù)據(jù)質(zhì)量檢查規(guī)則,并配置好相應(yīng)的核查標(biāo)準(zhǔn)(業(yè)務(wù)關(guān)聯(lián)性、數(shù)據(jù)精確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)有效性、數(shù)據(jù)唯一性),與常規(guī)規(guī)則互相補(bǔ)充,完成數(shù)據(jù)質(zhì)量巡檢工作。規(guī)則的增刪改
所有自定義的規(guī)則權(quán)限屬于規(guī)則創(chuàng)建者,可以將規(guī)則使用權(quán)分配給其他用戶,只有創(chuàng)建者可以對(duì)規(guī)則進(jìn)行修改、刪除。3自定義規(guī)則預(yù)警自定義預(yù)警規(guī)則是平臺(tái)的工具組件,采用單獨(dú)的頁面進(jìn)行規(guī)則配置。例如當(dāng)某張表的某個(gè)數(shù)據(jù)超過閾值的時(shí)候進(jìn)行告警,在配置規(guī)則的吋候必須寫明通過QQ/郵件/站內(nèi)信/釘釘?shù)姆绞綄?duì)XX用戶或用戶組進(jìn)行通知。4數(shù)據(jù)清洗數(shù)據(jù)來源有多種形式,包括各部門業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫、格式化文件(如:EXCEL.XML)等。在導(dǎo)入數(shù)據(jù)交換中心的數(shù)據(jù)庫之前,需要結(jié)合信息標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)結(jié)構(gòu)和質(zhì)量清洗,接入的字段數(shù)據(jù)設(shè)置正則或系統(tǒng)內(nèi)置檢測(cè)規(guī)則,對(duì)接入的數(shù)據(jù)清洗校驗(yàn),可設(shè)置檢測(cè)策略,生成檢測(cè)報(bào)告。5質(zhì)量巡檢1?數(shù)據(jù)質(zhì)量監(jiān)控:根據(jù)上文設(shè)定的規(guī)則進(jìn)行檢查,檢測(cè)到有問題的數(shù)據(jù)進(jìn)行清洗,根據(jù)設(shè)定規(guī)則自動(dòng)或人工進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)一致性監(jiān)控:數(shù)據(jù)質(zhì)量的一致性主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。規(guī)范指的是,一項(xiàng)數(shù)據(jù)存在它特定的格式;邏輯指的是,多項(xiàng)數(shù)據(jù)間存在著固定的邏輯關(guān)系。數(shù)據(jù)增量監(jiān)控:可針對(duì)單表的業(yè)務(wù)數(shù)據(jù)在規(guī)定時(shí)間內(nèi)監(jiān)控?cái)?shù)據(jù)變化。通過建立監(jiān)控任務(wù),系統(tǒng)自動(dòng)監(jiān)控并產(chǎn)生數(shù)據(jù)增量監(jiān)控報(bào)告。以上數(shù)據(jù)質(zhì)量巡檢結(jié)果,應(yīng)該定時(shí)(如每天固定時(shí)間)通過消息中心通知訂閱過數(shù)據(jù)表的用戶。5.對(duì)于特定的數(shù)據(jù),比如學(xué)員的賬號(hào),定期進(jìn)行巡檢,檢測(cè)是否存在一人用多種證件進(jìn)行注冊(cè)的行為。八、數(shù)據(jù)交換中的其九2要求(-)數(shù)據(jù)交換中的用戶管理由統(tǒng)一身份認(rèn)證來管理有數(shù)據(jù)交換需求的用戶,設(shè)置數(shù)據(jù)、接口等的訪問權(quán)限,資源訪問申請(qǐng)、審核等功能,并指派交換平臺(tái)完成所需的交換工作。數(shù)據(jù)交換平臺(tái)管理方對(duì)數(shù)據(jù)交換涉及用戶進(jìn)行管理的安全要求包括但不限于:應(yīng)支持至少三種角色,設(shè)立管理角色、審計(jì)角色及操作角色;應(yīng)根據(jù)業(yè)務(wù)需求、管理范圍、組織架構(gòu)等設(shè)立訪問控制策略,建立完整的用戶管理機(jī)制,能夠統(tǒng)一設(shè)立、統(tǒng)一注銷、統(tǒng)一鑒別、統(tǒng)一授權(quán)、集中鑒權(quán)、集中審計(jì);3?應(yīng)能實(shí)現(xiàn)對(duì)特定數(shù)據(jù)的所屬主體用戶、訪問客體用戶進(jìn)行實(shí)時(shí)授權(quán)和取消授權(quán)的管理方式;4.應(yīng)支持基于角色的用戶分組,并支持對(duì)用戶組的整體管理能力。(二)數(shù)據(jù)交換中的授權(quán)管理數(shù)據(jù)交換過程中涉及的授權(quán)方(數(shù)據(jù)資源提供方、數(shù)據(jù)交換平臺(tái)管理方)的安全要求包括但不限于:應(yīng)提供針對(duì)用戶訪問權(quán)限、數(shù)據(jù)操作權(quán)限、應(yīng)用訪問數(shù)據(jù)權(quán)限等維度的授權(quán)管理機(jī)制;應(yīng)支持基于數(shù)據(jù)分級(jí)分類的多級(jí)授權(quán)和操作監(jiān)管;3?應(yīng)對(duì)權(quán)限范圍外的數(shù)據(jù)、應(yīng)用的嘗試操作提出告警;4.應(yīng)支持資源文件、庫表、接口等各交換方式上不同粒度的權(quán)限控制;5?資源目錄發(fā)布、共享數(shù)據(jù)發(fā)布、交換數(shù)據(jù)申請(qǐng)以及交換數(shù)據(jù)申請(qǐng)審核應(yīng)獲得授權(quán),明確授權(quán)目的和范圍,保留授權(quán)記錄,并遵照授權(quán)執(zhí)行;應(yīng)遵循數(shù)據(jù)共享最小化原則,僅授權(quán)對(duì)業(yè)務(wù)必需的數(shù)據(jù)交換申請(qǐng);應(yīng)檢查有條件共享數(shù)據(jù)的使用請(qǐng)求符合規(guī)定條件;應(yīng)可設(shè)定授權(quán)的有效期并定期檢查授權(quán)的有效性。(三)數(shù)據(jù)交換中的安全需求事務(wù)標(biāo)識(shí)。在數(shù)據(jù)交換過程中應(yīng)對(duì)每次數(shù)據(jù)交換指定具有唯一性的交換事務(wù)標(biāo)識(shí);2?身份鑒別。應(yīng)對(duì)數(shù)據(jù)交換兩端進(jìn)行用戶身份鑒別或設(shè)備認(rèn)證;3?訪問控制。應(yīng)檢查對(duì)使用方數(shù)據(jù)交換操作的授權(quán),并執(zhí)行訪問控制和自動(dòng)監(jiān)視;4?安全傳輸。應(yīng)保證通信過程屮數(shù)據(jù)的保密性和完整性,利用數(shù)據(jù)加密技術(shù)進(jìn)行數(shù)據(jù)保護(hù),定期檢查或評(píng)估數(shù)據(jù)傳輸?shù)陌踩院涂煽啃裕??操作抗抵賴。在交換敏感數(shù)據(jù)時(shí),應(yīng)由數(shù)據(jù)資源提供方對(duì)發(fā)出數(shù)據(jù)和時(shí)間戳進(jìn)行數(shù)字簽名,數(shù)據(jù)資源需求方應(yīng)校驗(yàn)數(shù)據(jù)資源提供方數(shù)字簽名的合法性,對(duì)接收到的數(shù)據(jù)進(jìn)行確認(rèn);6?過程追溯。應(yīng)跟蹤和記錄數(shù)據(jù)交換過程,記錄敏感數(shù)據(jù)流轉(zhuǎn)的全過程及異常訪問追溯結(jié)果;數(shù)據(jù)交換記錄日志應(yīng)保存6個(gè)月以上,并保證敏感數(shù)據(jù)交換記錄日志的保密性;7.級(jí)聯(lián)接口安全。應(yīng)采用密碼技術(shù)對(duì)數(shù)據(jù)交換系統(tǒng)間的級(jí)聯(lián)接口進(jìn)行安全防護(hù),保障通過級(jí)聯(lián)接口傳遞的數(shù)據(jù)的保密性和完整性。(四) 數(shù)據(jù)需求方在數(shù)據(jù)導(dǎo)入過程屮的安全要求1?故障保護(hù)。應(yīng)具有數(shù)據(jù)導(dǎo)入過程保護(hù)和回退機(jī)制,并具有數(shù)據(jù)自動(dòng)加載和故障恢復(fù)能力;2?數(shù)據(jù)質(zhì)量控制。應(yīng)檢驗(yàn)數(shù)據(jù)的質(zhì)量,定義數(shù)據(jù)源質(zhì)量評(píng)價(jià)條件并評(píng)價(jià)數(shù)據(jù)獲取質(zhì)量;3?數(shù)據(jù)分責(zé)。應(yīng)對(duì)所獲取的數(shù)據(jù)進(jìn)行梳理,按照數(shù)據(jù)資源提供方對(duì)數(shù)據(jù)的分級(jí)分類建立數(shù)據(jù)資產(chǎn)清單,標(biāo)記數(shù)據(jù)資產(chǎn)的責(zé)任主體。(五) 數(shù)據(jù)提供方在數(shù)據(jù)導(dǎo)出過程屮的安全要求1?數(shù)據(jù)脫敏。應(yīng)對(duì)敏感數(shù)據(jù)進(jìn)行脫敏,并對(duì)相應(yīng)的操作進(jìn)行記錄;2?數(shù)據(jù)加密。在數(shù)據(jù)導(dǎo)岀過程中對(duì)敏感數(shù)據(jù)可采用符合國家相關(guān)標(biāo)準(zhǔn)規(guī)定的數(shù)據(jù)加密方式與密碼算法進(jìn)行加密保護(hù)后再導(dǎo)出;3?數(shù)據(jù)標(biāo)記。在數(shù)據(jù)導(dǎo)出過程屮應(yīng)對(duì)敏感數(shù)據(jù)標(biāo)記使用方使用數(shù)據(jù)的權(quán)限;4.安全策略檢查。在數(shù)據(jù)導(dǎo)出過程中應(yīng)建立檢查機(jī)制,保障共享數(shù)據(jù)配置的安全策略的正確實(shí)施。(六) 數(shù)據(jù)交換平臺(tái)涉及到的角色和其權(quán)限資源提供方(生產(chǎn)者),職責(zé)包括:1?負(fù)責(zé)本系統(tǒng)用于交換的數(shù)據(jù)信息資源的組織與管理,保障本系統(tǒng)發(fā)布的信息資源及時(shí)、準(zhǔn)確;配合平臺(tái)管理方與資源提供方協(xié)商確定信息共享的具體內(nèi)容、條件、方式、頻率等;對(duì)本部門的數(shù)據(jù)交換內(nèi)容和接口設(shè)置相應(yīng)的使用授權(quán);在平臺(tái)管理方的指導(dǎo)下完成資源優(yōu)化、數(shù)據(jù)清洗等其它相關(guān)工作。資源需求方(消費(fèi)者),職責(zé)包括:負(fù)責(zé)按要求提交資源需求方案;配合平臺(tái)管理方與資源提供方協(xié)商確定信息共享的具體內(nèi)容、條件、方式、頻率等;對(duì)于交換獲得的信息內(nèi)容應(yīng)在授權(quán)范圍內(nèi)進(jìn)行使用,保障信息資源按要求使用;根據(jù)有關(guān)文件或具體實(shí)際情況,在平臺(tái)管理方的指導(dǎo)下完成其它相關(guān)工作。平臺(tái)管理方,職責(zé)包括:1?負(fù)責(zé)數(shù)據(jù)平臺(tái)建設(shè)運(yùn)維,保障平臺(tái)平穩(wěn)運(yùn)行;2?負(fù)責(zé)對(duì)信息交換流程進(jìn)行規(guī)劃、配置及部署;負(fù)責(zé)對(duì)信息交換流程實(shí)施日常管理及監(jiān)控維護(hù);負(fù)責(zé)保證交換平臺(tái)的安全,確保交換數(shù)據(jù)信息在授權(quán)的范圍內(nèi)交換共享;制定相關(guān)規(guī)范和標(biāo)準(zhǔn);組織并指導(dǎo)資源供需雙方協(xié)商,根據(jù)協(xié)商結(jié)果制定信息交換流程,并進(jìn)行配置、部署;7?對(duì)資源交換的準(zhǔn)確性、穩(wěn)定性等指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)測(cè),及時(shí)傳達(dá)上級(jí)要求,并對(duì)多有關(guān)情況進(jìn)行定期通報(bào)。2.7對(duì)接移動(dòng)端APP為方便用戶使用,基礎(chǔ)平臺(tái)認(rèn)證等功能需整合到中心移動(dòng)APP中,以滿足用戶的不同移動(dòng)端APP中進(jìn)行認(rèn)證后使用其他應(yīng)用功能需求。四、數(shù)字駕駛艙1、 項(xiàng)目要求數(shù)字駕駛艙應(yīng)遵循中心技術(shù)標(biāo)準(zhǔn),需與基礎(chǔ)數(shù)據(jù)平臺(tái)完成對(duì)接,能按照中心要求對(duì)接0A,教務(wù),人事等系統(tǒng),為日常工作要求以及考核要求提供科學(xué)依據(jù);需實(shí)現(xiàn)數(shù)據(jù)匯集、數(shù)據(jù)建模以及數(shù)據(jù)可視化,支持儀表盤的靈活配置,使數(shù)字駕駛艙“看得見,摸得著,用得上”。系統(tǒng)內(nèi)設(shè)計(jì)應(yīng)該符合模塊化設(shè)計(jì)原則,遵循“高內(nèi)聚,低耦合”原則,便于后續(xù)維護(hù)以及擴(kuò)展;界面以及交互設(shè)計(jì)應(yīng)多從用戶角度出發(fā),兼顧大氣、美觀、易用,需要兼容手機(jī)端以及PC端訪問。系統(tǒng)要尤其重視數(shù)據(jù)安全以及系統(tǒng)穩(wěn)定性。需有完善的主備機(jī)制,以確保平穩(wěn)運(yùn)行;整體符合分布式架構(gòu)設(shè)計(jì),能實(shí)現(xiàn)快速擴(kuò)容,為應(yīng)對(duì)突發(fā)流量做好準(zhǔn)備;需要能應(yīng)對(duì)日常的網(wǎng)絡(luò)攻擊,包括但不限于SQL注入,DDOS攻擊等;對(duì)于外部依賴系統(tǒng),尤其是數(shù)據(jù)庫直連不能明顯增加原有業(yè)務(wù)系統(tǒng)的系統(tǒng)負(fù)載;對(duì)于系統(tǒng)自身、依賴源碼以及依賴插件的漏洞能盡快修復(fù)。2、 項(xiàng)目需求數(shù)字駕駛艙是基于中心原有業(yè)務(wù)系統(tǒng)而衍生出來的更高抽象層面的大數(shù)據(jù)項(xiàng)目,為中心的數(shù)據(jù)分析提供支持,為中心的科學(xué)決策提供數(shù)據(jù)支撐,為智慧化服務(wù)打下基礎(chǔ)。項(xiàng)目服務(wù)于中心各個(gè)靈活場(chǎng)景,項(xiàng)目的應(yīng)用場(chǎng)景會(huì)隨著時(shí)間和地點(diǎn)的變化而變化,也就意味著項(xiàng)目本身需要支持頁面的高度自定義化以及組件的動(dòng)態(tài)靈活生成,其具體展示終端可以是PC,移動(dòng)端也可以是數(shù)據(jù)大屏,同時(shí)各個(gè)分中心以及部門之間可能展示的數(shù)據(jù)維度也會(huì)有一定的差異。例如:在預(yù)招生階段,數(shù)據(jù)的展示上面應(yīng)該更加側(cè)重于招生人數(shù)等;在招生報(bào)名階段,應(yīng)更加側(cè)重于報(bào)名人數(shù)以及招生人數(shù)等的數(shù)據(jù)維度。本項(xiàng)目交付時(shí),需針對(duì)中心情況,歸納中心以及各部門的核心業(yè)務(wù)指標(biāo),梳理中心領(lǐng)導(dǎo)以及部門領(lǐng)導(dǎo)關(guān)心的核心數(shù)據(jù),并最終在數(shù)字駕駛艙進(jìn)行落地。最終的上線場(chǎng)景包括但不限于,如:中心運(yùn)作情況繳費(fèi)情況搖號(hào)報(bào)名情況留生率情況課程建設(shè)/滿意度/建議意見本次項(xiàng)目場(chǎng)景總數(shù)設(shè)計(jì)不少于15個(gè)。3、系統(tǒng)交互系統(tǒng)入口主要分為正常訪問入口以及管理員入口,正常訪問入口主要是普通用戶正常訪問;管理員入口應(yīng)該包含賬號(hào),數(shù)據(jù)管理,權(quán)限,儀表盤自定義,組件自定義的管理。下圖以供參考:
4、功能要求4.1登錄/權(quán)限登錄需要與中心基礎(chǔ)數(shù)據(jù)管理平臺(tái)完成對(duì)接,實(shí)現(xiàn)中心賬號(hào)統(tǒng)一單點(diǎn)登錄,具體接入流程見中心基礎(chǔ)數(shù)據(jù)管理平臺(tái)接入流程。權(quán)限需要支持按照菜單維度的權(quán)限管理,確保對(duì)應(yīng)的人只能看到對(duì)應(yīng)的賬號(hào)權(quán)限。項(xiàng)目交付時(shí)需提供系統(tǒng)管理員賬號(hào),系統(tǒng)管理員不可刪除,只能修改密碼;系統(tǒng)管理員可以新建角色對(duì)應(yīng)的菜單組并可以配置用戶所具有的具體菜單。在儀表盤層面,需要區(qū)分查看以及編輯權(quán)限,權(quán)限體系需要能區(qū)分超級(jí)管理員,管理員,普通用戶。超級(jí)管理員需要能查看并編輯所有儀表盤;管理員需要能查看以及編輯自身創(chuàng)建的儀表盤;普通用戶需要能看到授權(quán)的儀表盤,但不具冇編輯權(quán)限。
在數(shù)據(jù)集層面,支持本系統(tǒng)內(nèi)的數(shù)據(jù)集共享,被共享者只有數(shù)據(jù)集的訪問權(quán)限,無法編輯數(shù)據(jù)集。4.2數(shù)據(jù)管理數(shù)據(jù)管理主要用于各系統(tǒng)的數(shù)據(jù)采集以及各個(gè)業(yè)務(wù)場(chǎng)景的數(shù)據(jù)建模,作為數(shù)據(jù)積累、數(shù)據(jù)挖掘、數(shù)據(jù)分析和數(shù)據(jù)決策的原始數(shù)據(jù)。數(shù)據(jù)源管理需要能在頁面上直接添加數(shù)據(jù)源,在數(shù)據(jù)源添加頁面需要能對(duì)數(shù)據(jù)源進(jìn)行有效性驗(yàn)證,接口的通斷測(cè)試,對(duì)于外部依賴的數(shù)據(jù)源需要有定時(shí)的健康報(bào)告(如連接數(shù)等)以及相應(yīng)的預(yù)警機(jī)制。數(shù)據(jù)源按照時(shí)效性,需要支持實(shí)時(shí)數(shù)據(jù)源以及非實(shí)時(shí)數(shù)據(jù)源;對(duì)于非實(shí)時(shí)數(shù)據(jù)源,需要能指定定吋同步策略,自定義設(shè)置數(shù)據(jù)的同步規(guī)則;實(shí)時(shí)數(shù)據(jù)源指數(shù)據(jù)庫等直連數(shù)據(jù)源。從來源來說需要支持API接口方式,數(shù)據(jù)庫直接訪問方式(如MySQL>Oracle>PostgresSQL、SqlServer等主流數(shù)據(jù)庫),以及大數(shù)據(jù)存儲(chǔ)(ES、HBase等)等;數(shù)據(jù)建模數(shù)據(jù)建模主要針對(duì)各數(shù)據(jù)源的數(shù)據(jù)進(jìn)行拆分、聚合以及組合使之符合最終的應(yīng)用場(chǎng)景要求。導(dǎo)入的數(shù)據(jù)需要分為實(shí)時(shí)數(shù)據(jù)以及非實(shí)時(shí)數(shù)據(jù);實(shí)時(shí)數(shù)據(jù)一般指直連數(shù)據(jù)源獲取數(shù)據(jù);非實(shí)時(shí)數(shù)據(jù)指以定時(shí)任務(wù)等方式從第三方系統(tǒng)抽取數(shù)據(jù)或者導(dǎo)入數(shù)據(jù);對(duì)于建模的數(shù)據(jù)集需要能按照分組進(jìn)行管理,方便后續(xù)整理以及使用;對(duì)于自身創(chuàng)建的數(shù)據(jù)集只能創(chuàng)建賬號(hào)維護(hù),超級(jí)管理員可以維護(hù)所有數(shù)據(jù)集;數(shù)據(jù)集支持共享給本系統(tǒng)內(nèi)的用戶,被共享用戶只有數(shù)據(jù)集的訪問權(quán)限,沒有編輯修改權(quán)限;
同步任務(wù)應(yīng)該能查看同步狀態(tài)以及同步結(jié)果,對(duì)于存在問題的數(shù)據(jù)源能及早發(fā)現(xiàn)處理;從同步的方式來說需要支持全量同步以及增量同步。數(shù)據(jù)建模過程需要能支持?jǐn)?shù)據(jù)過濾,分組匯總,新增列(新增列數(shù)據(jù)需要支持函數(shù)式處理),字段類型轉(zhuǎn)換,排序等功能,并且數(shù)據(jù)能進(jìn)行左右合并(支持左合并,右合并,并集合并以及交集合并)以及上下合并(支持字段映射匹配)。數(shù)據(jù)集需要支持?jǐn)?shù)據(jù)庫表,SQL數(shù)據(jù)集,excel數(shù)據(jù),JSON數(shù)據(jù),接口數(shù)據(jù),自定義數(shù)據(jù)集,自定義數(shù)據(jù)集指可以對(duì)以上數(shù)據(jù)進(jìn)行拆分組合,進(jìn)行1:1,1:N,N:1映射;接口數(shù)據(jù)指通過HTTP以及HTTPS接口方式導(dǎo)入,需要支持JSON等數(shù)據(jù)格式,請(qǐng)求方式支持POST,GET等;支持將Excel、Csv、Txt、Log、Xml等文件型的數(shù)據(jù)直接作為數(shù)據(jù)源,支持對(duì)EXCEL文件數(shù)據(jù)集進(jìn)行追加上傳。數(shù)據(jù)同步失敗的能及時(shí)預(yù)警問題,發(fā)現(xiàn)問題,解決問題。數(shù)據(jù)血緣,需要能查看依賴于當(dāng)前數(shù)據(jù)集的儀表盤并能夠跳轉(zhuǎn)對(duì)應(yīng)儀表盤。支持對(duì)來自不同數(shù)據(jù)源的數(shù)據(jù)建立關(guān)聯(lián)關(guān)系,包括合并和建立底層關(guān)聯(lián)模型(支持聯(lián)合主鍵關(guān)聯(lián))兩種類型,支持自動(dòng)讀取數(shù)據(jù)庫中已經(jīng)存在的數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系。4.3儀表盤管理儀表盤主要用于展示具體的業(yè)務(wù)場(chǎng)景,需要能進(jìn)行分組管理;在列表上能方便的進(jìn)行預(yù)覽,分享,重命名,刪除等操作。新建/編輯儀表盤儀表盤主要由組件以及組件映射的數(shù)據(jù)集組成。在編輯頁面需要能動(dòng)態(tài)的添加組件,能自行拖拽組件的大小和位置,能指定組件是否重疊展示,并能實(shí)時(shí)預(yù)覽展示效果;對(duì)于儀表盤中的組件需要進(jìn)行數(shù)據(jù)集的字段映射。對(duì)于展示的圖表可以設(shè)定數(shù)
值條件(數(shù)值條件可以是固定值,也可以是函數(shù)表達(dá)式的運(yùn)算結(jié)果),當(dāng)達(dá)到一定的數(shù)值條件之后將展示不同的效果,可以是動(dòng)畫,也可以以色值區(qū)分。儀表盤需要支持樣式選擇,需定制不少于5套的背景模板以供選擇同時(shí)也可以支持自定義更換背景,對(duì)于自定義更換背景,系統(tǒng)需要明確提示自定義背景最佳尺寸以及格式。對(duì)于儀表盤內(nèi)的組件需要支持三大類組件:展示組件,過濾組件以及通用組件。展示組件只要用于做數(shù)據(jù)集的展示;過濾組件是輔助組件,主要用于展示組件的數(shù)據(jù)源的聯(lián)動(dòng)篩選;通用組件指不依賴于數(shù)據(jù)集的普通組件。通用組件至少包含:折線圖、柱狀圖、瀑布圖、雷達(dá)圖、范圍面積圖、儀表盤、餅圖、玫瑰圖、散點(diǎn)圖、漏斗圖、列表以及詞云;過濾組件至少包含:時(shí)間過濾組件、文本過濾組件、樹過濾組件、數(shù)據(jù)過濾組件、查詢/重置按鈕;通用組件至少包含:文本組件、圖片/視頻組件、Tab組件、Web組件,文本組件需要支持文字+映射數(shù)值輸出;儀表盤組件需要能指定跳轉(zhuǎn)鏈接;支持圖表的自定義圖形填充,例如可將自定義圖片進(jìn)行柱狀圖的填充;支持通過條件設(shè)置動(dòng)態(tài)控制組件的字體、背景、顏色、寬高、分頁、縮進(jìn)、形態(tài)、控件、超鏈等,滿足各種預(yù)警需求的場(chǎng)景;組件支持絕對(duì)布局、自適應(yīng)布局、tab布局等多種布局方式,支持組件的共享、復(fù)用、疊加、動(dòng)態(tài)隱藏等。儀表盤需要支持復(fù)制功能,方便實(shí)現(xiàn)儀表盤的復(fù)用。自身創(chuàng)建的儀表盤只能由創(chuàng)建賬號(hào)編輯,超級(jí)管理員可以編輯所有儀表盤。數(shù)據(jù)集中數(shù)據(jù)變化時(shí),對(duì)應(yīng)圖表實(shí)時(shí)動(dòng)態(tài)變化。支持組件復(fù)制,在同一個(gè)儀表板中進(jìn)行組件復(fù)制;支持組件復(fù)用,可復(fù)用不同儀表板中的組件,提高儀表板的設(shè)計(jì)開發(fā)效率;
支持直接對(duì)維度和指標(biāo)進(jìn)行排序、對(duì)指標(biāo)進(jìn)行排名、計(jì)算組內(nèi)累計(jì)值以及累計(jì)值、計(jì)算組內(nèi)所有值以及所有值,快速計(jì)算同比、環(huán)比、同期、環(huán)期,支持使用記錄數(shù)對(duì)維度進(jìn)行計(jì)數(shù),對(duì)指標(biāo)快速進(jìn)行求和、求最大值、最小值、平均值、中位數(shù)、標(biāo)準(zhǔn)差、方差、占比等,無需書寫任何公式。支持組件之間任何有來自同一張表的數(shù)據(jù)無需任何設(shè)置可以直接進(jìn)行聯(lián)動(dòng)過濾,同時(shí)支持組件和組件之間設(shè)置聯(lián)動(dòng)分組,支持手動(dòng)設(shè)置組件和組件之間的聯(lián)動(dòng)。儀表盤需要能支持自適應(yīng)PC以及移動(dòng)端頁面的分辨率,確保頁面展示正常,不出現(xiàn)頁面變形等問題。支持儀表盤版本管理,支持對(duì)任意儀表盤文件保存任意多個(gè)歷史版本,并支持對(duì)從任意歷史版本還原。儀表盤儀表盤需要支持日常查看,對(duì)于儀表盤內(nèi)的組件需要支持全屏查看,組件內(nèi)關(guān)聯(lián)的原始數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度廠房租賃及配套設(shè)施建設(shè)合同3篇
- 2024年門衛(wèi)職責(zé)與權(quán)益保障合同書一
- 2024年網(wǎng)絡(luò)紅人新媒體推廣合作合同3篇
- 2024年水電安裝及維修專業(yè)承包協(xié)議版B版
- 2024年門市房租賃協(xié)議模板簡化版一
- 2025年度城市更新項(xiàng)目搬遷補(bǔ)償合同書3篇
- 2024年食品加工行業(yè)生產(chǎn)線租賃合同
- 2025年艾諾斯霍克蓄電池SB120型號(hào)儲(chǔ)能電站安全防護(hù)與應(yīng)急預(yù)案合同2篇
- 二零二五年度個(gè)人所得稅納稅申報(bào)代理服務(wù)合同3篇
- 建筑施工環(huán)保措施
- 配電箱巡檢表
- 網(wǎng)頁設(shè)計(jì)與制作案例實(shí)戰(zhàn)教程課件 第13章 綜合實(shí)戰(zhàn)案例
- 子長市長征文化運(yùn)動(dòng)公園項(xiàng)目社會(huì)穩(wěn)定風(fēng)險(xiǎn)評(píng)估報(bào)告
- 浙教版七年級(jí)科學(xué)上冊(cè)期末綜合素質(zhì)檢測(cè)含答案
- 2024年北京市離婚協(xié)議書樣本
- 2019年海南省公務(wù)員考試申論真題(乙類)
- 北京郵電大學(xué)《操作系統(tǒng)》2022-2023學(xué)年期末試卷
- 2024-2025學(xué)年人教版高二上學(xué)期期末英語試題及解答參考
- 2023年稅收基礎(chǔ)知識(shí)考試試題庫和答案解析
- 熱氣球項(xiàng)目可行性實(shí)施報(bào)告
- 雙向進(jìn)入交叉任職制度
評(píng)論
0/150
提交評(píng)論