勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺及解決及方案

-.z..勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案**勤智數(shù)碼科技股份**2021年6月目錄1 建立大數(shù)據(jù)平臺的目的 32 大數(shù)據(jù)平臺帶來的價值 33 投資建立的內(nèi)容 43.1 大數(shù)據(jù)支撐體系建立 5 大數(shù)據(jù)支撐平臺 5 數(shù)據(jù)管理子系統(tǒng) 10 創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng) 13 數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng) 14 用戶及權(quán)限管理子系統(tǒng) 173.2 大數(shù)據(jù)平臺運營維護效勞 19 平臺內(nèi)部資源的監(jiān)控管理 19 平臺故障處理管理 20 日常平臺管理任務自動化 21 故障處理自動化 213.3 科研專家和數(shù)據(jù)資源 224 工程收費和收益模型 224.1 平臺運營效勞 224.2 數(shù)據(jù)運營效勞收益 234.3 大數(shù)據(jù)產(chǎn)業(yè)鏈開展促進收益 234.4 政府社會收益 235 工程建立階段目標 24建立大數(shù)據(jù)平臺的目的大數(shù)據(jù)正在改變信息社會，我們正從IT時代走向DT時代。大數(shù)據(jù)產(chǎn)業(yè)，作為國家戰(zhàn)略新興產(chǎn)業(yè)，受到各級政府的高度重視。大數(shù)據(jù)產(chǎn)業(yè)建立，通過“政府引導、市場主導〞的模式建立一個數(shù)據(jù)驅(qū)動的創(chuàng)新創(chuàng)業(yè)生態(tài)環(huán)境，改變當下政務數(shù)據(jù)的分散、獨立的現(xiàn)狀，充分利用“群眾創(chuàng)業(yè)、萬眾創(chuàng)新〞的創(chuàng)新創(chuàng)業(yè)熱潮，積極建立一個以數(shù)據(jù)驅(qū)動的運營體系、創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈、政務數(shù)據(jù)共享交換、智慧城市大數(shù)據(jù)支撐平臺為核心目的的大數(shù)據(jù)全產(chǎn)業(yè)鏈的生態(tài)環(huán)境。以“一點創(chuàng)新，全盤激活〞為引導思路，“一平臺，多應用〞為框架設(shè)計思路，在人才培育體系建立、就業(yè)崗位增加、產(chǎn)業(yè)開展空間和產(chǎn)值提升等方面真切的做到為政府提供全方位的效勞，從而為產(chǎn)業(yè)開展現(xiàn)狀形成標桿性的開展格局，夯實大數(shù)據(jù)產(chǎn)業(yè)開展根底。進一步推進“群眾創(chuàng)業(yè)、萬眾創(chuàng)新〞，讓創(chuàng)業(yè)創(chuàng)新成為經(jīng)濟增長的“倍增器〞、開展方式的“轉(zhuǎn)換器〞，讓“群眾創(chuàng)業(yè)、萬眾創(chuàng)新〞在全社會蔚然成風；支撐政府在更高的平臺上實現(xiàn)經(jīng)濟可持續(xù)開展，為產(chǎn)業(yè)轉(zhuǎn)型升級提供經(jīng)歷和啟示。大數(shù)據(jù)平臺帶來的價值創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺可以帶來巨大的產(chǎn)業(yè)開展空間、解決諸多歷史問題、明確城市產(chǎn)業(yè)的開展方向以及帶動相關(guān)產(chǎn)業(yè)的協(xié)同開展，具體表現(xiàn)在：數(shù)據(jù)運營體系的建立：建立以數(shù)據(jù)為核心資產(chǎn)和驅(qū)動力的運營體系，全面利用智慧城市框架內(nèi)各類垂直業(yè)務的運營數(shù)據(jù)、國信優(yōu)易擁有的可訪問的700T國家局部部委的政務數(shù)據(jù)、區(qū)域政府的各委辦局的政務數(shù)據(jù)等高價值的數(shù)據(jù)資產(chǎn)，并為之配套形成標桿性的規(guī)*與標準，對于大數(shù)據(jù)產(chǎn)業(yè)開展方向無疑會產(chǎn)生標志性的里程碑意義。依托國信優(yōu)易的未來國家級大數(shù)據(jù)共享促進中心的開展定位，創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺作為區(qū)域內(nèi)唯一的國信優(yōu)易所擁有的國家部委重要數(shù)據(jù)資源的訪問接口，在未來以數(shù)據(jù)驅(qū)動的運營體系中會處于非常有利的開展格局。創(chuàng)新創(chuàng)業(yè)生態(tài)的孵化：以數(shù)據(jù)為根底的創(chuàng)新創(chuàng)業(yè)平臺，不僅迎合了國家“群眾創(chuàng)業(yè)、萬眾創(chuàng)新〞的政策，可以為政府效勞，產(chǎn)生很多就業(yè)時機，形成有效的會聚人才、吸引投資的強大磁場。數(shù)據(jù)作為政府的核心資產(chǎn)，有數(shù)據(jù)就有機遇，就會有人才培養(yǎng)和孵化的潤土。大數(shù)據(jù)產(chǎn)業(yè)鏈的打造：結(jié)合大數(shù)據(jù)產(chǎn)業(yè)開展目標，充分利用創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺中擁有的高價值智慧城市運營數(shù)據(jù)、國信優(yōu)易數(shù)據(jù)、政務數(shù)居等核心資源，打造以數(shù)據(jù)為核心的產(chǎn)業(yè)鏈：產(chǎn)業(yè)鏈上游為各類數(shù)據(jù)擁有者和數(shù)據(jù)制造者；產(chǎn)業(yè)鏈中游為各種數(shù)據(jù)加工、創(chuàng)新創(chuàng)業(yè)、數(shù)據(jù)使用者，讓數(shù)據(jù)成為產(chǎn)業(yè)鏈的“石油〞資源，驅(qū)動產(chǎn)業(yè)鏈的良性開展；產(chǎn)業(yè)鏈下游為政府或者社會企業(yè)對數(shù)據(jù)加工創(chuàng)新環(huán)節(jié)產(chǎn)生的各類落地的應用和商業(yè)模式進展投資和運營；通過大數(shù)據(jù)產(chǎn)業(yè)鏈的良性循環(huán)，為政府帶來百億級別的產(chǎn)業(yè)開展機遇和上億的產(chǎn)值。智慧城市數(shù)據(jù)互聯(lián)支撐：智慧城市開展規(guī)劃的頂層設(shè)計會涉及到很多的底層數(shù)據(jù)和上層應用，將各類垂直應用的運營數(shù)據(jù)接入到統(tǒng)一的智慧城市數(shù)據(jù)支撐平臺中，可以為未來智慧城市建立產(chǎn)生的數(shù)據(jù)的互聯(lián)互通提供根底支撐，為數(shù)據(jù)的運營體系提供充足的血液。政務數(shù)據(jù)共享交換：通過對各個委辦局數(shù)據(jù)孤島中各類數(shù)據(jù)的分類、數(shù)據(jù)目錄定義、數(shù)據(jù)挖局、數(shù)據(jù)分析、數(shù)據(jù)清理、數(shù)據(jù)脫敏、數(shù)據(jù)水印、權(quán)限管控、數(shù)據(jù)熱度模型等各類數(shù)據(jù)的生產(chǎn)加工，為上層基于數(shù)據(jù)的共享創(chuàng)新等應用提供足夠數(shù)據(jù)支撐；同時政府也可充分利用民生數(shù)據(jù)，脫敏利用后最大限度的做到效勞于民。**勤智數(shù)碼科技股份**〔以下簡稱“勤智數(shù)碼〞〕成立于2005年，管理團隊均來自世界五百強，具備豐富的資本運作、市場運營經(jīng)歷，依托與電子科技大學成立的“機器學習和數(shù)據(jù)智能〞聯(lián)合實驗室，在大數(shù)據(jù)平臺、數(shù)據(jù)分析和算法融合、應用開發(fā)等領(lǐng)域有豐富的工程經(jīng)歷和實力，成功承接過數(shù)十個政府大型工程的建立，運營和運維工作。勤智數(shù)碼期望借助本地化企業(yè)的優(yōu)勢，承擔創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的工程建立及后期運營工作，組建最優(yōu)秀的專家團隊，在頂層設(shè)計、建立以及運營工作等方面高質(zhì)量、按方案的完成。投資建立的內(nèi)容創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺工程的投資建立，因為涉及的軟硬件資源、咨詢溝通、信息數(shù)據(jù)等內(nèi)容繁多，勤智數(shù)碼結(jié)合政府相關(guān)的工程經(jīng)歷，對初步建議的投資模式進展了如下的歸納總結(jié)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺工程主要涉及到三個方面的投資建立內(nèi)容，包括：1〕大數(shù)據(jù)支撐體系的建立2〕大數(shù)據(jù)平臺運營維護效勞3〕科研專家和數(shù)據(jù)資源效勞投入具體投資建立內(nèi)容如下：大數(shù)據(jù)支撐體系建立為了實現(xiàn)政務數(shù)據(jù)的共享創(chuàng)新體系的建立，對政務數(shù)據(jù)需要有完備的分析處理體系，以支撐整個創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈的安康開展，而且國信優(yōu)易擁有高質(zhì)量的國家部委的各類數(shù)據(jù)，為了能有效的訪問到經(jīng)過國信優(yōu)易授權(quán)的各類數(shù)據(jù)，建立內(nèi)容已經(jīng)充分考慮應用國內(nèi)目前成熟和先進的技術(shù)，最大限度復用國信優(yōu)易大數(shù)據(jù)平臺的成熟穩(wěn)定的技術(shù)架構(gòu)和實現(xiàn)，結(jié)合特定需求的元數(shù)據(jù)管理、數(shù)據(jù)分類、數(shù)據(jù)審計、數(shù)據(jù)審核、數(shù)據(jù)評估、數(shù)據(jù)定級、數(shù)據(jù)發(fā)布、數(shù)據(jù)水印管理、數(shù)據(jù)開放接口管理、數(shù)據(jù)展示統(tǒng)一門戶系統(tǒng)、身份權(quán)限管理、用戶管理、平臺門戶系統(tǒng)、其他接口和應用平臺等符合本地實際情況的定制開發(fā)等建立內(nèi)容。大數(shù)據(jù)支撐體系是整個創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺工程的核心支撐，也是投資建立難度最大的一個投資建立任務之一。包括：大數(shù)據(jù)支撐平臺創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺承擔了智慧城市底層支撐、政務數(shù)據(jù)共享交換、互聯(lián)網(wǎng)數(shù)據(jù)存儲、國信優(yōu)易數(shù)據(jù)訪問接口等多個核心業(yè)務需求，平臺自身需要具備和采用先進的經(jīng)過深度優(yōu)化大數(shù)據(jù)技術(shù)、分布式存儲計算和算法模型、高并發(fā)和快速響應的高速緩存架構(gòu)等，建立一個基于SOA框架的大數(shù)據(jù)能力核心平臺，作為整個工程的數(shù)據(jù)智慧處理中心，需要支持多種數(shù)據(jù)源的聚集〔政務數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、行業(yè)數(shù)據(jù)等〕，支持不同的數(shù)據(jù)格式〔構(gòu)造化數(shù)據(jù)、非構(gòu)造化數(shù)據(jù)以及流數(shù)據(jù)等〕。在繁雜的數(shù)據(jù)接入要求的情況下，采用基于總線機制的數(shù)據(jù)接入系統(tǒng)，可以快速有效的完成數(shù)據(jù)接入的要求以及提供豐富和靈活的擴展性。大數(shù)據(jù)支撐平臺的建立方案采取復用國信優(yōu)易成熟的大數(shù)據(jù)平臺產(chǎn)品的思路，一是確保了與國信優(yōu)易的數(shù)據(jù)接口訪問互通的一致性、二是成熟的產(chǎn)品架構(gòu)確保了運行的穩(wěn)定性、技術(shù)的先進性。平臺的總體邏輯架構(gòu)分為三層：根底設(shè)施層〔IaaS層〕、大數(shù)據(jù)平臺層〔PaaS層〕，以及大數(shù)據(jù)應用層〔SaaS層〕。根底設(shè)施層依托于分布式存儲架構(gòu)，大數(shù)據(jù)平臺層則提供了包括數(shù)據(jù)接入、分析、共享和平臺管理在內(nèi)的大數(shù)據(jù)分析處理功能，最后由大數(shù)據(jù)應用層提供的各種大數(shù)據(jù)應用來充分展示大數(shù)據(jù)平臺的數(shù)據(jù)處理能力和共享能力。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺邏輯架構(gòu)設(shè)計根底設(shè)施支撐平臺IaaS政務大數(shù)據(jù)平臺將充分利用區(qū)域政務中心〔或信息中心〕提供的根底設(shè)施資源，如：計算、存儲、備份、網(wǎng)絡和平安防護等，從而為政務大數(shù)據(jù)平臺提供一個穩(wěn)定可靠、高性能、擴展性強、易于管理的根底設(shè)施平臺，IaaS層中根底的效勞器和網(wǎng)絡等資源方案盡量復用現(xiàn)有的硬件資源。大數(shù)據(jù)分析處理平臺PaaS政務大數(shù)據(jù)平臺利用數(shù)據(jù)接入效勞，將在云計算中心部署的政務應用中存在的政務信息資源以及互聯(lián)網(wǎng)數(shù)據(jù)進展統(tǒng)一的接入，經(jīng)過對構(gòu)造化和非構(gòu)造化數(shù)據(jù)進展處理后，匯總形成總計21個一級類，133個二級類的政務大數(shù)據(jù)目錄庫，實現(xiàn)資源的查詢、檢索以及共享利用。同時，構(gòu)建高效的大數(shù)據(jù)分析系統(tǒng)，利用分布式數(shù)據(jù)處理、分析工具和展示工具，為上層應用效勞提供大數(shù)據(jù)處理和分析能力。此外，利用大數(shù)據(jù)門戶，為政府各委辦局、社會公眾、社會應用開發(fā)商提供資源查詢、信息公開和數(shù)據(jù)效勞。大數(shù)據(jù)典型示*應用層SaaS利用根底設(shè)施支撐平臺和分析處理平臺構(gòu)建根底云端應用效勞能力，建立數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)促進系統(tǒng)、數(shù)據(jù)創(chuàng)新競賽等提云端應用效勞，在平臺落地建立完畢時，即可提供具體應用提升人氣，產(chǎn)生數(shù)據(jù)價值。標準和先進的平臺大數(shù)據(jù)平臺規(guī)劃設(shè)計完全符合國家的宏觀政策和各類標準，在標準規(guī)*層面，通過建立政務大數(shù)據(jù)平臺的數(shù)據(jù)目錄編制規(guī)*、數(shù)據(jù)權(quán)限管理規(guī)*、運行標準規(guī)*、平臺平安與運維標準規(guī)*、數(shù)據(jù)交換接口規(guī)*，為平臺的運行、維護與平安級權(quán)限控制管理等方面提供標準規(guī)*依據(jù)。大數(shù)據(jù)平臺的核心技術(shù)優(yōu)勢明顯，以整體高可用性、靈活的可擴展性、技術(shù)先進性為原則，打造適合于政府的大數(shù)據(jù)產(chǎn)業(yè)開展的支撐平臺：雙總線技術(shù)的SOA框架:平臺層采用基于政務效勞總線〔GSB〕及政務數(shù)據(jù)總線〔GDB〕雙總線架構(gòu)的SOA框架。GDB主要負責數(shù)據(jù)的接入和交換，GSB主要負責對內(nèi)對外的提供統(tǒng)一的效勞接口。深度優(yōu)化的分布式異構(gòu)存儲技術(shù):平臺使用了經(jīng)過深度優(yōu)化的HDFS、HBase與集群關(guān)系數(shù)據(jù)庫相結(jié)合的異構(gòu)存儲方案，利用基于內(nèi)存交換技術(shù)的高速緩存和高性能數(shù)據(jù)中間件實現(xiàn)了高并發(fā)的異構(gòu)存儲體系。自主知識產(chǎn)權(quán)的高效算法和分布式計算框架：平臺內(nèi)部集成了幾十種自主知識產(chǎn)權(quán)的經(jīng)過十多年技術(shù)沉淀的算法集合，利用MapReduce和Spark的高效分布式計算框架，實現(xiàn)各類復雜數(shù)據(jù)挖掘和分析需求。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺功能層次架構(gòu)設(shè)計互聯(lián)網(wǎng)輿情信息模塊據(jù)不完全統(tǒng)計，中國網(wǎng)民規(guī)模達6.32億，互聯(lián)網(wǎng)普及率為46.9%，網(wǎng)絡已經(jīng)成為超越播送、報紙、電視的第一大信息傳播媒介。42%的消費者擁有博客或個人空間。61.7%的網(wǎng)民在購置之前到網(wǎng)絡社區(qū)〔如垂直、論壇、博客或問答〕尋求推薦和建議。34%的博主發(fā)表關(guān)于產(chǎn)品和品牌的意見。73%的消費者在網(wǎng)上交流觀點。76%的網(wǎng)民將網(wǎng)絡口碑作為了解產(chǎn)品和效勞最可靠的信息源。78%的消費者相信朋友的推薦。在選擇商品和效勞時，人們更加關(guān)注他們在網(wǎng)絡上的排行。不到10%的網(wǎng)民發(fā)表著超過80%的原創(chuàng)言論，并吸引著超過90%的點擊率。根據(jù)權(quán)威媒體統(tǒng)計，69%的政府和企業(yè)危機來自于互聯(lián)網(wǎng)。對互聯(lián)網(wǎng)信息的接入將在信息資源的規(guī)模上對大數(shù)據(jù)提供更加豐富的數(shù)據(jù)資源。本工程將對互聯(lián)網(wǎng)門戶、網(wǎng)絡社交論壇、微博輿論信息等相關(guān)信息資源進展接入?；ヂ?lián)網(wǎng)分布式爬蟲對互聯(lián)網(wǎng)數(shù)據(jù)的獲取主要依賴于網(wǎng)絡爬蟲技術(shù)實現(xiàn)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用先進的分布式網(wǎng)絡爬蟲框架，由框架完成爬蟲的統(tǒng)一調(diào)度、管理和維護工作，以及被采集數(shù)據(jù)的統(tǒng)一存儲工作。爬蟲使用者只需要進展簡單的配置或開發(fā)極少量腳本代碼即可完成一個復雜頁面甚至的爬取工作。另外，平臺在合法*圍內(nèi)適當利用反防爬蟲技術(shù)，如驗證碼識別、動態(tài)IP、動態(tài)用戶等，從而保障互聯(lián)網(wǎng)數(shù)據(jù)的有效獲取，減少人工干預，節(jié)約本錢。平臺提供局部互聯(lián)網(wǎng)門戶、網(wǎng)絡社交論壇、微博等系統(tǒng)的爬蟲，并采集相應數(shù)據(jù)以供平臺使用。對于以后新增的應用，如果需要用到其他的數(shù)據(jù)，則可以基于爬蟲框架，使用平臺提供的SDK套件開發(fā)相應的爬蟲?；ヂ?lián)網(wǎng)門戶信息獲取接入互聯(lián)網(wǎng)門戶信息獲取接入是利用分布式網(wǎng)頁爬取技術(shù)，以及基于行業(yè)領(lǐng)域字庫的模式識別技術(shù)，實現(xiàn)對各類新聞門戶、行業(yè)領(lǐng)域?qū)I(yè)門戶等相關(guān)B/S網(wǎng)頁進展實時解析獲取符合條件的數(shù)據(jù)?；ヂ?lián)網(wǎng)門戶信息爬取的對象如下：對新華網(wǎng)、人民網(wǎng)、中國新聞網(wǎng)、新浪網(wǎng)、搜狐網(wǎng)、騰訊網(wǎng)、網(wǎng)易網(wǎng)、鳳凰網(wǎng)、省級新聞網(wǎng)等各大綜合類新聞的實時監(jiān)控，獲取符合條件的電子政務相關(guān)的信息。對中國氣象網(wǎng)、中國地震臺網(wǎng)、交通網(wǎng)、減災網(wǎng)等行業(yè)領(lǐng)域門戶的實時監(jiān)控，獲取氣象、地震、交通、自然災害信息。其他政府期望及時獲取的有價值互聯(lián)網(wǎng)信息等。網(wǎng)絡社交論壇信息獲取與門戶信息獲取方式類似，網(wǎng)絡社交論壇信息獲取同樣通過網(wǎng)頁的爬取技術(shù)獲取互聯(lián)網(wǎng)中的社交論壇信息。主要提供以下相關(guān)內(nèi)容的獲取：對天涯社區(qū)、貓撲社區(qū)、搜狐論壇、鳳凰論壇、網(wǎng)易論壇、新浪論壇、凱迪社區(qū)、強國論壇、中華網(wǎng)論壇、新華網(wǎng)論壇、環(huán)球網(wǎng)論壇、紅網(wǎng)論壇等眾多主流論壇的信息進展實時監(jiān)控，獲取符合條件的電子政務相關(guān)的信息。對搜狗說吧、百度貼吧等公共交流平臺中的信息進展監(jiān)控，獲取網(wǎng)民反映電子政務相關(guān)的信息內(nèi)容。微博信息獲取微博信息獲取主要通過調(diào)用爬蟲對新浪微博的網(wǎng)頁爬取方式，對微博用戶發(fā)布的信息進展實時的爬取，微博信息可以進展根底的統(tǒng)計分析，為未來深層次利用做好準備。數(shù)據(jù)管理子系統(tǒng)元數(shù)據(jù)效勞系統(tǒng)元數(shù)據(jù)庫管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供根據(jù)數(shù)據(jù)平臺內(nèi)部的元數(shù)據(jù)標準〔數(shù)據(jù)描述元數(shù)據(jù)、效勞信息元數(shù)據(jù)〕，分別進展對應元數(shù)據(jù)庫的創(chuàng)立與管理的功能。元數(shù)據(jù)管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對元數(shù)據(jù)文件導入的功能?；趩螜C版元數(shù)據(jù)編輯器，向后臺系統(tǒng)管理員提供對數(shù)據(jù)描述元數(shù)據(jù)的創(chuàng)立編輯保存功能。提供基于元數(shù)據(jù)檢索、元數(shù)據(jù)入庫存儲、元數(shù)據(jù)修改刪除功能的元數(shù)據(jù)管理WebService效勞。元數(shù)據(jù)效勞管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供啟停元數(shù)據(jù)效勞的功能。數(shù)據(jù)目錄和接口標準管理系統(tǒng)大數(shù)據(jù)資源目錄體系梳理包括對政務信息資源核心元數(shù)據(jù)標準、分類標準、標識編碼標準等方面進展梳理。參考國家對政務信息資源分類體系的制定標準，經(jīng)過先期梳理，可將政務大數(shù)據(jù)資源目錄梳理為21個一級類，133個二級類。代碼目錄名稱描述和說明ZA綜合政務關(guān)于政治方面的事物和和國家的管理工作ZAA政務綜合類與政務管理相關(guān)的綜合性事務，包括政務督查、電子政務、信息公開ZAB方針政策政府制訂的、宏觀的、指導各個領(lǐng)域開展的方針政策ZAD政府工作關(guān)于政府的規(guī)章制度、組織機構(gòu)建立和開展，以及工作職責等相關(guān)信息ZAE機構(gòu)編制關(guān)于機構(gòu)編制的管理、機構(gòu)體系的當前概況和遠景規(guī)劃ZAF政府領(lǐng)導關(guān)于政府各級領(lǐng)導的簡歷、工作崗位、工作活動、講話等相關(guān)信息ZAG會議、會務會議產(chǎn)生的文件等相關(guān)信息，以及會議組織、管理的相關(guān)信息ZAH重大事件有深遠影響的事件的相關(guān)信息ZB經(jīng)濟管理關(guān)于經(jīng)濟的管理、規(guī)劃、開展概況ZBA經(jīng)濟管理綜合類ZBB經(jīng)濟開展方案關(guān)于經(jīng)濟的宏觀的開展規(guī)劃ZBC經(jīng)濟管理關(guān)于經(jīng)濟的宏觀管理現(xiàn)狀ZBD經(jīng)濟體制改革關(guān)于經(jīng)濟體制改革的管理和規(guī)劃、開展情況。ZBE經(jīng)貿(mào)管理關(guān)于經(jīng)濟貿(mào)易的宏觀管理和開展調(diào)查報告、統(tǒng)計資料ZBF統(tǒng)計關(guān)于統(tǒng)計工作的管理和開展情況………………(此處只列出局局部類,整體依據(jù)國家標準進展同一分類)在平臺建立的同時結(jié)合符合國家標準的平臺段數(shù)據(jù)目錄的定義,結(jié)合各個委辦局的實際接口情況，明確各個委辦局數(shù)據(jù)接口的接入標準，明確可會聚共享交換的數(shù)據(jù)分類、數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)接入方式等內(nèi)容。通過明確的接口標準定義，指導各個委辦局的數(shù)據(jù)接入，并提供必要的技術(shù)支持和指導。數(shù)據(jù)目錄的定義和管理要遵循國家現(xiàn)有政務電子信息化建立的相關(guān)標準，同時結(jié)合各個委辦局數(shù)據(jù)的地域特殊性進展更細致的完善，確保數(shù)據(jù)目錄在遵循國家標準的前提下，兼容支持本地政府的各類數(shù)據(jù)。數(shù)據(jù)挖掘和分析系統(tǒng)數(shù)據(jù)分析模塊子系統(tǒng)作為創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺對外提供數(shù)據(jù)的深度挖掘和分析效勞的核心系統(tǒng)，分布式數(shù)據(jù)處理子系統(tǒng)提供了對分布式存儲數(shù)據(jù)進展處理的能力。數(shù)據(jù)分析系統(tǒng)利用多種分布式計算引擎，結(jié)合分布式數(shù)據(jù)存儲模型對各類構(gòu)造化及非構(gòu)造化的信息資源進展快速的分布式分析處理，并將分析處理后的中間結(jié)果數(shù)據(jù)提供應上層示*性應用以及其他部門業(yè)務系統(tǒng)中進展二次利用；此外，模型管理子系統(tǒng)提供各類業(yè)務分析模型的新建、修改等管理功能。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的數(shù)據(jù)分析系統(tǒng)可分為如下幾個主要局部：分布式計算引擎支撐系統(tǒng)在分布式處理領(lǐng)域中，分布式并行技術(shù)是最為核心的領(lǐng)域之一。沒有好的分布式處理程序的支持，分布式處理就不可能很好的工作，所謂超級計算、大數(shù)據(jù)分析也就更加無從談起了。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺通過提供MapReduce、Spark和Storm三種分布式計算框架，為上層應用提供大數(shù)據(jù)分布式計算的支撐。這種架構(gòu)既能夠最大限度的滿足各種業(yè)務模型的需求，同時也能夠充分利用政務大數(shù)據(jù)平臺的軟硬件資源，提供數(shù)據(jù)存儲訪問及分布式計算任務的調(diào)度、運行及結(jié)果通知等功能。算法及模型支撐系統(tǒng)數(shù)據(jù)分析不能一概而論，數(shù)據(jù)分析需要有根底算法的支撐。隨著數(shù)據(jù)集規(guī)模和復雜度的持續(xù)上升，對算法要求也越來越高。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用基于Hadoop技術(shù)架構(gòu)的處理技術(shù)，為數(shù)據(jù)分析師及開發(fā)者提供幾十種具備自主知識產(chǎn)權(quán)的分布式算法。平臺提供相應的SDK開發(fā)工具套件及算法調(diào)用API，從而讓各種應用能夠方便的使用平臺數(shù)據(jù)及其算法。擁有根底算法的支持僅僅完成了數(shù)據(jù)分析和挖掘的第一步，對于每一個具體的基于數(shù)據(jù)的應用系統(tǒng)，都需要根據(jù)其自身特點建立相應的分析模型，才能夠有效的支撐應用系統(tǒng)。簡單的說，分析模型可以看作是由一個或多個根底算法組合而成，根底算法提供了大量的中間結(jié)果，而模型則將大量的中間結(jié)果處理為最終結(jié)果。數(shù)據(jù)分析開發(fā)套件SDK大數(shù)據(jù)平臺提供的三種分布式計算框架為平臺提供了強大的分布式計算能力，從而為各種基于數(shù)據(jù)的應用提供了根本的運行環(huán)境；同時，根底算法庫中大量的分布式算法實現(xiàn)則為數(shù)據(jù)分析模型的建立提供了底層的工具支撐。為了讓平臺的計算能力和算法分析能力應用到實際業(yè)務之中，還需要通過研發(fā)人員開發(fā)出使用這些計算能力和算法庫的分析程序。分布式計算開發(fā)套件SDK則使平臺具備了二次開發(fā)的能力，它可以讓研發(fā)人員利用大數(shù)據(jù)平臺中分布式并行計算的能力，通過基于數(shù)據(jù)分析的定制開發(fā)，實現(xiàn)對海量大數(shù)據(jù)進展分析處理，建立數(shù)據(jù)分析處理的結(jié)果性數(shù)據(jù)，為上層大數(shù)據(jù)業(yè)務應用提供數(shù)據(jù)支撐。數(shù)據(jù)信息管理系統(tǒng)數(shù)據(jù)審核數(shù)據(jù)審核模塊主要是承受供應商門戶上傳的流數(shù)據(jù)和塊狀數(shù)據(jù)，對這些數(shù)據(jù)進展審核，決定其是否能通過，并進入數(shù)據(jù)評估。數(shù)據(jù)評估數(shù)據(jù)評估模塊主要是對已審核過的數(shù)據(jù)，針對各個指標項進展數(shù)值評估，最終保存其評估結(jié)果，供用戶查詢和數(shù)據(jù)定價時參考。數(shù)據(jù)定價數(shù)據(jù)定價模塊主要是設(shè)置經(jīng)過數(shù)據(jù)評估的數(shù)據(jù)，對應不同用戶、不同使用環(huán)境進展數(shù)據(jù)定價。數(shù)據(jù)發(fā)布管理數(shù)據(jù)發(fā)布管理模塊主要是發(fā)布經(jīng)過定價或評估的數(shù)據(jù)，進展對外發(fā)布，設(shè)置其發(fā)布*圍和發(fā)布狀態(tài)。數(shù)據(jù)日志系統(tǒng)數(shù)據(jù)日志存儲對外提供數(shù)據(jù)日志存儲效勞接口，供其他系統(tǒng)進展數(shù)據(jù)日志信息的存儲。數(shù)據(jù)日志查詢基于Web瀏覽器端，向后臺系統(tǒng)管理員提供數(shù)據(jù)日志查詢功能。數(shù)據(jù)審計系統(tǒng)數(shù)據(jù)效勞使用情況審計基于web瀏覽器端，向后臺系統(tǒng)管理員提供對登陸和使用平臺進展數(shù)據(jù)效勞使用情況的用戶行為進展跟蹤記錄和統(tǒng)計，并形成分析報告的功能。效勞狀態(tài)監(jiān)視基于web端，向后臺系統(tǒng)管理員提供對所有已注冊并發(fā)布的開放數(shù)據(jù)API和數(shù)據(jù)下載效勞的效勞狀態(tài)信息進展監(jiān)視記錄，并形成分析報告的功能。數(shù)據(jù)使用權(quán)標記系統(tǒng)塊狀數(shù)據(jù)水印效勞向數(shù)據(jù)平臺提供webservice形式的塊數(shù)據(jù)水印效勞接口。流數(shù)據(jù)水印效勞向API管理系統(tǒng)和創(chuàng)新工場API系統(tǒng)提供webservice形式的流數(shù)據(jù)水印效勞接口。水印管理效勞基于web瀏覽器端，向后臺系統(tǒng)管理員提供對水印的管理和驗證功能。創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng)創(chuàng)新創(chuàng)業(yè)應用管理系統(tǒng)創(chuàng)新應用APP測試創(chuàng)新工場APP測試：當APP上架之前需要經(jīng)過后臺管理人員的測試，創(chuàng)新工場開發(fā)者用戶應當提供應數(shù)據(jù)平臺測試賬號，布置測試環(huán)境，提供測試數(shù)據(jù)，以及對應APP的一些根本信息。后臺管理員會根據(jù)提供的信息對該APP進展測試。創(chuàng)新應用APP發(fā)布APP發(fā)布：對于測試通過的APP應用，后臺管理員會進展發(fā)布，添加新的APP應用，輸入APP有關(guān)的根本信息“名稱、開發(fā)者、訪問方式、說明描述、使用說明及演示地址等〞。開放數(shù)據(jù)API管理系統(tǒng)API發(fā)布開放數(shù)據(jù)API發(fā)布：API數(shù)據(jù)系統(tǒng)主要提供應用戶使用API的方式，進展數(shù)據(jù)下載。是通過接口形式，實時獲取最新數(shù)據(jù)。后臺管理員上架API，填寫API的詳細信息包括：API數(shù)據(jù)的描述〔api的收費情況描述、接口作用信息、接口的參數(shù)對照信息、返回字典等信息〕，接口信息〔調(diào)用地址、返回格式〕，API調(diào)用的文檔，以及API調(diào)用的地址。之后會經(jīng)過后臺管理人員審核確認API通過審核，才會發(fā)布到數(shù)據(jù)平臺。API測試API發(fā)布之前必須經(jīng)過測試，確保API的可用性、正確性、以及數(shù)據(jù)的完整性，對一些法律規(guī)定不允許公布的數(shù)據(jù)將不予以發(fā)布。數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng)數(shù)據(jù)統(tǒng)一展示門戶數(shù)據(jù)統(tǒng)一展示門戶主要為普通用戶提供瀏覽、確定數(shù)據(jù)*圍的功能，數(shù)據(jù)是由平臺或者數(shù)據(jù)供應商提供的，用戶可以通過分類、查找、過濾等方式找到自己關(guān)注的數(shù)據(jù)，然后查看數(shù)據(jù)的詳細信息，數(shù)據(jù)自身都是經(jīng)過脫敏和加密，符合對外展示的具體要求的，成為數(shù)據(jù)驅(qū)動的運營體系的統(tǒng)一對外展示接口。數(shù)據(jù)統(tǒng)一展示門戶系統(tǒng)功能包括，數(shù)據(jù)展示，數(shù)據(jù)的過濾功能，數(shù)據(jù)的查找功能，數(shù)據(jù)列表，數(shù)據(jù)的詳細信息。數(shù)據(jù)展示數(shù)據(jù)展示功能主要是將數(shù)據(jù)種類、描述、樣例、歷史訪問量等信息展示給客戶，以方便用戶的分析使用。具體包括以下內(nèi)容：數(shù)據(jù)的分類顯示數(shù)據(jù)的分類會出現(xiàn)頁面的頭部導航欄，當用戶把鼠標放到*一大分類出，彈出當前大分類下的所有子分類，用戶點擊子分類進入當前子分類有關(guān)數(shù)據(jù)的詳細列表頁面。數(shù)據(jù)的過濾功能提供標簽過濾功能，用戶點擊其中*個標簽，會按照此標簽以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關(guān)鍵字查找出來，以列表的形式展示出來，以供用戶選擇。數(shù)據(jù)的查找功能提供查找功能，用戶通過頁面的搜索查找有關(guān)輸入關(guān)鍵字所匹配的數(shù)據(jù)，搜索框前可以選擇搜索數(shù)據(jù)的標題還是搜索詳情，默認的是標題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。數(shù)據(jù)列表數(shù)據(jù)列表會展示當前用戶選擇的或者默認的分類下的所有的數(shù)據(jù)，會以列表分頁的形式展示，按照時間默認排序。當前列表會展示數(shù)據(jù)的一些根本信息“數(shù)據(jù)的標題、數(shù)據(jù)質(zhì)量的評分、數(shù)據(jù)的圖片、數(shù)據(jù)的訪問量以及數(shù)據(jù)的簡單描述〞；如果當前登錄的用戶為創(chuàng)新工場的用戶，創(chuàng)新工廠用戶進入API列表，api標題后會多出金銀銅等級，只有符合當前等級的用戶才可以調(diào)用當前的API數(shù)據(jù)。數(shù)據(jù)詳細信息數(shù)據(jù)的詳細信息，點擊數(shù)據(jù)的標題進入當前數(shù)據(jù)的詳細信息頁面。會顯示當前數(shù)據(jù)的詳細信息，包括“數(shù)據(jù)的圖片、數(shù)據(jù)的標題、數(shù)據(jù)的價值、數(shù)據(jù)來源、數(shù)據(jù)上架的時間、數(shù)據(jù)的大小、當前數(shù)據(jù)的下載量、數(shù)據(jù)的簡短描述、當前數(shù)據(jù)的完整性〔八個指標〕、收藏、推薦有關(guān)當前數(shù)據(jù)的相關(guān)數(shù)據(jù)、數(shù)據(jù)的詳細信息、訪問過的用戶對當前數(shù)據(jù)的評論信息〞。數(shù)據(jù)檢索數(shù)據(jù)的檢索包括，標簽的篩選，數(shù)據(jù)的關(guān)鍵字及詳細信息的搜索。用戶點擊其中*個標簽，會按照此標簽以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關(guān)鍵字查找出來。搜索框前可以選擇搜索數(shù)據(jù)的標題還是詳細信息，默認的是標題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。用戶管理當前平臺用戶管理分為三類：普通用戶管理、創(chuàng)新工廠用戶管理、供應商用戶管理。普通用戶管理：普通用戶可以在前臺的個人中心里管理自己的根本信息，查看自己的賬戶信息，修改密碼等操作。還可以通過我的訂單查詢當前所有的訂單，及訂單最新的狀態(tài)，查看并管理當前的API的信息。查看當前的系統(tǒng)消息。創(chuàng)新工廠用戶管理：創(chuàng)新工廠用戶可以在個人中心管理自己的根本信息，查看自己當前的等級，查看并管理自己的賬戶余額，查看并管理當前的API的信息，更新自己所購置的API版本等，發(fā)布自己的應用，查看并且管理自己當前已發(fā)布的應用。查看當前的系統(tǒng)消息。供應商用戶管理：供應商用戶可以在前臺的個人中心里管理自己的根本信息，查看并且管理自己的數(shù)據(jù)狀態(tài)，修改密碼等操作。發(fā)布數(shù)據(jù)，查看自己發(fā)布的數(shù)據(jù)的情況。查看當前的系統(tǒng)消息。數(shù)據(jù)共享交換系統(tǒng)數(shù)據(jù)聚集配置管理基于web端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)平臺主節(jié)點與分節(jié)點/獨立數(shù)據(jù)終端系統(tǒng)之間的數(shù)據(jù)聚集操作配置管理功能。數(shù)據(jù)在線聚集基于web端，向后臺系統(tǒng)管理員提供進展數(shù)據(jù)在線聚集傳輸?shù)牟僮鞴芾砉δ?。?shù)據(jù)離線聚集基于web端，向后臺系統(tǒng)管理員提供進展數(shù)據(jù)離線聚集傳輸?shù)牟僮鞴芾砉δ埽〝?shù)據(jù)離線聚集包的導出及導入功能。數(shù)據(jù)共享交換日志管理基于web端，向后臺系統(tǒng)管理員提供數(shù)據(jù)共享交換業(yè)務操作的日志記錄檢索瀏覽功能。數(shù)據(jù)訪問規(guī)則系統(tǒng)訪問規(guī)則管理基于web瀏覽器端，向后臺系統(tǒng)管理員提供基于內(nèi)置數(shù)據(jù)訪問業(yè)務規(guī)則，對特定用戶或特定數(shù)據(jù)效勞進展訪問規(guī)則設(shè)置管理的功能。數(shù)據(jù)訪問效勞向平臺提供基于webservice形式的API數(shù)據(jù)訪問效勞接口。訪問信息效勞向平臺提供基于webservice形式的API數(shù)據(jù)訪問歷史記錄信息檢索效勞接口。訪問規(guī)則管理對數(shù)據(jù)訪問相關(guān)的各類規(guī)則進展統(tǒng)一管理和配置。用戶及權(quán)限管理子系統(tǒng)用戶信息管理系統(tǒng)數(shù)據(jù)平臺注冊用戶管理平臺注冊用戶管理，系統(tǒng)管理員可以在后臺進展平臺注冊用戶的管理。通過用戶管理，可以查看用戶的訂單，以及發(fā)現(xiàn)不合法用戶后，對用戶的凍結(jié)功能。創(chuàng)新工場用戶管理創(chuàng)新工場用戶管理，系統(tǒng)管理員可以在后臺對平臺所有的創(chuàng)新工場用戶進展操作?？梢栽诤笈_的用戶管理中的創(chuàng)新工場用戶管理中設(shè)置?？梢赃M展查看當前所有的創(chuàng)新工場用戶列表及詳細信息“創(chuàng)新工場用戶名稱、所發(fā)布的API、發(fā)布時間、賬戶信息、用戶等級等。〞管理員還可以對新申請的創(chuàng)新工場用戶進展審核，對不符合創(chuàng)新工場用戶條件的申請進展駁回。對已經(jīng)通過審核的創(chuàng)新工場用戶的賬戶進展凍結(jié)，叫停該用戶在應用市場所發(fā)布的應用。數(shù)據(jù)供應商管理數(shù)據(jù)供應商管理，系統(tǒng)管理員可以在后臺對平臺所有的數(shù)據(jù)供應商進展操作?？梢栽诤笈_的用戶管理中的數(shù)據(jù)供應商管理中設(shè)置。可以進展查看當前所有的供應商列表及詳細信息“供應商名稱、所提供的數(shù)據(jù)、時間等。〞管理員還可以對新申請的數(shù)據(jù)供應商進展審核，對不符合數(shù)據(jù)供應商的申請進展駁回。對已經(jīng)通過審核的數(shù)據(jù)供應商進展凍結(jié)，叫停所發(fā)布的數(shù)據(jù)等操作。系統(tǒng)管理員管理系統(tǒng)管理員管理，超級管理員賬號可以在后臺配置有關(guān)系統(tǒng)管理員的權(quán)限，設(shè)立不同的管理權(quán)限從而實現(xiàn)不同角色管理員的劃分，例如訂單管理員，只能進展訂單的操作，無法操作其他菜單。超級管理員可以在后臺用戶管理中配置有關(guān)的系統(tǒng)管理員的權(quán)限。授權(quán)管理系統(tǒng)數(shù)據(jù)效勞分組管理與授權(quán)基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)效勞進展分組定義和分組管理設(shè)置的功能?；赪eb瀏覽器端，向后臺系統(tǒng)管理員提供將數(shù)據(jù)效勞分組與用戶分組進展對應關(guān)系設(shè)置和管理，按照對應關(guān)系對用戶組進展數(shù)據(jù)效勞授權(quán)的功能。數(shù)據(jù)效勞分級管理與授權(quán)基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)效勞進展分級定義和分組管理設(shè)置的功能。基于Web瀏覽器端，向后臺系統(tǒng)管理員提供將數(shù)據(jù)效勞分級與用戶分級進展對應關(guān)系設(shè)置和管理，按照對應關(guān)系對用戶級別進展數(shù)據(jù)效勞授權(quán)的功能。數(shù)據(jù)效勞單獨授權(quán)基于Web瀏覽器端，向后臺系統(tǒng)管理員提供為特定用戶對特定數(shù)據(jù)效勞的訪問授權(quán)進展管理控制的功能。提供針對特定用戶訪問特定數(shù)據(jù)效勞授權(quán)的WebService效勞接口。數(shù)據(jù)訪問權(quán)限管理數(shù)據(jù)訪問權(quán)限管理：普通用戶及其供應商用戶只可以訪問普通的塊數(shù)據(jù)，及API。創(chuàng)新工廠的用戶除了可以查看普通的塊數(shù)據(jù)，及API，還可以調(diào)用創(chuàng)新工廠中的對應著自己賬戶等級的API。身份認證與訪問控制系統(tǒng)用戶身份認證提供WebService形式的用戶身份合法性認證效勞，根據(jù)用戶名和口令進展用戶身份的比對認證。數(shù)據(jù)效勞動態(tài)Token授權(quán)效勞向用戶提供獲取數(shù)據(jù)效勞〔開放數(shù)據(jù)API效勞和塊數(shù)據(jù)下載效勞〕訪問授權(quán)動態(tài)Token的Web效勞API，通過用戶身份認證和數(shù)據(jù)效勞訪問權(quán)限認證后，向用戶返回最新的數(shù)據(jù)效勞調(diào)用授權(quán)動態(tài)Token。數(shù)據(jù)效勞訪問控制對用戶向數(shù)據(jù)平臺發(fā)送的數(shù)據(jù)效勞調(diào)用請求進展有效性驗證和訪問控制。大數(shù)據(jù)平臺運營維護效勞創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺工程涉及的軟硬件系統(tǒng)*圍較廣，且承載了重要核心的數(shù)據(jù)資產(chǎn)，其穩(wěn)定運行的保障十分重要，勤智數(shù)碼依托自身十多年的IT運維經(jīng)歷，建立一套基于ISO/IEC20000和ITILv3理論，遵循ITSS、GB/T28827-2021系列運行維護效勞國家標準的運營維護體系，對平臺中各子系統(tǒng)以及各功能模塊提供統(tǒng)一的監(jiān)控維護效勞，包括效勞的提供狀態(tài)監(jiān)控、效勞的使用狀態(tài)監(jiān)控、系統(tǒng)的運行狀態(tài)監(jiān)控等。包括如下的平臺運維效勞：平臺內(nèi)部資源的監(jiān)控管理對平臺所涉及的所有硬件資源、軟件資源和數(shù)據(jù)資源進展實時不連續(xù)的7*24小時的監(jiān)控和管理，合理設(shè)定資源狀態(tài)的預警閾值的設(shè)定，確保任何資源狀態(tài)異常的及時通報和展示，通過聲光報警、短信、的及時通知，確保管理人員及時的發(fā)現(xiàn)和處理問題。同時借助大數(shù)據(jù)平臺的優(yōu)勢，實現(xiàn)平臺內(nèi)部軟件、硬件資源運行狀態(tài)的趨勢預測，不同資源告警閾值的智能化管理和自動設(shè)定，做到平臺內(nèi)部運行狀態(tài)的穩(wěn)定和持續(xù)。硬件資源監(jiān)控大數(shù)據(jù)平臺的硬件資源較多，所有硬件資源包含：路由器、交換機、防火墻、主機〔window、linu*、Solaris、HP-Uni*、AI*等〕、虛擬效勞器、無線設(shè)備AC/AP、存儲設(shè)備、光交換、其他平安設(shè)備等的監(jiān)控，監(jiān)控方式支持snmpv1/2/3、ssh/telnet、TCP、syslog、trap、腳本、WMI、netflow/cflow/sflow/netstream協(xié)議等。支持對大數(shù)據(jù)平臺涉及的各種設(shè)備狀態(tài)的實時監(jiān)控(如：通斷、資源使用情況、端口狀態(tài)、流量峰值、流量變化量等其他關(guān)鍵指標等)支持網(wǎng)絡設(shè)備的流量的應用層協(xié)議分析和監(jiān)控.借助類似曲線圖表現(xiàn)大數(shù)據(jù)平臺內(nèi)部最近一個小時，最近一天，最近一周，最近一月，最近一年的效勞器或者集群的cpu負載,內(nèi)存,網(wǎng)絡,硬盤等指標支持各類監(jiān)控指標的告警閾值的人工和自動調(diào)整支持告警信息的短信、通知以及聲光報警通知支持網(wǎng)絡拓撲和機房的視圖可視化管理支持網(wǎng)絡資源的配置自動備份軟件資源監(jiān)控大數(shù)據(jù)平臺內(nèi)部的軟件資源復雜，需要支持統(tǒng)一化的一體監(jiān)控模式，支持對Hadoop架構(gòu)體系內(nèi)所有軟件模塊和系統(tǒng)〔HBase、HDFS等〕、關(guān)系型數(shù)據(jù)庫〔MySQL集群、Oracle、SQLServer等〕、中間件系統(tǒng)、前端應用、軟件TCP端口等軟件資源的監(jiān)控和管理，支持SNMP、SSH/telnet、JM*、JDBC等監(jiān)控方式和協(xié)議，實現(xiàn)：支持大數(shù)據(jù)平臺內(nèi)部的各種傳統(tǒng)關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)庫集群、Hadoop架構(gòu)中HDFS/HBase等的狀態(tài)、內(nèi)存數(shù)據(jù)庫狀態(tài)、各類中間件資源狀態(tài)、平臺內(nèi)部和前端應用狀態(tài)、各類內(nèi)外部的接口狀態(tài)的實時監(jiān)控支持各類監(jiān)控資源的告警閾值的人工和自動調(diào)整支持告警信息的短信、通知以及聲光報警通知軟件信息變動和資源使用異常等關(guān)鍵指標的監(jiān)控基于軟件關(guān)聯(lián)關(guān)系的監(jiān)控，實現(xiàn)基于多個軟件和硬件的業(yè)務級別的監(jiān)控平臺故障處理管理大數(shù)據(jù)平臺涉及的軟硬件信息和數(shù)據(jù)量較大，平臺上線運行后會面臨海量的故障信息，故障信息分析是運維工程師面臨的難題，而云計算、虛擬化等新技術(shù)的廣泛采用進一步加劇了運維管理的復雜度。需要對運維流程進展梳理，將技術(shù)人員從繁重的運維工作中解脫出來，實現(xiàn)運維作業(yè)的標準化、自動化，縮短業(yè)務響應時間，提高效勞質(zhì)量。平臺的各類故障和告警處理的管理主要針對平臺運行期間所有異常事件的統(tǒng)一管理，確保所有異常事件都被處理的管理功能。借助國家標準和ITIL的SLA模型，需要建立一套完備的故障事件、問題、變更和發(fā)布等的標準化故障處理流程，規(guī)*故障處理的過程，做到故障的及時處理、追蹤、統(tǒng)計，確保每一個問題和故障都能被及時的處理。提供頁面//短信/聲音/光/消息客戶端/WebService接口及時通過責任人進展告警處理。日常平臺管理任務自動化日常平臺管理工作中有很多是標準化的工作，如巡檢、值班等工作。這些工作會占用大量的時間，將人工的操作、管理轉(zhuǎn)變?yōu)橄到y(tǒng)自動化的操作和管理，可以節(jié)省時間，將精力投入到更緊急、更重要的工作中。自動巡檢功能平臺的監(jiān)控管理系統(tǒng)自動將需要巡檢的設(shè)備狀態(tài)發(fā)送到系統(tǒng)中，自動進展設(shè)備運行狀態(tài)和重要指標性能數(shù)據(jù)的收集匯總形成自動巡檢結(jié)果，同時巡檢過程全程記錄，通過巡檢工單，能夠跟蹤巡檢的執(zhí)行情況。人工巡檢功能針對非監(jiān)控資源的巡檢，可通過系統(tǒng)內(nèi)提供的人工巡檢功能完成巡檢結(jié)果的記錄，為巡檢任務執(zhí)行的方案、監(jiān)視和結(jié)果的電子化管理提供了有效的手段。值班管理系統(tǒng)提供值班管理功能實現(xiàn)管理人員的排班、值班、交接班等信息的電子化管理，系統(tǒng)自動排班。故障處理自動化告警的處理過程通過基于ITIL的事件、問題、變更等標準化的流程進展管理系統(tǒng)自動進展告警過濾、壓縮，防止海量告警。自動將關(guān)鍵告警通過消息發(fā)送給責任人。系統(tǒng)自動運行預定義的腳本恢復故障。對于需要技術(shù)人員處