勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)及解決及方案

-.z..勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)解決方案**勤智數(shù)碼科技股份**2021年6月目錄1 建立大數(shù)據(jù)平臺(tái)的目的 32 大數(shù)據(jù)平臺(tái)帶來的價(jià)值 33 投資建立的內(nèi)容 43.1 大數(shù)據(jù)支撐體系建立 5 大數(shù)據(jù)支撐平臺(tái) 5 數(shù)據(jù)管理子系統(tǒng) 10 創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng) 13 數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng) 14 用戶及權(quán)限管理子系統(tǒng) 173.2 大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)維護(hù)效勞 19 平臺(tái)內(nèi)部資源的監(jiān)控管理 19 平臺(tái)故障處理管理 20 日常平臺(tái)管理任務(wù)自動(dòng)化 21 故障處理自動(dòng)化 213.3 科研專家和數(shù)據(jù)資源 224 工程收費(fèi)和收益模型 224.1 平臺(tái)運(yùn)營(yíng)效勞 224.2 數(shù)據(jù)運(yùn)營(yíng)效勞收益 234.3 大數(shù)據(jù)產(chǎn)業(yè)鏈開展促進(jìn)收益 234.4 政府社會(huì)收益 235 工程建立階段目標(biāo) 24建立大數(shù)據(jù)平臺(tái)的目的大數(shù)據(jù)正在改變信息社會(huì)，我們正從IT時(shí)代走向DT時(shí)代。大數(shù)據(jù)產(chǎn)業(yè)，作為國(guó)家戰(zhàn)略新興產(chǎn)業(yè)，受到各級(jí)政府的高度重視。大數(shù)據(jù)產(chǎn)業(yè)建立，通過“政府引導(dǎo)、市場(chǎng)主導(dǎo)〞的模式建立一個(gè)數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新創(chuàng)業(yè)生態(tài)環(huán)境，改變當(dāng)下政務(wù)數(shù)據(jù)的分散、獨(dú)立的現(xiàn)狀，充分利用“群眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新〞的創(chuàng)新創(chuàng)業(yè)熱潮，積極建立一個(gè)以數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)體系、創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈、政務(wù)數(shù)據(jù)共享交換、智慧城市大數(shù)據(jù)支撐平臺(tái)為核心目的的大數(shù)據(jù)全產(chǎn)業(yè)鏈的生態(tài)環(huán)境。以“一點(diǎn)創(chuàng)新，全盤激活〞為引導(dǎo)思路，“一平臺(tái)，多應(yīng)用〞為框架設(shè)計(jì)思路，在人才培育體系建立、就業(yè)崗位增加、產(chǎn)業(yè)開展空間和產(chǎn)值提升等方面真切的做到為政府提供全方位的效勞，從而為產(chǎn)業(yè)開展現(xiàn)狀形成標(biāo)桿性的開展格局，夯實(shí)大數(shù)據(jù)產(chǎn)業(yè)開展根底。進(jìn)一步推進(jìn)“群眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新〞，讓創(chuàng)業(yè)創(chuàng)新成為經(jīng)濟(jì)增長(zhǎng)的“倍增器〞、開展方式的“轉(zhuǎn)換器〞，讓“群眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新〞在全社會(huì)蔚然成風(fēng)；支撐政府在更高的平臺(tái)上實(shí)現(xiàn)經(jīng)濟(jì)可持續(xù)開展，為產(chǎn)業(yè)轉(zhuǎn)型升級(jí)提供經(jīng)歷和啟示。大數(shù)據(jù)平臺(tái)帶來的價(jià)值創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)可以帶來巨大的產(chǎn)業(yè)開展空間、解決諸多歷史問題、明確城市產(chǎn)業(yè)的開展方向以及帶動(dòng)相關(guān)產(chǎn)業(yè)的協(xié)同開展，具體表現(xiàn)在：數(shù)據(jù)運(yùn)營(yíng)體系的建立：建立以數(shù)據(jù)為核心資產(chǎn)和驅(qū)動(dòng)力的運(yùn)營(yíng)體系，全面利用智慧城市框架內(nèi)各類垂直業(yè)務(wù)的運(yùn)營(yíng)數(shù)據(jù)、國(guó)信優(yōu)易擁有的可訪問的700T國(guó)家局部部委的政務(wù)數(shù)據(jù)、區(qū)域政府的各委辦局的政務(wù)數(shù)據(jù)等高價(jià)值的數(shù)據(jù)資產(chǎn)，并為之配套形成標(biāo)桿性的規(guī)*與標(biāo)準(zhǔn)，對(duì)于大數(shù)據(jù)產(chǎn)業(yè)開展方向無疑會(huì)產(chǎn)生標(biāo)志性的里程碑意義。依托國(guó)信優(yōu)易的未來國(guó)家級(jí)大數(shù)據(jù)共享促進(jìn)中心的開展定位，創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)作為區(qū)域內(nèi)唯一的國(guó)信優(yōu)易所擁有的國(guó)家部委重要數(shù)據(jù)資源的訪問接口，在未來以數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)體系中會(huì)處于非常有利的開展格局。創(chuàng)新創(chuàng)業(yè)生態(tài)的孵化：以數(shù)據(jù)為根底的創(chuàng)新創(chuàng)業(yè)平臺(tái)，不僅迎合了國(guó)家“群眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新〞的政策，可以為政府效勞，產(chǎn)生很多就業(yè)時(shí)機(jī)，形成有效的會(huì)聚人才、吸引投資的強(qiáng)大磁場(chǎng)。數(shù)據(jù)作為政府的核心資產(chǎn)，有數(shù)據(jù)就有機(jī)遇，就會(huì)有人才培養(yǎng)和孵化的潤(rùn)土。大數(shù)據(jù)產(chǎn)業(yè)鏈的打造：結(jié)合大數(shù)據(jù)產(chǎn)業(yè)開展目標(biāo)，充分利用創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)中擁有的高價(jià)值智慧城市運(yùn)營(yíng)數(shù)據(jù)、國(guó)信優(yōu)易數(shù)據(jù)、政務(wù)數(shù)居等核心資源，打造以數(shù)據(jù)為核心的產(chǎn)業(yè)鏈：產(chǎn)業(yè)鏈上游為各類數(shù)據(jù)擁有者和數(shù)據(jù)制造者；產(chǎn)業(yè)鏈中游為各種數(shù)據(jù)加工、創(chuàng)新創(chuàng)業(yè)、數(shù)據(jù)使用者，讓數(shù)據(jù)成為產(chǎn)業(yè)鏈的“石油〞資源，驅(qū)動(dòng)產(chǎn)業(yè)鏈的良性開展；產(chǎn)業(yè)鏈下游為政府或者社會(huì)企業(yè)對(duì)數(shù)據(jù)加工創(chuàng)新環(huán)節(jié)產(chǎn)生的各類落地的應(yīng)用和商業(yè)模式進(jìn)展投資和運(yùn)營(yíng)；通過大數(shù)據(jù)產(chǎn)業(yè)鏈的良性循環(huán)，為政府帶來百億級(jí)別的產(chǎn)業(yè)開展機(jī)遇和上億的產(chǎn)值。智慧城市數(shù)據(jù)互聯(lián)支撐：智慧城市開展規(guī)劃的頂層設(shè)計(jì)會(huì)涉及到很多的底層數(shù)據(jù)和上層應(yīng)用，將各類垂直應(yīng)用的運(yùn)營(yíng)數(shù)據(jù)接入到統(tǒng)一的智慧城市數(shù)據(jù)支撐平臺(tái)中，可以為未來智慧城市建立產(chǎn)生的數(shù)據(jù)的互聯(lián)互通提供根底支撐，為數(shù)據(jù)的運(yùn)營(yíng)體系提供充足的血液。政務(wù)數(shù)據(jù)共享交換：通過對(duì)各個(gè)委辦局?jǐn)?shù)據(jù)孤島中各類數(shù)據(jù)的分類、數(shù)據(jù)目錄定義、數(shù)據(jù)挖局、數(shù)據(jù)分析、數(shù)據(jù)清理、數(shù)據(jù)脫敏、數(shù)據(jù)水印、權(quán)限管控、數(shù)據(jù)熱度模型等各類數(shù)據(jù)的生產(chǎn)加工，為上層基于數(shù)據(jù)的共享創(chuàng)新等應(yīng)用提供足夠數(shù)據(jù)支撐；同時(shí)政府也可充分利用民生數(shù)據(jù)，脫敏利用后最大限度的做到效勞于民。**勤智數(shù)碼科技股份**〔以下簡(jiǎn)稱“勤智數(shù)碼〞〕成立于2005年，管理團(tuán)隊(duì)均來自世界五百?gòu)?qiáng)，具備豐富的資本運(yùn)作、市場(chǎng)運(yùn)營(yíng)經(jīng)歷，依托與電子科技大學(xué)成立的“機(jī)器學(xué)習(xí)和數(shù)據(jù)智能〞聯(lián)合實(shí)驗(yàn)室，在大數(shù)據(jù)平臺(tái)、數(shù)據(jù)分析和算法融合、應(yīng)用開發(fā)等領(lǐng)域有豐富的工程經(jīng)歷和實(shí)力，成功承接過數(shù)十個(gè)政府大型工程的建立，運(yùn)營(yíng)和運(yùn)維工作。勤智數(shù)碼期望借助本地化企業(yè)的優(yōu)勢(shì)，承擔(dān)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)的工程建立及后期運(yùn)營(yíng)工作，組建最優(yōu)秀的專家團(tuán)隊(duì)，在頂層設(shè)計(jì)、建立以及運(yùn)營(yíng)工作等方面高質(zhì)量、按方案的完成。投資建立的內(nèi)容創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)工程的投資建立，因?yàn)樯婕暗能浻布Y源、咨詢溝通、信息數(shù)據(jù)等內(nèi)容繁多，勤智數(shù)碼結(jié)合政府相關(guān)的工程經(jīng)歷，對(duì)初步建議的投資模式進(jìn)展了如下的歸納總結(jié)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)工程主要涉及到三個(gè)方面的投資建立內(nèi)容，包括：1〕大數(shù)據(jù)支撐體系的建立2〕大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)維護(hù)效勞3〕科研專家和數(shù)據(jù)資源效勞投入具體投資建立內(nèi)容如下：大數(shù)據(jù)支撐體系建立為了實(shí)現(xiàn)政務(wù)數(shù)據(jù)的共享創(chuàng)新體系的建立，對(duì)政務(wù)數(shù)據(jù)需要有完備的分析處理體系，以支撐整個(gè)創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈的安康開展，而且國(guó)信優(yōu)易擁有高質(zhì)量的國(guó)家部委的各類數(shù)據(jù)，為了能有效的訪問到經(jīng)過國(guó)信優(yōu)易授權(quán)的各類數(shù)據(jù)，建立內(nèi)容已經(jīng)充分考慮應(yīng)用國(guó)內(nèi)目前成熟和先進(jìn)的技術(shù)，最大限度復(fù)用國(guó)信優(yōu)易大數(shù)據(jù)平臺(tái)的成熟穩(wěn)定的技術(shù)架構(gòu)和實(shí)現(xiàn)，結(jié)合特定需求的元數(shù)據(jù)管理、數(shù)據(jù)分類、數(shù)據(jù)審計(jì)、數(shù)據(jù)審核、數(shù)據(jù)評(píng)估、數(shù)據(jù)定級(jí)、數(shù)據(jù)發(fā)布、數(shù)據(jù)水印管理、數(shù)據(jù)開放接口管理、數(shù)據(jù)展示統(tǒng)一門戶系統(tǒng)、身份權(quán)限管理、用戶管理、平臺(tái)門戶系統(tǒng)、其他接口和應(yīng)用平臺(tái)等符合本地實(shí)際情況的定制開發(fā)等建立內(nèi)容。大數(shù)據(jù)支撐體系是整個(gè)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)工程的核心支撐，也是投資建立難度最大的一個(gè)投資建立任務(wù)之一。包括：大數(shù)據(jù)支撐平臺(tái)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)承擔(dān)了智慧城市底層支撐、政務(wù)數(shù)據(jù)共享交換、互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)、國(guó)信優(yōu)易數(shù)據(jù)訪問接口等多個(gè)核心業(yè)務(wù)需求，平臺(tái)自身需要具備和采用先進(jìn)的經(jīng)過深度優(yōu)化大數(shù)據(jù)技術(shù)、分布式存儲(chǔ)計(jì)算和算法模型、高并發(fā)和快速響應(yīng)的高速緩存架構(gòu)等，建立一個(gè)基于SOA框架的大數(shù)據(jù)能力核心平臺(tái)，作為整個(gè)工程的數(shù)據(jù)智慧處理中心，需要支持多種數(shù)據(jù)源的聚集〔政務(wù)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、行業(yè)數(shù)據(jù)等〕，支持不同的數(shù)據(jù)格式〔構(gòu)造化數(shù)據(jù)、非構(gòu)造化數(shù)據(jù)以及流數(shù)據(jù)等〕。在繁雜的數(shù)據(jù)接入要求的情況下，采用基于總線機(jī)制的數(shù)據(jù)接入系統(tǒng)，可以快速有效的完成數(shù)據(jù)接入的要求以及提供豐富和靈活的擴(kuò)展性。大數(shù)據(jù)支撐平臺(tái)的建立方案采取復(fù)用國(guó)信優(yōu)易成熟的大數(shù)據(jù)平臺(tái)產(chǎn)品的思路，一是確保了與國(guó)信優(yōu)易的數(shù)據(jù)接口訪問互通的一致性、二是成熟的產(chǎn)品架構(gòu)確保了運(yùn)行的穩(wěn)定性、技術(shù)的先進(jìn)性。平臺(tái)的總體邏輯架構(gòu)分為三層：根底設(shè)施層〔IaaS層〕、大數(shù)據(jù)平臺(tái)層〔PaaS層〕，以及大數(shù)據(jù)應(yīng)用層〔SaaS層〕。根底設(shè)施層依托于分布式存儲(chǔ)架構(gòu)，大數(shù)據(jù)平臺(tái)層則提供了包括數(shù)據(jù)接入、分析、共享和平臺(tái)管理在內(nèi)的大數(shù)據(jù)分析處理功能，最后由大數(shù)據(jù)應(yīng)用層提供的各種大數(shù)據(jù)應(yīng)用來充分展示大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理能力和共享能力。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)邏輯架構(gòu)設(shè)計(jì)根底設(shè)施支撐平臺(tái)IaaS政務(wù)大數(shù)據(jù)平臺(tái)將充分利用區(qū)域政務(wù)中心〔或信息中心〕提供的根底設(shè)施資源，如：計(jì)算、存儲(chǔ)、備份、網(wǎng)絡(luò)和平安防護(hù)等，從而為政務(wù)大數(shù)據(jù)平臺(tái)提供一個(gè)穩(wěn)定可靠、高性能、擴(kuò)展性強(qiáng)、易于管理的根底設(shè)施平臺(tái)，IaaS層中根底的效勞器和網(wǎng)絡(luò)等資源方案盡量復(fù)用現(xiàn)有的硬件資源。大數(shù)據(jù)分析處理平臺(tái)PaaS政務(wù)大數(shù)據(jù)平臺(tái)利用數(shù)據(jù)接入效勞，將在云計(jì)算中心部署的政務(wù)應(yīng)用中存在的政務(wù)信息資源以及互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)展統(tǒng)一的接入，經(jīng)過對(duì)構(gòu)造化和非構(gòu)造化數(shù)據(jù)進(jìn)展處理后，匯總形成總計(jì)21個(gè)一級(jí)類，133個(gè)二級(jí)類的政務(wù)大數(shù)據(jù)目錄庫(kù)，實(shí)現(xiàn)資源的查詢、檢索以及共享利用。同時(shí)，構(gòu)建高效的大數(shù)據(jù)分析系統(tǒng)，利用分布式數(shù)據(jù)處理、分析工具和展示工具，為上層應(yīng)用效勞提供大數(shù)據(jù)處理和分析能力。此外，利用大數(shù)據(jù)門戶，為政府各委辦局、社會(huì)公眾、社會(huì)應(yīng)用開發(fā)商提供資源查詢、信息公開和數(shù)據(jù)效勞。大數(shù)據(jù)典型示*應(yīng)用層SaaS利用根底設(shè)施支撐平臺(tái)和分析處理平臺(tái)構(gòu)建根底云端應(yīng)用效勞能力，建立數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)促進(jìn)系統(tǒng)、數(shù)據(jù)創(chuàng)新競(jìng)賽等提云端應(yīng)用效勞，在平臺(tái)落地建立完畢時(shí)，即可提供具體應(yīng)用提升人氣，產(chǎn)生數(shù)據(jù)價(jià)值。標(biāo)準(zhǔn)和先進(jìn)的平臺(tái)大數(shù)據(jù)平臺(tái)規(guī)劃設(shè)計(jì)完全符合國(guó)家的宏觀政策和各類標(biāo)準(zhǔn)，在標(biāo)準(zhǔn)規(guī)*層面，通過建立政務(wù)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)目錄編制規(guī)*、數(shù)據(jù)權(quán)限管理規(guī)*、運(yùn)行標(biāo)準(zhǔn)規(guī)*、平臺(tái)平安與運(yùn)維標(biāo)準(zhǔn)規(guī)*、數(shù)據(jù)交換接口規(guī)*，為平臺(tái)的運(yùn)行、維護(hù)與平安級(jí)權(quán)限控制管理等方面提供標(biāo)準(zhǔn)規(guī)*依據(jù)。大數(shù)據(jù)平臺(tái)的核心技術(shù)優(yōu)勢(shì)明顯，以整體高可用性、靈活的可擴(kuò)展性、技術(shù)先進(jìn)性為原則，打造適合于政府的大數(shù)據(jù)產(chǎn)業(yè)開展的支撐平臺(tái)：雙總線技術(shù)的SOA框架:平臺(tái)層采用基于政務(wù)效勞總線〔GSB〕及政務(wù)數(shù)據(jù)總線〔GDB〕雙總線架構(gòu)的SOA框架。GDB主要負(fù)責(zé)數(shù)據(jù)的接入和交換，GSB主要負(fù)責(zé)對(duì)內(nèi)對(duì)外的提供統(tǒng)一的效勞接口。深度優(yōu)化的分布式異構(gòu)存儲(chǔ)技術(shù):平臺(tái)使用了經(jīng)過深度優(yōu)化的HDFS、HBase與集群關(guān)系數(shù)據(jù)庫(kù)相結(jié)合的異構(gòu)存儲(chǔ)方案，利用基于內(nèi)存交換技術(shù)的高速緩存和高性能數(shù)據(jù)中間件實(shí)現(xiàn)了高并發(fā)的異構(gòu)存儲(chǔ)體系。自主知識(shí)產(chǎn)權(quán)的高效算法和分布式計(jì)算框架：平臺(tái)內(nèi)部集成了幾十種自主知識(shí)產(chǎn)權(quán)的經(jīng)過十多年技術(shù)沉淀的算法集合，利用MapReduce和Spark的高效分布式計(jì)算框架，實(shí)現(xiàn)各類復(fù)雜數(shù)據(jù)挖掘和分析需求。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)功能層次架構(gòu)設(shè)計(jì)互聯(lián)網(wǎng)輿情信息模塊據(jù)不完全統(tǒng)計(jì)，中國(guó)網(wǎng)民規(guī)模達(dá)6.32億，互聯(lián)網(wǎng)普及率為46.9%，網(wǎng)絡(luò)已經(jīng)成為超越播送、報(bào)紙、電視的第一大信息傳播媒介。42%的消費(fèi)者擁有博客或個(gè)人空間。61.7%的網(wǎng)民在購(gòu)置之前到網(wǎng)絡(luò)社區(qū)〔如垂直、論壇、博客或問答〕尋求推薦和建議。34%的博主發(fā)表關(guān)于產(chǎn)品和品牌的意見。73%的消費(fèi)者在網(wǎng)上交流觀點(diǎn)。76%的網(wǎng)民將網(wǎng)絡(luò)口碑作為了解產(chǎn)品和效勞最可靠的信息源。78%的消費(fèi)者相信朋友的推薦。在選擇商品和效勞時(shí)，人們更加關(guān)注他們?cè)诰W(wǎng)絡(luò)上的排行。不到10%的網(wǎng)民發(fā)表著超過80%的原創(chuàng)言論，并吸引著超過90%的點(diǎn)擊率。根據(jù)權(quán)威媒體統(tǒng)計(jì)，69%的政府和企業(yè)危機(jī)來自于互聯(lián)網(wǎng)。對(duì)互聯(lián)網(wǎng)信息的接入將在信息資源的規(guī)模上對(duì)大數(shù)據(jù)提供更加豐富的數(shù)據(jù)資源。本工程將對(duì)互聯(lián)網(wǎng)門戶、網(wǎng)絡(luò)社交論壇、微博輿論信息等相關(guān)信息資源進(jìn)展接入?；ヂ?lián)網(wǎng)分布式爬蟲對(duì)互聯(lián)網(wǎng)數(shù)據(jù)的獲取主要依賴于網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)采用先進(jìn)的分布式網(wǎng)絡(luò)爬蟲框架，由框架完成爬蟲的統(tǒng)一調(diào)度、管理和維護(hù)工作，以及被采集數(shù)據(jù)的統(tǒng)一存儲(chǔ)工作。爬蟲使用者只需要進(jìn)展簡(jiǎn)單的配置或開發(fā)極少量腳本代碼即可完成一個(gè)復(fù)雜頁(yè)面甚至的爬取工作。另外，平臺(tái)在合法*圍內(nèi)適當(dāng)利用反防爬蟲技術(shù)，如驗(yàn)證碼識(shí)別、動(dòng)態(tài)IP、動(dòng)態(tài)用戶等，從而保障互聯(lián)網(wǎng)數(shù)據(jù)的有效獲取，減少人工干預(yù)，節(jié)約本錢。平臺(tái)提供局部互聯(lián)網(wǎng)門戶、網(wǎng)絡(luò)社交論壇、微博等系統(tǒng)的爬蟲，并采集相應(yīng)數(shù)據(jù)以供平臺(tái)使用。對(duì)于以后新增的應(yīng)用，如果需要用到其他的數(shù)據(jù)，則可以基于爬蟲框架，使用平臺(tái)提供的SDK套件開發(fā)相應(yīng)的爬蟲。互聯(lián)網(wǎng)門戶信息獲取接入互聯(lián)網(wǎng)門戶信息獲取接入是利用分布式網(wǎng)頁(yè)爬取技術(shù)，以及基于行業(yè)領(lǐng)域字庫(kù)的模式識(shí)別技術(shù)，實(shí)現(xiàn)對(duì)各類新聞門戶、行業(yè)領(lǐng)域?qū)I(yè)門戶等相關(guān)B/S網(wǎng)頁(yè)進(jìn)展實(shí)時(shí)解析獲取符合條件的數(shù)據(jù)?；ヂ?lián)網(wǎng)門戶信息爬取的對(duì)象如下：對(duì)新華網(wǎng)、人民網(wǎng)、中國(guó)新聞網(wǎng)、新浪網(wǎng)、搜狐網(wǎng)、騰訊網(wǎng)、網(wǎng)易網(wǎng)、鳳凰網(wǎng)、省級(jí)新聞網(wǎng)等各大綜合類新聞的實(shí)時(shí)監(jiān)控，獲取符合條件的電子政務(wù)相關(guān)的信息。對(duì)中國(guó)氣象網(wǎng)、中國(guó)地震臺(tái)網(wǎng)、交通網(wǎng)、減災(zāi)網(wǎng)等行業(yè)領(lǐng)域門戶的實(shí)時(shí)監(jiān)控，獲取氣象、地震、交通、自然災(zāi)害信息。其他政府期望及時(shí)獲取的有價(jià)值互聯(lián)網(wǎng)信息等。網(wǎng)絡(luò)社交論壇信息獲取與門戶信息獲取方式類似，網(wǎng)絡(luò)社交論壇信息獲取同樣通過網(wǎng)頁(yè)的爬取技術(shù)獲取互聯(lián)網(wǎng)中的社交論壇信息。主要提供以下相關(guān)內(nèi)容的獲?。簩?duì)天涯社區(qū)、貓撲社區(qū)、搜狐論壇、鳳凰論壇、網(wǎng)易論壇、新浪論壇、凱迪社區(qū)、強(qiáng)國(guó)論壇、中華網(wǎng)論壇、新華網(wǎng)論壇、環(huán)球網(wǎng)論壇、紅網(wǎng)論壇等眾多主流論壇的信息進(jìn)展實(shí)時(shí)監(jiān)控，獲取符合條件的電子政務(wù)相關(guān)的信息。對(duì)搜狗說吧、百度貼吧等公共交流平臺(tái)中的信息進(jìn)展監(jiān)控，獲取網(wǎng)民反映電子政務(wù)相關(guān)的信息內(nèi)容。微博信息獲取微博信息獲取主要通過調(diào)用爬蟲對(duì)新浪微博的網(wǎng)頁(yè)爬取方式，對(duì)微博用戶發(fā)布的信息進(jìn)展實(shí)時(shí)的爬取，微博信息可以進(jìn)展根底的統(tǒng)計(jì)分析，為未來深層次利用做好準(zhǔn)備。數(shù)據(jù)管理子系統(tǒng)元數(shù)據(jù)效勞系統(tǒng)元數(shù)據(jù)庫(kù)管理基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供根據(jù)數(shù)據(jù)平臺(tái)內(nèi)部的元數(shù)據(jù)標(biāo)準(zhǔn)〔數(shù)據(jù)描述元數(shù)據(jù)、效勞信息元數(shù)據(jù)〕，分別進(jìn)展對(duì)應(yīng)元數(shù)據(jù)庫(kù)的創(chuàng)立與管理的功能。元數(shù)據(jù)管理基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供對(duì)元數(shù)據(jù)文件導(dǎo)入的功能。基于單機(jī)版元數(shù)據(jù)編輯器，向后臺(tái)系統(tǒng)管理員提供對(duì)數(shù)據(jù)描述元數(shù)據(jù)的創(chuàng)立編輯保存功能。提供基于元數(shù)據(jù)檢索、元數(shù)據(jù)入庫(kù)存儲(chǔ)、元數(shù)據(jù)修改刪除功能的元數(shù)據(jù)管理WebService效勞。元數(shù)據(jù)效勞管理基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供啟停元數(shù)據(jù)效勞的功能。數(shù)據(jù)目錄和接口標(biāo)準(zhǔn)管理系統(tǒng)大數(shù)據(jù)資源目錄體系梳理包括對(duì)政務(wù)信息資源核心元數(shù)據(jù)標(biāo)準(zhǔn)、分類標(biāo)準(zhǔn)、標(biāo)識(shí)編碼標(biāo)準(zhǔn)等方面進(jìn)展梳理。參考國(guó)家對(duì)政務(wù)信息資源分類體系的制定標(biāo)準(zhǔn)，經(jīng)過先期梳理，可將政務(wù)大數(shù)據(jù)資源目錄梳理為21個(gè)一級(jí)類，133個(gè)二級(jí)類。代碼目錄名稱描述和說明ZA綜合政務(wù)關(guān)于政治方面的事物和和國(guó)家的管理工作ZAA政務(wù)綜合類與政務(wù)管理相關(guān)的綜合性事務(wù)，包括政務(wù)督查、電子政務(wù)、信息公開ZAB方針政策政府制訂的、宏觀的、指導(dǎo)各個(gè)領(lǐng)域開展的方針政策ZAD政府工作關(guān)于政府的規(guī)章制度、組織機(jī)構(gòu)建立和開展，以及工作職責(zé)等相關(guān)信息ZAE機(jī)構(gòu)編制關(guān)于機(jī)構(gòu)編制的管理、機(jī)構(gòu)體系的當(dāng)前概況和遠(yuǎn)景規(guī)劃ZAF政府領(lǐng)導(dǎo)關(guān)于政府各級(jí)領(lǐng)導(dǎo)的簡(jiǎn)歷、工作崗位、工作活動(dòng)、講話等相關(guān)信息ZAG會(huì)議、會(huì)務(wù)會(huì)議產(chǎn)生的文件等相關(guān)信息，以及會(huì)議組織、管理的相關(guān)信息ZAH重大事件有深遠(yuǎn)影響的事件的相關(guān)信息ZB經(jīng)濟(jì)管理關(guān)于經(jīng)濟(jì)的管理、規(guī)劃、開展概況ZBA經(jīng)濟(jì)管理綜合類ZBB經(jīng)濟(jì)開展方案關(guān)于經(jīng)濟(jì)的宏觀的開展規(guī)劃ZBC經(jīng)濟(jì)管理關(guān)于經(jīng)濟(jì)的宏觀管理現(xiàn)狀ZBD經(jīng)濟(jì)體制改革關(guān)于經(jīng)濟(jì)體制改革的管理和規(guī)劃、開展情況。ZBE經(jīng)貿(mào)管理關(guān)于經(jīng)濟(jì)貿(mào)易的宏觀管理和開展調(diào)查報(bào)告、統(tǒng)計(jì)資料ZBF統(tǒng)計(jì)關(guān)于統(tǒng)計(jì)工作的管理和開展情況………………(此處只列出局局部類,整體依據(jù)國(guó)家標(biāo)準(zhǔn)進(jìn)展同一分類)在平臺(tái)建立的同時(shí)結(jié)合符合國(guó)家標(biāo)準(zhǔn)的平臺(tái)段數(shù)據(jù)目錄的定義,結(jié)合各個(gè)委辦局的實(shí)際接口情況，明確各個(gè)委辦局?jǐn)?shù)據(jù)接口的接入標(biāo)準(zhǔn)，明確可會(huì)聚共享交換的數(shù)據(jù)分類、數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)接入方式等內(nèi)容。通過明確的接口標(biāo)準(zhǔn)定義，指導(dǎo)各個(gè)委辦局的數(shù)據(jù)接入，并提供必要的技術(shù)支持和指導(dǎo)。數(shù)據(jù)目錄的定義和管理要遵循國(guó)家現(xiàn)有政務(wù)電子信息化建立的相關(guān)標(biāo)準(zhǔn)，同時(shí)結(jié)合各個(gè)委辦局?jǐn)?shù)據(jù)的地域特殊性進(jìn)展更細(xì)致的完善，確保數(shù)據(jù)目錄在遵循國(guó)家標(biāo)準(zhǔn)的前提下，兼容支持本地政府的各類數(shù)據(jù)。數(shù)據(jù)挖掘和分析系統(tǒng)數(shù)據(jù)分析模塊子系統(tǒng)作為創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)對(duì)外提供數(shù)據(jù)的深度挖掘和分析效勞的核心系統(tǒng)，分布式數(shù)據(jù)處理子系統(tǒng)提供了對(duì)分布式存儲(chǔ)數(shù)據(jù)進(jìn)展處理的能力。數(shù)據(jù)分析系統(tǒng)利用多種分布式計(jì)算引擎，結(jié)合分布式數(shù)據(jù)存儲(chǔ)模型對(duì)各類構(gòu)造化及非構(gòu)造化的信息資源進(jìn)展快速的分布式分析處理，并將分析處理后的中間結(jié)果數(shù)據(jù)提供應(yīng)上層示*性應(yīng)用以及其他部門業(yè)務(wù)系統(tǒng)中進(jìn)展二次利用；此外，模型管理子系統(tǒng)提供各類業(yè)務(wù)分析模型的新建、修改等管理功能。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析系統(tǒng)可分為如下幾個(gè)主要局部：分布式計(jì)算引擎支撐系統(tǒng)在分布式處理領(lǐng)域中，分布式并行技術(shù)是最為核心的領(lǐng)域之一。沒有好的分布式處理程序的支持，分布式處理就不可能很好的工作，所謂超級(jí)計(jì)算、大數(shù)據(jù)分析也就更加無從談起了。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)通過提供MapReduce、Spark和Storm三種分布式計(jì)算框架，為上層應(yīng)用提供大數(shù)據(jù)分布式計(jì)算的支撐。這種架構(gòu)既能夠最大限度的滿足各種業(yè)務(wù)模型的需求，同時(shí)也能夠充分利用政務(wù)大數(shù)據(jù)平臺(tái)的軟硬件資源，提供數(shù)據(jù)存儲(chǔ)訪問及分布式計(jì)算任務(wù)的調(diào)度、運(yùn)行及結(jié)果通知等功能。算法及模型支撐系統(tǒng)數(shù)據(jù)分析不能一概而論，數(shù)據(jù)分析需要有根底算法的支撐。隨著數(shù)據(jù)集規(guī)模和復(fù)雜度的持續(xù)上升，對(duì)算法要求也越來越高。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)采用基于Hadoop技術(shù)架構(gòu)的處理技術(shù)，為數(shù)據(jù)分析師及開發(fā)者提供幾十種具備自主知識(shí)產(chǎn)權(quán)的分布式算法。平臺(tái)提供相應(yīng)的SDK開發(fā)工具套件及算法調(diào)用API，從而讓各種應(yīng)用能夠方便的使用平臺(tái)數(shù)據(jù)及其算法。擁有根底算法的支持僅僅完成了數(shù)據(jù)分析和挖掘的第一步，對(duì)于每一個(gè)具體的基于數(shù)據(jù)的應(yīng)用系統(tǒng)，都需要根據(jù)其自身特點(diǎn)建立相應(yīng)的分析模型，才能夠有效的支撐應(yīng)用系統(tǒng)。簡(jiǎn)單的說，分析模型可以看作是由一個(gè)或多個(gè)根底算法組合而成，根底算法提供了大量的中間結(jié)果，而模型則將大量的中間結(jié)果處理為最終結(jié)果。數(shù)據(jù)分析開發(fā)套件SDK大數(shù)據(jù)平臺(tái)提供的三種分布式計(jì)算框架為平臺(tái)提供了強(qiáng)大的分布式計(jì)算能力，從而為各種基于數(shù)據(jù)的應(yīng)用提供了根本的運(yùn)行環(huán)境；同時(shí)，根底算法庫(kù)中大量的分布式算法實(shí)現(xiàn)則為數(shù)據(jù)分析模型的建立提供了底層的工具支撐。為了讓平臺(tái)的計(jì)算能力和算法分析能力應(yīng)用到實(shí)際業(yè)務(wù)之中，還需要通過研發(fā)人員開發(fā)出使用這些計(jì)算能力和算法庫(kù)的分析程序。分布式計(jì)算開發(fā)套件SDK則使平臺(tái)具備了二次開發(fā)的能力，它可以讓研發(fā)人員利用大數(shù)據(jù)平臺(tái)中分布式并行計(jì)算的能力，通過基于數(shù)據(jù)分析的定制開發(fā)，實(shí)現(xiàn)對(duì)海量大數(shù)據(jù)進(jìn)展分析處理，建立數(shù)據(jù)分析處理的結(jié)果性數(shù)據(jù)，為上層大數(shù)據(jù)業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。數(shù)據(jù)信息管理系統(tǒng)數(shù)據(jù)審核數(shù)據(jù)審核模塊主要是承受供應(yīng)商門戶上傳的流數(shù)據(jù)和塊狀數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)展審核，決定其是否能通過，并進(jìn)入數(shù)據(jù)評(píng)估。數(shù)據(jù)評(píng)估數(shù)據(jù)評(píng)估模塊主要是對(duì)已審核過的數(shù)據(jù)，針對(duì)各個(gè)指標(biāo)項(xiàng)進(jìn)展數(shù)值評(píng)估，最終保存其評(píng)估結(jié)果，供用戶查詢和數(shù)據(jù)定價(jià)時(shí)參考。數(shù)據(jù)定價(jià)數(shù)據(jù)定價(jià)模塊主要是設(shè)置經(jīng)過數(shù)據(jù)評(píng)估的數(shù)據(jù)，對(duì)應(yīng)不同用戶、不同使用環(huán)境進(jìn)展數(shù)據(jù)定價(jià)。數(shù)據(jù)發(fā)布管理數(shù)據(jù)發(fā)布管理模塊主要是發(fā)布經(jīng)過定價(jià)或評(píng)估的數(shù)據(jù)，進(jìn)展對(duì)外發(fā)布，設(shè)置其發(fā)布*圍和發(fā)布狀態(tài)。數(shù)據(jù)日志系統(tǒng)數(shù)據(jù)日志存儲(chǔ)對(duì)外提供數(shù)據(jù)日志存儲(chǔ)效勞接口，供其他系統(tǒng)進(jìn)展數(shù)據(jù)日志信息的存儲(chǔ)。數(shù)據(jù)日志查詢基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供數(shù)據(jù)日志查詢功能。數(shù)據(jù)審計(jì)系統(tǒng)數(shù)據(jù)效勞使用情況審計(jì)基于web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供對(duì)登陸和使用平臺(tái)進(jìn)展數(shù)據(jù)效勞使用情況的用戶行為進(jìn)展跟蹤記錄和統(tǒng)計(jì)，并形成分析報(bào)告的功能。效勞狀態(tài)監(jiān)視基于web端，向后臺(tái)系統(tǒng)管理員提供對(duì)所有已注冊(cè)并發(fā)布的開放數(shù)據(jù)API和數(shù)據(jù)下載效勞的效勞狀態(tài)信息進(jìn)展監(jiān)視記錄，并形成分析報(bào)告的功能。數(shù)據(jù)使用權(quán)標(biāo)記系統(tǒng)塊狀數(shù)據(jù)水印效勞向數(shù)據(jù)平臺(tái)提供webservice形式的塊數(shù)據(jù)水印效勞接口。流數(shù)據(jù)水印效勞向API管理系統(tǒng)和創(chuàng)新工場(chǎng)API系統(tǒng)提供webservice形式的流數(shù)據(jù)水印效勞接口。水印管理效勞基于web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供對(duì)水印的管理和驗(yàn)證功能。創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng)創(chuàng)新創(chuàng)業(yè)應(yīng)用管理系統(tǒng)創(chuàng)新應(yīng)用APP測(cè)試創(chuàng)新工場(chǎng)APP測(cè)試：當(dāng)APP上架之前需要經(jīng)過后臺(tái)管理人員的測(cè)試，創(chuàng)新工場(chǎng)開發(fā)者用戶應(yīng)當(dāng)提供應(yīng)數(shù)據(jù)平臺(tái)測(cè)試賬號(hào)，布置測(cè)試環(huán)境，提供測(cè)試數(shù)據(jù)，以及對(duì)應(yīng)APP的一些根本信息。后臺(tái)管理員會(huì)根據(jù)提供的信息對(duì)該APP進(jìn)展測(cè)試。創(chuàng)新應(yīng)用APP發(fā)布APP發(fā)布：對(duì)于測(cè)試通過的APP應(yīng)用，后臺(tái)管理員會(huì)進(jìn)展發(fā)布，添加新的APP應(yīng)用，輸入APP有關(guān)的根本信息“名稱、開發(fā)者、訪問方式、說明描述、使用說明及演示地址等〞。開放數(shù)據(jù)API管理系統(tǒng)API發(fā)布開放數(shù)據(jù)API發(fā)布：API數(shù)據(jù)系統(tǒng)主要提供應(yīng)用戶使用API的方式，進(jìn)展數(shù)據(jù)下載。是通過接口形式，實(shí)時(shí)獲取最新數(shù)據(jù)。后臺(tái)管理員上架API，填寫API的詳細(xì)信息包括：API數(shù)據(jù)的描述〔api的收費(fèi)情況描述、接口作用信息、接口的參數(shù)對(duì)照信息、返回字典等信息〕，接口信息〔調(diào)用地址、返回格式〕，API調(diào)用的文檔，以及API調(diào)用的地址。之后會(huì)經(jīng)過后臺(tái)管理人員審核確認(rèn)API通過審核，才會(huì)發(fā)布到數(shù)據(jù)平臺(tái)。API測(cè)試API發(fā)布之前必須經(jīng)過測(cè)試，確保API的可用性、正確性、以及數(shù)據(jù)的完整性，對(duì)一些法律規(guī)定不允許公布的數(shù)據(jù)將不予以發(fā)布。數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng)數(shù)據(jù)統(tǒng)一展示門戶數(shù)據(jù)統(tǒng)一展示門戶主要為普通用戶提供瀏覽、確定數(shù)據(jù)*圍的功能，數(shù)據(jù)是由平臺(tái)或者數(shù)據(jù)供應(yīng)商提供的，用戶可以通過分類、查找、過濾等方式找到自己關(guān)注的數(shù)據(jù)，然后查看數(shù)據(jù)的詳細(xì)信息，數(shù)據(jù)自身都是經(jīng)過脫敏和加密，符合對(duì)外展示的具體要求的，成為數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)體系的統(tǒng)一對(duì)外展示接口。數(shù)據(jù)統(tǒng)一展示門戶系統(tǒng)功能包括，數(shù)據(jù)展示，數(shù)據(jù)的過濾功能，數(shù)據(jù)的查找功能，數(shù)據(jù)列表，數(shù)據(jù)的詳細(xì)信息。數(shù)據(jù)展示數(shù)據(jù)展示功能主要是將數(shù)據(jù)種類、描述、樣例、歷史訪問量等信息展示給客戶，以方便用戶的分析使用。具體包括以下內(nèi)容：數(shù)據(jù)的分類顯示數(shù)據(jù)的分類會(huì)出現(xiàn)頁(yè)面的頭部導(dǎo)航欄，當(dāng)用戶把鼠標(biāo)放到*一大分類出，彈出當(dāng)前大分類下的所有子分類，用戶點(diǎn)擊子分類進(jìn)入當(dāng)前子分類有關(guān)數(shù)據(jù)的詳細(xì)列表頁(yè)面。數(shù)據(jù)的過濾功能提供標(biāo)簽過濾功能，用戶點(diǎn)擊其中*個(gè)標(biāo)簽，會(huì)按照此標(biāo)簽以及之前的過濾標(biāo)簽重新過濾目標(biāo)數(shù)據(jù)。目標(biāo)數(shù)據(jù)的將以標(biāo)簽匹配的數(shù)據(jù)標(biāo)題的關(guān)鍵字查找出來，以列表的形式展示出來，以供用戶選擇。數(shù)據(jù)的查找功能提供查找功能，用戶通過頁(yè)面的搜索查找有關(guān)輸入關(guān)鍵字所匹配的數(shù)據(jù)，搜索框前可以選擇搜索數(shù)據(jù)的標(biāo)題還是搜索詳情，默認(rèn)的是標(biāo)題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。數(shù)據(jù)列表數(shù)據(jù)列表會(huì)展示當(dāng)前用戶選擇的或者默認(rèn)的分類下的所有的數(shù)據(jù)，會(huì)以列表分頁(yè)的形式展示，按照時(shí)間默認(rèn)排序。當(dāng)前列表會(huì)展示數(shù)據(jù)的一些根本信息“數(shù)據(jù)的標(biāo)題、數(shù)據(jù)質(zhì)量的評(píng)分、數(shù)據(jù)的圖片、數(shù)據(jù)的訪問量以及數(shù)據(jù)的簡(jiǎn)單描述〞；如果當(dāng)前登錄的用戶為創(chuàng)新工場(chǎng)的用戶，創(chuàng)新工廠用戶進(jìn)入API列表，api標(biāo)題后會(huì)多出金銀銅等級(jí)，只有符合當(dāng)前等級(jí)的用戶才可以調(diào)用當(dāng)前的API數(shù)據(jù)。數(shù)據(jù)詳細(xì)信息數(shù)據(jù)的詳細(xì)信息，點(diǎn)擊數(shù)據(jù)的標(biāo)題進(jìn)入當(dāng)前數(shù)據(jù)的詳細(xì)信息頁(yè)面。會(huì)顯示當(dāng)前數(shù)據(jù)的詳細(xì)信息，包括“數(shù)據(jù)的圖片、數(shù)據(jù)的標(biāo)題、數(shù)據(jù)的價(jià)值、數(shù)據(jù)來源、數(shù)據(jù)上架的時(shí)間、數(shù)據(jù)的大小、當(dāng)前數(shù)據(jù)的下載量、數(shù)據(jù)的簡(jiǎn)短描述、當(dāng)前數(shù)據(jù)的完整性〔八個(gè)指標(biāo)〕、收藏、推薦有關(guān)當(dāng)前數(shù)據(jù)的相關(guān)數(shù)據(jù)、數(shù)據(jù)的詳細(xì)信息、訪問過的用戶對(duì)當(dāng)前數(shù)據(jù)的評(píng)論信息〞。數(shù)據(jù)檢索數(shù)據(jù)的檢索包括，標(biāo)簽的篩選，數(shù)據(jù)的關(guān)鍵字及詳細(xì)信息的搜索。用戶點(diǎn)擊其中*個(gè)標(biāo)簽，會(huì)按照此標(biāo)簽以及之前的過濾標(biāo)簽重新過濾目標(biāo)數(shù)據(jù)。目標(biāo)數(shù)據(jù)的將以標(biāo)簽匹配的數(shù)據(jù)標(biāo)題的關(guān)鍵字查找出來。搜索框前可以選擇搜索數(shù)據(jù)的標(biāo)題還是詳細(xì)信息，默認(rèn)的是標(biāo)題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。用戶管理當(dāng)前平臺(tái)用戶管理分為三類：普通用戶管理、創(chuàng)新工廠用戶管理、供應(yīng)商用戶管理。普通用戶管理：普通用戶可以在前臺(tái)的個(gè)人中心里管理自己的根本信息，查看自己的賬戶信息，修改密碼等操作。還可以通過我的訂單查詢當(dāng)前所有的訂單，及訂單最新的狀態(tài)，查看并管理當(dāng)前的API的信息。查看當(dāng)前的系統(tǒng)消息。創(chuàng)新工廠用戶管理：創(chuàng)新工廠用戶可以在個(gè)人中心管理自己的根本信息，查看自己當(dāng)前的等級(jí)，查看并管理自己的賬戶余額，查看并管理當(dāng)前的API的信息，更新自己所購(gòu)置的API版本等，發(fā)布自己的應(yīng)用，查看并且管理自己當(dāng)前已發(fā)布的應(yīng)用。查看當(dāng)前的系統(tǒng)消息。供應(yīng)商用戶管理：供應(yīng)商用戶可以在前臺(tái)的個(gè)人中心里管理自己的根本信息，查看并且管理自己的數(shù)據(jù)狀態(tài)，修改密碼等操作。發(fā)布數(shù)據(jù)，查看自己發(fā)布的數(shù)據(jù)的情況。查看當(dāng)前的系統(tǒng)消息。數(shù)據(jù)共享交換系統(tǒng)數(shù)據(jù)聚集配置管理基于web端，向后臺(tái)系統(tǒng)管理員提供對(duì)數(shù)據(jù)平臺(tái)主節(jié)點(diǎn)與分節(jié)點(diǎn)/獨(dú)立數(shù)據(jù)終端系統(tǒng)之間的數(shù)據(jù)聚集操作配置管理功能。數(shù)據(jù)在線聚集基于web端，向后臺(tái)系統(tǒng)管理員提供進(jìn)展數(shù)據(jù)在線聚集傳輸?shù)牟僮鞴芾砉δ?。?shù)據(jù)離線聚集基于web端，向后臺(tái)系統(tǒng)管理員提供進(jìn)展數(shù)據(jù)離線聚集傳輸?shù)牟僮鞴芾砉δ?，包括?shù)據(jù)離線聚集包的導(dǎo)出及導(dǎo)入功能。數(shù)據(jù)共享交換日志管理基于web端，向后臺(tái)系統(tǒng)管理員提供數(shù)據(jù)共享交換業(yè)務(wù)操作的日志記錄檢索瀏覽功能。數(shù)據(jù)訪問規(guī)則系統(tǒng)訪問規(guī)則管理基于web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供基于內(nèi)置數(shù)據(jù)訪問業(yè)務(wù)規(guī)則，對(duì)特定用戶或特定數(shù)據(jù)效勞進(jìn)展訪問規(guī)則設(shè)置管理的功能。數(shù)據(jù)訪問效勞向平臺(tái)提供基于webservice形式的API數(shù)據(jù)訪問效勞接口。訪問信息效勞向平臺(tái)提供基于webservice形式的API數(shù)據(jù)訪問歷史記錄信息檢索效勞接口。訪問規(guī)則管理對(duì)數(shù)據(jù)訪問相關(guān)的各類規(guī)則進(jìn)展統(tǒng)一管理和配置。用戶及權(quán)限管理子系統(tǒng)用戶信息管理系統(tǒng)數(shù)據(jù)平臺(tái)注冊(cè)用戶管理平臺(tái)注冊(cè)用戶管理，系統(tǒng)管理員可以在后臺(tái)進(jìn)展平臺(tái)注冊(cè)用戶的管理。通過用戶管理，可以查看用戶的訂單，以及發(fā)現(xiàn)不合法用戶后，對(duì)用戶的凍結(jié)功能。創(chuàng)新工場(chǎng)用戶管理創(chuàng)新工場(chǎng)用戶管理，系統(tǒng)管理員可以在后臺(tái)對(duì)平臺(tái)所有的創(chuàng)新工場(chǎng)用戶進(jìn)展操作。可以在后臺(tái)的用戶管理中的創(chuàng)新工場(chǎng)用戶管理中設(shè)置。可以進(jìn)展查看當(dāng)前所有的創(chuàng)新工場(chǎng)用戶列表及詳細(xì)信息“創(chuàng)新工場(chǎng)用戶名稱、所發(fā)布的API、發(fā)布時(shí)間、賬戶信息、用戶等級(jí)等。〞管理員還可以對(duì)新申請(qǐng)的創(chuàng)新工場(chǎng)用戶進(jìn)展審核，對(duì)不符合創(chuàng)新工場(chǎng)用戶條件的申請(qǐng)進(jìn)展駁回。對(duì)已經(jīng)通過審核的創(chuàng)新工場(chǎng)用戶的賬戶進(jìn)展凍結(jié)，叫停該用戶在應(yīng)用市場(chǎng)所發(fā)布的應(yīng)用。數(shù)據(jù)供應(yīng)商管理數(shù)據(jù)供應(yīng)商管理，系統(tǒng)管理員可以在后臺(tái)對(duì)平臺(tái)所有的數(shù)據(jù)供應(yīng)商進(jìn)展操作?？梢栽诤笈_(tái)的用戶管理中的數(shù)據(jù)供應(yīng)商管理中設(shè)置?？梢赃M(jìn)展查看當(dāng)前所有的供應(yīng)商列表及詳細(xì)信息“供應(yīng)商名稱、所提供的數(shù)據(jù)、時(shí)間等。〞管理員還可以對(duì)新申請(qǐng)的數(shù)據(jù)供應(yīng)商進(jìn)展審核，對(duì)不符合數(shù)據(jù)供應(yīng)商的申請(qǐng)進(jìn)展駁回。對(duì)已經(jīng)通過審核的數(shù)據(jù)供應(yīng)商進(jìn)展凍結(jié)，叫停所發(fā)布的數(shù)據(jù)等操作。系統(tǒng)管理員管理系統(tǒng)管理員管理，超級(jí)管理員賬號(hào)可以在后臺(tái)配置有關(guān)系統(tǒng)管理員的權(quán)限，設(shè)立不同的管理權(quán)限從而實(shí)現(xiàn)不同角色管理員的劃分，例如訂單管理員，只能進(jìn)展訂單的操作，無法操作其他菜單。超級(jí)管理員可以在后臺(tái)用戶管理中配置有關(guān)的系統(tǒng)管理員的權(quán)限。授權(quán)管理系統(tǒng)數(shù)據(jù)效勞分組管理與授權(quán)基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供對(duì)數(shù)據(jù)效勞進(jìn)展分組定義和分組管理設(shè)置的功能?；赪eb瀏覽器端，向后臺(tái)系統(tǒng)管理員提供將數(shù)據(jù)效勞分組與用戶分組進(jìn)展對(duì)應(yīng)關(guān)系設(shè)置和管理，按照對(duì)應(yīng)關(guān)系對(duì)用戶組進(jìn)展數(shù)據(jù)效勞授權(quán)的功能。數(shù)據(jù)效勞分級(jí)管理與授權(quán)基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供對(duì)數(shù)據(jù)效勞進(jìn)展分級(jí)定義和分組管理設(shè)置的功能?；赪eb瀏覽器端，向后臺(tái)系統(tǒng)管理員提供將數(shù)據(jù)效勞分級(jí)與用戶分級(jí)進(jìn)展對(duì)應(yīng)關(guān)系設(shè)置和管理，按照對(duì)應(yīng)關(guān)系對(duì)用戶級(jí)別進(jìn)展數(shù)據(jù)效勞授權(quán)的功能。數(shù)據(jù)效勞單獨(dú)授權(quán)基于Web瀏覽器端，向后臺(tái)系統(tǒng)管理員提供為特定用戶對(duì)特定數(shù)據(jù)效勞的訪問授權(quán)進(jìn)展管理控制的功能。提供針對(duì)特定用戶訪問特定數(shù)據(jù)效勞授權(quán)的WebService效勞接口。數(shù)據(jù)訪問權(quán)限管理數(shù)據(jù)訪問權(quán)限管理：普通用戶及其供應(yīng)商用戶只可以訪問普通的塊數(shù)據(jù)，及API。創(chuàng)新工廠的用戶除了可以查看普通的塊數(shù)據(jù)，及API，還可以調(diào)用創(chuàng)新工廠中的對(duì)應(yīng)著自己賬戶等級(jí)的API。身份認(rèn)證與訪問控制系統(tǒng)用戶身份認(rèn)證提供WebService形式的用戶身份合法性認(rèn)證效勞，根據(jù)用戶名和口令進(jìn)展用戶身份的比對(duì)認(rèn)證。數(shù)據(jù)效勞動(dòng)態(tài)Token授權(quán)效勞向用戶提供獲取數(shù)據(jù)效勞〔開放數(shù)據(jù)API效勞和塊數(shù)據(jù)下載效勞〕訪問授權(quán)動(dòng)態(tài)Token的Web效勞API，通過用戶身份認(rèn)證和數(shù)據(jù)效勞訪問權(quán)限認(rèn)證后，向用戶返回最新的數(shù)據(jù)效勞調(diào)用授權(quán)動(dòng)態(tài)Token。數(shù)據(jù)效勞訪問控制對(duì)用戶向數(shù)據(jù)平臺(tái)發(fā)送的數(shù)據(jù)效勞調(diào)用請(qǐng)求進(jìn)展有效性驗(yàn)證和訪問控制。大數(shù)據(jù)平臺(tái)運(yùn)營(yíng)維護(hù)效勞創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)工程涉及的軟硬件系統(tǒng)*圍較廣，且承載了重要核心的數(shù)據(jù)資產(chǎn)，其穩(wěn)定運(yùn)行的保障十分重要，勤智數(shù)碼依托自身十多年的IT運(yùn)維經(jīng)歷，建立一套基于ISO/IEC20000和ITILv3理論，遵循ITSS、GB/T28827-2021系列運(yùn)行維護(hù)效勞國(guó)家標(biāo)準(zhǔn)的運(yùn)營(yíng)維護(hù)體系，對(duì)平臺(tái)中各子系統(tǒng)以及各功能模塊提供統(tǒng)一的監(jiān)控維護(hù)效勞，包括效勞的提供狀態(tài)監(jiān)控、效勞的使用狀態(tài)監(jiān)控、系統(tǒng)的運(yùn)行狀態(tài)監(jiān)控等。包括如下的平臺(tái)運(yùn)維效勞：平臺(tái)內(nèi)部資源的監(jiān)控管理對(duì)平臺(tái)所涉及的所有硬件資源、軟件資源和數(shù)據(jù)資源進(jìn)展實(shí)時(shí)不連續(xù)的7*24小時(shí)的監(jiān)控和管理，合理設(shè)定資源狀態(tài)的預(yù)警閾值的設(shè)定，確保任何資源狀態(tài)異常的及時(shí)通報(bào)和展示，通過聲光報(bào)警、短信、的及時(shí)通知，確保管理人員及時(shí)的發(fā)現(xiàn)和處理問題。同時(shí)借助大數(shù)據(jù)平臺(tái)的優(yōu)勢(shì)，實(shí)現(xiàn)平臺(tái)內(nèi)部軟件、硬件資源運(yùn)行狀態(tài)的趨勢(shì)預(yù)測(cè)，不同資源告警閾值的智能化管理和自動(dòng)設(shè)定，做到平臺(tái)內(nèi)部運(yùn)行狀態(tài)的穩(wěn)定和持續(xù)。硬件資源監(jiān)控大數(shù)據(jù)平臺(tái)的硬件資源較多，所有硬件資源包含：路由器、交換機(jī)、防火墻、主機(jī)〔window、linu*、Solaris、HP-Uni*、AI*等〕、虛擬效勞器、無線設(shè)備AC/AP、存儲(chǔ)設(shè)備、光交換、其他平安設(shè)備等的監(jiān)控，監(jiān)控方式支持snmpv1/2/3、ssh/telnet、TCP、syslog、trap、腳本、WMI、netflow/cflow/sflow/netstream協(xié)議等。支持對(duì)大數(shù)據(jù)平臺(tái)涉及的各種設(shè)備狀態(tài)的實(shí)時(shí)監(jiān)控(如：通斷、資源使用情況、端口狀態(tài)、流量峰值、流量變化量等其他關(guān)鍵指標(biāo)等)支持網(wǎng)絡(luò)設(shè)備的流量的應(yīng)用層協(xié)議分析和監(jiān)控.借助類似曲線圖表現(xiàn)大數(shù)據(jù)平臺(tái)內(nèi)部最近一個(gè)小時(shí)，最近一天，最近一周，最近一月，最近一年的效勞器或者集群的cpu負(fù)載,內(nèi)存,網(wǎng)絡(luò),硬盤等指標(biāo)支持各類監(jiān)控指標(biāo)的告警閾值的人工和自動(dòng)調(diào)整支持告警信息的短信、通知以及聲光報(bào)警通知支持網(wǎng)絡(luò)拓?fù)浜蜋C(jī)房的視圖可視化管理支持網(wǎng)絡(luò)資源的配置自動(dòng)備份軟件資源監(jiān)控大數(shù)據(jù)平臺(tái)內(nèi)部的軟件資源復(fù)雜，需要支持統(tǒng)一化的一體監(jiān)控模式，支持對(duì)Hadoop架構(gòu)體系內(nèi)所有軟件模塊和系統(tǒng)〔HBase、HDFS等〕、關(guān)系型數(shù)據(jù)庫(kù)〔MySQL集群、Oracle、SQLServer等〕、中間件系統(tǒng)、前端應(yīng)用、軟件TCP端口等軟件資源的監(jiān)控和管理，支持SNMP、SSH/telnet、JM*、JDBC等監(jiān)控方式和協(xié)議，實(shí)現(xiàn)：支持大數(shù)據(jù)平臺(tái)內(nèi)部的各種傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)集群、Hadoop架構(gòu)中HDFS/HBase等的狀態(tài)、內(nèi)存數(shù)據(jù)庫(kù)狀態(tài)、各類中間件資源狀態(tài)、平臺(tái)內(nèi)部和前端應(yīng)用狀態(tài)、各類內(nèi)外部的接口狀態(tài)的實(shí)時(shí)監(jiān)控支持各類監(jiān)控資源的告警閾值的人工和自動(dòng)調(diào)整支持告警信息的短信、通知以及聲光報(bào)警通知軟件信息變動(dòng)和資源使用異常等關(guān)鍵指標(biāo)的監(jiān)控基于軟件關(guān)聯(lián)關(guān)系的監(jiān)控，實(shí)現(xiàn)基于多個(gè)軟件和硬件的業(yè)務(wù)級(jí)別的監(jiān)控平臺(tái)故障處理管理大數(shù)據(jù)平臺(tái)涉及的軟硬件信息和數(shù)據(jù)量較大，平臺(tái)上線運(yùn)行后會(huì)面臨海量的故障信息，故障信息分析是運(yùn)維工程師面臨的難題，而云計(jì)算、虛擬化等新技術(shù)的廣泛采用進(jìn)一步加劇了運(yùn)維管理的復(fù)雜度。需要對(duì)運(yùn)維流程進(jìn)展梳理，將技術(shù)人員從繁重的運(yùn)維工作中解脫出來，實(shí)現(xiàn)運(yùn)維作業(yè)的標(biāo)準(zhǔn)化、自動(dòng)化，縮短業(yè)務(wù)響應(yīng)時(shí)間，提高效勞質(zhì)量。平臺(tái)的各類故障和告警處理的管理主要針對(duì)平臺(tái)運(yùn)行期間所有異常事件的統(tǒng)一管理，確保所有異常事件都被處理的管理功能。借助國(guó)家標(biāo)準(zhǔn)和ITIL的SLA模型，需要建立一套完備的故障事件、問題、變更和發(fā)布等的標(biāo)準(zhǔn)化故障處理流程，規(guī)*故障處理的過程，做到故障的及時(shí)處理、追蹤、統(tǒng)計(jì)，確保每一個(gè)問題和故障都能被及時(shí)的處理。提供頁(yè)面//短信/聲音/光/消息客戶端/WebService接口及時(shí)通過責(zé)任人進(jìn)展告警處理。日常平臺(tái)管理任務(wù)自動(dòng)化日常平臺(tái)管理工作中有很多是標(biāo)準(zhǔn)化的工作，如巡檢、值班等工作。這些工作會(huì)占用大量的時(shí)間，將人工的操作、管理轉(zhuǎn)變?yōu)橄到y(tǒng)自動(dòng)化的操作和管理，可以節(jié)省時(shí)間，將精力投入到更緊急、更重要的工作中。自動(dòng)巡檢功能平臺(tái)的監(jiān)控管理系統(tǒng)自動(dòng)將需要巡檢的設(shè)備狀態(tài)發(fā)送到系統(tǒng)中，自動(dòng)進(jìn)展設(shè)備運(yùn)行狀態(tài)和重要指標(biāo)性能數(shù)據(jù)的收集匯總形成自動(dòng)巡檢結(jié)果，同時(shí)巡檢過程全程記錄，通過巡檢工單，能夠跟蹤巡檢的執(zhí)行情況。人工巡檢功能針對(duì)非監(jiān)控資源的巡檢，可通過系統(tǒng)內(nèi)提供的人工巡檢功能完成巡檢結(jié)果的記錄，為巡檢任務(wù)執(zhí)行的方案、監(jiān)視和結(jié)果的電子化管理提供了有效的手段。值班管理系統(tǒng)提供值班管理功能實(shí)現(xiàn)管理人員的排班、值班、交接班等信息的電子化管理，系統(tǒng)自動(dòng)排班。故障處理自動(dòng)化告警的處理過程通過基于ITIL的事件、問題、變更等標(biāo)準(zhǔn)化的流程進(jìn)展管理系統(tǒng)自動(dòng)進(jìn)展告警過濾、壓縮，防止海量告警。自動(dòng)將關(guān)鍵告警通過消息發(fā)送給責(zé)任人。系統(tǒng)自動(dòng)運(yùn)行預(yù)定義的腳本恢復(fù)故障。對(duì)于需要技術(shù)人員處