數(shù)智化大數(shù)據(jù)平臺項目實施組織方案

免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。某地數(shù)智化科技建設(shè)項目互聯(lián)網(wǎng)大數(shù)據(jù)信息服務(wù)平臺項目學(xué)習(xí)實施組織方案某省某地二O二三年四月免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。概述項目背景1.1.1應(yīng)用數(shù)據(jù)是大數(shù)據(jù)的重要來源之一，對大數(shù)據(jù)臺需求急切數(shù)據(jù)具有公共屬性，需要滿足多個行業(yè)的應(yīng)用需求，因而需要支撐多個智能單位的應(yīng)用及綜合類應(yīng)用，而傳統(tǒng)的電子建設(shè)方式，各地域的數(shù)據(jù)也不能實現(xiàn)互通和協(xié)同，因而急需采用電子大數(shù)據(jù)處理臺對基礎(chǔ)數(shù)據(jù)資源進行整合和挖掘利用。1.1.2大數(shù)據(jù)具有面向跨行業(yè)服務(wù)的特點和數(shù)據(jù)融合、比對的需求數(shù)據(jù)由于其歷史原因，使得產(chǎn)生的數(shù)據(jù)往往來自不同的智能單位，即使是相同的數(shù)據(jù)，在不同的智能單位中也有不同的產(chǎn)生途徑，往往會造成數(shù)據(jù)的不準確和錯誤，這也是經(jīng)常出現(xiàn)“數(shù)據(jù)打架”的原因，因而需要充分利用大數(shù)據(jù)臺實現(xiàn)數(shù)據(jù)質(zhì)量的提升，而數(shù)據(jù)的清洗和跨智能單位數(shù)據(jù)之間的比對是實現(xiàn)數(shù)據(jù)質(zhì)量提升的重要手段。同時，城管理和民生服務(wù)中要求數(shù)據(jù)之間需要有更強的關(guān)聯(lián)性，人、地、事、物、視頻、物聯(lián)網(wǎng)數(shù)據(jù)只有深度融合，才能實現(xiàn)對人口的全生命周期、事件的全過程進行管理，因而需要對不同來源的數(shù)據(jù)進行充分的關(guān)聯(lián)比對和深度的融合。在區(qū)大數(shù)據(jù)處理臺建設(shè)中，提供了有關(guān)免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。的工具，為實現(xiàn)海量數(shù)據(jù)的比對、分析和融合提供了強有力的支撐。1.1.3大數(shù)據(jù)對數(shù)據(jù)的安全性和保密性要求高實現(xiàn)數(shù)據(jù)的安全性和保密性訪問。1.1.4大數(shù)據(jù)具有分地域、分領(lǐng)域的多層次安全管理需求電子、社會管理等各方面的數(shù)據(jù)的產(chǎn)生和使用具有較強的地域性，同時數(shù)據(jù)的密級不同，并且不同的行業(yè)對數(shù)據(jù)的需求也不一樣，因而嚴格控制數(shù)據(jù)的分地域、分領(lǐng)域分級管理，以適應(yīng)數(shù)據(jù)的安全管理需求。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。項目建設(shè)目標建設(shè)目標為：以完善的機制體制和全面的安全體系為保障，以彈性動態(tài)的基礎(chǔ)設(shè)施臺為基礎(chǔ)，以信息資源數(shù)據(jù)的互通、互通、融合、服務(wù)為核心，以多智能單位的業(yè)務(wù)流程協(xié)同為手段，打造可持續(xù)運營的、實用的、能夠真正服務(wù)于社會管理、城管理和社會經(jīng)濟管理的信息化體系，并探信息化與體制機制深度融合和互相促進，為未來數(shù)智專業(yè)一體化城的建設(shè)打下良好的基礎(chǔ)。目標可分解為如下的子目標：（1） 實現(xiàn)數(shù)據(jù)互通，基礎(chǔ)數(shù)據(jù)集中、清洗、整理，以合理的數(shù)據(jù)結(jié)構(gòu)進行存儲，打破智能單位信息壁壘，解決信息孤島問題。（2） 形成一整套數(shù)據(jù)清洗整理體系，前期采集數(shù)據(jù)通過采集-清洗-反饋-修改-再次采集數(shù)據(jù)循環(huán)，清洗整理，后期各個智能單位新生產(chǎn)的數(shù)據(jù)，都以幾個數(shù)據(jù)主體智能單位數(shù)據(jù)為基礎(chǔ)，產(chǎn)生數(shù)據(jù)后，再采集清洗，逐步提升基礎(chǔ)數(shù)據(jù)質(zhì)量。（3） 形成整套數(shù)據(jù)互通體系。數(shù)據(jù)采集清洗整理后，集中到區(qū)大數(shù)據(jù)臺，各個智能單位對已整理的數(shù)據(jù)提出數(shù)據(jù)要求，在實現(xiàn)數(shù)據(jù)安全、保密等多重權(quán)限控制情況下，以多種方式提供給智能單位人員。實現(xiàn)智能單位之間的數(shù)據(jù)互通、共用，統(tǒng)一數(shù)據(jù)環(huán)境，減少智能單位之間數(shù)據(jù)差異，提高各智能單位數(shù)據(jù)質(zhì)量，方便智能單位應(yīng)用。（4） 實現(xiàn)綜合應(yīng)用的建設(shè)。在完善的數(shù)據(jù)采集、清洗、互通體系下，在完整、實時、權(quán)威及合理結(jié)構(gòu)化的數(shù)據(jù)融合服務(wù)臺之上，實現(xiàn)區(qū)域化整體數(shù)據(jù)應(yīng)用，為組織單位、公眾群體提供完整的數(shù)據(jù)展現(xiàn)、全面的基礎(chǔ)數(shù)據(jù)服務(wù)，以及為領(lǐng)導(dǎo)決策層提供全面的、多層次的、直觀的、實時有效的數(shù)據(jù)分析，解決當前智能單位應(yīng)用片面不完整，無法宏觀把控的面的問題。項目建設(shè)內(nèi)容免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。總體架構(gòu)總體設(shè)計架構(gòu)分為六層設(shè)計，包括人員層、服務(wù)層、應(yīng)用層、應(yīng)用支撐層、信息資源層和基礎(chǔ)設(shè)施層。在整個架構(gòu)中每一次將貫穿信息資源安全管理體系、數(shù)據(jù)標準規(guī)范體系，全面保障區(qū)大數(shù)據(jù)臺的整體安全和數(shù)據(jù)標準，通過與各業(yè)務(wù)智能單位的業(yè)務(wù)應(yīng)用平臺進行接口對接實現(xiàn)各類人員的應(yīng)用服務(wù)。數(shù)據(jù)箱建設(shè)互通體系技術(shù)支撐平臺的互通信息箱。十大基礎(chǔ)箱某地區(qū)大數(shù)據(jù)臺建設(shè)以十大基礎(chǔ)箱。結(jié)構(gòu)化信息資源箱通過互通臺供各智能單位在權(quán)限范圍內(nèi)使用。非結(jié)構(gòu)化信息資源箱某地區(qū)大數(shù)據(jù)臺的非結(jié)構(gòu)化信息資源是通過互通臺從某單位和等平臺中各智能單位的業(yè)務(wù)平臺、辦公平臺、公文流轉(zhuǎn)平臺中互通采集的公文、策、音視頻、圖片等非結(jié)構(gòu)化文件資源信息。非結(jié)構(gòu)化信息資源在數(shù)據(jù)中心通常通過分布式文件平臺進行存儲和管理，為應(yīng)用平臺提供非結(jié)構(gòu)化的信息資源。另外，非結(jié)構(gòu)化信息資源同樣可以通過互通臺提供給各智能單位在權(quán)限范圍內(nèi)互通使用。學(xué)習(xí)信息資源箱學(xué)習(xí)信息資源箱存儲各智能單位注冊到學(xué)習(xí)服務(wù)中心的學(xué)習(xí)內(nèi)容，學(xué)習(xí)免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。服務(wù)中心使用學(xué)習(xí)內(nèi)容服務(wù)信息箱提供學(xué)習(xí)查詢檢索服。某地區(qū)大數(shù)據(jù)臺使用學(xué)習(xí)內(nèi)容管理信息箱實現(xiàn)對所匯集學(xué)習(xí)內(nèi)容的管理。中心學(xué)習(xí)內(nèi)容管理信息箱的主要數(shù)據(jù)表是元信息表及相應(yīng)的代碼對照表、審核發(fā)布管理信息表組成，元信息表的內(nèi)容基本上與智能單位學(xué)習(xí)內(nèi)容相同。最終提供給人員使用是學(xué)習(xí)內(nèi)容服務(wù)信息箱中的學(xué)習(xí)內(nèi)容信息。根據(jù)國家學(xué)習(xí)體系標準要求，元信息表中必須包括的信息項為：信息資源名稱、信息資源發(fā)布日期、信息資源摘要、信息資源提供單位、關(guān)鍵字、信息資源分類方式、類目、在線資源鏈接地址、信息資源標識符、服務(wù)地址、元信息標識符、元信息維護單位、元信息更新時間?；ネㄐ畔①Y源箱互通信息箱存儲本智能單位用于智能單位間互通的信息資源，包括數(shù)據(jù)集、文本、圖片、音頻、視頻等多種類型的電子化信息資源?；ネㄐ畔⑾渲袛?shù)據(jù)表根據(jù)不同的智能單位所提供信息源的不同而不同。如:工商互通信息箱中的數(shù)據(jù)表主要包括：企業(yè)法人單位基礎(chǔ)信息數(shù)據(jù)表、企業(yè)法人單位擴展信息數(shù)據(jù)表、個體工商戶信息數(shù)據(jù)表、智能單位公文信息數(shù)據(jù)表等。企業(yè)法人單位基礎(chǔ)信息數(shù)據(jù)表中主要包括：企業(yè)名稱、法定代表人姓名與身份證號、營業(yè)執(zhí)照注冊號、企業(yè)組織機構(gòu)代碼、登記時間、年檢時間、注銷時間、企業(yè)登記地址、企業(yè)狀態(tài)等信息項。業(yè)務(wù)專題箱根據(jù)各種專題綜合應(yīng)用而建立的圍繞具體應(yīng)用及服務(wù)事項的實現(xiàn)而規(guī)劃建設(shè)的信息箱。通過業(yè)務(wù)專題箱可進一步提高各協(xié)同智能單位間信息資源準確互通的實際效益，方便各種特定綜合類業(yè)務(wù)應(yīng)用的實現(xiàn)，并能有利于提高多智能單位間互通信息的準確性、完整性及時效性。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。決策信息，如國家和地方的策、法規(guī)條例、決策咨詢、戰(zhàn)略發(fā)展研究報告（包括各職能機構(gòu)和院所歷年的研究成果）和階段性的總體規(guī)劃等；為社會服務(wù)的信息，如國際國內(nèi)重大治新聞、經(jīng)濟運行分析、熱點透視、社情民意動態(tài)、稅收征管、統(tǒng)計報表、場供求信息、社會與經(jīng)濟預(yù)測信息、金融財經(jīng)信息、技與人才信息，等等；各組成智能單位的工作職能、各種公文、會議情況、總結(jié)報告、記錄數(shù)據(jù)、辦公材料、機關(guān)行管理信息、經(jīng)驗介紹、駐外辦事處工作流信息等間交流信息；整個城的各類資源要素儲備和分布狀況，行組織及人力資源調(diào)配預(yù)案，對自然災(zāi)害和意外事故的處理重大突發(fā)事件（維護城穩(wěn)定方面的信息：突發(fā)事件、重大案件、大規(guī)模群眾集訪和應(yīng)用早期掌握的信息解決弱勢群體困難，做好群眾工作）的應(yīng)急預(yù)案數(shù)據(jù)箱。不斷收集城規(guī)劃與發(fā)展的思想箱以及城發(fā)展和行的歷史沿革等信息。還應(yīng)包括：城地下網(wǎng)、管、道和線的分布和結(jié)構(gòu)。業(yè)務(wù)專題箱目前包括人口信息業(yè)務(wù)箱、環(huán)境保護業(yè)務(wù)箱、公共安全業(yè)務(wù)箱、城部件業(yè)務(wù)箱、文化旅游業(yè)務(wù)箱、信用服務(wù)業(yè)務(wù)箱、衛(wèi)生健康業(yè)務(wù)箱。其中以人口信息業(yè)務(wù)箱的建立為例，它支撐了計生委人口業(yè)務(wù)平臺建設(shè)，包含社區(qū)居委會人口工作臺、人口綜合管理、人口信息發(fā)布服務(wù)、人口數(shù)據(jù)統(tǒng)計輔助決策和人口GIS。此外，其他智能單位業(yè)務(wù)平臺的業(yè)務(wù)專題箱也可以建設(shè)在數(shù)據(jù)中心。軟件平臺建設(shè)應(yīng)用架構(gòu)及設(shè)計區(qū)大數(shù)據(jù)臺的數(shù)據(jù)資源將作為某地大數(shù)據(jù)臺數(shù)據(jù)資源的一部分，沿用某地大數(shù)據(jù)臺的數(shù)據(jù)標準體系。匯聚區(qū)各單位數(shù)據(jù)，并進行數(shù)據(jù)的梳理、數(shù)據(jù)標準的制定、數(shù)據(jù)的采集、數(shù)據(jù)清洗、數(shù)據(jù)比對、數(shù)據(jù)入箱等數(shù)據(jù)治理工作，基于級十大基礎(chǔ)箱數(shù)據(jù)，定制十大基礎(chǔ)數(shù)據(jù)箱和各類專題業(yè)務(wù)專題箱，實現(xiàn)區(qū)各行機構(gòu)之間以及區(qū)各行機構(gòu)與某地各直行機構(gòu)之間的數(shù)據(jù)互通免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。，為區(qū)領(lǐng)導(dǎo)輔助決策和其他專業(yè)應(yīng)用提供包括管理、民生服務(wù)、產(chǎn)業(yè)發(fā)展在內(nèi)的各類數(shù)據(jù)分析主題。大基礎(chǔ)平臺區(qū)服務(wù)所需要的數(shù)據(jù)來自于各單位和街道，包含傳統(tǒng)數(shù)據(jù)箱數(shù)據(jù)、視頻、圖片、聲音、日志文件、電子郵件、地圖、Word、PDF等各種材料。這些數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這些類型的數(shù)據(jù)無法用傳統(tǒng)關(guān)系型數(shù)據(jù)箱進行數(shù)據(jù)處理和分析，必須借助于大數(shù)據(jù)基礎(chǔ)臺的HDFS、Hbase、MapReduce等技術(shù)手段進行處理和分析，支持頂層應(yīng)用平臺的數(shù)據(jù)利用。大數(shù)據(jù)基礎(chǔ)臺主要包括如下組件：大數(shù)據(jù)臺運維管理組件運維管理組件提供大數(shù)據(jù)臺組件部署及動態(tài)擴容，提供大數(shù)據(jù)臺部署工具，組件部署管理及動態(tài)增加機器節(jié)點管理工具；組件服務(wù)學(xué)習(xí)管理，提供組件的運行狀態(tài)、組件的負載情況學(xué)習(xí)及組件的啟動、停止、移除等管理；組件故障自動遷移，節(jié)點組件出現(xiàn)故障時，集群中的其它節(jié)點中的相應(yīng)組件自動接管故障組件的工作，保證組件正常服務(wù)。主要由兩部分組成：運維管理組件-agent和運維管理組件-server。在agent端，采用puppet管理節(jié)點;在Server端，采用Jetty,Spring，Jetty，JAX-RS等;可以利用Ganglia，Nagios的分布式學(xué)習(xí)能力。下圖是運維管理組件的平臺架構(gòu)。其中master模塊接受API和AgentInterface的請求，完成運維管理組件-server的集中式管理學(xué)習(xí)邏輯，而每個agent節(jié)點只負責(zé)所在節(jié)點的狀態(tài)采集及維護。運維管理組件Server會讀取Stack和Service的配置文件。當用運維管理組件創(chuàng)建集群的時候，運維管理組件Server傳送Stack和Service的配置文件以及Service生命周期的控制腳本到運維管理組件Agent。Agent拿到配置文件后，會下載安裝公共源里軟件包（Redhat，就是使用yum服務(wù)）。安裝完成后，運維管理組件Server會通知Agent去啟動Service。之后運維管理組件Server會定期發(fā)送命令到Agent檢查Service的狀態(tài)，Agent匯報給Server，并呈現(xiàn)在運維管理組件的GUI上。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。運維管理組件Server支持RestAPI，這樣可以很容易的擴展和定制化運維管理組件。甚至于不用登陸運維管理組件的GUI，只需要在命令行通過curl就可以控制運維管理組件，以及控制Hadoop的cluster。分布式數(shù)據(jù)箱采用分布式數(shù)據(jù)箱Hbase。同時利用HBase中的主從復(fù)制和循環(huán)復(fù)制，使得平臺達到一種高可用的狀態(tài)。HBase復(fù)制是一種在不同HBase部署中復(fù)制數(shù)據(jù)的方法。它可以作為一種故障恢復(fù)的方法，并提供HBase層次的高可用性。在實際應(yīng)用中，例如，可以將數(shù)據(jù)從一個面向頁面的集群復(fù)制到一個MapReduce集群，后者可以同時處理新數(shù)據(jù)和歷史數(shù)據(jù)。然后再自動將數(shù)據(jù)傳回面向頁面請求的集群。HBase復(fù)制中最基本的架構(gòu)模式是“主推送”（master-push），因為每個regionserver都有自己的WAL（或HLog），所以很容易保存現(xiàn)在正在復(fù)制的位置。正如眾所周知的解決方案-Mysql的主/從復(fù)制，只使用二進制文件來跟蹤修改。一個主集群可以將數(shù)據(jù)復(fù)制到任意數(shù)目的從集群，每個regionserver都會參與復(fù)制自己的修改。復(fù)制是異步進行的，意味著集群可以是地理上彼此遠離的，它們之間的連接可以在某個時刻斷開，在主集群上的修改不能馬上在從集群上進行同步（最終一致性）。和SQL語句不同，所有的WALEdits（包括來自客戶端的Put和Delete產(chǎn)生的多單元格操作）都會被復(fù)制以保證原子性。來自每個regionserver的HLog是HBase復(fù)制的基礎(chǔ)，并且只要它們需要將數(shù)據(jù)復(fù)制到從集群，它們就必須被保存到HDFS上。每個regionserver從它需要的最老的日志開始復(fù)制，同時在zookeeper中保存當前恢復(fù)的位置來簡化錯誤恢復(fù)。每個從集群恢復(fù)的位置可能不同，但它們處理的HLog隊列內(nèi)容是相同的。參與復(fù)制的集群的規(guī)模可以不對等。主集群會通過隨機分配盡量均衡從集群的負載。分布式數(shù)據(jù)倉箱采用分布式數(shù)據(jù)倉箱Hive。XData-Hadoop發(fā)行版中Hive的元信息是存儲到Mysql中，利用mysql的ha對hive的元信息進行高可用設(shè)計。具體如下：免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。安裝MySQLHA集成環(huán)境的兩個節(jié)點要配置無密碼環(huán)境，并且兩個節(jié)點互相加入了對方節(jié)點的known-hosts文件。Heartbeat主從節(jié)點都需要兩個網(wǎng)卡，一個網(wǎng)卡需要為外網(wǎng)訪問提供服務(wù)，一個網(wǎng)卡需要為心跳線服務(wù)，兩個網(wǎng)卡配置IP不能在同一子網(wǎng)中，心跳線所使用網(wǎng)卡IP不要設(shè)置路由信息。主節(jié)點上的兩個不同用處的網(wǎng)卡名稱應(yīng)該分別與從節(jié)點上的兩個不同用處的網(wǎng)卡對應(yīng)并相同。Hive是建立在Hadoop上的數(shù)據(jù)倉箱基礎(chǔ)構(gòu)架。它提供了一系列的工具，用來進行數(shù)據(jù)提取、轉(zhuǎn)化、加載，這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機制。Hive定義了簡單的類SQL查詢語言，稱為QL，它允許熟悉SQL的人員查詢數(shù)據(jù)。作為一個數(shù)據(jù)倉箱，Hive的數(shù)據(jù)管理按照使用層次可以從元信息存儲、數(shù)據(jù)存儲和數(shù)據(jù)互通三個方面來介紹。1、元信息存儲Hive將元信息存儲在RDBMS中，有三種模式可以連接到數(shù)據(jù)箱：SingleUserMode：此模式連接到一個In-memory的數(shù)據(jù)箱Derby，一般用于UnitTest。MultiUserMode：通過網(wǎng)絡(luò)連接到一個數(shù)據(jù)箱中，這是最常用的模式。RemoteServerMode：用于非Java客戶端訪問元信息箱，在服務(wù)器端啟動一個MetaStoreServer，客戶端則利用Thrift協(xié)議通過MetaStoreServer來訪問元信息箱。2、數(shù)據(jù)存儲首先，Hive沒有專門的數(shù)據(jù)存儲格式，也沒有為數(shù)據(jù)建立索引，人員可以非常自由地組織Hive中的表，只需要在創(chuàng)建表的時候告訴Hive數(shù)據(jù)中的列分隔符和行分隔符，它就可以解析數(shù)據(jù)了。其次，Hive中所有的數(shù)據(jù)都存儲在HDFS中，Hive中包含4種數(shù)據(jù)模型：Table、ExternalTable、Partition、Bucket。Hive中的Table和數(shù)據(jù)箱中的Table在概念上是類似的，每一個Table在Hive中都有一個相應(yīng)的學(xué)習(xí)來存儲數(shù)據(jù)。例如，一個表pvs，它在HDFS中的路徑為：/wh/pvs，其中，wh是在hive-site.xml中由${hive.metastore.warehouse.dir}指定的數(shù)據(jù)倉箱的學(xué)習(xí)，所有的Table數(shù)據(jù)（不包括ExternalTable）都保存在這個學(xué)習(xí)中。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。Partition對應(yīng)于數(shù)據(jù)箱中Partition列的密集索引，但是Hive中Partition的組織方式與數(shù)據(jù)箱中的很不相同。在Hive中，表中的一個Partition對應(yīng)于表下的一個學(xué)習(xí)，所有的Partition數(shù)據(jù)都存儲在對應(yīng)的學(xué)習(xí)中。例如：pvs表中包含ds和city兩個Partition，則對應(yīng)于ds=20090801,city=US的HDFS子學(xué)習(xí)為：/wh/pvs/ds=20090801/city=US；對應(yīng)于ds=20090801,city=CA的HDFS子學(xué)習(xí)為：/wh/pvs/ds=20090801/city=CA。Buckets對指定列計算hash，根據(jù)hash值切分數(shù)據(jù)，目的是為了便于并行，每一個Buckets對應(yīng)一個文件。將user列分散至32個Bucket上，首先對user列的值計算hash，比如，對應(yīng)hash值為0的HDFS學(xué)習(xí)為：/wh/pvs/ds=20090801/city=US/part-00000；對應(yīng)hash值為20的HDFS學(xué)習(xí)為：/wh/pvs/ds=20090801/city=US/part-00020。ExternalTable指向已經(jīng)在HDFS中存在的數(shù)據(jù)，可以創(chuàng)建Partition。它和Table在元信息的組織結(jié)構(gòu)上是相同的，而在實際數(shù)據(jù)的存儲上則有較大的差異。在Table的創(chuàng)建過程和數(shù)據(jù)加載過程（這兩個過程可以在同一個語句中完成）中，實際數(shù)據(jù)會被到數(shù)據(jù)倉箱學(xué)習(xí)中。之后對數(shù)據(jù)的訪問將會直接在數(shù)據(jù)倉箱的學(xué)習(xí)中完成。刪除表時，表中的數(shù)據(jù)和元信息將會被同時刪除。ExternalTable只有一個過程，因為加載數(shù)據(jù)和創(chuàng)建表是同時完成的。實際數(shù)據(jù)是存儲在Location后面指定的HDFS路徑中的，它并不會到數(shù)據(jù)倉箱學(xué)習(xí)中。3、數(shù)據(jù)互通數(shù)據(jù)互通主要分為以下幾個部分免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)互通組成部分人員接口：包括客戶端、Web界面和數(shù)據(jù)箱接口。元信息存儲：通常是存儲在關(guān)系數(shù)據(jù)箱中的，如MySQL、Derby等。解釋器、編譯器、優(yōu)化器、執(zhí)行器。Hadoop：用HDFS進行存儲，利用MapReduce進行計算。人員接口主要有三個：客戶端、數(shù)據(jù)箱接口和Web界面，其中最常用的是客戶端。Client是Hive的客戶端，當啟動Client模式時，人員會想要連接HiveServer，這時需要指出HiveServer所在的節(jié)點，并且在該節(jié)點啟動HiveServer。Web界面是通過瀏覽器訪問Hive的。Hive將元信息存儲在數(shù)據(jù)箱中，如MySQL、Derby中。Hive中的元信息包括表的名字、表的列和分區(qū)及其屬性、表的屬性（是否為外部表等）、表數(shù)據(jù)所在的學(xué)習(xí)等。解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化到查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后由MapReduce調(diào)用執(zhí)行。Hive的數(shù)據(jù)存儲在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢不會生成MapRedcue任務(wù)，比如select*fromtbl）。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。以上從Hadoop的分布式文件平臺HDFS、分布式數(shù)據(jù)箱HBase和數(shù)據(jù)倉箱工具Hive入手介紹了Hadoop的數(shù)據(jù)管理，它們都通過自己的數(shù)據(jù)定義、體系結(jié)構(gòu)實現(xiàn)了數(shù)據(jù)從宏觀到微觀的立體化管理，完成了Hadoop臺上大規(guī)模的數(shù)據(jù)存儲和任務(wù)處理。分布式計算模塊利用MapReduce、Spark等分布式計算框架，為上層應(yīng)用提供大數(shù)據(jù)分布式計算的支撐，提供Mahout，MLlib等算法箱支撐，提供數(shù)據(jù)存儲訪問及分布式計算任務(wù)的調(diào)度、運行支撐環(huán)境能力。MapReduceXData-SDH的大數(shù)據(jù)批處理的計算模式是MapReduce，這是MapReduce設(shè)計之初的主要任務(wù)和目標。MapReduce是一個單輸入、兩階段（Map和Reduce）的數(shù)據(jù)處理過程。首先，MapReduce對具有簡單數(shù)據(jù)關(guān)系、易于劃分的大規(guī)模數(shù)據(jù)采用“分而治之”的并行處理思想；然后將大量重復(fù)的數(shù)據(jù)記錄處理過程總結(jié)成Map和Reduce兩個抽象的操作；最后MapReduce提供了一個統(tǒng)一的并行計算框架，把并行計算所涉及到的諸多平臺層細節(jié)都交給計算框架去完成，以此大大簡化了程序員進行并行化程序設(shè)計的負擔(dān)。MapReduce的簡單易用性使其成為目前大數(shù)據(jù)處理最成功的主流并行計算模式。在開源社區(qū)的努力下，開源的Hadoop平臺目前已成為較為成熟的大數(shù)據(jù)處理臺，并已發(fā)展成一個包括眾多數(shù)據(jù)處理工具和環(huán)境的完整的生態(tài)平臺。目前幾乎國內(nèi)外的各個著名IT單位都在使用Hadoop臺進行單位內(nèi)大數(shù)據(jù)的計算處理。HadoopHDFS是GoogleGFS存儲平臺的開源實現(xiàn)，主要應(yīng)用場景是作為并行計算環(huán)境（MapReduce）的基礎(chǔ)組件，同時也是BigTable（如HBase、HyperTable）的底層分布式文件平臺。HDFS采用master/slave架構(gòu)。一個HDFS集群是有由一個Namenode和一定數(shù)目的Datanode組成。Namenode是一個中心服務(wù)器，負責(zé)管理文件平臺的namespace和客戶端對文件的訪問。Datanode在集群中一般是一個節(jié)點一個，負責(zé)管理節(jié)點上它們附帶的存儲。在內(nèi)部，一個文件其實分成一個或多個block，這些block存儲在Datanode集合里。如下圖所示（HDFS體系結(jié)構(gòu)圖）：免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。HDFS體系結(jié)構(gòu)圖HadoopMapReduce是一個使用簡易的軟件框架，基于它寫出來的應(yīng)用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理上TB級別的數(shù)據(jù)集。一個MapReduce作業(yè)（job）通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊，由Map任務(wù)（task）以完全并行的方式處理它們?？蚣軙ap的輸出先進行排序，然后把結(jié)果輸入給Reduce任務(wù)。通常作業(yè)的輸入和輸出都會被存儲在文件平臺中。整個框架負責(zé)任務(wù)的調(diào)度和學(xué)習(xí)，以及重新執(zhí)行已經(jīng)失敗的任務(wù)。如下圖所示（HadoopMapReduce處理流程圖）：免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。HadoopMapReduce處理流程圖Spark分布式計算框架Spark是一個通用的并行計算框架，是一種快速處理大規(guī)模數(shù)據(jù)的通用引擎。HadoopMapReduce的每一步完成必須將數(shù)據(jù)序列化寫到分布式文件平臺導(dǎo)致效率大幅降低。Spark盡可能地在內(nèi)存上存儲中間結(jié)果，極大地提高了計算速度。MapReduce是一路計算的優(yōu)秀解決方案，但對于多路計算的問題必須將所有作業(yè)都轉(zhuǎn)換為MapReduce模式并串行執(zhí)行。Spark擴展了MapReduce模型，允許開發(fā)者使用有向無環(huán)圖（DAG）開發(fā)復(fù)雜的多步數(shù)據(jù)管道。并且支持跨有向無環(huán)圖的內(nèi)存數(shù)據(jù)互通，以便不同的作業(yè)可以共同處理同一個數(shù)據(jù)。Spark不是Hadoop的替代方案而是其計算框架HadoopMapReduce的替代方案。Hadoop更多地作為集群管理平臺為Spark提供底層支持。Spark可以使用本地Spark，HadoopYARN或ApacheMesos作為集群管理平臺。Spark支持HDFS，Cassandra，OpenStackSwift作為分布式存儲解決方案。Spark采用Scala語言開發(fā)運行于JVM上，并提供了Scala，Python，Java和R語言API，可以使用其中的Scala和Python進行交互式操作。流數(shù)據(jù)處理及消息框架免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。支持主流的流處理框架，框架采用小批量流式處理方式，每隔設(shè)定間隔（100毫秒）處理當前批次數(shù)據(jù)；可支持復(fù)雜SQL應(yīng)用和在線流式機器學(xué)習(xí)。并且支持Kafka,Flume等普通消息隊列或采集工具，兼容現(xiàn)有Hadoop生態(tài)平臺。支持storm流式處理框架。具有擴展性強、容錯性強、延遲低、吞吐高等特點。而且可以將kafka，storm，Hbase等組件連接起來。SparkStreaming流式計算隨著大數(shù)據(jù)的發(fā)展，人們對大數(shù)據(jù)的處理要求也越來越高，原有的批處理框架MapReduce適合離線計算，卻無法滿足實時性要求較高的業(yè)務(wù)，如實時推薦、人員行為分析等。SparkStreaming是建立在Spark上的實時計算框架，通過它提供的豐富的API、基于內(nèi)存的高速執(zhí)行引擎，人員可以結(jié)合流式、批處理和交互試查詢應(yīng)用。本節(jié)將詳細介紹SparkStreaming實時計算框架的原理與特點、適用場景。Spark是一個類似于MapReduce的分布式計算框架，其核心是彈性分布式數(shù)據(jù)集，提供了比MapReduce更豐富的模型，可以在快速在內(nèi)存中對數(shù)據(jù)集進行多次迭代，以支持復(fù)雜的數(shù)據(jù)挖掘算法和圖形計算算法。SparkStreaming是一種構(gòu)建在Spark上的實時計算框架，它擴展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。SparkStreaming的優(yōu)勢在于：能運行在100+的結(jié)點上，并達到秒級延遲。使用基于內(nèi)存的Spark作為執(zhí)行引擎，具有高效和容錯的特性。能集成Spark的批處理和交互查詢。為實現(xiàn)復(fù)雜的算法提供和批處理類似的簡單接口?；赟parkonYarn的SparkStreaming總體架構(gòu)如下圖所示。SparkonYarn啟動后，由SparkAppMaster把Receiver作為一個Task提交給某一個SparkExecutor；Receive啟動后輸入數(shù)據(jù)，生成數(shù)據(jù)塊，然后通知SparkAppMaster；SparkAppMaster會根據(jù)數(shù)據(jù)塊生成相應(yīng)的Job，并把Job的Task提交給空閑SparkExecutor執(zhí)行。圖中藍色的粗箭頭顯示被處理的數(shù)據(jù)流，輸入數(shù)據(jù)流可以是磁盤、網(wǎng)絡(luò)和HDFS等，輸出可以是HDFS，數(shù)據(jù)箱等。分布式消息框架分布式消息平臺免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。屬于中間件產(chǎn)品，功能是將前端采集來的數(shù)據(jù)進行分布式緩存，以供后端進行實時處理。Kafka是一種分布式的，基于發(fā)布/訂閱的分布式消息平臺?？梢杂脕砭彺娌杉牧鲾?shù)據(jù)。Topic：特指Kafka處理的消息源的不同分類。Partition：Topic物理上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。Message：消息，是通信的基本單位，每個producer可以向一個topic（主題）發(fā)布一些消息。Producers：消息和數(shù)據(jù)生產(chǎn)者，向Kafka的一個topic發(fā)布消息的過程叫做producers。Consumers：消息和數(shù)據(jù)消費者，訂閱topics并處理其發(fā)布的消息的過程叫做consumers。Broker：緩存代理，Kafa集群中的一臺或多臺服務(wù)器統(tǒng)稱為broker。數(shù)據(jù)采集管理組件對信息源的提供者、業(yè)務(wù)來源、連接信息、連接狀態(tài)等進行管理，實現(xiàn)對數(shù)據(jù)來源的跟蹤；數(shù)據(jù)箱數(shù)據(jù)采集，提供自O(shè)racle、SQLServer、MySql等數(shù)據(jù)箱中采集數(shù)據(jù)的功能，并進行定時的自動化采集；結(jié)構(gòu)化文件數(shù)據(jù)采集，提供自結(jié)構(gòu)化數(shù)據(jù)文件中采集數(shù)據(jù)的功能，并對文件中的數(shù)據(jù)行進行自動化字段拆分；非結(jié)構(gòu)化文件采集，提供自FTP自動化定時采集非結(jié)構(gòu)化文件，并對采集到的文件進行統(tǒng)一管理。信息源管理可實現(xiàn)對信息源，可實現(xiàn)對本地文件、主流結(jié)構(gòu)化數(shù)據(jù)箱、分布式數(shù)據(jù)存儲等信息源的提供者、業(yè)務(wù)來源、連接信息、連接狀態(tài)等進行管理。支持的本地化文件包括excel、csv等；支持的主流結(jié)構(gòu)化數(shù)據(jù)箱包括MySql、Oracle、PostgreSql、SQLserver、DB2、MonetDB等；支持的分布式數(shù)據(jù)存儲包括HDFS、Hive、Hbase等。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)采集數(shù)據(jù)采集包括數(shù)據(jù)箱數(shù)據(jù)采集、結(jié)構(gòu)化文件數(shù)據(jù)采集、非結(jié)構(gòu)化數(shù)據(jù)采集。數(shù)據(jù)采集通過ETL工具實現(xiàn)，ETL負責(zé)將分散的、異構(gòu)信息源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、面數(shù)據(jù)文件等抽取到臨時中間層后，進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉箱或數(shù)據(jù)集中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘提供決策支持的數(shù)據(jù)。該平臺采用SOA技術(shù)架構(gòu)設(shè)計，采用組件復(fù)用和框架技術(shù)，以SOA面向服務(wù)的架構(gòu)為基礎(chǔ)，通過該服務(wù)臺開發(fā)出的應(yīng)用平臺具備松散耦合、可重用服務(wù)、標準化的服務(wù)接口、支持各種消息模式，實現(xiàn)應(yīng)用平臺之間以及與其他外部應(yīng)用平臺無縫、高效集成。ETL即數(shù)據(jù)采集單元，是數(shù)據(jù)轉(zhuǎn)出客戶端，是與數(shù)據(jù)箱服務(wù)器相連的負責(zé)采集有關(guān)數(shù)據(jù)的單元，一方鏈接數(shù)據(jù)箱，一方鏈接VPN，如源數(shù)據(jù)箱為多個，則ETL平臺采集端部署多個與源數(shù)據(jù)箱對應(yīng)。ETL平臺采集端功能如下：1、基本信息配置：設(shè)置合作伙伴編碼與名稱，設(shè)置ETL平臺采集端編碼；導(dǎo)出文件配置：導(dǎo)出文件的保存路徑、數(shù)據(jù)文件名、數(shù)據(jù)文件列分隔符、導(dǎo)出文件的編碼格式，目前數(shù)據(jù)文件默認為文本文件方式；2、鏈接配置：配置需要鏈接的數(shù)據(jù)箱的數(shù)據(jù)箱類型、鏈接的IP地址、數(shù)據(jù)箱人員名和密碼；配置對應(yīng)的ETL平臺入箱端的鏈接地址、人員名及密碼；3、數(shù)據(jù)集配置：配置需要提取的數(shù)據(jù)集清單與每種數(shù)據(jù)集的采集周期（比如年、月、日等）；4、腳本編寫及植入：可手工編寫數(shù)據(jù)提取的SQL語句或存儲過程，然后將腳本植入到數(shù)據(jù)采集單元中；5、運行學(xué)習(xí)：學(xué)習(xí)數(shù)據(jù)采集的過程，日志自動保存與輸出、報錯提醒（郵件\短信等）等；6、數(shù)據(jù)打包上傳：對已經(jīng)提取的數(shù)據(jù)進行加密、打包且上傳到數(shù)據(jù)加載單元；為保證數(shù)據(jù)采集的及時性、準確性，需要根據(jù)機房環(huán)境和數(shù)據(jù)箱種類的不同，為數(shù)據(jù)采集單元設(shè)計不同的部署方式。數(shù)據(jù)采集單元部署在機房，需要注意以下問題：免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。根據(jù)機房環(huán)境，設(shè)計如何接入互聯(lián)網(wǎng)的方案；數(shù)據(jù)采集單元通過VPN連入外聯(lián)區(qū)域；為達到免責(zé)目的，數(shù)據(jù)采集單元務(wù)必獨立于零售商的硬件設(shè)備；合理設(shè)計數(shù)據(jù)采集單元相對于防火墻的位置；在一般情況下，采用遠程桌面方式執(zhí)行日常維護。平臺特點支持多種運行環(huán)境支持云臺、Windows、Linux、Unix等主流操作平臺廠商的運行環(huán)境；臺可移植性高，并可對多終端的數(shù)據(jù)進行同步和協(xié)調(diào)。支持多信息源數(shù)據(jù)采集支持多信息源數(shù)據(jù)采集：支持從主流關(guān)系型數(shù)據(jù)箱（oracle，MYSQL，SQLServer，DB2，sydbase，informix，達夢，神通），webservice接口，文件服務(wù)器等多種存儲設(shè)備中采集數(shù)據(jù)。支持大數(shù)據(jù)存儲和訪問全面支持大數(shù)據(jù)存儲和訪問，支持大數(shù)據(jù)環(huán)境的數(shù)據(jù)采集。支持大數(shù)據(jù)存儲載體Hadoop/HDFS和Avro，支持訪問HDFS內(nèi)的文件內(nèi)容。支持主流NoSQL數(shù)據(jù)箱，包括：Hbase，mongodb等。圖形化作業(yè)支持圖形化作業(yè)：從圖形化界面創(chuàng)建數(shù)據(jù)采集轉(zhuǎn)換、作業(yè)，以流程圖方式呈現(xiàn)，具備清晰，直觀的可視化操作界面?？梢暬鳂I(yè)支持可視化作業(yè)學(xué)習(xí)調(diào)度：在web可視化界面上統(tǒng)一調(diào)度作業(yè)，支持作業(yè)的執(zhí)行，暫停，以及作業(yè)的日志報告查看。支持多數(shù)據(jù)標準支持XML、WebServices、JSON，JMS等數(shù)據(jù)標準；遵循restful風(fēng)格遵循restful風(fēng)格標準消息傳遞機制；數(shù)據(jù)運維管理組件免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)運維管理組件提供對大數(shù)據(jù)臺數(shù)據(jù)的統(tǒng)一學(xué)習(xí)和運維管理，具體功能包括：臺數(shù)據(jù)學(xué)習(xí)，對大數(shù)據(jù)臺中已有數(shù)據(jù)存儲量、數(shù)據(jù)增量、表數(shù)量、在線訪問人數(shù)等信息進行學(xué)習(xí)；臺數(shù)據(jù)處理任務(wù)管理，對臺中的數(shù)據(jù)采集處理任務(wù)信息進行集中查看及管理；臺操作日志管理，對臺中的人員登錄情況、人員訪問數(shù)據(jù)表的情況進行日志記錄，并提供篩選及查詢功能；人員及智能單位管理，提供多層級的智能單位管理及人員管理，并提供人員排序等功能；職責(zé)及數(shù)據(jù)權(quán)限管理，提供自定義管理員及臺人員職責(zé)的功能，對不同職責(zé)可授予精細至表字段的數(shù)據(jù)訪問權(quán)限管理；審批管理，提供審批權(quán)限配置工具，并根據(jù)配置進行流轉(zhuǎn)審批管理。數(shù)據(jù)學(xué)習(xí)整體狀態(tài)學(xué)習(xí)提供對互通節(jié)點、互通作業(yè)、吞吐量、異常情況的整體學(xué)習(xí)。可按照過去一小時、過去一周、過去30天等維度查看數(shù)據(jù)互通實時流量?？刹榭椿ネü?jié)點的服務(wù)器名稱、主機名或IP地址、端口號、是否主服務(wù)器、用途、狀態(tài)等詳細信息?；A(chǔ)數(shù)據(jù)箱（1）信息資源規(guī)劃區(qū)大數(shù)據(jù)臺作為智能單位數(shù)據(jù)互通中心和數(shù)據(jù)互通中心，需要實現(xiàn)數(shù)據(jù)的集中互通和集中存儲，因此，在全面建設(shè)之前，必須通過信息資源梳理，對區(qū)各單位之間的輸入數(shù)據(jù)及輸出數(shù)據(jù)進行全面梳理，分析出需要集中互通與互通的數(shù)據(jù)。在此基礎(chǔ)上，通過與中心互通的方式，實現(xiàn)各單位之間的數(shù)據(jù)共建互通。信息資源梳理是對區(qū)各單位在業(yè)務(wù)開展過程中，從數(shù)據(jù)的采集、存儲、傳輸?shù)绞褂玫娜嬉?guī)劃。通過對各單位的信息需求獲取、現(xiàn)狀信息環(huán)境調(diào)研、信息需求分析等一系列數(shù)據(jù)資源梳理分析工作，站在區(qū)整體的基礎(chǔ)之上，設(shè)計區(qū)大數(shù)據(jù)中心需要存儲的數(shù)據(jù)和互通的數(shù)據(jù)，并在此基礎(chǔ)之上，制定數(shù)據(jù)存儲和互通的數(shù)據(jù)標準。（2）基礎(chǔ)數(shù)據(jù)箱區(qū)大數(shù)據(jù)臺未來需要集中存儲的數(shù)據(jù)包括各單位需要互通進來的數(shù)據(jù)和需要互通出去的數(shù)據(jù)，兩部分數(shù)據(jù)按照業(yè)務(wù)主題可劃分為人口、法人、空間地理和宏觀經(jīng)濟四類數(shù)據(jù)，每類數(shù)據(jù)結(jié)合國家目前正在建設(shè)的人口箱、法人箱、空間地理箱免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。和宏觀經(jīng)濟箱等內(nèi)容，主要內(nèi)容包括：人口類數(shù)據(jù)：存儲與人口有關(guān)的各種屬性信息，包括人口基本信息、人口擴展信息及專用信息，人口基本信息中存儲人口最基本的數(shù)據(jù)項信息，包括：姓名、性別、民族、出生日期、住址、公民身份號碼、照片，人口擴展信息中存儲戶籍、出生、死亡等信息，人口專用信息中按涉及人口管理的單位具體的行管理職能存儲專用的人口信息，包括衛(wèi)生、教育、稅務(wù)、計生等專有信息。法人類數(shù)據(jù)：存儲與法人有關(guān)的各種信息，包括法人基本信息及法人擴展信息。法人基本信息中存儲法人最基本的數(shù)據(jù)項信息，包括：機構(gòu)名稱、機構(gòu)類型、機構(gòu)住所、法定代表人姓名、經(jīng)營或業(yè)務(wù)范圍、注冊或登記機構(gòu)名稱、注冊或登記號、資金幣種、注冊資本或開辦資金金額、成立日期、行區(qū)域代碼等信息；法人專用信息中按涉及法人管理的單位具體的行管理職能存儲專用的法人信息，包括工商、質(zhì)監(jiān)、稅務(wù)等專有信息?？臻g地理數(shù)據(jù)：存儲與空間地理有關(guān)的元信息箱、基礎(chǔ)空間數(shù)據(jù)箱、信息圖層數(shù)據(jù)箱、地名地址數(shù)據(jù)箱、歷史數(shù)據(jù)箱、三維模型數(shù)據(jù)箱等七大類。宏觀經(jīng)濟數(shù)據(jù)：由智能單位數(shù)據(jù)信息和類別數(shù)據(jù)信息組成。智能單位數(shù)據(jù)信息反映從各單位采集、清洗、比對后的信息，信息的存儲按照數(shù)據(jù)智能單位來源劃分；類別數(shù)據(jù)信息是按照經(jīng)濟、社會、居民生活等數(shù)據(jù)類型進行存儲，同一數(shù)據(jù)類別的信息可以來源于多個智能單位。（3）基礎(chǔ)數(shù)據(jù)框架數(shù)據(jù)資源體系框架是區(qū)大數(shù)據(jù)臺從數(shù)據(jù)采集、處理、存儲和管理的總體架構(gòu)，為上層應(yīng)用提供高檔次的數(shù)據(jù)存儲和處理環(huán)境，數(shù)據(jù)資源體系框架主要側(cè)重于業(yè)務(wù)處理所需的信息和信息流，從實際業(yè)務(wù)出發(fā)，開展數(shù)據(jù)資源梳理，從數(shù)據(jù)采集、處理、傳輸、到使用進行統(tǒng)一規(guī)劃，設(shè)計區(qū)大數(shù)據(jù)臺整體的數(shù)據(jù)資源架構(gòu)。從存儲信息對象上來看，主要存儲三大箱數(shù)據(jù)、以及從互聯(lián)網(wǎng)上獲取的各種信息的社會綜合大數(shù)據(jù)。從數(shù)據(jù)處理過程來看，區(qū)大數(shù)據(jù)臺數(shù)據(jù)資源體系框架總體架構(gòu)（4）基礎(chǔ)數(shù)據(jù)分區(qū)根據(jù)數(shù)據(jù)資源互通臺數(shù)據(jù)箱規(guī)劃，數(shù)據(jù)資源互通臺的數(shù)據(jù)存儲由互通免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)臨時存儲區(qū)、操作型數(shù)據(jù)存儲區(qū)、數(shù)據(jù)倉箱、數(shù)據(jù)集4個區(qū)域構(gòu)成，具體建設(shè)的時候需要根據(jù)它們各自的特點分別進行設(shè)計。互通數(shù)據(jù)臨時存儲區(qū)?；ネ〝?shù)據(jù)臨時存儲區(qū)（ExchangeDataStore，EDS）是用來保證數(shù)據(jù)互通過程中安全隔離和臨時存儲的存儲區(qū)，其數(shù)據(jù)結(jié)構(gòu)應(yīng)與接入的應(yīng)用平臺保持一致。操作型數(shù)據(jù)存儲區(qū)。操作型數(shù)據(jù)存儲區(qū)（OperationalDataStore，ODS）存放集成的、可更新的、近實時的業(yè)務(wù)數(shù)據(jù)。ODS主要用于異構(gòu)業(yè)務(wù)信息源的明細數(shù)據(jù)整合后、進入數(shù)據(jù)倉箱前的存儲，并提供企業(yè)面向業(yè)務(wù)的、近實時的統(tǒng)一數(shù)據(jù)視圖，支持企業(yè)全業(yè)務(wù)數(shù)據(jù)的近實時查詢與分析。ODS是業(yè)務(wù)平臺間公共和互通數(shù)據(jù)的存儲區(qū)，是業(yè)務(wù)平臺與數(shù)據(jù)倉箱間的數(shù)據(jù)遷移的緩存區(qū)，是支持數(shù)據(jù)資源互通臺應(yīng)用中實時查詢數(shù)據(jù)的存儲區(qū)，是日常業(yè)務(wù)決策支持的數(shù)據(jù)存儲區(qū)。ODS數(shù)據(jù)模型依據(jù)數(shù)據(jù)模型構(gòu)建，基于主題域組織，其主題域劃分和核心數(shù)據(jù)實體與企業(yè)數(shù)據(jù)模型相同。數(shù)據(jù)倉箱。數(shù)據(jù)倉箱（DataWarehouse，DW）存放面向主題的、集成的、相對穩(wěn)定的、反應(yīng)歷史變化的數(shù)據(jù)。數(shù)據(jù)倉箱統(tǒng)一存放與管理經(jīng)整合后、具體分析價值的企業(yè)歷史數(shù)據(jù)，支持基于大量歷史數(shù)據(jù)的企業(yè)決策分析。數(shù)據(jù)倉箱中存儲從業(yè)務(wù)平臺中到處的用于決策和挖掘的企業(yè)數(shù)據(jù)，也到處操作型數(shù)據(jù)的輕度匯總數(shù)據(jù)。數(shù)據(jù)倉箱的數(shù)據(jù)一部分通過ODS導(dǎo)入，一部分通過業(yè)務(wù)平臺直接導(dǎo)入。數(shù)據(jù)倉箱的數(shù)據(jù)模型按照主題組織，主題域劃分與數(shù)據(jù)模型相同，數(shù)據(jù)模型依據(jù)數(shù)據(jù)模型構(gòu)建。數(shù)據(jù)集。數(shù)據(jù)集（DataMarkets，DM）是以數(shù)據(jù)倉箱數(shù)據(jù)為唯一信息源、面向特定分析應(yīng)用、俺一定方式重新組織的數(shù)據(jù)集合，是數(shù)據(jù)倉箱的子集。數(shù)據(jù)集基于數(shù)據(jù)倉箱創(chuàng)建，用于不同業(yè)務(wù)智能單位的需求和不同分析應(yīng)用的分析數(shù)據(jù)的存儲，數(shù)據(jù)集的數(shù)據(jù)模型與企業(yè)數(shù)據(jù)模型一直，用于描述企業(yè)業(yè)務(wù)智能單位、企業(yè)綜合分析以及高級管理人員分析所需的數(shù)據(jù)。數(shù)據(jù)集模型也按主題組織，但其主題域劃分與數(shù)據(jù)模型不同，數(shù)據(jù)集的主題是基于企業(yè)的不同智能單位、不同人員的分析需求而組織的。基礎(chǔ)數(shù)據(jù)分層免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。。區(qū)大數(shù)據(jù)臺數(shù)據(jù)模型是數(shù)據(jù)資源層的核心，是整個區(qū)大數(shù)據(jù)臺數(shù)據(jù)資源標準的具體體現(xiàn)，包括兩級四層，分別為級數(shù)據(jù)模型、應(yīng)用級數(shù)據(jù)模型。級數(shù)據(jù)模型包括級概念數(shù)據(jù)模型和級邏輯數(shù)據(jù)模型。級概念數(shù)據(jù)模型定義區(qū)大數(shù)據(jù)中心的主題域，反映業(yè)務(wù)的綜合性信息需求。級邏輯數(shù)據(jù)模型是對概念數(shù)據(jù)模型的分解和規(guī)范化，描述實體、屬性及實體之間的關(guān)系，提供了區(qū)大數(shù)據(jù)中心的總體數(shù)據(jù)視圖。通過建立級數(shù)據(jù)模型，規(guī)范應(yīng)用級數(shù)據(jù)模型的設(shè)計，可減少信息化應(yīng)用之間數(shù)據(jù)的重復(fù)定義和不一致性，從源頭上保證數(shù)據(jù)的質(zhì)量，降低應(yīng)用集成和數(shù)據(jù)互通的難度。級數(shù)據(jù)模型應(yīng)在各應(yīng)用平臺建設(shè)之前，從整個區(qū)的角度，統(tǒng)一、集中設(shè)計數(shù)據(jù)模型，保證數(shù)據(jù)存儲模式合理、學(xué)。應(yīng)用級數(shù)據(jù)模型包括應(yīng)用級邏輯數(shù)據(jù)模型和應(yīng)用級物理數(shù)據(jù)模型。應(yīng)用級邏輯數(shù)據(jù)模型是針對具體信息化應(yīng)用的邏輯數(shù)據(jù)模型，通常為級邏輯數(shù)據(jù)模型的子集，為平臺開發(fā)提供數(shù)據(jù)規(guī)范。應(yīng)用級物理數(shù)據(jù)模型是在應(yīng)用級邏輯數(shù)據(jù)模型的基礎(chǔ)上，考慮各種具體的技術(shù)實現(xiàn)因素，結(jié)合具體數(shù)據(jù)箱管理平臺，進行物理結(jié)構(gòu)設(shè)計，以滿足數(shù)據(jù)存儲需要。應(yīng)用級數(shù)據(jù)模型是應(yīng)用平臺的重要組成部分，按照應(yīng)用平臺建設(shè)進程不斷建立和完善。數(shù)據(jù)互通臺數(shù)據(jù)互通臺，通過各種方式，逐步采集完善各類基礎(chǔ)數(shù)據(jù)及專題數(shù)據(jù)；通過數(shù)據(jù)互通臺，按照統(tǒng)一的標準和規(guī)范，將區(qū)各個單位的數(shù)據(jù)資源匯總到區(qū)大數(shù)據(jù)臺，實現(xiàn)區(qū)信息資源的匯聚和傳遞，滿足全區(qū)各個單位對實時信息的橫向互通以及業(yè)務(wù)協(xié)同等需求，為區(qū)協(xié)同、公共服務(wù)和輔助決策等提供信息互通和互通服務(wù)；為保證數(shù)據(jù)的動態(tài)準確性，需要對基礎(chǔ)空間地理信息箱、人口數(shù)據(jù)箱、法人數(shù)據(jù)箱等三大基礎(chǔ)數(shù)據(jù)箱的信息進行數(shù)據(jù)清洗、數(shù)據(jù)比對、異常數(shù)據(jù)反饋、數(shù)據(jù)入箱等加工處理。（1）數(shù)據(jù)采集1）數(shù)據(jù)采集方向為了保障人口箱、法人箱、空間地理信息箱和宏觀經(jīng)濟箱等數(shù)據(jù)在采集過程中的完整性、準確性和及時性，應(yīng)從以下幾個方面進行：建立數(shù)據(jù)采集組織，實地開展數(shù)據(jù)采集工作。通過劃分區(qū)域，由專人負責(zé)定時采集和更新相應(yīng)區(qū)域的四大箱免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)。通過對采集人員的培訓(xùn)以及制定數(shù)據(jù)采集制度、數(shù)據(jù)填報表格，規(guī)范數(shù)據(jù)采集工作，提高數(shù)據(jù)采集質(zhì)量。同時，開發(fā)數(shù)據(jù)采集直報平臺，充分利用應(yīng)用等技術(shù)，實現(xiàn)異地數(shù)據(jù)直報，提高數(shù)據(jù)采集工作效率。在行審批過程中，逐步采集完善基礎(chǔ)數(shù)據(jù)。各單位、服務(wù)中心在各事項審批過程中，登記和審核各種與自然人、法人的有關(guān)證件信息和基本信息，這些信息可以作為人口箱和法人箱的數(shù)據(jù)來源。通過與某省建設(shè)的電子信息平臺對接，進行互通獲取數(shù)據(jù)。某省建設(shè)的電子類信息化平臺包含了大量的基礎(chǔ)數(shù)據(jù)，并且這些平臺為各智能單位提供了開放接口。區(qū)大數(shù)據(jù)臺可以與這些平臺進行對接，獲得與區(qū)行管理范圍內(nèi)的人口、法人、空間地理和宏觀經(jīng)濟數(shù)據(jù)。通過人口普查工作完善基礎(chǔ)數(shù)據(jù)箱數(shù)據(jù)。借助每次人口普查工作的開展，收集人口數(shù)據(jù)，通常人口普查登記包括了人口的自然特征，如年齡、性別、民族、家庭、生育、死亡等等，另外還有社會特征，比如人的遷移、分布、文化特征、教育特征、宗教等等。經(jīng)濟特征數(shù)據(jù)主要包括就業(yè)狀況、職業(yè)、行業(yè)等信息。2）數(shù)據(jù)采集步驟對于數(shù)據(jù)采集，建議采用分步進行，逐步擴充的原則，先整合目前能夠獲取的智能單位數(shù)據(jù)，通過對這些數(shù)據(jù)的整合，搭建起平臺的整體框架，并制定相應(yīng)的數(shù)據(jù)規(guī)范標準以及數(shù)據(jù)清洗比對規(guī)則。通過臺整體效應(yīng)，吸引其他單位實現(xiàn)數(shù)據(jù)互通。如果實際業(yè)務(wù)要求，需要實現(xiàn)數(shù)據(jù)全面互通，對于未開放數(shù)據(jù)接口的單位，采用以下兩種方法獲取有關(guān)數(shù)據(jù)。一是數(shù)據(jù)首次初始化，可以通過行手段，協(xié)調(diào)得到有關(guān)歷史數(shù)據(jù)，并根據(jù)歷史數(shù)據(jù)結(jié)構(gòu)建立有關(guān)業(yè)務(wù)專題箱，對于新增或更新的數(shù)據(jù)可以通過在采集頁面增加數(shù)據(jù)收集插件，對有關(guān)數(shù)據(jù)箱中的信息進行更新。二是在提供一個具有查詢權(quán)限的人員基礎(chǔ)上，可以通過開發(fā)具有頁面解析功能的插件，當人員進行查詢操作時，通過插件對查詢結(jié)果頁面進行分析，從中獲取有關(guān)業(yè)務(wù)數(shù)據(jù)字段信息，并將獲取的信息保存到級數(shù)據(jù)箱中。在具體實施過程中，在對不開放數(shù)據(jù)接口的單位，通過有關(guān)的頁面插件收集數(shù)據(jù)，存在一定的風(fēng)險，如果數(shù)據(jù)泄露，則會造成非常大的影響，所以建議從易到難，先整合目前能夠開放數(shù)據(jù)接口的單位數(shù)據(jù)，在逐步擴充，最終實現(xiàn)數(shù)據(jù)的全面免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會?；ネā＃?）數(shù)據(jù)互通通過數(shù)據(jù)互通臺，按照統(tǒng)一的標準和規(guī)范，將區(qū)各個單位的數(shù)據(jù)資源匯總到區(qū)大數(shù)據(jù)臺，實現(xiàn)區(qū)信息資源的匯聚和傳遞，滿足全區(qū)各個單位對實時信息的橫向互通以及業(yè)務(wù)協(xié)同等需求，為區(qū)協(xié)同、公共服務(wù)和輔助決策等提供信息互通和互通服務(wù)。數(shù)據(jù)互通的目的是實現(xiàn)傳輸過程中的“不錯、不丟、不重”。數(shù)據(jù)互通平臺核心的功能包括數(shù)據(jù)橋接、數(shù)據(jù)傳輸、前置互通和互通管理學(xué)習(xí)。1）互通橋接橋接平臺的功能完成單位業(yè)務(wù)平臺信息箱與前置信息箱（或互通臺）之間雙向安全、可靠的信息互通，并實現(xiàn)數(shù)據(jù)格式轉(zhuǎn)換。橋接實現(xiàn)方式包括直接連接、通過網(wǎng)閘等定時或?qū)崟r傳輸。主要功能包括數(shù)據(jù)映射、數(shù)據(jù)提取、數(shù)據(jù)抽取、過濾規(guī)則配置、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)導(dǎo)出、數(shù)據(jù)導(dǎo)入、學(xué)習(xí)管理等功能。2）互通傳輸互通傳輸平臺即消息總線平臺，作為前置互通平臺之間的信息互通通道，實現(xiàn)互通信息的打包、轉(zhuǎn)換、傳遞、路由、解包日志服務(wù)等功能。3）前置互通為確保各單位的原有平臺的運行不被資源整合所影響，保障原平臺的數(shù)據(jù)安全，使用前置機作為各單位與數(shù)據(jù)互通臺進行數(shù)據(jù)互通的窗口，一方面從各業(yè)務(wù)平臺提取數(shù)據(jù)，向中心提交，另一方面從數(shù)據(jù)中心接收數(shù)據(jù)，并向業(yè)務(wù)平臺傳遞數(shù)據(jù)。前置機應(yīng)具備緩存互通數(shù)據(jù)，對數(shù)據(jù)進行過濾、加工和展現(xiàn)的功能。主要由網(wǎng)絡(luò)通信平臺、操作平臺、互通信息箱、前置互通環(huán)境、互通服務(wù)配置工具等組成。4）互通管理學(xué)習(xí)互通學(xué)習(xí)作為互通平臺的中心管理模塊，協(xié)同單位互通前置機和中心互通前置機的運行并對互通平臺的運行情況進行管理和學(xué)習(xí)。管理學(xué)習(xí)提供對整體的學(xué)習(xí)、業(yè)務(wù)域的管理、節(jié)點的管理、傳輸管理、安全管理、路由管理、統(tǒng)計分析和日志服務(wù)等功能。（3）數(shù)據(jù)加工免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。為保證數(shù)據(jù)的動態(tài)準確性，需要對基礎(chǔ)空間地理信息箱、人口數(shù)據(jù)箱、法人數(shù)據(jù)箱等三大基礎(chǔ)數(shù)據(jù)箱的信息進行加工處理。數(shù)據(jù)加工處理流程數(shù)據(jù)加工處理流程圖1）數(shù)據(jù)清洗對各單位采集或互通來的數(shù)據(jù)按照基礎(chǔ)數(shù)據(jù)的標準格式要求進行檢查整理，對不符合質(zhì)量要求或者錯誤的數(shù)據(jù)進行更正，最終確保數(shù)據(jù)的準確。數(shù)據(jù)清洗的目的是數(shù)是保證數(shù)據(jù)箱數(shù)據(jù)質(zhì)量。2）數(shù)據(jù)比對對數(shù)據(jù)的字段、要求、合理數(shù)值范圍、檢查時段、預(yù)警方式等內(nèi)容，按照不同數(shù)據(jù)類型、數(shù)據(jù)來源、變動方式進行單獨或組合設(shè)置，由平臺按照設(shè)置的比對指標，對各基礎(chǔ)數(shù)據(jù)箱的信息進行綜合比對分析，并生成比對結(jié)果，并根據(jù)授權(quán)情況，將比對結(jié)果分類下發(fā)到有關(guān)單位，對數(shù)據(jù)進行核查。核查后反饋的數(shù)據(jù)，將再次進入數(shù)據(jù)加工環(huán)節(jié)。在核查過程中，平臺按照設(shè)置的監(jiān)管指標對各智能單位核查信息進行綜合分析，并生成監(jiān)察結(jié)果。3）異常數(shù)據(jù)反饋異常數(shù)據(jù)反饋實現(xiàn)數(shù)據(jù)采集、清洗、比對同數(shù)據(jù)采集單位形成互動，將清洗和比對工作中發(fā)現(xiàn)的異常數(shù)據(jù)反饋給數(shù)據(jù)提供單位，提醒數(shù)據(jù)提供單位核實的同時，也幫助提高單位自身業(yè)務(wù)數(shù)據(jù)準確性。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。4）數(shù)據(jù)入箱在數(shù)據(jù)入箱時，配置定義入箱規(guī)則和配置定義入箱流程，支持順序入箱，并行入箱。新增數(shù)據(jù)字段在入箱前，要完成新增信息資源學(xué)習(xí)服務(wù)登記工作，包括進行入箱元信息和入箱學(xué)習(xí)的編目、注冊、發(fā)布、審核等工作。信息資源學(xué)習(xí)在開展基礎(chǔ)應(yīng)用、擴展應(yīng)用和專業(yè)利用等應(yīng)用中起承上啟下的關(guān)鍵作用，為各種應(yīng)用提供基礎(chǔ)數(shù)據(jù)管理服務(wù)，包括訪問人員認證、人員授權(quán)、學(xué)習(xí)、日志等。數(shù)據(jù)管理臺（1）資源學(xué)習(xí)服務(wù)按照國家信息資源學(xué)習(xí)體系標準，建立統(tǒng)一的信息資源學(xué)習(xí)體系，建設(shè)統(tǒng)一的信息資源管理中心，形成“物理分散、邏輯集中”信息資源管理模式；提高信息的互通能力，支持跨智能單位間的信息互通和業(yè)務(wù)協(xié)同，提高各單位、各智能單位協(xié)同、管理水。通過借鑒信息資源學(xué)習(xí)體系，設(shè)計區(qū)大數(shù)據(jù)中心的信息資源學(xué)習(xí)服務(wù)平臺，構(gòu)建信息資源學(xué)習(xí)體系和信息資源互通環(huán)境，并通過學(xué)習(xí)服務(wù)實現(xiàn)跨智能單位的互通信息資源發(fā)現(xiàn)、定位與獲取。該平臺功能主要包括編目傳輸、學(xué)習(xí)服務(wù)、學(xué)習(xí)管理及互通服務(wù)。信息資源學(xué)習(xí)服務(wù)平臺工作過程分為信息資源學(xué)習(xí)訪問過程、學(xué)習(xí)服務(wù)形成與提供流程和互通信息資源定位與發(fā)現(xiàn)流程。準備：首先由各智能單位建立互通信息箱，并建立互通信息服務(wù)平臺，提供互通信息的瀏覽、查詢和下載等服務(wù)；編目：各智能單位對互通信息的內(nèi)容提取特征，通過編目平臺形成學(xué)習(xí)內(nèi)容箱；注冊：由各智能單位通過學(xué)習(xí)傳輸平臺將學(xué)習(xí)內(nèi)容傳送到學(xué)習(xí)服務(wù)中心；發(fā)布：由學(xué)習(xí)服務(wù)中心對各智能單位的學(xué)習(xí)內(nèi)容進行審核發(fā)布。（2）數(shù)據(jù)質(zhì)量管理按照國家信息資源學(xué)習(xí)體系標準，建立覆蓋全先的信息資源學(xué)習(xí)體系，建設(shè)全先統(tǒng)一的信息資源管理中心，形成“物理分散、邏輯集中”免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。信息資源管理模式；提高信息的互通能力，支持跨單位之間的信息互通和業(yè)務(wù)協(xié)同，提高全先公共服務(wù)和社會管理的水。數(shù)據(jù)質(zhì)量管理平臺的功能包括數(shù)據(jù)質(zhì)量學(xué)習(xí)、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)質(zhì)量問題處理、數(shù)據(jù)質(zhì)量知識箱等功能。數(shù)據(jù)質(zhì)量學(xué)習(xí)：根據(jù)數(shù)據(jù)檢驗等配置的規(guī)則，對發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量異常情況進行告警和拓撲呈現(xiàn)。主要包括源平臺關(guān)鍵數(shù)據(jù)稽核、源平臺維表稽核、實體數(shù)據(jù)檢查、處理過程檢查、關(guān)鍵指標檢查、告警管理、拓撲呈現(xiàn)和規(guī)則配置等功能。數(shù)據(jù)質(zhì)量評估：根據(jù)設(shè)定的評估方法對源接口基礎(chǔ)數(shù)據(jù)質(zhì)量評估和指標關(guān)聯(lián)性分析，有關(guān)到評估結(jié)果以作為平臺質(zhì)量改進的參考和依據(jù)。數(shù)據(jù)質(zhì)量報告：對數(shù)據(jù)質(zhì)量管理各環(huán)節(jié)累積的各種信息進行匯總、梳理、統(tǒng)計和分析，形成統(tǒng)計報告，主要包括：報告生成、報告發(fā)布、報告查詢和報告歸檔。數(shù)據(jù)質(zhì)量問題處理：包括問題生成、問題分析、問題處理和問題總結(jié)。數(shù)據(jù)質(zhì)量知識箱：在臺使用及運維過程中，由數(shù)據(jù)質(zhì)量管理平臺收集有關(guān)數(shù)據(jù)及過程問題的處理經(jīng)驗總結(jié)，按關(guān)鍵字的形式進行索引和分類管理。（3）業(yè)務(wù)建模業(yè)務(wù)建模是構(gòu)建人員接口或上層業(yè)務(wù)應(yīng)用與基礎(chǔ)數(shù)據(jù)之間的邏輯模型。業(yè)務(wù)對象和業(yè)務(wù)分析模型在此實例化。應(yīng)用服務(wù)層是生成并操作接收信息的業(yè)務(wù)規(guī)則和函數(shù)的集合。它們通過業(yè)務(wù)規(guī)則（可以頻繁更改）完成該任務(wù)，并由此被封裝到在物理上與應(yīng)用程序程序邏輯本身相獨立的組件中。1）居民身份驗證模型居民身份驗證模型用于居民個人電子檔案建立及居民身份驗證，是社區(qū)證明平臺、業(yè)務(wù)流轉(zhuǎn)平臺等具體業(yè)務(wù)平臺的支撐服務(wù)。它可以通過身份證號驗證居民身份，比對大數(shù)據(jù)臺中人口信息箱中是否具有該居民信息，進行有關(guān)業(yè)務(wù)辦理，也可以通過居民生物特征信息（指靜脈信息）進行居民唯一身份驗證，以此為依據(jù)辦理有關(guān)業(yè)務(wù)。2）數(shù)據(jù)綜合模型免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。社區(qū)綜合信息模型是網(wǎng)格化管理體系下動態(tài)信息獲取的一個重要來源，社區(qū)綜合信息采集服務(wù)將網(wǎng)格內(nèi)房屋信息、常住人口、暫住人口、特殊人群、緊急情況等信息，通過表單、照片、空間定位等多種手段進行采集，并經(jīng)2.5/3G/4G無線網(wǎng)絡(luò)將所采集到的信息及時傳送到大數(shù)據(jù)臺，達到網(wǎng)格動態(tài)信息的快速更新、多方互通的目的。其主要功能包括:樓棟信息采集、門牌信息采集、人員信息采集、事件匯報、營業(yè)網(wǎng)點信息采集、重點場所信息采集、緊急事件處理、代辦需求處置、幫扶需求、城管事件匯報及其他功能等。3）城運行體征動態(tài)模型城運行體征是一個城在完善基礎(chǔ)設(shè)施、保障能源及各種資源供給、特殊時期營造相應(yīng)氛圍、提供安全應(yīng)急保障等方面開展的工作。城運行檢測以獲取城運行全時段、全要素信息為基礎(chǔ)，進行常態(tài)城運行態(tài)勢的實時學(xué)習(xí)、綜合評估、發(fā)展預(yù)測、協(xié)調(diào)會商、輔助決策等，其目的是要增強城管理工作的整體性、協(xié)調(diào)性、規(guī)范性，營造良好的城環(huán)境，以提升城綜合運營能力，提高城建設(shè)服務(wù)管理水。4）城數(shù)據(jù)綜合分析模型構(gòu)建城運行管理數(shù)學(xué)模型，實現(xiàn)對海量的交通數(shù)據(jù)、地理位置檢測數(shù)據(jù)、環(huán)境數(shù)據(jù)、醫(yī)療數(shù)據(jù)、數(shù)據(jù)、教育數(shù)據(jù)、數(shù)據(jù)的實時、全面、平臺的數(shù)據(jù)采集，存儲、分析、挖掘。數(shù)智專業(yè)一體化城數(shù)據(jù)分析平臺主要完成分析或決策模型的創(chuàng)建、發(fā)布和管理等功能，其主要使用對象是各智能單位業(yè)務(wù)人員。數(shù)據(jù)分析平臺能夠支持指標的數(shù)據(jù)分析和處理，包括基礎(chǔ)信息的統(tǒng)計分析、城特征指數(shù)分析、宏觀經(jīng)濟分析等功能。5）電子模型電子是指綜合運用互聯(lián)網(wǎng)、手機、固定電話等多種方式，使公務(wù)人員之間、與公眾之間可以隨時隨地實現(xiàn)相互間的信息傳遞，從而實現(xiàn)組織結(jié)構(gòu)和工作流程的優(yōu)化重組，超越時間、空間和智能單位分割的制約，全方位地向社會提供優(yōu)質(zhì)、規(guī)范、透明的服務(wù)。通過電子網(wǎng)上便民服務(wù)工程融合、民、稅務(wù)、工商、人力資源和社會保障、住房和城鄉(xiāng)建設(shè)等機構(gòu)，為區(qū)居民打造一個統(tǒng)一服務(wù)臺，方便百姓隨時隨地利用各種方式進行業(yè)務(wù)查詢、辦理等。運行支撐臺免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。（1）引擎。服務(wù)引擎主要為頂層應(yīng)用平臺的開發(fā)提供共性的服務(wù)組件，以減少應(yīng)用平臺對于共性組件的重復(fù)采購，減少資源浪費，提高使用效率。服務(wù)引擎由手機短消息、即時通信、電子郵件、視頻通信、GIS空間分析、工作流、搜索、表單定制等服務(wù)組成。權(quán)限。權(quán)限管理是根據(jù)平臺設(shè)置的安全規(guī)則或者安全策略，人員可以訪問而且只能訪問自己被授權(quán)的資源。權(quán)限管理主要包括身份認證服務(wù)、單點登錄服務(wù)和權(quán)限驗證服務(wù)等服務(wù)。（3）學(xué)習(xí)。對于區(qū)大數(shù)據(jù)中心，由于支撐了很多服務(wù)和應(yīng)用，需要把分散在各個應(yīng)用平臺中的學(xué)習(xí)功能統(tǒng)一管理，形成一套對區(qū)大數(shù)據(jù)中心有效學(xué)習(xí)的措施。統(tǒng)一學(xué)習(xí)服務(wù)要包含遠程學(xué)習(xí)、本地學(xué)習(xí)、數(shù)據(jù)箱空間學(xué)習(xí)、流程學(xué)習(xí)、負載學(xué)習(xí)、應(yīng)用學(xué)習(xí)、報警通知和學(xué)習(xí)展示等服務(wù)。（4）接口。區(qū)大數(shù)據(jù)臺應(yīng)充分調(diào)動、企業(yè)、居民等多方力量共同運營、維護與建設(shè)。在臺體系中起主導(dǎo)和方向性引導(dǎo)作用，為大數(shù)據(jù)臺提供權(quán)威數(shù)據(jù)和管理方法；企業(yè)為臺提供創(chuàng)新的應(yīng)用方式；居民為臺提供動態(tài)的、鮮活的社會動態(tài)數(shù)據(jù)。區(qū)大數(shù)據(jù)臺開放接口服務(wù)，是一套專門為這三個方面人員提供的應(yīng)用服務(wù)，使其方便調(diào)用與二次開發(fā)。數(shù)據(jù)隧道臺通過數(shù)據(jù)首頁建設(shè)，整合電子信息資源，建立以信息資源展示、二次開發(fā)服務(wù)為核心的服務(wù)平臺；基于海量數(shù)據(jù)，匯集統(tǒng)計分析、工作動態(tài)等決策信息，為各級領(lǐng)導(dǎo)提供決策服務(wù)；拓展公開信息統(tǒng)一管理、公共服務(wù)、在線互動交流等功能，體現(xiàn)服務(wù)型數(shù)據(jù)中心新形象、逐步擴展數(shù)據(jù)首頁網(wǎng)站功能，建設(shè)綜合性信息網(wǎng)站首頁。數(shù)據(jù)首頁主要包括資源展示、在線查詢和首頁管理等功能。（1）資源展示。信息資源展示服務(wù)主要負責(zé)對采集的體征數(shù)據(jù)、事件數(shù)據(jù)等按照一定的查詢要求統(tǒng)計的結(jié)果，在平臺界面中以視頻播放、列表、直方圖、折線圖、餅圖、態(tài)勢圖、體征日報等方式展示出來。也可以將空間化專題信息通過GIS平臺更加形象具體的展現(xiàn)出來。信息資源展示的內(nèi)容包括空間信息地圖展示、綜合態(tài)勢展示、事件展示、指標信息展示以及統(tǒng)計結(jié)果展示。（2）在線查詢。隨著數(shù)據(jù)的集中和整合平臺可以提供如自然人口箱免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會?；A(chǔ)信息查詢、組織單位箱基礎(chǔ)信息查詢和地理信息箱基礎(chǔ)信息查詢等專題查詢。同時，也可以提供只有數(shù)據(jù)整合才可以做到的智能單位數(shù)據(jù)關(guān)聯(lián)查詢和三箱關(guān)聯(lián)查詢服務(wù)。（3）首頁管理。首頁基本管理服務(wù)用于實現(xiàn)對大數(shù)據(jù)中心服務(wù)接口對外發(fā)布的管理以及與各智能單位現(xiàn)有平臺的對接；實現(xiàn)綜合信息登記、審核和發(fā)布，應(yīng)用平臺集成單點登錄以及首頁網(wǎng)站內(nèi)容管理等功能。應(yīng)用服務(wù)層按企業(yè)、民生、三大業(yè)務(wù)領(lǐng)域規(guī)劃了三類重點專項即面向企業(yè)服務(wù)、面向民生服務(wù)、面向服務(wù)。其中，面向企業(yè)服務(wù)包括中小企業(yè)服務(wù)臺、產(chǎn)業(yè)經(jīng)濟運行學(xué)習(xí)臺、數(shù)智專業(yè)一體化招商臺、數(shù)智專業(yè)一體化物流臺；面向民生服務(wù)包括民一卡通、社區(qū)公共服務(wù)臺、數(shù)智專業(yè)一體化醫(yī)療；面向服務(wù)包括行審批臺、公開臺、領(lǐng)導(dǎo)決策支持平臺、數(shù)字城管、數(shù)智專業(yè)一體化環(huán)保、數(shù)智專業(yè)一體化交通、綜合應(yīng)急指揮臺和視頻云支撐引擎。應(yīng)用平臺統(tǒng)一首頁通過建立統(tǒng)一開放臺，逐步實現(xiàn)公共數(shù)據(jù)集開放，鼓勵單位和公眾挖掘利用，推動治理、公共服務(wù)、產(chǎn)業(yè)發(fā)展等領(lǐng)域大數(shù)據(jù)創(chuàng)新應(yīng)用。針對公務(wù)員提供數(shù)據(jù)申請、審批、利用、分析的系列功能集，建立統(tǒng)一大數(shù)據(jù)利用臺，逐步實現(xiàn)公共數(shù)據(jù)集開放，鼓勵在管理和業(yè)務(wù)辦理中的數(shù)據(jù)挖掘利用，推動治理、公共服務(wù)、產(chǎn)業(yè)發(fā)展等領(lǐng)域大數(shù)據(jù)創(chuàng)新應(yīng)用。具體包括數(shù)據(jù)學(xué)習(xí)、一個圖、API服務(wù)、數(shù)據(jù)開放、數(shù)據(jù)治理、數(shù)據(jù)可視化等欄目。登錄平臺登錄采用單點登錄，人員只需要登錄一次就可以訪問所有相互信任的應(yīng)用平臺，同時對不同職責(zé)人員，所使用的平臺功能也會按需控制。1、功能子模塊名稱功能描述免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。人員名密碼登錄根據(jù)人員名和密碼驗證登錄，并根據(jù)人員權(quán)限展示有關(guān)模塊手機驗證碼登錄根據(jù)手機號和驗證碼驗證登錄，并根據(jù)人員權(quán)限展示有關(guān)模塊忘記密碼為人員提供密碼找回服務(wù)2、性能子模塊名稱性能描述人員名密碼登錄響應(yīng)時間不應(yīng)超過5s手機驗證碼登錄驗證碼10分鐘內(nèi)有效，日請求10次忘記密碼響應(yīng)時間不應(yīng)超過5s首頁首頁綜合展示數(shù)據(jù)互通情況、應(yīng)用使用情況、通知公告、新聞動態(tài)以及資源學(xué)習(xí)分類情況，并提供有關(guān)應(yīng)用、資源學(xué)習(xí)、通知、新聞的快速入口。1、功能子模塊名稱功能描述通知公告展示通知公告的標題，點開之后可以查看詳情新聞動態(tài)展示新聞動態(tài)的標題，點開之后可以查看詳情公共基礎(chǔ)數(shù)據(jù)箱按照4大箱的分類對數(shù)據(jù)進行統(tǒng)計，點擊后可以跳轉(zhuǎn)到該分類學(xué)習(xí)學(xué)習(xí)主題按照主題對數(shù)據(jù)進行分類，點擊后可以跳轉(zhuǎn)到該分類學(xué)習(xí)互通統(tǒng)計對重點智能單位的互通數(shù)據(jù)量進行統(tǒng)計排名應(yīng)用中心隨機展示應(yīng)用中心的應(yīng)用，可以換一批或者查看更多2、性能子模塊名稱性能描述免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。通知公告打開詳情相應(yīng)不超過3s新聞動態(tài)打開詳情相應(yīng)不超過3s公共基礎(chǔ)數(shù)據(jù)箱跳轉(zhuǎn)到分類相應(yīng)不超過3s學(xué)習(xí)主題跳轉(zhuǎn)到分類相應(yīng)不超過3s互通統(tǒng)計展現(xiàn)結(jié)果相應(yīng)不超過3s應(yīng)用中心換一批操作不超過3s幫助中心幫助中心提供了本平臺使用的人員手冊、視頻資料以及一些普通問題的解決指，并提供有關(guān)材料的下載。對在使用平臺中遇到的問題，可以到此模塊下尋求初步的解決方案。1、功能子模塊名稱功能描述材料資料關(guān)于平臺使用方面的一些材料資料，可提供下載，在線查看視頻資料關(guān)于平臺使用方面的一些視頻資料，可提供下載，在線查看普通問題關(guān)于平臺使用方面的一些普通問題的查看2、性能子模塊名稱性能描述材料資料響應(yīng)時間不應(yīng)超過3s視頻資料響應(yīng)時間不應(yīng)超過3s普通問題響應(yīng)時間不應(yīng)超過3s數(shù)據(jù)規(guī)范數(shù)據(jù)規(guī)范主要提供“有關(guān)策”、“規(guī)章制度”以及“標準規(guī)范”，人員可以查看或下載有關(guān)內(nèi)容，實時了解策導(dǎo)向、通知。1、功能功能描述免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。子模塊名稱有關(guān)策展示“有關(guān)策”主題有關(guān)的所有內(nèi)容列表，點開標題之后可以查看詳情，如果有附件下載顯示下載按鈕，沒有顯示查看按鈕規(guī)章制度展示“規(guī)章制度”主題有關(guān)的所有內(nèi)容列表，點開標題之后可以查看詳情，如果有附件下載顯示下載按鈕，沒有顯示查看按鈕標準規(guī)范展示“標準規(guī)范”主題有關(guān)的所有內(nèi)容列表，點開標題之后可以查看詳情，如果有附件下載顯示下載按鈕，沒有顯示查看按鈕2、性能子模塊名稱性能描述有關(guān)策查看詳情或者下載材料反應(yīng)時間不應(yīng)超過3s規(guī)章制度查看詳情或者下載材料反應(yīng)時間不應(yīng)超過3s標準規(guī)范查看詳情或者下載材料反應(yīng)時間不應(yīng)超過3s基礎(chǔ)支撐臺基礎(chǔ)支撐臺主要針對平臺管理提供支撐。平臺管理平臺管理模塊包含了對平臺動態(tài)管理，包括功能模塊定義、組織機構(gòu)管理、人員管理、職責(zé)管理、配置管理等。1、功能子模塊名稱功能描述訪問歷史歷史日志查詢以及導(dǎo)出和分析報告。功能模塊定義平臺功能模塊的增刪改查以及配置管理。組織機構(gòu)管理區(qū)組織機構(gòu)增刪改查管理。人員管理人員增刪改查管理以及職責(zé)免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。授權(quán)、功能授權(quán)、是否禁用、密碼重置、其他人員密碼找回審批。職責(zé)管理平臺職責(zé)增刪改查管理以及功能授權(quán)。配置管理平臺字典增刪改查及排序管理。匯報模板維護匯報模板增刪改查管理。2、性能子模塊名稱性能描述訪問歷史響應(yīng)時間不應(yīng)超過3s功能模塊定義響應(yīng)時間不應(yīng)超過3s組織機構(gòu)管理響應(yīng)時間不應(yīng)超過3s人員管理響應(yīng)時間不應(yīng)超過3s職責(zé)管理響應(yīng)時間不應(yīng)超過3s配置管理響應(yīng)時間不應(yīng)超過3s匯報模板維護響應(yīng)時間不應(yīng)超過3s數(shù)據(jù)管理對信息源的提供者、業(yè)務(wù)來源、連接信息、連接狀態(tài)等進行管理，實現(xiàn)對數(shù)據(jù)來源的跟蹤；數(shù)據(jù)箱數(shù)據(jù)采集，提供自O(shè)racle、SQLServer、MySql等數(shù)據(jù)箱中采集數(shù)據(jù)的功能，并進行定時的自動化采集；結(jié)構(gòu)化文件數(shù)據(jù)采集，提供自結(jié)構(gòu)化數(shù)據(jù)文件中采集數(shù)據(jù)的功能，并對文件中的數(shù)據(jù)行進行自動化字段拆分；非結(jié)構(gòu)化文件采集，提供自FTP自動化定時采集非結(jié)構(gòu)化文件，并對采集到的文件進行統(tǒng)一管理?？蓪崿F(xiàn)對信息源，可實現(xiàn)對本地文件、主流結(jié)構(gòu)化數(shù)據(jù)箱、分布式數(shù)據(jù)存儲等信息源的提供者、業(yè)務(wù)來源、連接信息、連接狀態(tài)等進行管理。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。數(shù)據(jù)學(xué)習(xí)數(shù)據(jù)學(xué)習(xí)是大數(shù)據(jù)臺的核心模塊，主要提供數(shù)據(jù)資源學(xué)習(xí)按主題、按來源智能單位、按所屬基礎(chǔ)箱的展示以及資源學(xué)習(xí)的申請入口。1、功能子模塊名稱功能描述學(xué)習(xí)列表展示數(shù)據(jù)學(xué)習(xí)列表，并提供基于按主題、來源智能單位、所屬基礎(chǔ)箱、互通類型、互通方式、更新實現(xiàn)、標簽、關(guān)鍵詞等要求的篩選；可改變排序方式信息詳情查看查看某條數(shù)據(jù)學(xué)習(xí)的詳請，包括學(xué)習(xí)描述信息、元信息信息、提供數(shù)據(jù)預(yù)覽功能、學(xué)習(xí)互通量、有關(guān)學(xué)習(xí)推薦、資源評價功能學(xué)習(xí)申請對數(shù)據(jù)學(xué)習(xí)進行申請，填寫申請理由，對于有要求互通的數(shù)據(jù)學(xué)習(xí)申請，提供文件上傳功能，支持普通格式材料，大小不超過10M，無要求互通的數(shù)據(jù)提供文件下載功能學(xué)習(xí)箱提供同時申請多項數(shù)據(jù)學(xué)習(xí)功能，學(xué)習(xí)箱中展示所有申請學(xué)習(xí)，實現(xiàn)申請自動拆分，將多條申請分發(fā)到不同的單位進行申請審核，提供刪除申請學(xué)習(xí)、清空學(xué)習(xí)箱功能收藏將數(shù)據(jù)學(xué)習(xí)添加到收藏，可查看收藏，取消收藏學(xué)習(xí)分類檢索通過主題、智能單位、基礎(chǔ)箱三個維度展示數(shù)據(jù)學(xué)習(xí)的數(shù)量信息，提供搜索功能對三個維度的具體內(nèi)容進行搜索2、性能子模塊名稱性能描述學(xué)習(xí)列表學(xué)習(xí)列表加載時間不應(yīng)超過3s信息詳情查看響應(yīng)時間不應(yīng)超過3s學(xué)習(xí)申請響應(yīng)時間不應(yīng)超過3s學(xué)習(xí)箱響應(yīng)時間不應(yīng)超過3s收藏響應(yīng)時間不應(yīng)超過3s免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。學(xué)習(xí)分類檢索檢索時間不應(yīng)超過3s數(shù)據(jù)匯報用于對無法進行實時對接的數(shù)據(jù)進行網(wǎng)上填報本地數(shù)據(jù)人員登錄后的個性化工作臺包括我的申請、智能單位數(shù)據(jù)、學(xué)習(xí)管理、我的收藏、待辦審批、任務(wù)管理、賬戶管理等。1、功能子模塊名稱功能描述賬戶管理人員在此模塊中可以維護個人資料、密保問題和修改密碼。我的收藏該模塊包括人員收藏的應(yīng)用列表、學(xué)習(xí)列表。人員可對收藏的內(nèi)容進行快速訪問、查看詳情或取消收藏。我的申請該模塊包括應(yīng)用申請和學(xué)習(xí)申請。人員可查看申請的應(yīng)用、學(xué)習(xí)的詳情同時可掌握申請流轉(zhuǎn)審批狀態(tài),針對新應(yīng)用也可在此模塊中發(fā)起新的申請。學(xué)習(xí)注冊該模塊提供數(shù)據(jù)學(xué)習(xí)注冊入口，人員發(fā)起學(xué)習(xí)注冊申請，填寫學(xué)習(xí)的詳細信息，包括學(xué)習(xí)名稱、信息資源格式、資源分類、主題分類、業(yè)務(wù)類別、互通方式、互通類型、更新周期、是否開發(fā)、資源標簽、元信息信息等詳細內(nèi)容。學(xué)習(xí)注冊提交后，人員可在列表中查看所有注冊學(xué)習(xí)信息，同時可查看具體注冊詳情和審批流轉(zhuǎn)記錄，審批通過的學(xué)習(xí)提供學(xué)習(xí)變更功能。學(xué)習(xí)變更該模塊提供學(xué)習(xí)變更入口，學(xué)習(xí)變更申請發(fā)起后，人員可在列表中查看所有變更請求，同時可查看學(xué)習(xí)詳情和審批流轉(zhuǎn)記錄。學(xué)習(xí)變更申請發(fā)起后，人員可在列表中查看所有變更請求，同時可查看學(xué)習(xí)詳情和審批流轉(zhuǎn)記錄。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。待辦審批該模塊包含所有需要人員參與的審批流程。1. 學(xué)習(xí)申請審批：旨在針對其他智能單位或人員對我智能單位所擁有數(shù)據(jù)學(xué)習(xí)提出的使用申請進行審批。使用職責(zé)：智能單位數(shù)據(jù)管理者、信息辦人員，需要登錄2. 學(xué)習(xí)注冊審批：對各智能單位人員提交的學(xué)習(xí)注冊申請進行審批，適用于信息辦管理員和后臺管理員。3. 學(xué)習(xí)變更審批：對各智能單位人員提交的學(xué)習(xí)變更申請進行審批，適用于信息辦管理員和后臺管理員。4. 學(xué)習(xí)注銷審批：對各智能單位人員提交的學(xué)習(xí)注銷申請進行審批。5. 應(yīng)用申請審批：包括對已有應(yīng)用使用申請審批和新應(yīng)用申請審批，適用于信息辦管理員和后臺管理員。智能單位數(shù)據(jù)該模塊包含如下功能：1.信息源管理：提供智能單位人員進行新建、修改、刪除信息源功能，支持Oracle、Mysql、PostgreSQL、Hive、Presto等信息源。2.數(shù)據(jù)查詢：提供對個人信息源及通過數(shù)據(jù)學(xué)習(xí)申請到的信息源中的數(shù)據(jù)進行查詢的功能；提供對外Rest數(shù)據(jù)查詢接口，用來獲取學(xué)習(xí)申請通過后的數(shù)據(jù)，請求參數(shù)為人員名，密碼，元信息標識，所有接口參數(shù)采取加密措施。3.清洗結(jié)果：針對人員提交到臺的數(shù)據(jù)，臺清洗后反饋結(jié)果內(nèi)容。4.比對結(jié)果：針對人員提交到臺的數(shù)據(jù)，臺比對后反饋結(jié)果內(nèi)容。免責(zé)聲明，本資源僅供人員學(xué)習(xí)和技術(shù)研究探討使用，如果由于以上原因造成的版權(quán)糾紛，概不負責(zé)！希望人人都能擁有學(xué)習(xí)研究知識的機會。使用職責(zé)：智能單位數(shù)據(jù)使用者、智能單位數(shù)據(jù)管理者、信息辦人員，需要登錄2、性能子模塊名稱性能描述賬戶管理響應(yīng)時間不應(yīng)超過3s我的收藏響應(yīng)時間不應(yīng)超過3s我的申請響應(yīng)時間不應(yīng)超過3s學(xué)習(xí)注冊響應(yīng)時間不應(yīng)超過3s學(xué)習(xí)變更響應(yīng)時間不應(yīng)超過3s待辦審批響應(yīng)時間不應(yīng)超過3s智能單位數(shù)據(jù)響應(yīng)時間不應(yīng)超過3s數(shù)據(jù)互通管理臺資源管理運維人員通過此模塊可以對平臺中涉及的資源進行管理，包括應(yīng)用發(fā)布，內(nèi)容發(fā)布，學(xué)習(xí)管理等。1、功能子模塊名稱功能描述應(yīng)用發(fā)布新完成開發(fā)的應(yīng)用發(fā)布到應(yīng)用中心。內(nèi)容發(fā)布對通知公告、規(guī)章制度、標準規(guī)范、新聞動態(tài)等內(nèi)容進行發(fā)布管理。學(xué)習(xí)管理對線下收集到的資源