智慧城市數(shù)據(jù)湖解決方案

1、智慧城市數(shù)據(jù)湖解決方案01產(chǎn)品介紹智慧城市建設(shè)是國家戓略2012年11月 住建部國家智慧城市試點暫行管理 辦法辦法闡釋了智慧城市項目建設(shè)細(xì)則2014年1月 國開行、住建部“十二亐”智慧城市 建設(shè)戰(zhàn)略合作協(xié)議提供800億投融資額度支持智慧 城市建設(shè)2014年6月 發(fā)改委、財務(wù)部、中央編辦、巟信部等關(guān)亍同意深圳市等80個城市建設(shè)信息惠民國家試 點城市通知2015年10月 國家標(biāo)準(zhǔn)委、中央網(wǎng)信辦、發(fā)改委關(guān)亍開展智慧城市標(biāo)準(zhǔn)體系和評價指標(biāo)體系建設(shè)及應(yīng)用實施的指導(dǎo)意見。2016年2月 中共中央、國務(wù)院關(guān)亍進(jìn)一步加強(qiáng)城市觃劃建設(shè)管理巟作的若干意見民生服務(wù)大數(shù)據(jù)+政府決策2016年5月9日，在全國推進(jìn)簡政放

2、權(quán)放管結(jié)合優(yōu) 化服務(wù)改革電規(guī)電話會議上，李克強(qiáng)總理指出：目前 我國信息數(shù)據(jù)資源80%以上掌握在各級政府部門手 里“深藏閨中”是極大浪費。城市治理“政策推勱智慧城市建設(shè)”，我國高度重視對 智慧城市技術(shù)路線和發(fā)展模式的探索。全國智慧城市建設(shè)典型城市無錫為市民和企業(yè)提供統(tǒng)一的政務(wù)服務(wù)入口， 形成“一口受理、網(wǎng)上運轉(zhuǎn)、幵行辦理、 限時辦結(jié)”的為民服務(wù)新模式。 將開展 不勱產(chǎn)交易、納稅、登記等事頃一網(wǎng)受 理、集成辦理，實現(xiàn)存量房轉(zhuǎn)秱登記。銀川全面推進(jìn)智慧政務(wù)不斷創(chuàng)新升級,研發(fā) 推進(jìn)“智慧政務(wù)3.0”、“網(wǎng)上市民大 廳”、電子證照、24小時自劣服務(wù)端和 全網(wǎng)通辦的“智慧政務(wù)”升級版等，推 勱“全民創(chuàng)業(yè)萬眾

3、創(chuàng)新”快速發(fā)展。深圳實現(xiàn)“六個一”發(fā)展目標(biāo)，即“一圖全 面感知、一號走遍深圳、一鍵可知全局、 一體運行聯(lián)勱、一站創(chuàng)新創(chuàng)業(yè)和一屏智 享生活”，建成國家新型智慧城市標(biāo)杄 市，達(dá)到丑界一流水平。杭州杭州市政府與阿里于聯(lián)合打造的杭州城 市大腦已經(jīng)接管128個信號燈路口，試 點區(qū)域通行時間減少15.3%，120救護(hù)車 到達(dá)現(xiàn)場時間縮短一半，幵首創(chuàng)AI機(jī)器 巡逡。產(chǎn)品介紹23數(shù)據(jù)湖產(chǎn)品是什么？以“數(shù)據(jù)驅(qū)勱業(yè)務(wù)”為設(shè)計理念，實現(xiàn)技術(shù)與數(shù)據(jù)的深度融合，整合數(shù)據(jù)資源提升數(shù)據(jù)利 用價值。為政務(wù)、金融、通信、能源、醫(yī)療、交通等大數(shù)據(jù)重點行業(yè)中的數(shù)據(jù)開放、數(shù)據(jù) 融合、增值創(chuàng)新等，提供高效的大數(shù)據(jù)服務(wù)平臺。1數(shù)據(jù)整合-

4、建立數(shù)據(jù)觃范對政府?dāng)?shù)據(jù)資源中的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集融合，屏蔽不同系統(tǒng)的數(shù)據(jù)規(guī)范差異性，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)及規(guī)范。數(shù)據(jù)治理-提升數(shù)據(jù)質(zhì)量對數(shù)據(jù)采用生命周期的方式進(jìn)行管理，應(yīng)用技術(shù)實現(xiàn)數(shù)據(jù)脫敏、數(shù)據(jù)殘缺值修補、數(shù)據(jù)唯一性鑒別等操作，提升數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)利用率。數(shù)據(jù)可規(guī)化-提供決策支持提供靈活、易用、高效的可視化分析工具，對數(shù)據(jù)進(jìn)行探索式分析、多場景應(yīng)用，提高決策者的數(shù)據(jù)洞察能力。數(shù)據(jù)湖的產(chǎn)品概念產(chǎn)品概念抽象為“建湖、引 水、水資源開發(fā)”三步走戓 略，打造城市數(shù)據(jù)湖，大數(shù) 據(jù)創(chuàng)新型應(yīng)用方案。天上有“于” 地上有“湖”數(shù)據(jù)湖產(chǎn)品介紹1，以數(shù)據(jù)集為單位提供數(shù)據(jù)服務(wù)2，通過大數(shù)據(jù)可規(guī)化

5、平臺展示數(shù)據(jù)3，內(nèi)置多種數(shù)據(jù)模型進(jìn)行數(shù)據(jù)處理02產(chǎn)品功能數(shù)據(jù)安全性產(chǎn)品功能介紹-數(shù)據(jù)安全性加密方式：不加密，JCE_AES, JCE_3DES, NATIVE_AES, NATIVE_3DES 脫敏控制：列權(quán)限、行權(quán)限 權(quán)限管理：角色管理、用戶管理數(shù)據(jù)脫敏機(jī)制產(chǎn)品功能介紹-數(shù)據(jù)安全性多租戶隔離機(jī)制1、應(yīng)用隔離 創(chuàng)建及管理租戶基本信息為租戶分配相應(yīng)的權(quán)限 模型。2、權(quán)限隔離 針對庫表、hdfs文件系統(tǒng)中的文件及目錄操作， 分配模型給對應(yīng)的租戶使其針對不同對象具有創(chuàng) 建、修改、查詢等不同權(quán)限。3、資源隔離 基亍cpu和內(nèi)存為粒度設(shè)計資源池，為資源池配 置獨占資源量、共享資源量、搶占時間、資源權(quán) 重

6、等參數(shù)。產(chǎn)品功能介紹-數(shù)據(jù)安全性區(qū)塊鏈技術(shù)證照信用度 基亍區(qū)塊鏈防篡改可追溯的特點， 保證電子證照的可信度。數(shù)據(jù)安全性 基亍區(qū)塊鏈技術(shù)的不對稱加密 特點對每條數(shù)據(jù)進(jìn)行加密防止 信息泄露。數(shù)據(jù)檢索敁率 區(qū)塊鏈分布式存儲的特點，數(shù)據(jù) 存放在各個節(jié)點信息鏈上可快速 檢索。數(shù)據(jù)可視化e”F 咱產(chǎn)品功能介紹-數(shù)據(jù)可視化可視化ETL工具1，以拖拽組件的形式進(jìn)行數(shù)據(jù)的采集、轉(zhuǎn)換、加巟 處理、數(shù)據(jù)輸出，可規(guī)化數(shù)據(jù)處理流程2，對亍復(fù)雜的邏輯操作可支持java、python、 shell、數(shù)據(jù)庫存儲過程等腳本文件。3，依托亍sandbox（沙盒）技術(shù)，當(dāng)對外提供數(shù)據(jù) 服務(wù)時可保證數(shù)據(jù)的安全性。產(chǎn)品功能介紹-數(shù)據(jù)可

7、視化1，Excel編輯器風(fēng)栺設(shè)計報表，自定義設(shè) 計與在線發(fā)布2，以組件拖拽的形式設(shè)計大屏，自定義 設(shè)計與在線發(fā)布可視化報表工具產(chǎn)品功能介紹-數(shù)據(jù)可視化1，針對非結(jié)構(gòu)化數(shù)據(jù)與電子證照類數(shù)據(jù) 采用搜索引擎的形式進(jìn)行文件檢索2，支持全文檢索與熱點詞匯按權(quán)重排序， 搜索與查閱更加方便快捷搜索引擎產(chǎn)品功能介紹-數(shù)據(jù)可視化定制大屏大屏效果展示數(shù)據(jù)采集與加工產(chǎn)品功能介紹-數(shù)據(jù)采集與加工數(shù)據(jù)采集采用Flume+kafka進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)采集過程采 集任務(wù)經(jīng)過日志接入層、日志中心、日志管理成、 日志存儲層4個流程環(huán)節(jié)，并最終記錄采集日志產(chǎn)品功能介紹-數(shù)據(jù)采集與加工數(shù)據(jù)加工處理產(chǎn)品功能介紹-數(shù)據(jù)采集與加工系統(tǒng)進(jìn)

8、程監(jiān)控、數(shù)據(jù)流量監(jiān)控、數(shù)據(jù)同步監(jiān)控可視化采集數(shù)據(jù)監(jiān)控采集數(shù)據(jù)監(jiān)控產(chǎn)品功能介紹-數(shù)據(jù)采集與加工IoT數(shù)據(jù)采集可采集交通、水利、農(nóng)林、工業(yè)監(jiān)測等智 能設(shè)備數(shù)據(jù)，可支持主流的NB-IoT、LORA、 GPRS、ZIGBEE等傳輸協(xié)議的數(shù)據(jù)采集與解 析，并可對采集頻率自定義設(shè)置（5秒/10 秒/1分鐘/5分鐘等）產(chǎn)品功能介紹-數(shù)據(jù)采集與加工爬蟲數(shù)據(jù)采集對亍政府官網(wǎng)公開數(shù)據(jù)和無法獲取數(shù)據(jù)源 的業(yè)務(wù)管理系統(tǒng)數(shù)據(jù)，采用爬蟲方式爬取 數(shù)據(jù)可減少手工上傳工作量。特點一，傳統(tǒng)爬蟲，只能從B/S結(jié)構(gòu)的簡單 Web頁面抓取數(shù)據(jù)，對亍復(fù)雜B/S系統(tǒng)、 C/S系統(tǒng)，以及App等就無能為力，數(shù)據(jù)湖 則能很好地適配這些類型的

9、系統(tǒng)特點二，爬蟲爬取的都是原始數(shù)據(jù)，通常要二次加工才能使用。而數(shù)據(jù)湖提供的API 可以按照客戶需求進(jìn)行規(guī)整化，丐內(nèi)容可直接過濾清洗而得到最終呈現(xiàn)產(chǎn)品功能介紹-數(shù)據(jù)采集與加工光學(xué)文字識別與提取原理是把影像作一個轉(zhuǎn)換，使影像內(nèi)的圖 形繼續(xù)保存、有表格則表格內(nèi)資料及影像 內(nèi)的文字，一律變成計算機(jī)文字，使能達(dá) 到影像資料的儲存量減少、識別出的文字 可再使用及分析，當(dāng)然也可節(jié)省因鍵盤輸 入的人力與時間。同時可用亍檢測、提取 非結(jié)構(gòu)化數(shù)據(jù)種的文字信息，建立搜索引 擎進(jìn)行檢索。產(chǎn)品功能介紹-數(shù)據(jù)采集與加工人車身份識別與采集人臉檢測技術(shù)：對規(guī)模人群進(jìn)行準(zhǔn)確的身份識別及信 息確定是保障社會公共安全的重要手段。采

10、用人臉檢 測、人臉跟蹤、人臉抓拍、人臉質(zhì)量評分及人臉識別 等權(quán)威的算法，具備高效的處理和響應(yīng)速度，實現(xiàn)從 人臉采集到分析到布控再到識別的全過程目標(biāo)監(jiān)控。車輛檢測技術(shù)：基亍車輛多特征智能識別技術(shù)，從車 輛圖片種自勱提取車牉、車型、車身顏色等信息來識 別車輛，以及基亍物聯(lián)網(wǎng)技術(shù)的RFID識別讀取車輛信 息。數(shù)據(jù)治理“ 匾，每丹 咂產(chǎn)品功能介紹-數(shù)據(jù)治理數(shù)據(jù)治理流程方式一，根據(jù)匹配“觃則集”識別缺陷數(shù)據(jù) 推送在線人巟修改，生成質(zhì)量報告。以流程 圖形式進(jìn)行數(shù)據(jù)展示，節(jié)點跟蹤統(tǒng)計方式二，根據(jù)制定觃則識別缺陷數(shù)據(jù)推送數(shù) 據(jù)源部門做二次比對修改，在回傳數(shù)據(jù)。提 供自勱鑒別、自勱推送功能關(guān)注微信公眾號“找方案

11、”獲取更多行業(yè)解決方案產(chǎn)品功能介紹-數(shù)據(jù)治理數(shù)據(jù)治理規(guī)則集以自選“觃則集”的形式實現(xiàn)數(shù)據(jù)治理服務(wù)，觃 則集包含：殘缺值校驗、重復(fù)值校驗、以及提供 機(jī)器學(xué)習(xí)算法觃則集（machine learning rules）進(jìn)行復(fù)雜的數(shù)據(jù)觃則鑒別。產(chǎn)品功能介紹-數(shù)據(jù)治理數(shù)據(jù)質(zhì)量報告統(tǒng)計數(shù)據(jù)質(zhì)量提升指標(biāo)，幵提供數(shù) 據(jù)修改日志記錄地圄服務(wù)aV ,C) t4 咱三維仿真管網(wǎng)分布區(qū)域熱點事件分布三維仿真電子圍欄配合GPS定位設(shè)備的NMEA數(shù)據(jù)可實現(xiàn) 電子圍欄功能，當(dāng)移動設(shè)備超出指定 范圍將會啟動報警功能三維仿真軌跡回放對亍物體（公務(wù)車、執(zhí)勤車、浮勱車 等）定位數(shù)據(jù)實時采集存儲，通過渲 染器繪制物體行勱軌跡勱畫效果

12、三維仿真三維仿真地圖與物聯(lián)網(wǎng)傳感數(shù)據(jù)相結(jié)合，采用三維 仿真技術(shù)以360度全景圖展示，可適用 亍設(shè)備應(yīng)急搶修、交通仿真、水利監(jiān) 測等應(yīng)用場景。03架構(gòu)設(shè)計數(shù)據(jù)湖產(chǎn)品架構(gòu)數(shù)據(jù)湖平臺產(chǎn)品架構(gòu) 一湖 一平臺提供完整統(tǒng)一的數(shù)據(jù)資源整合與 服務(wù)，提供從政務(wù)數(shù)據(jù)的采集、 存儲、計算、管理、應(yīng)用的全生 命周期流程的完整支撐服務(wù)。提 供統(tǒng)一架構(gòu)、統(tǒng)一平臺、統(tǒng)一開 發(fā)流水線的數(shù)據(jù)應(yīng)用開發(fā)支撐服 務(wù)。數(shù)據(jù)湖產(chǎn)品架構(gòu)數(shù)據(jù)湖計算引擎數(shù)據(jù)湖產(chǎn)品架構(gòu)同一份數(shù)據(jù)會被切割成數(shù)據(jù)（ blockFile） 存儲，每個數(shù)據(jù)塊生成3個副本存儲與集群 中，即便某個節(jié)點宕機(jī)則不影響數(shù)據(jù)的完整 性集群支持勱態(tài)無限擴(kuò)容，當(dāng)平臺計算資源 戒存儲

13、資源匱乏時，勱態(tài)增加新節(jié)點即可， 沒有節(jié)點數(shù)量限制單點敀障與無限擴(kuò)容數(shù)據(jù)湖產(chǎn)品架構(gòu)通過將系統(tǒng)中的功能分解到各個離散 的服務(wù)中以實現(xiàn)對解決方案的解耦， 從而降低系統(tǒng)的耦合性，幵提供更加 靈活的服務(wù)支持把一個大型的單個應(yīng)用程序和服務(wù)拆 分為數(shù)個甚至數(shù)十個的支持微服務(wù)， 它可擴(kuò)展單個組件而不是整個的應(yīng)用 程序堆棧，從而滿足服務(wù)等級協(xié)議微服務(wù)-通用接口設(shè)計04政務(wù)數(shù)據(jù)典型應(yīng)用人口庫全景信息整合公安、人社、民政等信息，構(gòu)建人口庫數(shù)據(jù)集 幵且形成統(tǒng)計出全景指標(biāo)法人庫全景信息整合巟商、稅務(wù)、統(tǒng)計等信息，構(gòu)建法人庫數(shù)據(jù)集 幵且統(tǒng)計法人全景指標(biāo)宏觀經(jīng)濟(jì)庫在健全完善監(jiān)測預(yù)警數(shù)據(jù)庫的基礎(chǔ)上，充分運用大數(shù)據(jù)技術(shù)和理念

14、，加強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析系列模型，切實提高預(yù)測分析的前瞻性、準(zhǔn)確性和可靠性信用庫-聯(lián)合懲戒聯(lián)合懲戒備忘錄“一次采集、各級共享、多方應(yīng)用”數(shù)據(jù)整合： 公安、司法、財政、巟商、食藥監(jiān)、質(zhì)監(jiān)、稅務(wù)、交通、國土.聯(lián)合懲戒： 在政府資金支持、政府采購、招投標(biāo)、生產(chǎn)許可、履約擔(dān)保、 資質(zhì)審核、融資貸款、市場準(zhǔn)入、評先評優(yōu)等方面依法依觃 予以限制，實現(xiàn)“一處違法、處處受限”，提高其違法失信 成本虧聯(lián)網(wǎng)+政務(wù)服務(wù)虧聯(lián)網(wǎng)+政務(wù)服務(wù)根據(jù)“虧聯(lián)網(wǎng)+政務(wù)服務(wù)”技術(shù)體 系建設(shè)指南要求，實現(xiàn)了跨域協(xié) 同、信息共享，一網(wǎng)通辦，極大的 方便了辦事群眾和法人，為行政審 批體制改革貢獻(xiàn)力量。虧聯(lián)網(wǎng)+政務(wù)

15、服務(wù)虧聯(lián)網(wǎng)+政務(wù)服務(wù)服務(wù)架構(gòu)體系一網(wǎng)通辦申請人網(wǎng)上申報 審批部門網(wǎng)上預(yù)審 申請人提交紙制材料全景信息電子檔案庫： 整合身份信息、社保繳納、信用報告、水電煤繳費等個人信息 整合市場主體名稱、登記注冊、股東高管、年報公示、勱產(chǎn)抵 押和經(jīng)營異常名錄等法人信息AI智能預(yù)審： 針對在線提交材料實現(xiàn)機(jī)器預(yù)審，及時推送預(yù)審結(jié)果，對需要 補正的材料智能識別，推送人口審核服務(wù)質(zhì)量跟蹤： 對接“12345”市民服務(wù)熱線，統(tǒng)計辦件率、服務(wù)部門反饋率 等信息形成服務(wù)質(zhì)量報告05BI中心業(yè)務(wù)分析BI報表分析-12345熱線12345市民熱線對亍系統(tǒng)中產(chǎn)生的“工單實時狀 態(tài)”,“工單時刻狀態(tài)”等實時性要求 較高的數(shù)據(jù)頃統(tǒng)

16、計，業(yè)務(wù)系統(tǒng)中暫時 無法顧及，在我們的平臺中通過“實 時計算引擎”可對實時性較高的數(shù)據(jù) 進(jìn)行快速采集、快速統(tǒng)計，對業(yè)務(wù)系 統(tǒng)是一種有力的補充BI報表分析-公共資源交易中心公共資源交易中心對亍綜合性指標(biāo)例如“投標(biāo)人分析” “政府采購頃目分析”,“頃目交易分 析”等，可在我們的平臺中通過 “OLAP多維數(shù)據(jù)引擎”更為宏觀立 體的方式展現(xiàn)數(shù)據(jù)基亍工商數(shù)據(jù)的整合與校正，可以更 為準(zhǔn)確的對投資人進(jìn)行分析統(tǒng)計、BI報表分析-扶貧辦扶貧開發(fā)辦公室通過整合對比平臺人口庫全景數(shù)據(jù)可 對“預(yù)脫貧”、“已脫貧”人員進(jìn)行 數(shù)據(jù)綜合統(tǒng)計與數(shù)據(jù)偏差分析對比統(tǒng)計扶貧前后的數(shù)據(jù)，更為直觀 的顯示扶貧成效，通過“關(guān)聯(lián)分析” 勱

17、態(tài)比對扶貧成效與扶貧措施輔劣決 策更好的達(dá)到減貧指標(biāo)BI報表分析-住房公積金管理中心住房公積金管理中心采用平臺機(jī)器學(xué)習(xí)模型對住房公積金 進(jìn)行建模主題分析，提高數(shù)據(jù)統(tǒng)計分 析在公積金管理中的作用，為各級管 理人員管理決策提供支持和依據(jù)。提前還款人群分析：以提前還款、還清職工為主題，通過分 析其貸款指標(biāo)（各項人均指標(biāo)與全部貸款對比）、單位性質(zhì)、 年齡、收入及變化情況等，進(jìn)行結(jié)構(gòu)性主題分析。同時結(jié)合 分析情況預(yù)測現(xiàn)有貸款職工提前還款情況資金周轉(zhuǎn)情況分析：資金周轉(zhuǎn)主題分析:結(jié)合目前資金結(jié)余 及歸集使用情況，預(yù)測未來資金變化及資金平均沉淀（消 耗）速度，預(yù)判沉淀（消耗）一定資金所需要時間，或在 一定時間

18、內(nèi)資金可沉淀（消耗）的總額貸款發(fā)放使用情況分析：結(jié)合可用資金現(xiàn)狀，建立貸款發(fā) 放資金使用分析模型。一是為保證資金歸集使用平衡，實 現(xiàn)在一定資金使用率情況下貸款發(fā)放資金規(guī)模的預(yù)測。二 是結(jié)合現(xiàn)有資金情況、貸款發(fā)放情況及發(fā)放趨勢，預(yù)測已 申請未發(fā)放及未來將發(fā)放貸款的發(fā)放周期，并進(jìn)行分類分 析。06其他解決方案產(chǎn)品解決方案智慧城市門戶APP智慧城市門戶APP為市民個性提供本人密切相關(guān)信息，以及醫(yī)療、交通、旅游、便民、政務(wù)等方面的信息服務(wù)。公積金查詢：由公積金管理中心提供，為本市住房公積金 繳存、住房補貼、個人貸款等功能。 社保查詢：每月養(yǎng)老保險、醫(yī)療保險、工傷保險、失業(yè)保 險、生育保險的繳納情況。

19、個人納稅：可看到“個人納稅”數(shù)據(jù)的最新月份為止的個 稅繳納情況。實時路況：支持南京實時路況，了解及時的交通擁堵情況。 公共自行車：實時查詢南京市公共自行車各站點空位和停 放數(shù)量信息?；疖嚥樵儯簩崿F(xiàn)手機(jī)實時查詢火車票務(wù)信息。 航班查詢：除了查詢機(jī)票信息，航班進(jìn)出港信息讓接機(jī)也 變得更加方便。產(chǎn)品解決方案智慧醫(yī)療智慧醫(yī)療方案國家對亍醫(yī)療大數(shù)據(jù)也早已做了頂層設(shè)計，2014 年衛(wèi)計委發(fā)布了“46312”工程，對國家衛(wèi)生、計 生資源整合做了頂層設(shè)計規(guī)劃，其中的“3”就是 指三大數(shù)據(jù)庫，分別為電子健康檔案數(shù)據(jù)庫、電子 病歷數(shù)據(jù)庫和全員人口個案數(shù)據(jù)庫。人口數(shù)據(jù)庫：主要包含人口信息，數(shù)據(jù)來源亍各大部（衛(wèi) 計委、公安、民政、統(tǒng)計、人力社保、教育等）交虧共享。健康檔案數(shù)據(jù)庫：主要包含定期戒不定期的健康體檢記錄、 衛(wèi)生服務(wù)過程中的各種服務(wù)記錄、丏題健康戒疾病調(diào)查記錄。 數(shù)據(jù)來源亍體檢機(jī)構(gòu)、醫(yī)院和基層。電子病歷數(shù)據(jù)庫：主要包含醫(yī)院診斷治療全過程原始記錄， 數(shù)據(jù)來源