湖倉(cāng)一體大數(shù)據(jù)平臺(tái)解決方案相關(guān)兩份資料

湖倉(cāng)一體大數(shù)據(jù)平臺(tái)解決方案湖倉(cāng)一體大數(shù)據(jù)平臺(tái)概述湖倉(cāng)一體大數(shù)據(jù)平臺(tái)，承擔(dān)了企業(yè)數(shù)據(jù)治理、開(kāi)發(fā)、管理等職責(zé)，往下集成數(shù)據(jù)，往上搭載應(yīng)用。通過(guò)數(shù)據(jù)同步、研發(fā)、運(yùn)維、服務(wù)及治理等過(guò)程，對(duì)企業(yè)大數(shù)據(jù)進(jìn)行智能管理，形成企業(yè)的數(shù)據(jù)資產(chǎn)。湖倉(cāng)一體大數(shù)據(jù)平臺(tái)架構(gòu)基礎(chǔ)設(shè)施阿里云本地IDC…H為云電信云騰訊云AzureAWS京東云引擎層S-EMR阿里云-EMRAWS-EMRH為云-MRS星環(huán)-TDH數(shù)據(jù)集成數(shù)據(jù)研發(fā)數(shù)據(jù)運(yùn)維數(shù)據(jù)服務(wù)數(shù)據(jù)治理數(shù)據(jù)工廠規(guī)范建模指標(biāo)管理參數(shù)配置API工廠腳本/向?qū)Ｊ阶远x函數(shù)導(dǎo)入在線測(cè)試數(shù)據(jù)查詢標(biāo)簽工廠實(shí)體管理標(biāo)簽管理任務(wù)管理算法工廠算法開(kāi)發(fā)資源管理指標(biāo)運(yùn)維指標(biāo)任務(wù)監(jiān)控指標(biāo)查詢常規(guī)運(yùn)維數(shù)據(jù)生產(chǎn)運(yùn)維數(shù)據(jù)質(zhì)量運(yùn)維API中心

API授權(quán)API調(diào)用數(shù)據(jù)訂閱標(biāo)簽中心量級(jí)、覆蓋率標(biāo)簽值分布控制臺(tái)項(xiàng)目管理子賬號(hào)管理角色權(quán)限管理工作空間管理AccessKey管理平臺(tái)安全設(shè)置數(shù)據(jù)地圖數(shù)據(jù)管理類目管理常規(guī)開(kāi)發(fā)離線開(kāi)發(fā)實(shí)時(shí)開(kāi)發(fā)數(shù)據(jù)安全數(shù)據(jù)脫敏數(shù)據(jù)加密數(shù)據(jù)規(guī)劃資產(chǎn)盤(pán)點(diǎn)資產(chǎn)盤(pán)點(diǎn)報(bào)告元數(shù)據(jù)管理生命周期治理項(xiàng)管理治理效果分析全鏈血緣元數(shù)據(jù)檢索元數(shù)據(jù)分析數(shù)據(jù)探查探查報(bào)告探查任務(wù)配置探查實(shí)例管理數(shù)據(jù)源管理數(shù)據(jù)源數(shù)據(jù)文件規(guī)范建表可視化建表DDL建表數(shù)據(jù)同步離線同步實(shí)時(shí)同步API運(yùn)維配置、告警安全組配置標(biāo)簽運(yùn)維標(biāo)簽任務(wù)監(jiān)控標(biāo)簽查詢算法運(yùn)維算法任務(wù)監(jiān)控配置及告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)覆蓋率評(píng)估2.湖倉(cāng)一體數(shù)倉(cāng)建設(shè)思路傳統(tǒng)數(shù)倉(cāng)的問(wèn)題技術(shù)架構(gòu)實(shí)時(shí)指標(biāo)煙囪式開(kāi)發(fā)效率低門(mén)檻高平臺(tái)管理開(kāi)發(fā)效率實(shí)時(shí)離線架構(gòu)不統(tǒng)一依賴離線T+1導(dǎo)出報(bào)表缺少實(shí)時(shí)元數(shù)據(jù)管理未打通實(shí)時(shí)離線數(shù)據(jù)的聯(lián)系寬表建設(shè)平臺(tái)治理批流統(tǒng)一湖倉(cāng)一體數(shù)倉(cāng)建設(shè)思路統(tǒng)一數(shù)倉(cāng)標(biāo)準(zhǔn)與元數(shù)據(jù)基于SQL統(tǒng)一開(kāi)發(fā)流程引入Hudi加速寬表產(chǎn)出基于FlinkSQL構(gòu)建實(shí)時(shí)數(shù)倉(cāng)數(shù)倉(cāng)平臺(tái)化建設(shè)數(shù)據(jù)統(tǒng)一接入開(kāi)發(fā)元數(shù)據(jù)管理統(tǒng)一規(guī)范體系(1/3)設(shè)計(jì)規(guī)范命名規(guī)范模型規(guī)范數(shù)倉(cāng)規(guī)范開(kāi)發(fā)規(guī)范存儲(chǔ)規(guī)范流程規(guī)范業(yè)務(wù)板塊規(guī)范定義模型設(shè)計(jì)數(shù)據(jù)應(yīng)用業(yè)務(wù)系統(tǒng)業(yè)務(wù)板塊2業(yè)務(wù)板塊1業(yè)務(wù)源數(shù)據(jù)1業(yè)務(wù)源數(shù)據(jù)2業(yè)務(wù)源數(shù)據(jù)3……數(shù)據(jù)域/主題域統(tǒng)計(jì)粒度(維度組合)一致性維度修飾詞派生指標(biāo)原子指標(biāo)（業(yè)務(wù)過(guò)程+度量）維表（DIM）把邏輯維度物理化的寬表統(tǒng)計(jì)周期(時(shí)間維)匯總事實(shí)表（DWS）把明細(xì)事實(shí)聚合的事實(shí)表數(shù)據(jù)應(yīng)用層（ADS）業(yè)務(wù)過(guò)程事務(wù)事實(shí)表(DWD)最原始粒度的明細(xì)數(shù)據(jù)維度屬性統(tǒng)一規(guī)范，OneData建模方法論(2/3)統(tǒng)一規(guī)范，可視化建模工具(3/3)統(tǒng)一元數(shù)據(jù)價(jià)值主張：理清數(shù)據(jù)字典，了解數(shù)據(jù)來(lái)龍去脈特點(diǎn)：豐富的采集適配器、智能識(shí)別關(guān)系、豐富的元數(shù)據(jù)分析和檢核元數(shù)據(jù)采集元數(shù)據(jù)分析元數(shù)據(jù)變更數(shù)據(jù)地圖適配器管理采集源采集任務(wù)配置采集日志入庫(kù)審核影響分析依賴分析血緣分析全鏈分析關(guān)聯(lián)度分析屬性差異分析表關(guān)聯(lián)關(guān)系字段關(guān)系變更查詢變更訂閱元數(shù)據(jù)核檢一致性核檢組合關(guān)系數(shù)據(jù)處理關(guān)系屬性填充率名稱重復(fù)率基于SQL統(tǒng)一開(kāi)發(fā)流程afhaTableSQL離線批處理實(shí)時(shí)流處理即席查詢Lambda架構(gòu)Lambda架構(gòu)的主要思想：將大數(shù)據(jù)系統(tǒng)架構(gòu)分為三層:批處理層（BatchLayer）、實(shí)時(shí)計(jì)算層（SpeedLayer）、服務(wù)層（ServingLayer）優(yōu)點(diǎn)：（1）數(shù)據(jù)的不可變性（2）強(qiáng)調(diào)了數(shù)據(jù)的重新計(jì)算問(wèn)題缺點(diǎn)：雙重計(jì)算+雙重服務(wù)，且要求查詢得到的是兩個(gè)系統(tǒng)結(jié)果的合并，增加了運(yùn)維成本輸入數(shù)據(jù)流批處理數(shù)據(jù)流實(shí)時(shí)計(jì)算數(shù)據(jù)流預(yù)處理結(jié)果增量處理結(jié)果批處理流處理批處理層即席查詢API服務(wù)自助取數(shù)批處理視圖增量處理視圖服務(wù)層實(shí)時(shí)計(jì)算層Lambda架構(gòu)-數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveHiveHiveDWSKafkaDWDKafkaETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLETLKafkaHiveODS大數(shù)據(jù)平臺(tái)技術(shù)棧實(shí)時(shí)計(jì)算總體技術(shù)架構(gòu)：實(shí)時(shí)同步業(yè)務(wù)系統(tǒng)數(shù)據(jù)、IoT等數(shù)據(jù)到Flink，實(shí)時(shí)計(jì)算指標(biāo)和標(biāo)簽大數(shù)據(jù)平臺(tái)Kafka數(shù)據(jù)源Flink數(shù)據(jù)處理Data

APIPrestoimpala數(shù)據(jù)服務(wù)報(bào)表應(yīng)用數(shù)據(jù)消費(fèi)預(yù)警數(shù)據(jù)存儲(chǔ)OGGPG數(shù)據(jù)源MySQL解析層分布式消息隊(duì)列流計(jì)算平臺(tái)結(jié)果數(shù)據(jù)層數(shù)據(jù)接口層應(yīng)用層Oracle數(shù)據(jù)源MySQL數(shù)據(jù)源層clickhouseIoTMQTTkuduStarRocks原DorisDBKappa架構(gòu)針對(duì)Lambda架構(gòu)的缺點(diǎn)，LinkedIn的JayKreps提出了Kappa架構(gòu)：統(tǒng)一的計(jì)算引擎代替多個(gè)引擎優(yōu)點(diǎn)：（1）架構(gòu)簡(jiǎn)單，生產(chǎn)統(tǒng)一（2）一套邏輯，維護(hù)簡(jiǎn)單缺點(diǎn)：（1）適用場(chǎng)景的通用性不高（2）大數(shù)據(jù)量回溯成本高，生產(chǎn)壓力大（3）流式計(jì)算結(jié)果不準(zhǔn)確，和實(shí)時(shí)計(jì)算結(jié)果逐漸形成差異，最終需要對(duì)賬輸入數(shù)據(jù)流FlinkODSDWDDWSKafkaKafkaKafka流處理服務(wù)DB應(yīng)用Kappa架構(gòu)-數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveDWS

DWD

ETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLKafkaODSKafkaKafka方案對(duì)比與實(shí)際需求引入數(shù)據(jù)湖Hudi加速寬表構(gòu)建KafkaOff-lineETLFull

Dataincrementdata

databasesKafkaDorisDBkuduclickhouseHudi架構(gòu)圖增量實(shí)時(shí)更新時(shí)間漫游Hudi數(shù)據(jù)湖典型PipelineHudi數(shù)據(jù)湖關(guān)鍵特性引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體架構(gòu)

MySQLOracleSQLServerPostgreSQLRedis結(jié)構(gòu)化數(shù)據(jù)MongoDBJSONXMLCSVKafkaORC半結(jié)構(gòu)化數(shù)據(jù)Parquet音頻視頻文檔電子郵件非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源DataX（批量同步）API接口（Restful）數(shù)據(jù)集成文件直傳Flink-CDC（流式寫(xiě)入）Flink計(jì)算/分析引擎計(jì)算引擎SparkHive機(jī)器學(xué)習(xí)訓(xùn)練Presto分析引擎Impala元數(shù)據(jù)管理ApacheHudi數(shù)據(jù)湖-存儲(chǔ)存儲(chǔ)對(duì)象S3OSSCOSHDFSAPI服務(wù)機(jī)器學(xué)習(xí)推理數(shù)據(jù)服務(wù)消息訂閱數(shù)據(jù)應(yīng)用大數(shù)據(jù)平臺(tái)湖倉(cāng)一體平臺(tái)智能推薦BI報(bào)表即席查詢?nèi)四樧R(shí)別數(shù)據(jù)大屏引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體數(shù)倉(cāng)分層結(jié)構(gòu)DIMRedisHBaseESMySQLADSKafkaESHBaseHiveHiveHiveDWSKafkaDWDKafkaETLPrestoOLAPClichHouseDorisDBSourceMessae

QueueRDS/

binlogSQLSQLSQLSQLSQLCDCSQLETLHudi

on

FlinkHudi

on

FlinkHudi

on

FlinkKafkaHive引入數(shù)據(jù)湖Hudi-湖倉(cāng)一體產(chǎn)品核心功能批量集成適用于需要進(jìn)行復(fù)雜數(shù)據(jù)清理和轉(zhuǎn)換、數(shù)據(jù)量較大的場(chǎng)景實(shí)時(shí)集成適用于需要高可用性和對(duì)數(shù)據(jù)源影響小的場(chǎng)景。使用基于日志的CDC捕獲數(shù)據(jù)變更，實(shí)時(shí)獲取數(shù)據(jù)消息集成通常通過(guò)API捕獲或提取數(shù)據(jù)，適用于處理不同數(shù)據(jù)結(jié)構(gòu)以及需要高可靠性和復(fù)雜轉(zhuǎn)換的場(chǎng)景數(shù)據(jù)集成：結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的發(fā)現(xiàn)與更新，在數(shù)據(jù)湖創(chuàng)建數(shù)據(jù)庫(kù)、表及分區(qū)半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)發(fā)現(xiàn)，在數(shù)據(jù)湖中存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)發(fā)現(xiàn)，在數(shù)據(jù)湖中存儲(chǔ)數(shù)據(jù)湖管理：數(shù)據(jù)智能加工通過(guò)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等智能算法對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行學(xué)習(xí)，訓(xùn)練加工成結(jié)構(gòu)化數(shù)據(jù)，供數(shù)據(jù)研發(fā)和分析使用離線計(jì)算大規(guī)模數(shù)據(jù)周期性批量計(jì)算數(shù)據(jù)研發(fā)：實(shí)時(shí)計(jì)算根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)實(shí)時(shí)研發(fā)與分析湖倉(cāng)一體-HudiOnFlink的實(shí)現(xiàn)KafkaKafkaSourceGeneratorBinlogRecordInstantTimeFileIndexerWriteProcessOperatorFileIndexerWriteProcessOperator

CommitSinkMetadataPartitionerFileIndexerWriteProcessOperatorcheckpoint湖倉(cāng)一體平臺(tái)建設(shè)Table&SQL數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)接入元數(shù)據(jù)管理實(shí)時(shí)數(shù)倉(cāng)3.湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品湖倉(cāng)一體大數(shù)據(jù)平臺(tái)核心功能-①實(shí)時(shí)數(shù)據(jù)接入獲取Schema

選擇數(shù)據(jù)源自動(dòng)接入接入配置湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能·實(shí)時(shí)同步+實(shí)時(shí)開(kāi)發(fā)+實(shí)時(shí)運(yùn)維配置來(lái)源表信息實(shí)時(shí)同步配置目標(biāo)表Kafka信息通道控制設(shè)置實(shí)時(shí)開(kāi)發(fā)源表中配置Kafka信息結(jié)果表中配置Kafka寫(xiě)入的目標(biāo)庫(kù)信息維表信息實(shí)時(shí)運(yùn)維發(fā)布至運(yùn)維設(shè)置啟停與告警設(shè)置告警規(guī)則設(shè)置監(jiān)控范圍湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑤元數(shù)據(jù)實(shí)時(shí)更新CDCSourceDatabaseSchemaTransformDDLDML

BinlogKafka

SinkAVROKafka

BinlogKafka

SourceHudiSinkCheckpointMetadataReportFetch湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑥數(shù)據(jù)資產(chǎn)管理體系湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品核心功能-⑦性能壓測(cè)壓測(cè)場(chǎng)景：Oracle數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)計(jì)算寫(xiě)到MySQL目標(biāo)數(shù)據(jù)庫(kù)，內(nèi)含Oracle數(shù)據(jù)源到Kafka、Kafka消費(fèi)、寫(xiě)入MySQL目標(biāo)數(shù)據(jù)庫(kù)數(shù)據(jù)準(zhǔn)備：?jiǎn)螚l數(shù)據(jù)20個(gè)字段，228個(gè)字節(jié)，Oracle源數(shù)據(jù)庫(kù)200w條壓測(cè)結(jié)果：壓測(cè)場(chǎng)景單條數(shù)據(jù)量壓測(cè)數(shù)據(jù)量壓測(cè)鏈路壓測(cè)結(jié)果Kafka生產(chǎn)與消費(fèi)20個(gè)字段，228個(gè)字節(jié)40WMySQL數(shù)據(jù)源到Kafka耗時(shí)46s（qps：8700）Kafka消費(fèi)耗時(shí)4.6s（qps：8.7W）實(shí)時(shí)計(jì)算Oracle-MySQL20個(gè)字段，228個(gè)字節(jié)40WOracle數(shù)據(jù)源數(shù)據(jù)新增到新增數(shù)據(jù)寫(xiě)到目標(biāo)數(shù)據(jù)庫(kù)MySQL（3進(jìn)程，分配內(nèi)存3G）qps：377840W*5qps：3715實(shí)時(shí)計(jì)算MySQL-Kudu20個(gè)字段，228個(gè)字節(jié)40WMySQL數(shù)據(jù)新增，經(jīng)過(guò)Flink實(shí)時(shí)計(jì)算寫(xiě)到Kudu表中qps：5250結(jié)論：實(shí)時(shí)計(jì)算支持主流數(shù)據(jù)庫(kù)1500萬(wàn)/小時(shí)的數(shù)據(jù)處理能力，且資源占用較低湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品未來(lái)支持功能-①增強(qiáng)SQL能力更多語(yǔ)法與特性支持更多數(shù)據(jù)源支持任務(wù)自動(dòng)調(diào)優(yōu)湖倉(cāng)一體大數(shù)據(jù)平臺(tái)產(chǎn)品未來(lái)支持功能-②精細(xì)化資源管理自動(dòng)擴(kuò)容縮容細(xì)粒度資源調(diào)度FlinkonK8s4、Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景問(wèn)題不支持事務(wù)由于傳統(tǒng)大數(shù)據(jù)方案不支持事務(wù)，有可能會(huì)讀到未寫(xiě)完成的數(shù)據(jù)，造成數(shù)據(jù)統(tǒng)計(jì)錯(cuò)誤。數(shù)據(jù)更新效率低業(yè)務(wù)系統(tǒng)庫(kù)的數(shù)據(jù)，除流水表類的數(shù)據(jù)都是新增數(shù)據(jù)外，還有很多狀態(tài)類數(shù)據(jù)表需要更新操作（例如：賬戶余額表，客戶狀態(tài)表，設(shè)備狀態(tài)表等），而傳統(tǒng)大數(shù)據(jù)方案無(wú)法滿足增量更新，常采用拉鏈方式，先進(jìn)行join操作再進(jìn)行insertoverwrite操作，通過(guò)覆蓋寫(xiě)的方式完成更新操作，該操作往往需要T+1的批處理模式，從而導(dǎo)致端到端數(shù)據(jù)時(shí)延T+1，存在效率低、成本高等問(wèn)題。無(wú)法及時(shí)應(yīng)對(duì)業(yè)務(wù)表變化上游業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)schema發(fā)生變更后，會(huì)導(dǎo)致數(shù)據(jù)無(wú)法入倉(cāng)，需要數(shù)據(jù)倉(cāng)庫(kù)的表schema進(jìn)行同步調(diào)整。從技術(shù)實(shí)現(xiàn)上采用數(shù)據(jù)表重建的方式來(lái)滿足該場(chǎng)景，導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)表的管理與維護(hù)方案復(fù)雜，實(shí)現(xiàn)成本高。歷史快照表數(shù)據(jù)冗余傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)方案需要對(duì)歷史的快照表進(jìn)行存儲(chǔ)，采用全量歷史存儲(chǔ)的方式實(shí)現(xiàn)，例如：天級(jí)歷史快照表，每天都會(huì)全量存儲(chǔ)全表數(shù)據(jù)。這樣就造成了大量的數(shù)據(jù)存儲(chǔ)冗余，占用大量的存儲(chǔ)資源。小批量增量數(shù)據(jù)處理成本高傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)為了實(shí)現(xiàn)增量ETL，通常將增量數(shù)據(jù)按照分區(qū)的方式進(jìn)行存儲(chǔ)，若為了實(shí)現(xiàn)T+0的數(shù)據(jù)處理，增量數(shù)據(jù)需要按照小時(shí)級(jí)或者分鐘級(jí)的分區(qū)粒度。該種實(shí)現(xiàn)形式會(huì)導(dǎo)致小文件問(wèn)題，大量分區(qū)也會(huì)導(dǎo)致元數(shù)據(jù)服務(wù)壓力增大。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)解決方案中，常用Hive來(lái)構(gòu)建T+1級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)HDFS存儲(chǔ)實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)與水平擴(kuò)容，通過(guò)Hive實(shí)現(xiàn)元數(shù)據(jù)的管理以及數(shù)據(jù)操作的SQL化。雖然能夠在海量批處理場(chǎng)景中取得不錯(cuò)的效果，但依然存在如下現(xiàn)狀問(wèn)題：傳統(tǒng)數(shù)倉(cāng)面臨的問(wèn)題與挑戰(zhàn)

MySQLOracleSQLServerPostgreSQLRedisMongoDBKafka01場(chǎng)景說(shuō)明無(wú)需直接對(duì)接數(shù)據(jù)庫(kù)，數(shù)據(jù)由已有采集工具發(fā)送到Kafka或者由業(yè)務(wù)系統(tǒng)直接發(fā)送到Kafka。不需要實(shí)時(shí)同步DDL操作事件。02方案介紹支持了對(duì)Hudi中COW表以及MOR表的讀寫(xiě)操作。作業(yè)開(kāi)發(fā)與作業(yè)維護(hù)可視化操作。03方案收益入湖代碼開(kāi)發(fā)簡(jiǎn)單,通過(guò)FlinkSQL實(shí)現(xiàn)入湖的語(yǔ)句如下:Insertintotable_hudiselect*fromtable_kafkaCDHHudi數(shù)據(jù)湖flinksqlHudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景①:傳統(tǒng)CDC基于Flink-SQL入湖(1/2)Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景①:傳統(tǒng)CDC基于Flink-SQL入湖(2/2)

MySQLOracleSQLServerPostgreSQLRedisMongoDBFlink-CDC（流式寫(xiě)入）01場(chǎng)景說(shuō)明可以從業(yè)務(wù)數(shù)據(jù)庫(kù)中直接抽取數(shù)據(jù)數(shù)據(jù)入湖支持高實(shí)時(shí)性，秒級(jí)延遲數(shù)據(jù)表變更需要與數(shù)據(jù)湖表結(jié)構(gòu)實(shí)時(shí)同步02方案介紹該方案基于Flink-CDC組件構(gòu)建，由Flink-CDC組件實(shí)現(xiàn)業(yè)務(wù)庫(kù)的操作事件捕獲并寫(xiě)入的基于Hudi數(shù)據(jù)湖存儲(chǔ)03方案收益入湖操作簡(jiǎn)單，全程零代碼開(kāi)發(fā)。入湖時(shí)效快，從業(yè)務(wù)系統(tǒng)數(shù)據(jù)調(diào)整到入湖，可在分鐘內(nèi)完成。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景②:基于Flink-CDC入湖(1/2)CDHHudi數(shù)據(jù)湖Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景②:基于Flink-CDC入湖(2/2)開(kāi)源CDC對(duì)比

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說(shuō)明湖內(nèi)數(shù)據(jù)通常會(huì)采用數(shù)倉(cāng)分層存儲(chǔ)，例如：貼源層（ODS）、匯總層（DWS）、集市層（ADS）。02方案介紹增量ETL作業(yè)與傳統(tǒng)ETL作業(yè)業(yè)務(wù)邏輯完全一樣，涉及到的增量表讀取采用commit_time來(lái)獲取增量數(shù)據(jù)。Hudi支持ACID特性、Upsert特性和增量數(shù)據(jù)查詢特性，可以實(shí)現(xiàn)增量的ETL，在不同層之間快速的流轉(zhuǎn)。03方案收益單個(gè)ETL作業(yè)處理時(shí)延降低，端到端時(shí)間縮短。消耗資源下降，單位ETL作業(yè)所處理數(shù)據(jù)量大幅下降，所需計(jì)算資源也會(huì)相應(yīng)下降。原有湖內(nèi)存儲(chǔ)的模型無(wú)需調(diào)整。匯總層DWSflinksqlHudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景③:湖內(nèi)數(shù)據(jù)快速ETL集市層ADS增量ETLflinksql增量ETL

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說(shuō)明數(shù)據(jù)湖存儲(chǔ)的數(shù)據(jù)具有數(shù)據(jù)種類全、維度多、歷史周期長(zhǎng)的特點(diǎn)，直接交互式分析引擎直接對(duì)接數(shù)據(jù)湖可以滿足業(yè)務(wù)各類需求數(shù)據(jù)需求。在數(shù)據(jù)探索、BI分析、報(bào)表展示等業(yè)務(wù)場(chǎng)景需要具備針對(duì)海量數(shù)據(jù)查詢秒級(jí)返回的能力，同時(shí)要求分析接口簡(jiǎn)單SQL化。02方案介紹Presto/Trino是分布式高性能的交互式分析引擎，主要用于數(shù)據(jù)的快速實(shí)時(shí)查詢場(chǎng)景。03方案收益結(jié)合flink-cdc數(shù)據(jù)入湖，業(yè)務(wù)系統(tǒng)庫(kù)數(shù)據(jù)變更可在分鐘內(nèi)實(shí)現(xiàn)在數(shù)據(jù)湖內(nèi)可見(jiàn)。對(duì)TB級(jí)到PB的數(shù)據(jù)量的交互式查詢可達(dá)到秒級(jí)結(jié)果返回?？蓪?duì)湖內(nèi)各層數(shù)據(jù)進(jìn)行分析。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景④:交互式分析場(chǎng)景Presto/Trino引擎匯總層DWS集市層ADS快照查詢?cè)隽坎樵冏x優(yōu)化查詢交互式分析

MySQLOracleSQLServerPostgreSQLRedisMongoDB貼源層ODS01場(chǎng)景說(shuō)明傳統(tǒng)處理架構(gòu)中采用Lambda或者Kappa架構(gòu)。Lambda使用比較靈活，也可以解決業(yè)務(wù)場(chǎng)景，但是在該架構(gòu)中需要兩套系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)(hive存儲(chǔ)離線數(shù)據(jù)/kafka存儲(chǔ)實(shí)時(shí)數(shù)據(jù))，維護(hù)比較復(fù)雜。數(shù)據(jù)分流以后也很難再關(guān)聯(lián)應(yīng)用。02方案介紹在實(shí)時(shí)場(chǎng)景中，對(duì)時(shí)延要求可以是分鐘級(jí)的，這樣可以通過(guò)CDH-Hudi數(shù)據(jù)湖和實(shí)時(shí)計(jì)算引擎Flink進(jìn)行增量計(jì)算實(shí)現(xiàn)數(shù)據(jù)的快速處理，端到端實(shí)現(xiàn)分鐘級(jí)延遲。CDH-Hudi數(shù)據(jù)湖本身就是湖存儲(chǔ)，可以存儲(chǔ)海量數(shù)據(jù)，支持批量計(jì)算，常用的批處理引擎可以采用Hive和Spark。03方案收益數(shù)據(jù)統(tǒng)一存儲(chǔ)，實(shí)時(shí)數(shù)據(jù)與批量數(shù)據(jù)共用相同的存儲(chǔ)。同時(shí)支持實(shí)時(shí)計(jì)算與批量計(jì)算。相同業(yè)務(wù)邏輯的處理結(jié)果復(fù)用。滿足分鐘級(jí)延時(shí)的實(shí)時(shí)處理能力和海量的批量處理。Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑤:Hudi構(gòu)建批流一體第三方數(shù)據(jù)集市結(jié)果庫(kù)匯總層DWS集市層ADS快照查詢?cè)隽坎樵冏x優(yōu)化查詢流任務(wù)批任務(wù)API服務(wù)自助取數(shù)Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑥:數(shù)據(jù)庫(kù)實(shí)時(shí)化(實(shí)時(shí)捕獲/更新schema)SQLServerCDCSourceBinlogKafka

Sink元數(shù)據(jù)表信息元數(shù)據(jù)信息FilterTableUpdateMetadataDDLDMLFlinkStream庫(kù)粒度表粒度Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑦：數(shù)倉(cāng)實(shí)時(shí)化DBConnectHudi

Sinkwrite初始化:Flink

BatchHudiSQLServer

增量更新:FlinkStreamKafkaSourceHudi

Sinkupdate初始化：增量更新：ODS(hive)DWD(hive)DWS(hive)SQLServer離線抽數(shù)

ODS(kafka)DWD(kafka)DWS(kafka)Hudion

FlinkFlink

SQL1.維表UDF2.外鍵主鍵映射3.主鍵索引4.增量更新HudiHudion

Flink實(shí)時(shí)BinLog

Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景⑧：寬表構(gòu)建實(shí)時(shí)化?檔數(shù)據(jù)集市HudiOn

Flink在線交互式查詢消息DataLake入湖建倉(cāng)初始數(shù)據(jù)集DataLake增全量ETL高并發(fā)多維查詢?戶上傳分析師報(bào)表時(shí)空科學(xué)預(yù)測(cè)機(jī)器學(xué)習(xí)

&

算法原始云服務(wù)和上傳數(shù)據(jù)數(shù)據(jù)清洗、沉淀、聚合數(shù)據(jù)計(jì)算與分析數(shù)據(jù)應(yīng)用操作型數(shù)據(jù)

文件型數(shù)據(jù)KV數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)庫(kù) 視頻數(shù)據(jù)?志數(shù)據(jù)聚合數(shù)據(jù)集實(shí)時(shí)倉(cāng)庫(kù)云服務(wù)ODS/CDM層CDM/ADS層DataLakeETL統(tǒng)一調(diào)度統(tǒng)一元信息Hudi數(shù)據(jù)湖典型應(yīng)用場(chǎng)景小結(jié)5、湖倉(cāng)一體應(yīng)用案例業(yè)務(wù)數(shù)據(jù)沒(méi)有時(shí)間戳，每天都是需要按全量的方式進(jìn)行數(shù)據(jù)更新，通過(guò)實(shí)時(shí)同步的方式為每一筆業(yè)務(wù)打上標(biāo)記，增量更新。業(yè)務(wù)數(shù)據(jù)呈倍數(shù)增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)不能再滿足日常數(shù)據(jù)的存儲(chǔ)與運(yùn)算，經(jīng)常無(wú)法按時(shí)出數(shù)。需要替換為分布式、可擴(kuò)展的大數(shù)據(jù)平臺(tái)架構(gòu)。海外業(yè)務(wù)分布在不同國(guó)家/地域，需要“跨云多域”的能力滿足一套平臺(tái)管理多套數(shù)據(jù)平臺(tái)。歷史數(shù)據(jù)更新頻繁，通過(guò)湖倉(cāng)一體數(shù)據(jù)接入方式實(shí)現(xiàn)數(shù)據(jù)更新實(shí)時(shí)變化。某保險(xiǎn)公司|湖倉(cāng)一體打造企業(yè)級(jí)大數(shù)據(jù)能力支撐架構(gòu)(1/2)01020304UpdateUpdateUpdateR

a

w

tableETL

TableAETL

TableB增量查詢?cè)隽坎樵兒Ａ侩x線數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)「更新、合并」需求，通過(guò)湖倉(cāng)一體架構(gòu)解決。05數(shù)據(jù)源離線數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)寫(xiě)失敗，數(shù)據(jù)「回滾」需求，通過(guò)湖倉(cāng)一體架構(gòu)解決。06新文件原始文件更新后的文件

新增加的Delta

Files某保險(xiǎn)公司|湖倉(cāng)一體打造企業(yè)級(jí)大數(shù)據(jù)能力支撐架構(gòu)(2/2)THANKS基于人工智能及大數(shù)據(jù)的綜合智能交通管理平臺(tái)功能簡(jiǎn)介02建設(shè)預(yù)期成效03互聯(lián)網(wǎng)技術(shù)及手段04建設(shè)背景01目錄CONTENTS建設(shè)背景新基建背景下智慧停車(chē)的發(fā)展現(xiàn)狀及未來(lái)趨勢(shì)近年來(lái)，國(guó)家陸續(xù)出臺(tái)了多項(xiàng)停車(chē)行業(yè)相關(guān)政策文件，各級(jí)政府工作報(bào)告和“十四五”規(guī)劃也將“增加停車(chē)場(chǎng)”和“智慧停車(chē)場(chǎng)數(shù)字化應(yīng)用”列為改善民生、擴(kuò)大需求、打造數(shù)字生態(tài)的重要任務(wù)之一。2020年4月，國(guó)家發(fā)改委首次明確了“新基礎(chǔ)設(shè)施”的范圍，在信息基礎(chǔ)設(shè)施建設(shè)上，5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、智能計(jì)算中心與智慧停車(chē)密切相關(guān)。在新基建大力推進(jìn)智慧交通背景下，智慧停車(chē)的普及應(yīng)用成為城市交通管理的新趨勢(shì)。2015年，《城市停車(chē)設(shè)施規(guī)劃導(dǎo)則》，建設(shè)城市停車(chē)信息綜合管理服務(wù)平臺(tái)，建立統(tǒng)一的數(shù)據(jù)接口和交換機(jī)制2017年，《智慧交通讓出行更便捷行動(dòng)方案(2017-2020)》，鼓勵(lì)規(guī)范城市停車(chē)新模式發(fā)展2019年，《數(shù)字交通發(fā)展規(guī)劃綱要》，推動(dòng)“互聯(lián)網(wǎng)+”使擊交通發(fā)展，鼓E和規(guī)范發(fā)展定制公交、智能亭車(chē)、智能公交、汽車(chē)準(zhǔn)修、網(wǎng)含舜批租車(chē)、互聯(lián)對(duì)租賃自行車(chē)、小微趣客車(chē)分時(shí)租賃等城書(shū)出行服務(wù)新態(tài)2021年，《關(guān)于推動(dòng)城市停車(chē)設(shè)施發(fā)展的意見(jiàn)》，到2025年，全國(guó)大中小城市基本建成配建停車(chē)設(shè)施為主、路外公共停車(chē)設(shè)施為輔、路內(nèi)停車(chē)為補(bǔ)充的城市停車(chē)系統(tǒng)，社會(huì)資本廣泛參與，信息技術(shù)與停車(chē)產(chǎn)業(yè)深度融合2022年1月，《“十四五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃》，提出要堅(jiān)持創(chuàng)新驅(qū)動(dòng)發(fā)展，推動(dòng)新技術(shù)與交通行業(yè)深度融合。著重強(qiáng)調(diào)要穩(wěn)妥發(fā)展自動(dòng)駕駛和車(chē)路協(xié)同等出行服務(wù)，鼓勵(lì)自動(dòng)駕駛在港口.物流園區(qū)等限定區(qū)域測(cè)試應(yīng)用。推動(dòng)發(fā)展智能公交、智慧停車(chē)、智慧安檢等隨著城市經(jīng)濟(jì)快速發(fā)展，居民生活條件改善，汽車(chē)保有量的不斷增長(zhǎng)，車(chē)多、位少、車(chē)難停的矛盾日益突出，解決停車(chē)問(wèn)題也是各地一項(xiàng)重要的惠民工程。截至2022年4月，我國(guó)機(jī)動(dòng)車(chē)保有量已達(dá)4.02億輛，其中汽車(chē)3.07億輛。目前，全國(guó)停車(chē)位缺口保守估計(jì)超過(guò)5000萬(wàn)個(gè)泊位。據(jù)報(bào)道，北京、上海、廣州、深圳、南京等城市的停車(chē)位缺口已達(dá)690～150萬(wàn)個(gè)城市停車(chē)現(xiàn)狀及問(wèn)題城市停車(chē)項(xiàng)目建設(shè)初期未明確平臺(tái)定位，平臺(tái)開(kāi)放能力不足，建設(shè)后滿足不了管理方的需求，讓停車(chē)資源整合接入舉步維艱，與其他監(jiān)管平臺(tái)和運(yùn)營(yíng)平臺(tái)的對(duì)接困難。01城市中心區(qū)域停車(chē)位嚴(yán)重不足、占道停車(chē)、停車(chē)混亂,區(qū)域的冷熱不均、資源錯(cuò)配導(dǎo)致的部分區(qū)域車(chē)位“相對(duì)過(guò)剩”;缺乏引導(dǎo)機(jī)制，車(chē)主找車(chē)位困難，因盲目尋找停車(chē)位造成道路無(wú)效交通流現(xiàn)象突出，同時(shí)增加了尾氣排放。0203面對(duì)日益增多的機(jī)動(dòng)車(chē)亂停、非機(jī)動(dòng)車(chē)占道等不文明現(xiàn)象，缺乏監(jiān)管，加劇道路擁堵;同時(shí)依法應(yīng)當(dāng)采取行政強(qiáng)制措施扣留或拖移車(chē)輛的具體行政行為也在不斷增多，缺乏信息化處理手段。04缺乏頂層設(shè)計(jì)車(chē)位緊缺，引導(dǎo)不足管理手段落后違法停車(chē)屢禁不止停車(chē)場(chǎng)管理無(wú)信息化支撐，停車(chē)收費(fèi)不規(guī)范，效率低下;聘請(qǐng)人員多，大大增加運(yùn)營(yíng)管理成本。功能簡(jiǎn)介綜合智能交通管理平臺(tái)業(yè)務(wù)場(chǎng)景無(wú)人值守停車(chē)場(chǎng)大型商業(yè)綜合體停車(chē)場(chǎng)新能源車(chē)位路外停車(chē)管理雙模地磁檢測(cè)高位視頻檢測(cè)路內(nèi)停車(chē)管理交通引導(dǎo)信息發(fā)布交通引導(dǎo)違法停車(chē)檢測(cè)執(zhí)法扣車(chē)處理違法停車(chē)管理業(yè)務(wù)場(chǎng)景:路外停車(chē)管理-無(wú)人值守停車(chē)場(chǎng)通過(guò)高清車(chē)輛識(shí)別技術(shù)結(jié)合智能道閘及自助繳費(fèi)，適用于移動(dòng)便捷支付，車(chē)輛進(jìn)出自動(dòng)檢索，掃描二維碼繳費(fèi)出入，減輕車(chē)輛進(jìn)出擁擠，提升車(chē)主感受度。智能車(chē)牌識(shí)別可以識(shí)別多種類型的車(chē)輛，讓車(chē)輛高效率的進(jìn)出，減少車(chē)輛進(jìn)出場(chǎng)的時(shí)間成本，提高停車(chē)場(chǎng)的運(yùn)營(yíng)效率。多種便捷支付多種支付方式、移動(dòng)支付、自助機(jī)支付支付、APP支付、無(wú)感支付等多樣化支付方式。云平臺(tái)管理功能云平臺(tái)管理功能，支持車(chē)輛授權(quán)管理、電子優(yōu)惠券折扣、遠(yuǎn)程報(bào)表、智能運(yùn)維數(shù)據(jù)分析、實(shí)時(shí)遠(yuǎn)程監(jiān)管等功能。業(yè)務(wù)場(chǎng)景:路外停車(chē)管理–大型商業(yè)綜合體停車(chē)場(chǎng)采用智能車(chē)牌識(shí)別技術(shù)和快速道閘技術(shù)，以車(chē)輛快速通行管理、自助繳費(fèi)、車(chē)位誘導(dǎo)、便捷尋車(chē)等系統(tǒng)等為核心功能，實(shí)現(xiàn)商業(yè)消費(fèi)、人員、車(chē)位信息共享，提高資源利用率。車(chē)牌/ETC智能識(shí)別，支持提前支付停車(chē)費(fèi)用通過(guò)車(chē)位誘導(dǎo)屏發(fā)布停車(chē)位信息,方便車(chē)主尋找車(chē)位，實(shí)現(xiàn)便捷快速泊車(chē)視頻檢測(cè)器探測(cè)車(chē)位占用情況，停車(chē)車(chē)輛圖像被獲取并立即轉(zhuǎn)換成數(shù)據(jù)傳輸?shù)胶笈_(tái)數(shù)據(jù)中心，相應(yīng)車(chē)位隨之變成被占用狀態(tài)可利用查詢機(jī)輸入車(chē)牌號(hào)碼查詢到指定車(chē)輛的停放位置，查詢機(jī)生成相應(yīng)的地圖路徑指引用戶找到車(chē)輛高效通行車(chē)位誘導(dǎo)車(chē)位監(jiān)測(cè)尋車(chē)導(dǎo)航業(yè)務(wù)場(chǎng)景:路外停車(chē)管理–新能源車(chē)位通過(guò)對(duì)駛?cè)胲?chē)位的車(chē)輛號(hào)牌精準(zhǔn)識(shí)別后與地鎖聯(lián)動(dòng)進(jìn)行區(qū)分管理。當(dāng)識(shí)別到新能源車(chē)或有權(quán)限車(chē)輛的情況下，控制地面車(chē)位鎖自動(dòng)解鎖降下，讓車(chē)輛正?？坎闯潆?，并將車(chē)牌號(hào)上傳平臺(tái)。等車(chē)輛駛離車(chē)位時(shí)，相機(jī)識(shí)別車(chē)輛離開(kāi)車(chē)位，記錄停車(chē)時(shí)間車(chē)位鎖自動(dòng)升起。而當(dāng)識(shí)別到燃油車(chē)，車(chē)位鎖將拒絕解鎖，燃油車(chē)無(wú)法駛?cè)胲?chē)位，從而阻止車(chē)位被占。業(yè)務(wù)場(chǎng)景:路內(nèi)停車(chē)管理–雙模地磁檢測(cè)檢測(cè)準(zhǔn)確率高采用微波雷達(dá)和地磁雙模檢測(cè)技術(shù)，車(chē)位檢測(cè)準(zhǔn)確率高達(dá)99.5%以上;易安裝，維護(hù)簡(jiǎn)便無(wú)線通信，內(nèi)置電池，無(wú)需布線，安裝簡(jiǎn)單;地磁功耗極低，可持續(xù)工作超過(guò)5年，不需經(jīng)常維護(hù)與升級(jí);支持藍(lán)牙天線升級(jí)和校準(zhǔn);可拆卸結(jié)構(gòu)設(shè)計(jì)，支持部件更換;成本低，收益高系統(tǒng)成本低:接入運(yùn)營(yíng)商網(wǎng)絡(luò)。無(wú)需自組網(wǎng);漏收費(fèi)率低:實(shí)時(shí)監(jiān)測(cè)，停車(chē)時(shí)間自動(dòng)統(tǒng)計(jì)，降低跑冒漏流現(xiàn)象。業(yè)務(wù)場(chǎng)景:路內(nèi)停車(chē)管理–高位視頻檢測(cè)當(dāng)車(chē)輛行駛到車(chē)位檢測(cè)區(qū)域時(shí)，高位智能識(shí)別相機(jī)判定該車(chē)輛具有較高的停車(chē)傾向，進(jìn)行車(chē)牌抓拍，若車(chē)輛駛出車(chē)位檢測(cè)區(qū)而未停車(chē)，則丟棄數(shù)據(jù);若該車(chē)輛停入車(chē)位，則將該車(chē)輛的停入時(shí)間、車(chē)牌號(hào)以及占用車(chē)位號(hào)等信息上傳至平臺(tái)進(jìn)行計(jì)時(shí)計(jì)費(fèi)。應(yīng)用場(chǎng)景部署方式方式一:有路燈桿分布的路段，高位視頻相機(jī)借桿安裝單槍管理3-5車(chē)位，雙槍管理8車(chē)位方式二：無(wú)路燈桿分布的路段，高位視頻相機(jī)立桿安裝單槍管理8車(chē)位系統(tǒng)架構(gòu)系統(tǒng)優(yōu)勢(shì)停車(chē)計(jì)費(fèi)過(guò)程無(wú)需人工參與，大大降低運(yùn)營(yíng)成本。業(yè)務(wù)場(chǎng)景:交通引導(dǎo)多方式快速引導(dǎo)停車(chē)，有效盤(pán)活公共停車(chē)資源，提高車(chē)位利用率，縮短車(chē)主找車(chē)位的時(shí)間，緩解交通擁堵，提升停車(chē)體驗(yàn)。手機(jī)引導(dǎo)(小程序/微信公眾號(hào)/百度高德地圖)室外電子標(biāo)牌/大屏引導(dǎo)業(yè)務(wù)場(chǎng)景:違法停車(chē)治理–違法停車(chē)檢測(cè)基于視頻流的智能圖像識(shí)別，利用最新的深度學(xué)習(xí)與大數(shù)據(jù)技術(shù)，代替人眼，自動(dòng)分析交通狀況。系統(tǒng)可在視頻畫(huà)面劃定檢測(cè)范圍，檢測(cè)車(chē)輛模型，進(jìn)行運(yùn)動(dòng)軌跡分析，判斷車(chē)輛是否停車(chē)，不受其他類型車(chē)輛如自行車(chē)、電動(dòng)車(chē)干擾，同時(shí)還可支持設(shè)定停車(chē)時(shí)間、停車(chē)區(qū)域。業(yè)務(wù)場(chǎng)景:違法停車(chē)治理–執(zhí)法扣車(chē)處理通過(guò)利用移動(dòng)互聯(lián)網(wǎng)技術(shù)，將違法停車(chē)車(chē)輛的日常管理工作納入信息化、流程化、規(guī)范化的軌道。從前端執(zhí)法民警執(zhí)法扣車(chē)、車(chē)輛轉(zhuǎn)移保管入庫(kù)、車(chē)輛出場(chǎng)等均采用信息化手段進(jìn)行過(guò)程流程管理，并實(shí)時(shí)更新違法車(chē)輛信息報(bào)表，使基層公安交通管理部門(mén)能夠更好的管理違法車(chē)輛。平臺(tái)架構(gòu)應(yīng)用系統(tǒng):智慧停車(chē)管理系統(tǒng)–電腦端平臺(tái)支持多端靈活部署及應(yīng)用，易于擴(kuò)展和維護(hù)、穩(wěn)定性好、業(yè)務(wù)吞吐能力強(qiáng)、支持高并發(fā)、訪問(wèn)性能優(yōu)、用戶體驗(yàn)良好。應(yīng)用系統(tǒng):智慧停車(chē)管理系統(tǒng)–收費(fèi)員PDA端主要針對(duì)路內(nèi)停車(chē)位，在車(chē)輛入場(chǎng)后，收費(fèi)員將車(chē)位與車(chē)牌號(hào)綁定后，系統(tǒng)開(kāi)始計(jì)費(fèi)，并打印小票供用戶支付使用。停車(chē)場(chǎng)概覽信息錄入記錄查詢異常訂單處理應(yīng)用系統(tǒng):智慧停車(chē)管理系統(tǒng)–管理端面向停車(chē)業(yè)務(wù)主體的管理層使用，便于管理員隨時(shí)隨地掌握平臺(tái)各項(xiàng)重要數(shù)據(jù)，針對(duì)停車(chē)收入、收費(fèi)員工作考核、停車(chē)訂單、車(chē)流量等數(shù)據(jù)統(tǒng)計(jì)分析。停車(chē)場(chǎng)概覽信息錄入記錄查詢異常訂單處理應(yīng)用系統(tǒng):智慧停車(chē)管理系統(tǒng)–車(chē)主端車(chē)主在小程序里搜索車(chē)牌號(hào)即可查詢?cè)撥?chē)輛的所有停車(chē)訂單，并通過(guò)線上支付完成訂單費(fèi)用支付。同時(shí)還支持車(chē)位導(dǎo)航、廣告查看、電子發(fā)票等功能。首頁(yè)車(chē)輛管理訂單支付車(chē)場(chǎng)導(dǎo)航應(yīng)用系統(tǒng):違法停車(chē)治理系統(tǒng)–現(xiàn)場(chǎng)執(zhí)法端執(zhí)法扣車(chē)外