大數(shù)據(jù)概論 課件 第3、4章 大數(shù)據(jù)技術(shù)、大數(shù)據(jù)應(yīng)用

P

A

G

EATACHANGEWORLDBIGDATACHA大數(shù)據(jù)概論STAY

SANE

ANDKEEP

THINKING高等職業(yè)教育科普教育系列教材第三章.大數(shù)據(jù)技術(shù)BIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N

G E

3W

.O R

1L

D大數(shù)據(jù)采集技術(shù)BBIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C H

3A N

.G1E W

.O

1R

LD

大數(shù)據(jù)的來源類型B大數(shù)據(jù)概論Meanare(alsentring"transmittableandstorableinformationbywhichcompperformed"isfirstrecorded1946.Data-processingisfroodatabase)"structuredcollectionofdatainacomputer"yisby1970.3.1大數(shù)據(jù)的采集技術(shù)大數(shù)據(jù)的來源根據(jù)場景劃分PG第三章大數(shù)據(jù)技術(shù)根據(jù)數(shù)據(jù)的結(jié)構(gòu)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.1大數(shù)據(jù)采集技術(shù)獲取互聯(lián)網(wǎng)的數(shù)據(jù)開放數(shù)據(jù)接口網(wǎng)絡(luò)爬蟲3.1.2

獲取互聯(lián)網(wǎng)的數(shù)據(jù)PG第三章大數(shù)據(jù)技術(shù)PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.1大數(shù)據(jù)采集技術(shù)獲取物聯(lián)網(wǎng)的數(shù)據(jù)傳感器采集數(shù)據(jù)物聯(lián)網(wǎng)平臺采集數(shù)3.1.3

獲取物聯(lián)網(wǎng)的數(shù)據(jù)第三章大數(shù)據(jù)技術(shù)據(jù)PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.第三章3.1大數(shù)據(jù)采集技術(shù)獲取信息系統(tǒng)的數(shù)據(jù)3.1.4 獲取信息系統(tǒng)數(shù)據(jù)工作場景中需要使用不同的信息系統(tǒng),例如ERP企業(yè)流程管理系統(tǒng)、CRM客戶關(guān)系管理系統(tǒng)、OA協(xié)同辦公系統(tǒng)等大數(shù)據(jù)技術(shù)BIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N

3G3E.W

O2R L

大D數(shù)據(jù)預(yù)處理技術(shù)BBIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N3G

.E

W2O

.R L

1D數(shù)據(jù)的混雜情況BPG大數(shù)據(jù)概論第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)的混雜情況數(shù)據(jù)采集得到的海量原始數(shù)據(jù)存在著很多混雜情況。以銷售數(shù)據(jù)為例,可能會出現(xiàn)的混雜情況有數(shù)據(jù)格式銷售日期有的用“/”分割,有的用“-”分割。Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.數(shù)據(jù)精度銷售金額有些是四舍五入,有些是精確到小數(shù)點后2位數(shù)據(jù)異常銷售金額異常高或異常低；同一個銷售記錄被重復(fù)錄入的各類情況。BIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)A

T

A

C

H

A

N

3G3E.W

O2R

.LD

2數(shù)據(jù)預(yù)處理標準BPG大數(shù)據(jù)概論3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)的預(yù)處理由國家市場監(jiān)督管理總局、中國國家標準化管理委員會發(fā)布的《信息技術(shù)數(shù)據(jù)質(zhì)量評價指標》（GB/T36344-2018）,對數(shù)據(jù)生存周期各個階段提供了數(shù)據(jù)質(zhì)量的評價標準。由中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局、中國國家標準化管理委員會發(fā)布的《數(shù)據(jù)管理能力成熟度評估模型》（GB/T36073-2018）,給出了數(shù)據(jù)管理能力成熟度評估模型以及相應(yīng)的成熟度等級,適用于組織和機構(gòu)對內(nèi)部數(shù)據(jù)管理能力成熟度進行評估。Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.標數(shù)據(jù)清洗數(shù)據(jù)降維準數(shù)據(jù)集成數(shù)據(jù)平滑數(shù)據(jù)變換數(shù)據(jù)歸一化第三章數(shù)據(jù)規(guī)約數(shù)據(jù)聚合大數(shù)據(jù)技術(shù)BIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)A

T

A

C

H

A

N G

3E

.W.O2R

.LD

3大數(shù)據(jù)預(yù)處理技術(shù)B大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)預(yù)處理技術(shù)ETL集成工具:kettle（開源）PG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論PG第三章大數(shù)據(jù)技術(shù)Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entry

is

by

1970.3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)預(yù)處理技術(shù)Python:豐富的數(shù)據(jù)處理庫，如pandas、NumPy、SciPy等。R語言:專門用于統(tǒng)計分析的編程語言，擁有眾多的統(tǒng)計分析包。SQL:一種結(jié)構(gòu)化查詢語言，用于管理和處理關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)。Java:可編寫MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)的預(yù)處理、清洗、過濾等操作。MapReduce是Hadoop的基本數(shù)據(jù)處理框架。Scala:可編寫Spark程序，實現(xiàn)數(shù)據(jù)預(yù)處理和分析。BIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N

G E

3W

.O R

3L

D大數(shù)據(jù)存儲技術(shù)BBBIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N G

3E

.W O

3R

L.D1關(guān)系型數(shù)據(jù)庫大數(shù)據(jù)概論PG第三章大數(shù)據(jù)技術(shù)Meaning

"transmittable

and

storable

information

by

which

compareperformed"isfirstrecorded1946.Data-processingisfro(also

database)

"structured

collection

of

data

in

a

computer"entry

is

by

1970.3.3大數(shù)據(jù)存儲技術(shù)關(guān)系型數(shù)據(jù)庫1.存儲結(jié)構(gòu)關(guān)系型數(shù)據(jù)庫是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫。關(guān)系模型可以簡單理解為二維表格模型,用行和列的形式存儲數(shù)據(jù),每個行代表一條數(shù)據(jù)記錄,而每個列代表一種數(shù)據(jù)類型。這些行和列就組合成了一張表,而多張表就組成了數(shù)據(jù)庫。大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)關(guān)系型數(shù)據(jù)庫客戶信息表PG第三章大數(shù)據(jù)技術(shù)訂單明細表大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)關(guān)系型數(shù)據(jù)庫國內(nèi)：OceanBase、TiDB.openGauss、達夢2.常見品牌國外:Oracle、MySQL、MicrosoftSQLServerPG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論3.3大數(shù)據(jù)存儲技術(shù)關(guān)系型數(shù)據(jù)庫3.應(yīng)用場景OracleDatabase:在金融領(lǐng)域，中國銀行將Oracle作為其主要的關(guān)系型數(shù)據(jù)，支持銀行的核心業(yè)務(wù)系統(tǒng)，包括賬戶管理、交易管理等。Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.MicrosoftSQLServer:這是一款功能豐富的關(guān)系型數(shù)據(jù)庫，廣泛應(yīng)用于Windows環(huán)境。MySQL:騰訊使用MySQL作為其主要的關(guān)系型數(shù)據(jù)庫，支持騰訊QQ、微信等大型社交網(wǎng)絡(luò)平臺的用戶管理、消息管理、游戲數(shù)據(jù)存儲等。PG第三章大數(shù)據(jù)技術(shù)BIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)A

T

A

C

H

A

N3G

.E

W3O

.R L2D非關(guān)系型數(shù)據(jù)庫BPG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfrolectionofdatainacomputer"(also

database)

"structured

colentry

is

by

1970.第三章3.3大數(shù)據(jù)存儲技術(shù)非關(guān)⑤

對象存儲系型①文檔存儲數(shù)據(jù)②鍵值存儲庫③列式存儲④圖形存儲1.存儲結(jié)構(gòu)非關(guān)系型數(shù)據(jù)庫（NoSQL）的主要特性是不使用關(guān)系模型，不遵循關(guān)系型數(shù)據(jù)庫的表結(jié)構(gòu)存儲方式。非關(guān)系型數(shù)據(jù)庫根據(jù)數(shù)據(jù)存儲結(jié)構(gòu)的不同，也分成不同的類別，以下介紹常見的非關(guān)系型數(shù)據(jù)的存儲方式:大數(shù)據(jù)技術(shù)PG大數(shù)據(jù)概論eandstorableinformationbywhichcomptrecorded1946.Data-processingisfroturedcollectionofdatainacomputer"Meaning

"transmittablare

performed"

is

firs(also

database)

"strucentry

is

by

1970.第三章3.3大數(shù)據(jù)存儲技術(shù)非關(guān)系型數(shù)據(jù)庫國外:2.常見品牌國內(nèi):大數(shù)據(jù)技術(shù)PG大數(shù)據(jù)概論第三章大數(shù)據(jù)技術(shù)務(wù),被廣泛應(yīng)用于云環(huán)境和大規(guī)模數(shù)據(jù)存儲,。(also

database)

"structured

collection

of

data

in

a

computer"entry

is

by

1970.3.3大數(shù)據(jù)存儲技術(shù)非關(guān)系型數(shù)據(jù)庫3.應(yīng)用場景鍵值存儲:Redis被廣泛應(yīng)用于緩存、會話存儲、隊列等場景。 文檔存儲:MongoDB可以靈活地變更數(shù)據(jù)結(jié)構(gòu)的應(yīng)用，如內(nèi)容管理系統(tǒng)、日志分析平臺。Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro列式存儲:HBase適用于需要處理海量數(shù)據(jù)、低延遲讀寫、高并發(fā)讀寫、數(shù)據(jù)分析和挖掘以及實時計算和流處理等場景。 圖形存儲:Neo4j的優(yōu)勢在于處理關(guān)聯(lián)數(shù)據(jù)上的強大能力，包括ebay電子商務(wù)、沃爾瑪內(nèi)部管理、阿迪達斯購物網(wǎng)站等企業(yè)都選擇了Neo4j。對象存儲:AmazonS3是亞馬遜AWS提供的一種對象存儲服BIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)A

T

A

C

H

A

N

G E

3W

.O R

3L.D.3分布式數(shù)據(jù)庫B大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫系統(tǒng)通常通過將數(shù)據(jù)分割成多個部分并在多個節(jié)點,節(jié)點是分布在一個或多個地理位置上的物理服務(wù)器,也可以是虛擬機或容器。每個節(jié)點都擁有自己的存儲和計算資源,這種設(shè)計模式在解決了傳統(tǒng)單點故障、性能瓶頸等問題的同時,還保證數(shù)據(jù)的一致性和可靠性,并提供了很高的性能和可伸縮性。1.存儲結(jié)構(gòu)PG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)分布式數(shù)據(jù)庫2.常見品牌OceanBase是由螞蟻集團完全自主研發(fā)的企業(yè)級分布式關(guān)系數(shù)據(jù)庫,基于分布式架構(gòu)和通用服務(wù)器、實現(xiàn)了金融級可靠性及數(shù)據(jù)一致性,擁有100%的知識產(chǎn)權(quán)。PG第三章大數(shù)據(jù)技術(shù)TiDB是PingCAP公司自主設(shè)計、研發(fā)的開源分布式關(guān)系型數(shù)據(jù)庫。大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)分布式數(shù)據(jù)庫openGauss是一款全面友好開放,攜手伙伴共同打造的企業(yè)級開源關(guān)系型數(shù)據(jù)庫。openGauss深度融合華為在數(shù)據(jù)庫領(lǐng)域多年的經(jīng)驗,結(jié)合企業(yè)級場景需求,持續(xù)構(gòu)建競爭力特性。PG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論PG第三章大數(shù)據(jù)技術(shù)Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.3大數(shù)據(jù)存儲技術(shù)分布式數(shù)據(jù)庫3.應(yīng)用場景阿里云飛天分布式數(shù)據(jù)庫騰訊云TDSQL分布式數(shù)據(jù)庫華為分布式數(shù)據(jù)庫GaussDB京東分布式數(shù)據(jù)庫JIMDBBBIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N

3G3E.W

O4R L

大D數(shù)據(jù)分析技術(shù)BBIGDATAC大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)P

A

G

EA

T

A

C

H

A

N

G

E

W

3O R

.L4D4.1數(shù)據(jù)可視化大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化靜態(tài)可視化:Matplotlib、Seaborn、PlotlyPG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化動態(tài)可視化:Echarts、Highcharts、D3.js、Plotly、BokehPG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化地圖類:百度地圖開放平臺、高德地圖開放平臺，Leaflet、OpenLayersPG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化3D類:Thing.js、Three.js、Babylon.js、A-FramePG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化BI類:Tableau、PowerBI、SAS、IBMCognosAnalyticsPG第三章大數(shù)據(jù)技術(shù)ATACHANGEWOR

L

DBBIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)3.4.2數(shù)據(jù)挖掘PG大數(shù)據(jù)概論大數(shù)據(jù)技術(shù)Meaning

"transmittable

and

storable

information

by

which

compareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entry

is

by

1970.第三章3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從大規(guī)模數(shù)據(jù)中自動發(fā)現(xiàn)、提取、分析和總結(jié)出有價值的信息的一種技術(shù)。它可以幫助人們發(fā)現(xiàn)大量數(shù)據(jù)中的潛在趨勢和關(guān)聯(lián),對數(shù)據(jù)進行分類、聚類、預(yù)測和異常檢測等分析,從而提供有價值的信息和洞察力,從而支持決策和策略的制定,提高生產(chǎn)效率和市場競爭力。PG大數(shù)據(jù)概論(also

database)

"structured

collection

of

data

in

a

computer"entry

is

by

1970.第三章3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化① 分類:通過已有的數(shù)據(jù)，進行分類、預(yù)測等任務(wù)。例如，使用分類算法將郵件分為垃圾郵件和正常郵件，減少用戶收到垃圾郵件的數(shù)量。② 聚類:將大量數(shù)據(jù)分成具有相似特征的小組。例如，通過挖掘用戶的行為數(shù)據(jù)和消費數(shù)據(jù)，將用戶分成不同的群體，以便公司能夠更好地理解和滿足用戶的需求。③ 關(guān)聯(lián)規(guī)則挖掘:發(fā)現(xiàn)數(shù)據(jù)中的關(guān)聯(lián)關(guān)系，即兩個或多個變量之間的關(guān)聯(lián)。例如，超市可以通過挖掘消費者的購物數(shù)據(jù)，找出常一起購買的商品組合，并通過這些關(guān)聯(lián)規(guī)則制定促銷活動，Mea提ning高"tr銷ansmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro售量和利潤。④ 時間序列挖掘:發(fā)現(xiàn)時間序列數(shù)據(jù)中的模式、規(guī)律等。例如，可以通過對歷史氣象數(shù)據(jù)的分析，發(fā)現(xiàn)某一地區(qū)某個月份的降雨量出現(xiàn)了明顯的周期性變化，從而可以對該地區(qū)該月份的降雨量進行預(yù)測和調(diào)整。⑤ 異常檢測:檢測數(shù)據(jù)中的異常值或者異常模式。例如，通過對信用卡交易數(shù)據(jù)的異常檢測，可以識別出潛在的欺詐行為，從而保障金融機構(gòu)的利益和消費者的安全。⑥ 文本挖掘:從大量文本數(shù)據(jù)中提取出有用的信息，包括文本分類、情感分析、實體識別等。例如，識別出新聞報道中的主要話題，用于新聞媒體和輿情分析等領(lǐng)域。大數(shù)據(jù)技術(shù)ATACHANGEWOR

L

DBBIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第三章大數(shù)據(jù)技術(shù)3.4.3機器學(xué)習大數(shù)據(jù)概論PG第三章大數(shù)據(jù)技術(shù)Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.3.4大數(shù)據(jù)分析技術(shù)機器學(xué)習數(shù)據(jù)挖掘和機器學(xué)習都是從數(shù)據(jù)中提取有用信息的方法,但它們的重點略有不同。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律、模式和關(guān)聯(lián)性的過程,其目的是發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征。機器學(xué)習是利用算法讓計算機自動學(xué)習數(shù)據(jù)中的規(guī)律和模式,并通過不斷的迭代優(yōu)化來提高預(yù)測或決策的準確性。大數(shù)據(jù)概論dstorableinformationbywhichcompcorded1946.Data-processingisfroedcollectionofdatainacomputer"Meaning

"transmittable

anare

performed"

is

first

re(also

database)"structurentry

is

by

1970.3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化機器學(xué)習基礎(chǔ)分類:PG第三章大數(shù)據(jù)技術(shù)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(also

database)

"structured

collection

of

data

in

a

computer"3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化Python的機器學(xué)習庫:Scikit-learn、TensorFlow、Keras、PyTorch等；R語言的機器學(xué)習庫:Caret、randomForest、xgboost等；Java的機器學(xué)習庫:Weka、deeplearning4j、ApacheSpark等entry；isby1970.基于云的機器學(xué)習平臺:AmazonWebServices、GoogleCloudPlatform、MicrosoftAzure等；開源的自動機器學(xué)習工具:AutoML、TPOT、H2O.ai等。PG第三章大數(shù)據(jù)技術(shù)T

HNSKAATACHANGEWORLDBIGDATACHA高等職業(yè)教育科普教育系列教材大數(shù)據(jù)概論STAY

SANE

ANDKEEP

THINKINGP

A

G

EP

A

G

EATACHANGEWORLDBIGDATACHA大數(shù)據(jù)概論STAY

SANE

ANDKEEP

THINKING高等職業(yè)教育科普教育系列教材第四章.大數(shù)據(jù)應(yīng)用ATACHANGEWORLDBBIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第四章大數(shù)據(jù)應(yīng)用4.1智慧醫(yī)療我國智慧醫(yī)療建設(shè)正朝著標準化、集成化、智能化、移動化、區(qū)域化方向發(fā)展,智慧醫(yī)療已經(jīng)逐漸融入人們的生活。先進的智慧醫(yī)療在線系統(tǒng),可以實現(xiàn)在線預(yù)約、健康檔案管理、社區(qū)服務(wù)、家庭醫(yī)療、支付清算等功能,大大便利了市民就醫(yī),同時提升了醫(yī)療服務(wù)的質(zhì)量和患者滿意度。智慧醫(yī)療通過打造健康檔案區(qū)域醫(yī)療信息平臺,利用最先進的物聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)技術(shù)讓患者體驗一站式的醫(yī)療服務(wù)。智慧醫(yī)療的核心就是“以患者為中心”,給予患者以全面、專業(yè)、個性化的醫(yī)療體驗。智慧醫(yī)療通過整合各類醫(yī)療信息資源,構(gòu)建藥品目錄數(shù)據(jù)庫、居民健康檔案數(shù)據(jù)庫、影像數(shù)據(jù)庫（PictureArchivingandCommunicationSystems,PACS）、檢驗數(shù)據(jù)庫（LaboratoryInformationSystem,LIS）、醫(yī)療人員數(shù)據(jù)庫、醫(yī)療設(shè)備等衛(wèi)生領(lǐng)域的6大基礎(chǔ)數(shù)據(jù)庫,可以讓醫(yī)生隨時查閱病人的病歷、患史、治療措施和保險細則,隨時隨地快速制定診療方案,也可以讓患者自主選擇更換醫(yī)生或醫(yī)院,患者的轉(zhuǎn)診信息及病歷可以在任意一家醫(yī)院通過醫(yī)療聯(lián)網(wǎng)方式調(diào)閱。PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.1.1智慧醫(yī)療大數(shù)據(jù)的概念及應(yīng)用智慧醫(yī)療大數(shù)據(jù)的概念第四章大數(shù)據(jù)應(yīng)用區(qū)域化移動化集成化標準化智能化智慧醫(yī)療在智慧醫(yī)療推廣以前,患者每到一個醫(yī)院,就需要在這個醫(yī)院購買新的信息卡和病歷,重復(fù)做在其他醫(yī)院已經(jīng)做過的各種檢查。智慧醫(yī)療通過在大數(shù)據(jù)平臺錄入患者電子病歷,實現(xiàn)了不同醫(yī)療機構(gòu)之間的信息共享。在任何醫(yī)院就醫(yī)時,只要輸入患者身份證號碼,就可以立即獲得患者的所有信息,包括既往病史、檢查結(jié)果、治療記錄等,再也不需要在轉(zhuǎn)診時做重復(fù)檢查。住院病案作為電子病歷的典型,可以根據(jù)系統(tǒng)實時獲取。住院病案中包含了病人患病經(jīng)過和治療情況,同時可以對住院過程進行管理,大大提高了醫(yī)院的管理效率。PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.1.1智慧醫(yī)療大數(shù)據(jù)的概念及應(yīng)用電子病歷智慧醫(yī)療通過在大數(shù)據(jù)平臺錄入患者電子病歷,實現(xiàn)了不同醫(yī)療機構(gòu)之間的信息共享。第四章大數(shù)據(jù)應(yīng)用電子病歷醫(yī)院A醫(yī)院B信息共享人口健康信息平臺可以收集和管理個人健康信息,包括個人基本信息、健康狀況、疾病史、就診記錄等,從而促進健康管理和疾病預(yù)防。人口健康信息平臺可以促進醫(yī)療資源協(xié)調(diào)分配,對醫(yī)療資源進行全面的監(jiān)測和管理,統(tǒng)籌安排醫(yī)療資源的分配和調(diào)配,避免醫(yī)療資源的浪費和濫用。以哈爾濱醫(yī)療云項目為例,該項目以打造中國北方智慧醫(yī)療標桿為目標,于2020年6月底完成驗收,全面上線。衛(wèi)生專網(wǎng)覆蓋442家市區(qū)兩級醫(yī)療、衛(wèi)生管理機構(gòu)；完成市級全民健康信息平臺及18個區(qū)縣（市）虛擬平臺的建設(shè),縱向接入111家醫(yī)院數(shù)據(jù),橫向?qū)崿F(xiàn)與公衛(wèi)系統(tǒng)、血液系統(tǒng)、計生系統(tǒng)等14項垂直業(yè)務(wù)系統(tǒng)數(shù)據(jù)對接,采集了22.1億條數(shù)據(jù),形成了610余份居民電子健康檔案,構(gòu)建了4大類健康醫(yī)療云應(yīng)用。PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.區(qū)域人口健康管理人口健康信息平臺可以收集和管理個人健康信息,促進健康管理和疾病預(yù)防。也可以促進醫(yī)療資源協(xié)調(diào)分配,對醫(yī)療資源進行全面的監(jiān)測和管理,統(tǒng)籌安排醫(yī)療資源的分配和調(diào)配,避免醫(yī)療資源的浪費和濫用。第四章4.1.1智慧醫(yī)療大數(shù)據(jù)的概念及應(yīng)用哈爾濱市全民健康信息平臺大數(shù)據(jù)應(yīng)用以東軟醫(yī)療健康大數(shù)據(jù)平臺為例,它由數(shù)據(jù)中臺、AI應(yīng)用框架和基于大數(shù)據(jù)的智慧應(yīng)用三大部分組成,通過平臺匯聚各類醫(yī)療健康數(shù)據(jù),形成完整的大數(shù)據(jù)體系,實現(xiàn)基于大數(shù)據(jù)和AI的智慧應(yīng)用創(chuàng)新,賦能惠民、惠醫(yī)、惠政和惠業(yè)。PG大數(shù)據(jù)概論andstorableinformationbywhichcomprecorded1946.Data-processingisfrouredcollectionofdatainacomputer"Meaning

"transmittableare

performed"

is

first(also

database)

"structentry

is

by

1970.醫(yī)療大數(shù)據(jù)分析平臺醫(yī)療大數(shù)據(jù)分析平臺主要包括管理決策大數(shù)據(jù)應(yīng)用、健康醫(yī)療臨床和科研大數(shù)據(jù)應(yīng)用、公共衛(wèi)生大數(shù)據(jù)應(yīng)用、健康管理大數(shù)據(jù)應(yīng)用等。第四章4.1.1智慧醫(yī)療大數(shù)據(jù)的概念及應(yīng)用醫(yī)療大數(shù)據(jù)大屏看板大數(shù)據(jù)應(yīng)用東軟醫(yī)療健康大數(shù)據(jù)平臺架構(gòu)通過推進大數(shù)據(jù)在醫(yī)療健康領(lǐng)域的應(yīng)用,一方面,可以讓決策者多角度、全局性地掌握醫(yī)療機構(gòu)運營的總體情況,實現(xiàn)醫(yī)院精細化管理；另一方面,能夠?qū)w制改革進行合理的監(jiān)測與評估,使優(yōu)勢資源“下得去”,助力實現(xiàn)分級醫(yī)療效果的科學(xué)評估,合理進行資源優(yōu)化配置,更好地推動分級診療落地。大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.總結(jié)可以讓決策者多角度、全局性地掌握醫(yī)療機構(gòu)運營的總體情況,實現(xiàn)醫(yī)院精細化管理能夠?qū)w制改革進行合理的監(jiān)測與評估,更好地推動分級診療落地。4.1.1智慧醫(yī)療大數(shù)據(jù)的概念及應(yīng)用PG第四章大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例應(yīng)用簡介在國家健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展總體規(guī)劃的“1+5+X”(一個國家數(shù)據(jù)中心,五個區(qū)域中心,若干個應(yīng)用發(fā)展中心)中,山東省承擔了國家健康醫(yī)療大數(shù)據(jù)北方中心建設(shè)任務(wù)。制定健康醫(yī)療大數(shù)據(jù)標準基于健康醫(yī)療大數(shù)據(jù)平臺開展數(shù)據(jù)運營與應(yīng)用服務(wù)數(shù)據(jù)運營與應(yīng)PG用服務(wù)第四章大數(shù)據(jù)應(yīng)用健康醫(yī)療大數(shù)據(jù)平臺建設(shè)Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.PG大數(shù)據(jù)概論bleandstorableinformationbywhichcomprstrecorded1946.Data-processingisfroucturedcollectionofdatainacomputer"Meaning

"transmittaare

performed"

is

fi(also

database)

"strentry

is

by

1970.健康醫(yī)療大數(shù)據(jù)平臺建設(shè)匯集醫(yī)療相關(guān)數(shù)據(jù)、政府數(shù)據(jù)、社會數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、環(huán)境學(xué)等醫(yī)療相關(guān)全量數(shù)據(jù),形成健康醫(yī)療數(shù)據(jù)湖,并對匯聚的健康數(shù)據(jù)進行專項治理打造數(shù)據(jù)計算平臺,結(jié)合一碼通主索引連接所有治理后的數(shù)據(jù),根據(jù)應(yīng)用需求形成分類應(yīng)用,支持臨床輔助、科研、超級檔案檢索。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例平臺系統(tǒng)架構(gòu)PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.制定健康醫(yī)療大數(shù)據(jù)標準基于國家衛(wèi)生行業(yè)標準和省級參考規(guī)范,結(jié)合濟南實際,濟南市創(chuàng)新制定《濟南市健康醫(yī)療大數(shù)據(jù)目錄》,共計11大類、60個亞目、320個細目,16717個數(shù)據(jù)項。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.數(shù)據(jù)運營與應(yīng)用服務(wù)依托浪潮平臺+生態(tài)模式,打造平臺生態(tài)型業(yè)務(wù)架構(gòu)模式。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例健康醫(yī)療大數(shù)據(jù)技術(shù)及應(yīng)用服務(wù)模式架構(gòu)PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.數(shù)據(jù)運營與應(yīng)用服務(wù)（1）助力政府濟南市基于健康醫(yī)療大數(shù)據(jù)建立的全民健康醫(yī)療大數(shù)據(jù)平臺首頁概覽圖如圖所示。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例濟南市全民健康醫(yī)療大數(shù)據(jù)平臺首頁概覽圖PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.數(shù)據(jù)運營與應(yīng)用服務(wù)（2）服務(wù)醫(yī)療平臺面向醫(yī)療機構(gòu),對已經(jīng)治理的數(shù)據(jù)進行分類。目前在專病方面已經(jīng)開放了21種專病隊列,常見病200余種,全部病種兩萬六千余種,這為醫(yī)院在臨床路徑研究、醫(yī)藥研究、科學(xué)研究等方面提供了堅實基礎(chǔ)。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例人工智能閱片圖示PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.數(shù)據(jù)運營與應(yīng)用服務(wù)（3）實現(xiàn)便民惠民平臺打造愛健康互聯(lián)網(wǎng)服務(wù)平臺,為基層居民和患者提供互聯(lián)網(wǎng)一站式服務(wù)。第四章大數(shù)據(jù)應(yīng)用4.1.2濟南健康醫(yī)療大數(shù)據(jù)平臺建設(shè)與運營案例全民健康一卡通服務(wù)PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.1.3華西醫(yī)院腫瘤?？婆R床科研智能大數(shù)據(jù)平臺案例應(yīng)用簡介現(xiàn)代醫(yī)學(xué)已進行循證時代,基于嚴謹?shù)目茖W(xué)研究過程產(chǎn)生的醫(yī)學(xué)證據(jù)是優(yōu)化和改良當前醫(yī)療決策的最優(yōu)解之一。第四章大數(shù)據(jù)應(yīng)用科研智能大數(shù)據(jù)平臺建設(shè)科研大數(shù)據(jù)平臺應(yīng)用成果PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.科研智能大數(shù)據(jù)平臺建設(shè)華西醫(yī)院通過建設(shè)智能大數(shù)據(jù)平臺,完成全周期全維度全模態(tài)病患數(shù)據(jù)采集,實現(xiàn)臨床業(yè)務(wù)數(shù)據(jù)向標準化科研數(shù)據(jù)的智能轉(zhuǎn)化、統(tǒng)一存儲、處理、分析。第四章大數(shù)據(jù)應(yīng)用4.1.3華西醫(yī)院腫瘤?？婆R床科研智能大數(shù)據(jù)平臺案例智能數(shù)據(jù)治理圖PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.科研智能大數(shù)據(jù)平臺建設(shè)腫瘤?？婆R床科研智能大數(shù)據(jù)平臺圍繞特定疾病繼續(xù)建設(shè)科研專病數(shù)據(jù)庫的基礎(chǔ)平臺。第四章大數(shù)據(jù)應(yīng)用4.1.3華西醫(yī)院腫瘤?？婆R床科研智能大數(shù)據(jù)平臺案例科研平臺架構(gòu)圖PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.科研大數(shù)據(jù)平臺應(yīng)用成果智能單病種數(shù)據(jù)庫建設(shè)完成后,實現(xiàn)萬量級數(shù)據(jù)AI自動化提取入庫少于1小時,將數(shù)據(jù)提取精度提升至99.3%。第四章大數(shù)據(jù)應(yīng)用4.1.3華西醫(yī)院腫瘤?？婆R床科研智能大數(shù)據(jù)平臺案例ATACHANGEWORLDBBIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第四章大數(shù)據(jù)應(yīng)用4.2智能交通PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.2.1智能交通概念及應(yīng)用智能交通概念智能交通是利用信息技術(shù)手段,將交通運輸領(lǐng)域的各類數(shù)據(jù)和資源有機整合,實現(xiàn)數(shù)據(jù)的共享、協(xié)同、互通,從而提高交通運輸領(lǐng)域的管理、服務(wù)、安全、效率和創(chuàng)新等方面的水平。第四章大數(shù)據(jù)應(yīng)用共享協(xié)同互通PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entry

is

by

1970.智能交通應(yīng)用場景第四章大數(shù)據(jù)應(yīng)用4.2.1智能交通概念及應(yīng)用交通擁堵預(yù)測和優(yōu)化通過大數(shù)據(jù)分析交通狀況,對城市交通擁堵情況進行預(yù)測,并提出優(yōu)化措施,以減少擁堵情況的發(fā)生和影響。智能交通信號控制通過大數(shù)據(jù)技術(shù)實現(xiàn)交通信號的智能控制,根據(jù)交通狀況進行實時調(diào)整,以提高交通的通行效率和安全性。車輛管理和調(diào)度通過大數(shù)據(jù)技術(shù)實現(xiàn)對公共交通和物流車輛的管理和調(diào)度,以提高公共交通和物流運輸?shù)男屎唾|(zhì)量。交通安全預(yù)警和監(jiān)控通過大數(shù)據(jù)分析交通事故和違法行為等數(shù)據(jù),實現(xiàn)交通安全預(yù)警和監(jiān)控,幫助交警部門及時發(fā)現(xiàn)和處置交通安全隱患。交通信息服務(wù)通過大數(shù)據(jù)技術(shù)提供實時的交通信息服務(wù),包括路況信息、公共交通信息、停車位信息等,以便人們更好地規(guī)劃出行路線,避免交通擁堵。智能交通應(yīng)用場景PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.應(yīng)用案例以湖南省長益高速公路擴容工程中高速公路大數(shù)據(jù)平臺為例。第四章大數(shù)據(jù)應(yīng)用4.2.1智能交通概念及應(yīng)用長益高速公路大數(shù)據(jù)平臺架構(gòu)大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.總結(jié)智能交通可以利用城市實時交通信息、社交網(wǎng)絡(luò)和天氣數(shù)據(jù)來優(yōu)化最新的交通情況,融合了物聯(lián)網(wǎng)、大數(shù)據(jù)和云計算技術(shù)。4.2.1智能交通概念及應(yīng)用PG第四章大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.2.2江蘇交通運輸規(guī)劃大數(shù)據(jù)應(yīng)用案例應(yīng)用簡介近年來,江蘇省交通信息化建設(shè)的穩(wěn)步推進,目前已匯聚了覆蓋公、鐵、水、空、手機信令等多領(lǐng)域行業(yè)內(nèi)外多源交通數(shù)據(jù)資源。以接下來三個目錄來分別介紹。區(qū)域交通多源數(shù)據(jù)預(yù)處理PG第四章大數(shù)據(jù)應(yīng)用區(qū)域交通算法與模型構(gòu)建基于場景應(yīng)用的大數(shù)據(jù)綜合決策平臺搭建大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.區(qū)域交通多源數(shù)據(jù)預(yù)處理本成果重點針對多源、異構(gòu)、復(fù)雜的公路、鐵路、水運、航空、手機信令等各類交通數(shù)據(jù),形成了大數(shù)據(jù)清洗、數(shù)據(jù)融合、分布式高效計算等大數(shù)據(jù)預(yù)處理技術(shù)體系。4.2.2江蘇交通運輸規(guī)劃大數(shù)據(jù)應(yīng)用案例PG第四章大數(shù)據(jù)應(yīng)用高速公路數(shù)據(jù)預(yù)處理PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.區(qū)域交通算法與模型構(gòu)建一是構(gòu)建了交通出行特征全息感知、交通樞紐服務(wù)評測、全方式全鏈條出行軌跡追蹤等大數(shù)據(jù)算法模型。二是創(chuàng)新研究了基于多源數(shù)據(jù)的區(qū)域多模式、多層次交通模型,實現(xiàn)了多種運輸方式的一體化建模。第四章大數(shù)據(jù)應(yīng)用4.2.2江蘇交通運輸規(guī)劃大數(shù)據(jù)應(yīng)用案例大數(shù)據(jù)模型建立流程PG大數(shù)據(jù)概論bleandstorableinformationbywhichcompirstrecorded1946.Data-processingisfroructuredcollectionofdatainacomputer"Meaning

"transmittaare

performed"

is

f(also

database)

"stentry

is

by

1970.大數(shù)據(jù)綜合決策平臺建立了全方式全覆蓋的綜合交通大數(shù)據(jù)分析及仿真系統(tǒng)。第四章大數(shù)據(jù)應(yīng)用4.2.2江蘇交通運輸規(guī)劃大數(shù)據(jù)應(yīng)用案例中設(shè)高速公路大數(shù)據(jù)看板PG大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例面對廣西交通運輸行業(yè)信息孤島、數(shù)據(jù)互聯(lián)互通不足的問題,本案例主要打造廣西交通運輸行業(yè)大數(shù)據(jù)資源管控基礎(chǔ)平臺,研究交通運輸數(shù)據(jù)資源管控的一系列關(guān)鍵技術(shù),應(yīng) 覆蓋數(shù)據(jù)資源集成采集、清洗轉(zhuǎn)換、物理存用 儲、邏輯存儲、質(zhì)量與安全管控、服務(wù)管控、簡介 數(shù)據(jù)可視化與分析挖掘等全流程提升,為打造行業(yè)數(shù)據(jù)資源池實現(xiàn)橫縱向數(shù)據(jù)共享交換,推動數(shù)據(jù)要素流通應(yīng)用。第四章廣西交通運輸大數(shù)據(jù)資源管控平臺大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.平臺技術(shù)內(nèi)容及創(chuàng)新點（1）平臺層面平臺支持多源異構(gòu)數(shù)據(jù)采集、存儲、計算、共享、安全保障,搭建業(yè)內(nèi)主流Hadoop生態(tài)大數(shù)據(jù)平臺,涵蓋海量數(shù)據(jù)存儲、離線與實時處理、冷熱訪問等主要組件；打造高可用ETL工具,實現(xiàn)交通運輸多源異構(gòu)數(shù)據(jù)的采集,同時滿足離線分析、準實時、實時等多類數(shù)據(jù)采集場景；打造共享管理、交換通道與節(jié)點管理基礎(chǔ)平臺,配備數(shù)據(jù)分級、內(nèi)容加密、傳輸安全驗證等安全保障技術(shù),確保數(shù)據(jù)共享交換的完整性、有效性、及時性和安全性。4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例元數(shù)據(jù)管理系統(tǒng)PG第四章大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.平臺技術(shù)內(nèi)容及創(chuàng)新點（2）數(shù)據(jù)層面對數(shù)據(jù)全生命周期、全流程開展標準化管理,推動數(shù)據(jù)治理,提升數(shù)據(jù)質(zhì)量,有力支撐數(shù)據(jù)共享交換能力開放。初步確立數(shù)據(jù)采集、存儲、共享交換、數(shù)據(jù)治理等技術(shù)規(guī)范與指南；以“TOGAF”方法架構(gòu)為指引,以交通運輸大數(shù)據(jù)應(yīng)用為導(dǎo)向,結(jié)合范式、維度兩種建模理論,構(gòu)建綜合交通全域數(shù)倉模型；形成標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理架構(gòu),摸清全域數(shù)據(jù)脈絡(luò),統(tǒng)一標準,切實提升數(shù)據(jù)質(zhì)量。4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例元數(shù)據(jù)管理系統(tǒng)PG第四章大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.平臺技術(shù)內(nèi)容及創(chuàng)新點（3）應(yīng)用層面實現(xiàn)應(yīng)用的靈活部署與個性化開發(fā),開展數(shù)據(jù)的跨層次創(chuàng)新應(yīng)用探索。在基礎(chǔ)技術(shù)架構(gòu)上,采用微服務(wù)架構(gòu),便于應(yīng)用的靈活部署與橫向擴展；搭建便捷化的數(shù)據(jù)統(tǒng)計分析組件,實現(xiàn)對多源異構(gòu)綜合交通數(shù)據(jù)的匯聚統(tǒng)計,實現(xiàn)數(shù)據(jù)融合分析應(yīng)用；建設(shè)基于GIS一張圖的跨平臺可視化技術(shù),將數(shù)據(jù)分析應(yīng)用成果靈活、快速展示。4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例元數(shù)據(jù)管理系統(tǒng)PG第四章大數(shù)據(jù)應(yīng)用大數(shù)據(jù)概論PG第四章大數(shù)據(jù)應(yīng)用entry

is

by

1970.平臺應(yīng)用成果（1）初步完成重點系統(tǒng)數(shù)據(jù)采集匯聚截至2020年7月16日,已完成廣西交通運輸行業(yè)管理部門數(shù)據(jù)采集匯聚共1.738TB,其中結(jié)構(gòu)化基礎(chǔ)數(shù)據(jù)1160.3GB,含47.33億條記錄、2166張表、26553個字段；非結(jié)構(gòu)化數(shù)據(jù)619.7GB,含GIS數(shù)據(jù)520.8GB,發(fā)布了76個地圖服務(wù)、410個圖層信息服務(wù),圖片數(shù)據(jù)98.9GB,共654872張圖片。完成了公路基礎(chǔ)數(shù)據(jù)、車輛基礎(chǔ)數(shù)據(jù)、道路附屬設(shè)施數(shù)據(jù)、橋梁基礎(chǔ)數(shù)據(jù)、高速公路基礎(chǔ)數(shù)據(jù)、高速計重收費數(shù)據(jù)、船舶數(shù)據(jù)等60余個數(shù)據(jù)專題數(shù)據(jù)的整理。通過建模整理,構(gòu)建了涵蓋交通Mean5ing大"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"行業(yè)域、11個對象域、10個職能事務(wù)域的倉庫層；初步梳理了相對統(tǒng)一的、通用的、完整的、準確的5大對象主數(shù)據(jù),包括人員、業(yè)戶、車輛、船舶、公路。平臺共有5個主題資源共2040條目,其中基礎(chǔ)庫319個表、業(yè)務(wù)庫362個表、主題庫955個表,感知庫6個表,元數(shù)據(jù)庫398個表。4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.應(yīng)用成果（2）對交通運輸行業(yè)數(shù)據(jù)應(yīng)用提供了支撐在數(shù)據(jù)可視化展示方面,依托云數(shù)據(jù)中心打造的數(shù)據(jù)可視化萬花筒平臺,實現(xiàn)交通大數(shù)據(jù)的可見可感,幫助管理人員全面感知基礎(chǔ)設(shè)施、路網(wǎng)運行規(guī)律與交通態(tài)勢,并實現(xiàn)可視化部署,為交通資產(chǎn)精細化管理提供多維度數(shù)據(jù)呈現(xiàn)能力。聯(lián)合高德地圖、航班管家、高鐵管家、盛威時代等第三方公司,結(jié)合GIS圖層4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例信息,建成涵蓋云中心數(shù)據(jù)資源展示、綜PG第四章大數(shù)據(jù)應(yīng)用廣西交通運輸云數(shù)據(jù)中心面板合交通、規(guī)劃建設(shè)、路網(wǎng)監(jiān)測、安全應(yīng)急、節(jié)能環(huán)保、公路養(yǎng)護、交通物流、安全態(tài)

勢等多個主題數(shù)據(jù)展示與多維交互大屏。

廣西交通運輸云數(shù)據(jù)中心面板如圖所示。大數(shù)據(jù)概論Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"entryisby1970.應(yīng)用成果（3）打造了廣西交通運輸數(shù)據(jù)資統(tǒng)一管控標準規(guī)范體系依據(jù)廣西交通運輸云數(shù)據(jù)中心、廣西交通運輸大數(shù)據(jù)資源管控平臺的建設(shè)實踐工作,已打造成套適用于廣西交通運輸數(shù)據(jù)共享交換的標準規(guī)范。扎實保障數(shù)據(jù)融通對接,破除壁壘,提升數(shù)據(jù)流通效率。共享交4.2.3廣西交通運輸大數(shù)據(jù)資源管控平臺案例換標準體系建設(shè)內(nèi)容包括:數(shù)據(jù)信息資源標準、數(shù)據(jù)信息采集標準、數(shù)據(jù)信息共享PG第四章大數(shù)據(jù)應(yīng)用廣西交通運輸云數(shù)據(jù)中心面板標準、數(shù)據(jù)信息交互標準、數(shù)據(jù)質(zhì)量稽核標準、通用基礎(chǔ)標準、配套支撐標準等。ATACHANGEWORLDBBIGDATACP

A

G

E大數(shù)據(jù)概論高等職業(yè)教育科普教育系列教材第四章大數(shù)據(jù)應(yīng)用4.3智慧教育大數(shù)據(jù)概論4.3.1智慧教育大數(shù)據(jù)的概念及應(yīng)用智慧教育大數(shù)據(jù)概念隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,大數(shù)據(jù)技術(shù)在教育領(lǐng)域中的應(yīng)用也越來越廣泛。個性化教學(xué)通過大數(shù)據(jù)分析學(xué)生的學(xué)習情況、學(xué)習習慣、知識點掌握情況等數(shù)據(jù),可以為每個學(xué)生量身定制個性化的教學(xué)計劃。Meaning"transmittableandstorableinformationbywhichcompareperformed"isfirstrecorded1946.Data-processingisfro(alsodatabase)"structuredcollectionofdatainacomputer"智能輔助教學(xué)通過人工智能技術(shù),可以開發(fā)出各種智能輔助ent教ry學(xué)is工by具197,0.如智能教學(xué)軟件、智能作業(yè)系統(tǒng)等,提供給學(xué)生和教師使用。教育資源共享大數(shù)據(jù)可以將全國各地的教育資源整合到一起,形成一個龐大的教育資源庫,供全國各地的學(xué)生和教師使用。學(xué)生管理通過大數(shù)據(jù)分析學(xué)生的學(xué)習情況、行為習慣等數(shù)據(jù),