健康醫(yī)療大數(shù)據(jù)平臺解決方案

健康醫(yī)療大數(shù)據(jù)平臺

解決方案

目錄

1項目概述.....................................................4

2行業(yè)現(xiàn)狀和問題分析...........................................6

2.1行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀......................................6

2.2存在問題................................................7

3項目建設(shè)必要性和可行性分析..................................11

3.1項目建設(shè)必要性..........................................11

3.2可行性分析..............................................14

4項目總體設(shè)計................................................15

4.1建設(shè)原則...............................................15

4.2總體框架設(shè)計............................................19

4.3業(yè)務(wù)架構(gòu)設(shè)計............................................20

4.4技術(shù)架構(gòu)設(shè)計............................................21

4.5數(shù)據(jù)架構(gòu)設(shè)計............................................22

4.6應(yīng)用功能架構(gòu)設(shè)計........................................23

5大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范設(shè)計..........................................23

6大數(shù)據(jù)處理平臺設(shè)計..........................................27

6.1大數(shù)據(jù)采集平臺..........................................27

6.2大數(shù)據(jù)清洗平臺..........................................28

6.3大數(shù)據(jù)挖掘與分析平臺....................................29

6.4大數(shù)據(jù)治理平臺..........................................32

6.5大數(shù)據(jù)可視化平臺........................................34

6.6大數(shù)據(jù)交換共享平臺......................................36

7大數(shù)據(jù)應(yīng)用平臺..............................................39

7.1大數(shù)據(jù)應(yīng)用平臺概述......................................39

7.2應(yīng)用架構(gòu)設(shè)計............................................39

7.3數(shù)據(jù)需求與來源..........................................41

7.4醫(yī)療衛(wèi)生綜合大數(shù)據(jù)平臺設(shè)計..............................43

7.4.1公共衛(wèi)生大數(shù)據(jù)....................................43

7.4.2醫(yī)療服務(wù)大數(shù)據(jù)....................................45

743醫(yī)療保障大數(shù)據(jù)......................................47

7.4.4藥品供應(yīng)保障大數(shù)據(jù)..................................47

745計劃生育大數(shù)據(jù)......................................48

7.5醫(yī)療誤診誤判大數(shù)據(jù)平臺設(shè)計..............................48

751誤診概率指數(shù)分析...................................49

7.5.2輔助診療工作臺....................................49

7.5.3誤診案例精準(zhǔn)分析..................................49

754誤診數(shù)排名分析......................................50

7.5.5誤診熱點區(qū)域分布..................................50

756醫(yī)院輿情聚焦........................................50

757疾病誤診率分析......................................50

7.6和諧醫(yī)患大數(shù)據(jù)平臺設(shè)計..................................51

7.6.1醫(yī)鬧形成關(guān)系圖.....................................51

762醫(yī)患關(guān)系輿情診斷....................................51

7.7全民醫(yī)療衛(wèi)生健康風(fēng)險預(yù)警大數(shù)據(jù)平臺設(shè)計..................51

7.7.1公衛(wèi)警訊分析......................................52

7.7.2群體健康預(yù)警......................................52

7.7.3重大疾病預(yù)警......................................52

7.7.4慢性病監(jiān)測........................................53

7.7.5傳染病監(jiān)測........................................53

8大數(shù)據(jù)應(yīng)用場景設(shè)計.........................................53

8.1醫(yī)療機構(gòu)畫像............................................53

8.2醫(yī)療人員畫像............................................54

8.3醫(yī)療資源規(guī)劃分布........................................54

8.4重大疾病預(yù)警分析........................................55

8.5傳染病監(jiān)測分析..........................................55

8.6輿情大數(shù)據(jù)..............................................55

8.7.......56

9大數(shù)據(jù)安全保障設(shè)計.........................................56

9.1安全架構(gòu)................................................57

9.2服務(wù)器安全機制..........................................58

9.3數(shù)據(jù)安全策略............................................59

1項目概述

隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算和智能化技

術(shù)的發(fā)展，“互聯(lián)網(wǎng)+”思維正以勢不可擋的態(tài)勢闖入了人

們的視線，為健康醫(yī)療行業(yè)的發(fā)展帶來了新業(yè)態(tài)與新模式，

未來將會打造出一套完善的“互聯(lián)網(wǎng)+健康醫(yī)療”的信息服

務(wù)新體系。如何構(gòu)建富有效率的醫(yī)療衛(wèi)生體制是一個世界性

的難題，縱觀各國醫(yī)療衛(wèi)生體制改革之路可以看出，盡管改

革思路和方法有所不同，但在通過信息化全面構(gòu)建并應(yīng)用數(shù)

字健康醫(yī)療系統(tǒng)，推動健康醫(yī)療衛(wèi)生體制改革，更好地解決

居民健康醫(yī)療衛(wèi)生服務(wù)需求與服務(wù)供給的平衡方面都有著

共同的期望。

健康醫(yī)療數(shù)據(jù)是關(guān)系醫(yī)療活動、醫(yī)學(xué)研究、人口健康的

重要支撐資源，具有巨大戰(zhàn)略價值和商業(yè)價值，可以極大推

動健康醫(yī)療、裝備制造、互聯(lián)網(wǎng)公共服務(wù)、商業(yè)計算、保險

等眾多領(lǐng)域的快速發(fā)展。建設(shè)健康醫(yī)療的數(shù)據(jù)中心是國家需

求，2015年8月19日，國務(wù)院發(fā)布了《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)

展的行動綱要》，醫(yī)療衛(wèi)生屬于該行動綱要的重點領(lǐng)域，健

康醫(yī)療大數(shù)據(jù)是國家重要的基礎(chǔ)性戰(zhàn)略資源。健康醫(yī)療大數(shù)

據(jù)應(yīng)用發(fā)展將帶來健康醫(yī)療模式的深刻變化，有利于激發(fā)深

化醫(yī)藥衛(wèi)生體制改革的動力和活力，提升健康醫(yī)療服務(wù)效率

和質(zhì)量，擴大資源供給，不斷滿足人民群眾多層次、多樣化

的健康需求，有利于培育新的業(yè)態(tài)和經(jīng)濟增長點。為貫徹落

實《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要的通知》（國

發(fā)［2015）50號）要求，順應(yīng)新興信息技術(shù)發(fā)展趨勢，需要

規(guī)范和推動健康醫(yī)療大數(shù)據(jù)融合共享、開放應(yīng)用。

隨著急劇升高的醫(yī)療支出、人口老齡化帶來的慢性疾病

問題、醫(yī)療人員短缺、醫(yī)療欺詐、醫(yī)患矛盾等種種問題，健

康醫(yī)療行業(yè)目前面臨著巨大的挑戰(zhàn)。2016年6月8日，國務(wù)

院常務(wù)會議確定了健康醫(yī)療數(shù)據(jù)共建共享，發(fā)展和規(guī)范健康

醫(yī)療大數(shù)據(jù)應(yīng)用的措施，通過互聯(lián)網(wǎng)+醫(yī)療更好滿足群眾需

求；建設(shè)互聯(lián)互通的國家、省、市、縣四級人口健康信息平

臺，實現(xiàn)部門、區(qū)域、行業(yè)間數(shù)據(jù)開放融合、制定完善法律

法規(guī)和標(biāo)準(zhǔn)等措施。針對人口健康信息化，國家提出了

“46311-2”的頂層設(shè)計，到2020年,實現(xiàn)全員人口信息、

電子健康檔案和電子病歷三大數(shù)據(jù)庫基本覆蓋全國人口并

信息動態(tài)更新。全面建成互聯(lián)互通的國家、省、市、縣四級

人口健康信息平臺，實現(xiàn)公共衛(wèi)生、計劃生育、醫(yī)療服務(wù)、

醫(yī)療保障、藥品供應(yīng)、綜合管理等六大業(yè)務(wù)應(yīng)用系統(tǒng)的互聯(lián)

互通和業(yè)務(wù)協(xié)同。積極推進(jìn)居民健康卡與社會保障卡、金融

IC卡、市民服務(wù)卡等公共服務(wù)卡的應(yīng)用集成，實現(xiàn)就醫(yī)“一

卡通”；從而達(dá)到：服務(wù)模式從被動到主動；醫(yī)療模式從治

病到防病；診療模式從排斥到聯(lián)動；數(shù)據(jù)模式從隔離到整體;

技術(shù)模式從簡單到綜合的轉(zhuǎn)變；降低社會能耗，節(jié)約社會資

源，提升政府的公眾形象，并引導(dǎo)健康醫(yī)療事業(yè)良性發(fā)展。

2行業(yè)現(xiàn)狀和問題分析

2.1行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀

隨著我國經(jīng)濟持續(xù)高速增長和綜合國力大幅度提高，人

民群眾的生活水平迅速提高的同時，對健康及醫(yī)療質(zhì)量的要

求日益增高。為此，我國醫(yī)療服務(wù)正在從以大醫(yī)院為中心的

醫(yī)療模式過渡到以社區(qū)衛(wèi)生為中心的社區(qū)醫(yī)療模式，未來還

將過渡到以個人為中心的個體醫(yī)療模式。國務(wù)院《關(guān)于推進(jìn)

分級診療制度建設(shè)的指導(dǎo)意見》，部署加快推進(jìn)分級診療制

度建設(shè)，形成科學(xué)有序就醫(yī)格局，提高人民健康水平，進(jìn)一

步保障和改善民生。因此亟需構(gòu)建以大數(shù)據(jù)技術(shù)為基礎(chǔ)的

“醫(yī)療與健康大數(shù)據(jù)”相關(guān)平臺，建立針對突發(fā)疾病、常見

疾病、公共健康的預(yù)警體系，研發(fā)相應(yīng)的精準(zhǔn)診療新技術(shù)，

以提高我國的疾病防控和診治水平、促進(jìn)醫(yī)療相關(guān)行業(yè)發(fā)展。

《國務(wù)院辦公廳關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用

發(fā)展的指導(dǎo)意見》要求到2017年底，實現(xiàn)國家和省級人口

健康信息平臺以及全省藥品招標(biāo)采購業(yè)務(wù)應(yīng)用平臺互聯(lián)互

通，基本形成跨部門健康醫(yī)療數(shù)據(jù)資源共享共用格局。到

2020年，建成國家醫(yī)療衛(wèi)生信息分級開放應(yīng)用平臺，實現(xiàn)與

人口、法人、空間地理等基礎(chǔ)數(shù)據(jù)資源跨部門、跨區(qū)域共享，

醫(yī)療、醫(yī)藥、醫(yī)保和健康各相關(guān)領(lǐng)域數(shù)據(jù)融合應(yīng)用取得明顯

成效；統(tǒng)籌區(qū)域布局，依托現(xiàn)有資源建成100個區(qū)域臨床醫(yī)

學(xué)數(shù)據(jù)示范中心，基本實現(xiàn)城鄉(xiāng)居民擁有規(guī)范化的電子健康

檔案和功能完備的健康卡，健康醫(yī)療大數(shù)據(jù)相關(guān)政策法規(guī)、

安全防護(hù)、應(yīng)用標(biāo)準(zhǔn)體系不斷完善，適應(yīng)國情的健康醫(yī)療大

數(shù)據(jù)應(yīng)用發(fā)展模式基本建立，健康醫(yī)療大數(shù)據(jù)產(chǎn)業(yè)體系初步

形成、新業(yè)態(tài)蓬勃發(fā)展，人民群眾得到更多實惠。

健康醫(yī)療衛(wèi)生大數(shù)據(jù)應(yīng)用平臺是為政府各委辦局、企事

業(yè)單位、醫(yī)療機構(gòu)以及高校的科研人員提供大數(shù)據(jù)決策依據(jù)

平臺，通過提供一系列的統(tǒng)計分析應(yīng)用，幫助用戶對公共衛(wèi)

生、醫(yī)療服務(wù)、醫(yī)療保障、藥品供應(yīng)保障、計劃生育、綜合

管理等醫(yī)療衛(wèi)生領(lǐng)域的形勢進(jìn)行評估，提升企業(yè)的產(chǎn)業(yè)發(fā)展、

為科研人員提供大數(shù)據(jù)支持、輔助政府做出合理決策，促進(jìn)

醫(yī)療衛(wèi)生改革的良性發(fā)展，提高政府的公眾形象。

2.2存在問題

＞健康醫(yī)療信息數(shù)據(jù)共享程度低

醫(yī)療領(lǐng)域的大數(shù)據(jù)用戶覆蓋范圍很廣，比如醫(yī)院醫(yī)生和

科研人員、政府、醫(yī)療衛(wèi)生管理部門的領(lǐng)導(dǎo)和業(yè)務(wù)人員、公

共衛(wèi)生機構(gòu)的人員、第三方企業(yè)用戶和社會大眾等等。相應(yīng)

的數(shù)據(jù)資源分散在不同單位、不同信息化系統(tǒng)的數(shù)據(jù)池中，

包括醫(yī)院的電子病歷、結(jié)算與費用數(shù)據(jù)，醫(yī)療廠商的醫(yī)藥、

醫(yī)械數(shù)據(jù)、醫(yī)學(xué)研究的學(xué)術(shù)數(shù)據(jù)、區(qū)域衛(wèi)生信息采集的居民

健康檔案，政府調(diào)查的人口及公共衛(wèi)生數(shù)據(jù)，以及互聯(lián)網(wǎng)數(shù)

據(jù)等，但彼此之間沒有太多聯(lián)系。

同時，醫(yī)院內(nèi)部的數(shù)據(jù)將是健康醫(yī)療大數(shù)據(jù)平臺的主要

數(shù)據(jù)來源，而且醫(yī)院內(nèi)部的信息系統(tǒng)較多，涉及不同廠商、

不同業(yè)務(wù)范圍（主要包括臨床診療、臨床支持、運營管理、

科研管理、區(qū)域共享等方面應(yīng)用），存在HIS、電子病歷、

LIS、PACS、臨床路徑、科研系統(tǒng)、0A、人力資源、HERP

等眾多系統(tǒng)，一般都由不同軟件廠商承建，從而造成信息集

成方面相對薄弱，對于院內(nèi)異構(gòu)系統(tǒng)，使用傳統(tǒng)點對點接口

方式進(jìn)行對接，集成范圍和集成效果不理想，存在很多信息

孤島和數(shù)據(jù)同步方面的問題。僅有少數(shù)醫(yī)院建立了集成平臺

和數(shù)據(jù)中心，但對外共享程度不足。

此外，醫(yī)院內(nèi)部信息系統(tǒng)相對封閉，各個醫(yī)療機構(gòu)之間，

信息系統(tǒng)幾乎沒有對接，少數(shù)醫(yī)院實現(xiàn)了與區(qū)域信息平臺、

社區(qū)衛(wèi)生院或醫(yī)聯(lián)體的對接。除按照國家要求的病案首頁信

息上報和醫(yī)保信息上報外，絕大多數(shù)數(shù)據(jù)信息都封閉在醫(yī)院

內(nèi)部，利用率極低。

＞非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)

健康醫(yī)療行業(yè)的數(shù)據(jù)量巨大，數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)極其

復(fù)雜。到2020年，醫(yī)療數(shù)據(jù)將增至35ZB,相當(dāng)于2009年

數(shù)據(jù)量的44倍。另外，在醫(yī)院，每個患者不但要經(jīng)過辨證

論治的個體化診療，還會經(jīng)過各種理化檢測進(jìn)行疾病及其預(yù)

后的診斷，所以不光有病歷資料中包含的信息，還會有生化

檢查、多種影像或病理切片檢查等業(yè)務(wù)產(chǎn)生的非結(jié)構(gòu)化生物

學(xué)信息，數(shù)據(jù)類型十分復(fù)雜。這給數(shù)據(jù)的存儲、分析、處理、

傳輸?shù)葞砗艽筇魬?zhàn)。

＞信息采集不足，收集渠道不暢

要想在醫(yī)療領(lǐng)域使用大數(shù)據(jù)技術(shù)，首先要有足夠的病人、

藥物等相關(guān)信息，這是數(shù)據(jù)分析的基礎(chǔ)，然而許多病人可能

出于隱私考慮不愿提供這些信息，制藥企業(yè)也有可能因為

商業(yè)利益不愿共享藥物成分等敏感信息。另外，各個醫(yī)院及

機構(gòu)的醫(yī)療信息、軟件及硬件服務(wù)都各自獨立，缺乏合理接

口，大數(shù)據(jù)收集的渠道不暢，導(dǎo)致采集與應(yīng)用存在一定程

度上的脫離。

＞臨床決策支持困境重重

當(dāng)醫(yī)院信息化發(fā)展到一定程度，如何借助醫(yī)療IT系統(tǒng)為

醫(yī)院管理者提供決策支持就變得非常重要。由此杜絕因意識

疏忽、水平差異、信息不暢等因素導(dǎo)致的醫(yī)療過失?；诂F(xiàn)

代的數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)，對電子病歷所蘊含的大量數(shù)

據(jù)進(jìn)行分析和統(tǒng)計，能夠有效支持循證醫(yī)學(xué)等以臨床資料實

證為基礎(chǔ)的醫(yī)學(xué)教學(xué)和科學(xué)研究，大力促進(jìn)臨床醫(yī)療技術(shù)和

水平的發(fā)展。

＞大數(shù)據(jù)高效分析能力欠缺

采集到足夠信息后，需要由相關(guān)領(lǐng)域的專業(yè)人士與信息

技術(shù)專家一起對數(shù)據(jù)進(jìn)行有針對性地歸納和分析，得出由大

量新興技術(shù)（如HadoopMapReduce,內(nèi)存數(shù)據(jù)庫等）組成的高

性能的專業(yè)的分析技術(shù)架構(gòu)解決方案，而這種跨學(xué)科、跨領(lǐng)

域合作能否順利實現(xiàn)，是大數(shù)據(jù)技術(shù)實際應(yīng)用中的重要問題。

＞區(qū)域衛(wèi)生信息平臺覆蓋范圍不足

區(qū)域衛(wèi)生信息平臺，以區(qū)域內(nèi)健康檔案信息的采集、存

儲為基礎(chǔ)，連接區(qū)域內(nèi)二三級醫(yī)院、基層醫(yī)療衛(wèi)生機構(gòu)和公

共衛(wèi)生機構(gòu)，實現(xiàn)互聯(lián)互通、信息共享和聯(lián)動協(xié)同工作。

目前，區(qū)域衛(wèi)生信息平臺目前主要在經(jīng)濟發(fā)達(dá)省市進(jìn)行

了建設(shè)，在全國覆蓋范圍不足，尚處在不斷建設(shè)之中；即使

建立了區(qū)域衛(wèi)生信息平臺的省市，由于醫(yī)院、基層醫(yī)療衛(wèi)生

機構(gòu)和公共衛(wèi)生機構(gòu)眾多，系統(tǒng)情況各異，互聯(lián)互通覆蓋率

和信息共享效果還有待提高；再者，很多省級和市級區(qū)域衛(wèi)

生信息平臺分開獨立建設(shè)，也給全國或全省區(qū)域平臺交互與

共享工作增加了難度。

＞大數(shù)據(jù)的安全問題有待研究

隨著數(shù)據(jù)量的不斷增加，數(shù)據(jù)存儲的物理安全性越來越

重要，對數(shù)據(jù)的多副本與容災(zāi)機制提出更高的要求。但是網(wǎng)

絡(luò)和數(shù)字化生活使得犯罪分子更容易獲得關(guān)于人的信息，也

有了更多不易被追蹤和防范的犯罪手段，大數(shù)據(jù)的保護(hù)越來

越重要。

3項目建設(shè)必要性和可行性分析

3.1建設(shè)必要性

健康醫(yī)療領(lǐng)域是關(guān)系國計民生的重要領(lǐng)域，健康醫(yī)療數(shù)

據(jù)是國家重要的基礎(chǔ)性戰(zhàn)略資源，在健康醫(yī)療方面開展大數(shù)

據(jù)應(yīng)用，是十分必要而且迫切的工作，主要體現(xiàn)在：

1、健康區(qū)域建設(shè)的需要

國家衛(wèi)生計生委會同有關(guān)部門正在研究起草《“健康中

國2030”規(guī)劃綱要》，作為2016-2030年推進(jìn)健康中國建設(shè)

的宏偉藍(lán)圖和行動綱領(lǐng)。挖掘健康醫(yī)療數(shù)據(jù)價值、開展健康

醫(yī)療大數(shù)據(jù)應(yīng)用，從而推動醫(yī)療衛(wèi)生體制改革，將是健康區(qū)

域建設(shè)中的最重要手段和方式。

2、健康醫(yī)療數(shù)據(jù)是高價值資源

健康醫(yī)療數(shù)據(jù)包括患者診療數(shù)據(jù)、居民健康數(shù)據(jù)、公共

衛(wèi)生數(shù)據(jù)、婦幼保健數(shù)據(jù)、社保數(shù)據(jù)、醫(yī)藥流通數(shù)據(jù)等。其

中，患者診療數(shù)據(jù)是醫(yī)生對患者診療過程所產(chǎn)生的數(shù)據(jù)，包

括患者生命體征數(shù)據(jù)、電子病歷數(shù)據(jù)、電子健康檔案數(shù)據(jù)、

診療數(shù)據(jù)、醫(yī)學(xué)影像數(shù)據(jù)、醫(yī)學(xué)數(shù)據(jù)、費用數(shù)據(jù)等，這些數(shù)

據(jù)以患者為中心，是健康醫(yī)療信息的主要來源。隨著患者診

療活動的不斷進(jìn)行，在使數(shù)據(jù)庫信息容量不斷膨脹的同時,

也對疾病及患者的管理、控制和醫(yī)療研究起到積極的作用，

價值不菲。健康醫(yī)療數(shù)據(jù)還有一個重要特點，即歷史數(shù)據(jù)不

論對居民個人還是對政府機構(gòu)，都具有持續(xù)長久的重要意義。

3、健康醫(yī)療數(shù)據(jù)融合利用的需求

現(xiàn)行的由醫(yī)療機構(gòu)、區(qū)域衛(wèi)生和人口計生等多個平臺分

別提供數(shù)據(jù)服務(wù)的模式，已經(jīng)無法適應(yīng)急速增長的數(shù)據(jù)規(guī)模、

日益復(fù)雜的數(shù)據(jù)結(jié)構(gòu)以及各部門源源不斷的數(shù)據(jù)服務(wù)需求。

由衛(wèi)生計生委主導(dǎo)的醫(yī)院信息平臺、區(qū)域衛(wèi)生信息平臺

和全員人口信息庫三大平臺中的數(shù)據(jù)相對獨立，更未達(dá)到

“三庫合一”、“融合利用”的數(shù)據(jù)利用能力，因此，有必要

以大數(shù)據(jù)的創(chuàng)新服務(wù)形式來推動數(shù)據(jù)開放、共享和應(yīng)用，充

分發(fā)揮健康醫(yī)療數(shù)據(jù)價值。

4、健康醫(yī)療決策支持需要

構(gòu)建大數(shù)據(jù)分析決策機制，從“經(jīng)驗決策”向“數(shù)據(jù)驅(qū)

動決策”轉(zhuǎn)變。大數(shù)據(jù)能提升決策的科學(xué)精準(zhǔn)性，提高預(yù)警

能力以及應(yīng)急響應(yīng)能力。大數(shù)據(jù)又超越了傳統(tǒng)的數(shù)據(jù)分析方

法，大大拓展了數(shù)據(jù)的可得性與即時性。

對歷史和最新的健康醫(yī)療數(shù)據(jù)進(jìn)行分析，能夠增強預(yù)見

性；對內(nèi)部和外部數(shù)據(jù)整合，可發(fā)現(xiàn)事物之間更多的相關(guān)性；

對海量數(shù)據(jù)的挖掘，能夠提高管理決策的科學(xué)性。

因此，在健康醫(yī)療領(lǐng)域，可以利用這些特點來動態(tài)監(jiān)測

疾病、健康、人口相關(guān)信息，又能及時感知到公眾實時關(guān)注

的疾病與健康信息，大數(shù)據(jù)的深入及廣泛應(yīng)用會帶來科學(xué)和

精準(zhǔn)的決策支持。

5、第三方數(shù)據(jù)應(yīng)用的需要

健康醫(yī)療數(shù)據(jù)價值巨大，除了能夠?qū)πl(wèi)生計生部門、醫(yī)

療機構(gòu)、居民帶來巨大的效益外，還可為第三方機構(gòu)提供數(shù)

據(jù)服務(wù)和數(shù)據(jù)應(yīng)用，從而為整個社會相關(guān)產(chǎn)業(yè)產(chǎn)生數(shù)據(jù)價值。

健康醫(yī)療、養(yǎng)老、醫(yī)藥、保險等第三方機構(gòu)對健康醫(yī)療數(shù)據(jù)

需求迫切。

擴大第三方數(shù)據(jù)應(yīng)用，構(gòu)建外部信息共享交換平臺。第

三方數(shù)據(jù)信息的共享是大數(shù)據(jù)時代健康醫(yī)療模式變革的基

礎(chǔ)，也是醫(yī)療信息化發(fā)展的必然趨勢。未來，會有越來越多

部門打破數(shù)據(jù)壁壘，參與第三方數(shù)據(jù)共享，為第三方提供數(shù)

據(jù)價值服務(wù)。

6、提升產(chǎn)業(yè)政策對醫(yī)療的推動作用的需要

大數(shù)據(jù)時代醫(yī)療信息化建設(shè)從產(chǎn)業(yè)角度看，未來將創(chuàng)建

一個以患者為中心，數(shù)據(jù)快速流通，精準(zhǔn)分析的價值鏈條。

在此鏈條中政府、醫(yī)療衛(wèi)生機構(gòu)、醫(yī)療信息化軟硬件提供商

等應(yīng)明確各自定位，協(xié)同合作，做好醫(yī)療信息化建設(shè)。政府

在醫(yī)療信息化建設(shè)中主要發(fā)揮政策制定、產(chǎn)業(yè)發(fā)展推動作用。

通過建立健康醫(yī)療大數(shù)據(jù)平臺，加強各級各類醫(yī)療機構(gòu)醫(yī)院

之間的醫(yī)療協(xié)作和資源共享，進(jìn)而實現(xiàn)管理信息的共享，改

變舊的管理體制，實現(xiàn)由分散管理向一體化管理轉(zhuǎn)變、由事

后控制向全程控制轉(zhuǎn)變、由粗放管理向精細(xì)管理、智能管理

轉(zhuǎn)變，從而提高全省醫(yī)療資源的效率，促進(jìn)醫(yī)療、科研、教

學(xué)工作協(xié)調(diào)發(fā)展，為群眾提供優(yōu)質(zhì)、高效的醫(yī)療服務(wù)。

3.2可行性分析

1、經(jīng)濟可行性

百度、阿里、騰訊等紛紛將目光聚集到在線醫(yī)療服務(wù)，

市場經(jīng)濟下為了獲得更大的利潤，互聯(lián)網(wǎng)公司希望融合其他

傳統(tǒng)行業(yè)，這自然包括醫(yī)療健康行業(yè)，而醫(yī)療健康產(chǎn)業(yè)也希

望運用互聯(lián)網(wǎng)公司先進(jìn)的大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等技術(shù)，

從而促進(jìn)了醫(yī)療健康行業(yè)與互聯(lián)網(wǎng)行業(yè)的融合。

2、政策可行性

健康醫(yī)療大數(shù)據(jù)系統(tǒng)具有許多優(yōu)勢，能給用戶帶來更好

的醫(yī)療服務(wù)體驗，因而被國內(nèi)許多大城市的醫(yī)院所使用。健

康醫(yī)療大數(shù)據(jù)行業(yè)在相關(guān)政策的支持下，經(jīng)歷了由弱變強的

發(fā)展歷程。各地方政府有關(guān)機構(gòu)發(fā)布通知，提出“十二五”

期間逐步提高政府衛(wèi)生投入占衛(wèi)生總費用的比例，相關(guān)醫(yī)療

機構(gòu)的管理部門在增加醫(yī)療衛(wèi)生資源的基礎(chǔ)上，將在公立醫(yī)

院和社康中心建立分級診療、分片轉(zhuǎn)診的上下聯(lián)動機制，在

社康中心內(nèi)涵建設(shè)方面，配備完善資源和服務(wù)功能。

《中共中央關(guān)于全面深化改革若干重大問題的決定》、

《中共中央國務(wù)院關(guān)于深化醫(yī)藥衛(wèi)生體制改革的意見》、

《國務(wù)院關(guān)于促進(jìn)健康服務(wù)業(yè)發(fā)展的若干意見》（國發(fā)［2013）

40號）精神，促進(jìn)我國醫(yī)療衛(wèi)生資源進(jìn)一步優(yōu)化配置，提高

服務(wù)可及性、能力和資源利用效率，指導(dǎo)各地科學(xué)、合理地

制訂實施區(qū)域衛(wèi)生規(guī)劃。

3、技術(shù)可行性

＞云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的發(fā)展；

＞傳感器技術(shù)使終端更智能化；

＞移動互聯(lián)網(wǎng)日益普及3D打印、基因測序；

＞可穿戴式醫(yī)療設(shè)備等產(chǎn)品；

＞4G網(wǎng)絡(luò)、智能手機的結(jié)合。

4、模式可行性

互聯(lián)網(wǎng)醫(yī)療健康產(chǎn)品和服務(wù)的發(fā)展，促進(jìn)健康信息的采

集、共享和暢通，打通信息孤島，促進(jìn)產(chǎn)業(yè)分工以及加強不

同領(lǐng)域企業(yè)間的互通合作，從而優(yōu)化資源配置，提高研發(fā)效

率和質(zhì)量。通過制定數(shù)據(jù)來源標(biāo)準(zhǔn)、數(shù)據(jù)及數(shù)據(jù)元的標(biāo)準(zhǔn)、

分類術(shù)語編碼的標(biāo)準(zhǔn)以及信息模擬互操作的特色標(biāo)準(zhǔn)，并且

建立質(zhì)量管理機制。加快建立一套完善的標(biāo)準(zhǔn)體系，使整個

醫(yī)療機構(gòu)之間、業(yè)務(wù)流程之間很好地連接，打破醫(yī)療信息化

的壁壘，實現(xiàn)跨醫(yī)院、跨地區(qū)的數(shù)據(jù)交換、信息共享。

4項目總體設(shè)計

4.1建設(shè)原則

基于大數(shù)據(jù)的健康醫(yī)療平臺建設(shè)，堅持以需求為導(dǎo)向，

以績效為核心，統(tǒng)籌規(guī)劃，分步實施，信息共享，注重實效，

并進(jìn)行集約化建設(shè)，采用先進(jìn)信息技術(shù)，深度挖掘數(shù)據(jù)價值，

保障信息安全。

1、堅持需求導(dǎo)向，績效核心的原則

結(jié)合中國健康醫(yī)療大數(shù)據(jù)發(fā)展的需求，堅持全面推進(jìn)與

重點突破相結(jié)合，合理規(guī)劃健康醫(yī)療大數(shù)據(jù)平臺建設(shè)內(nèi)容，

使得平臺建設(shè)快速見效，在打好底層基礎(chǔ)的同時獲得顯而易

見的應(yīng)用效果，從而保障投入產(chǎn)出效益，為后續(xù)建設(shè)營造良

好環(huán)境。健康醫(yī)療大數(shù)據(jù)平臺的應(yīng)用對象是政府、醫(yī)療衛(wèi)生

服務(wù)機構(gòu)、醫(yī)療衛(wèi)生監(jiān)管部門、公共衛(wèi)生機構(gòu)、第三方企業(yè)

及社會大眾，因此必須要有明確的應(yīng)用目標(biāo)和預(yù)期效果，同

時邊建設(shè)邊應(yīng)用，在應(yīng)用中加以完善、提高。通過應(yīng)用拉動

對平臺的需求，以需求進(jìn)一步推動平臺的應(yīng)用，保證其建設(shè)

的投資見成效。

2、堅持統(tǒng)籌規(guī)劃，分步實施的原則

圍繞建設(shè)健康醫(yī)療大數(shù)據(jù)平臺+大數(shù)據(jù)應(yīng)用的發(fā)展戰(zhàn)略,

科學(xué)、系統(tǒng)、高標(biāo)準(zhǔn)規(guī)劃健康醫(yī)療大數(shù)據(jù)平臺頂層架構(gòu)，以

現(xiàn)實基礎(chǔ)為起點，把握目標(biāo)與現(xiàn)實的差距，有計劃、分層次

地精確、協(xié)調(diào)推進(jìn)信息化新建、擴建和整合深化。在目前醫(yī)

院信息平臺、區(qū)域衛(wèi)生信息平臺、藥品監(jiān)督管理平臺、醫(yī)保

系統(tǒng)等基礎(chǔ)上進(jìn)行統(tǒng)籌規(guī)劃，立足現(xiàn)狀，考慮長遠(yuǎn)，站在戰(zhàn)

略的高度，構(gòu)建基于大數(shù)據(jù)的醫(yī)療服務(wù)平臺的總體框架與運

行模式，確保建設(shè)的整體性和協(xié)調(diào)性，在建設(shè)過程中，突出

重點，分步實施，注重實效，以保證系統(tǒng)建設(shè)的順利進(jìn)行。

3、堅持信息共享、數(shù)據(jù)開放的原則

健康醫(yī)療大數(shù)據(jù)平臺建設(shè)要充分整合各方面資源，既要

涵蓋區(qū)域衛(wèi)生數(shù)據(jù)、醫(yī)院信息化數(shù)據(jù)、藥品數(shù)據(jù)、公共衛(wèi)生

數(shù)據(jù)等醫(yī)療衛(wèi)生數(shù)據(jù)，又要整合自我量化數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)

等，為政府、醫(yī)療衛(wèi)生機構(gòu)和公眾提供更有價值的數(shù)據(jù)服務(wù)。

因此需要制定完善的健康醫(yī)療大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，實現(xiàn)不同來

源、不同結(jié)構(gòu)、不同類型之間數(shù)據(jù)的集成整合及共享，促進(jìn)

各級系統(tǒng)建設(shè)的上下一致和系統(tǒng)之間的互聯(lián)互通，促進(jìn)數(shù)據(jù)

開放，從而拓寬數(shù)據(jù)的應(yīng)用范圍，充分發(fā)揮數(shù)據(jù)價值。在統(tǒng)

一標(biāo)準(zhǔn)的基礎(chǔ)上，開展信息的集成與整合，優(yōu)化和合理配置

各類信息資源，形成有機統(tǒng)一的體系。

4、堅持實時更新，注重實效的原則

健康醫(yī)療大數(shù)據(jù)平臺在建設(shè)過程中應(yīng)注重信息的時效

性，注重平臺推廣，對于健康醫(yī)療信息應(yīng)進(jìn)行實時收集、檢

查、篩選并更新，從而為政府部門及時制定決策、調(diào)整政策

提供依據(jù)支持。

5、堅持資源集約，合理利用的原則

健康醫(yī)療大數(shù)據(jù)云計算中心建設(shè)依托現(xiàn)有基礎(chǔ)設(shè)施，對

服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫、安全設(shè)施等軟硬件設(shè)施進(jìn)行充

分利舊，更好的減少重復(fù)投資，提高資源利用率，降低成本。

6、堅持安全可靠、穩(wěn)定運行的原則

本項目的建設(shè)要堅持安全可靠原則，建立和完善可靠的

安全運行機制，在制度上和技術(shù)上采取有效措施，保證系統(tǒng)

在運營過程中信息傳輸?shù)陌踩?，保證系統(tǒng)與其它相關(guān)系統(tǒng)信

息交換過程的安全；保證系統(tǒng)業(yè)務(wù)管理體系的安全，對系統(tǒng)

的操作需嚴(yán)格按照操作權(quán)限進(jìn)行，并對每項操作留下完整的

日志記錄備查。

7、堅持新技術(shù)應(yīng)用，提升數(shù)據(jù)價值的原則

充分考慮運用大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等

新一代信息技術(shù)，以便更好地挖掘健康醫(yī)療大數(shù)據(jù)的價值,

為社會大眾的健康醫(yī)療提供良好的數(shù)據(jù)支撐服務(wù)。基于大數(shù)

據(jù)的健康醫(yī)療大數(shù)據(jù)平臺的建設(shè)要符合健康中國的功能定

位，在項目設(shè)計和建設(shè)實施需采用國際先進(jìn)成熟的技術(shù)和手

段，做到適度超前、國際先進(jìn)、國內(nèi)領(lǐng)先，以保障系統(tǒng)具有

高效、全面和穩(wěn)定等良好品質(zhì)。項目建設(shè)要采用先進(jìn)的設(shè)計

思想和開放的體系結(jié)構(gòu)，確保做到技術(shù)先進(jìn)，系統(tǒng)開放。

4.2總體框架設(shè)計

醫(yī)療健康址據(jù)分析與應(yīng)用系統(tǒng)

大數(shù)據(jù)醫(yī)疔大數(shù)據(jù)醫(yī)學(xué)大麴據(jù)監(jiān)管大數(shù)據(jù)衛(wèi)生大數(shù)據(jù)健康大數(shù)據(jù)知識庫

標(biāo)

信

準(zhǔn)

息

規(guī)

安應(yīng)用支撐平臺

劃

全

1橫據(jù)管理』事務(wù)管理：目錄管理：；校限管理統(tǒng)計報表

體

體

系

系

((

政

安

策

全

法

管

規(guī)

理

'、

安

全

等

醫(yī)療健康大數(shù)據(jù)采集網(wǎng))

醫(yī)療衛(wèi)生機構(gòu)數(shù)據(jù)公共衛(wèi)生數(shù)據(jù)醫(yī)療管理機構(gòu)數(shù)據(jù)保險機構(gòu)數(shù)據(jù)企業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)

4.3業(yè)務(wù)架構(gòu)設(shè)計

健康醫(yī)療大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)監(jiān)管

醫(yī)療人員畫像醫(yī)療機構(gòu)畫像:合理用藥監(jiān)管〔二合理用血監(jiān)管

醫(yī)院運營監(jiān)管醫(yī)保控費輿情大數(shù)據(jù)……

大數(shù)據(jù)圖大數(shù)據(jù)醫(yī)學(xué)

個人醫(yī)療畫像臨床路徑應(yīng)用精準(zhǔn)醫(yī)療

臨床決策支持醫(yī)療資源協(xié)調(diào)科研大數(shù)據(jù)

臨床藥物研發(fā)

大數(shù)據(jù)衛(wèi)生

慢性病防治傳染病預(yù)測

突發(fā)事件預(yù)警……

大數(shù)據(jù)知識庫

臨床診療知識庫公共衛(wèi)生知識庫藥品知識庫健康知識庫........

大數(shù)據(jù)平臺

4.4技術(shù)架構(gòu)設(shè)計

Hadoop平臺

離線數(shù)據(jù)實時數(shù)據(jù)

Presto

MapreduceSpark

Kylinspai'kstreamstorm

hivesparksql

drill

分布式文件系統(tǒng)（HDFS）Ffoase*Elaticsearch

采

集

數(shù)據(jù)采集

層(sqoop,flume,ETL.......)

數(shù)

據(jù)

源

結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)

4.5數(shù)據(jù)架構(gòu)設(shè)計

個人數(shù)據(jù)其他數(shù)據(jù)

?個人基本信息?互聯(lián)網(wǎng)數(shù)據(jù)

?個人體檢數(shù)據(jù)?城市環(huán)境數(shù)據(jù)

-個人健康記錄?輿情數(shù)據(jù)

?個人物聯(lián)網(wǎng)數(shù)據(jù)?行政監(jiān)管數(shù)據(jù)

醫(yī)療業(yè)務(wù)數(shù)據(jù)?臨床診療數(shù)據(jù)

醫(yī)院資源數(shù)據(jù)

?電子病歷數(shù)據(jù)醫(yī)院財務(wù)數(shù)據(jù)醫(yī)院運營數(shù)據(jù)

.檢驗檢查數(shù)據(jù)醫(yī)療質(zhì)量數(shù)據(jù)

?生物醫(yī)學(xué)數(shù)據(jù)醫(yī)療健康大數(shù)據(jù)衛(wèi)生情況數(shù)據(jù)

?醫(yī)囑用藥數(shù)據(jù)

?醫(yī)療保瞼數(shù)據(jù)

婦幼保健數(shù)據(jù)

慢性病數(shù)據(jù)?新農(nóng)合轆V

?醫(yī)保費用數(shù)據(jù)

傳染病數(shù)據(jù)

?基本藥物數(shù)據(jù)?商業(yè)保瞼數(shù)據(jù)

全面健康檔案

?藥物研究數(shù)據(jù)?社保蟾

公共衛(wèi)生數(shù)據(jù)-藥物生產(chǎn)流通數(shù)據(jù)

???一保險數(shù)據(jù)

?藥品質(zhì)量數(shù)據(jù)

醫(yī)藥數(shù)據(jù)

4.6應(yīng)用功能架構(gòu)設(shè)計

健康醫(yī)療大數(shù)據(jù)分析研判系統(tǒng)門戶

安

系

安

系

療

醫(yī)

衛(wèi)

診醫(yī)

(誤公共衛(wèi)

應(yīng)

統(tǒng)

全

統(tǒng)

全S和諧醫(yī)

大

生

用

A數(shù)

大數(shù)

療生監(jiān)測

管

保

管

保A

S層患大數(shù)

據(jù)

平

臺

平臺

據(jù)

理

障

理

障)大數(shù)據(jù)

據(jù)平臺

體

體

體

體平臺

系

系

系

系

((((

訪

訪

日

日數(shù)據(jù)服分析研判預(yù)警預(yù)測動態(tài)監(jiān)控信息處理

問

問

志

志類服務(wù)

務(wù)層類服務(wù)類服務(wù)類服務(wù)

權(quán)

權(quán)

審

審

生命周期數(shù)據(jù)質(zhì)量

數(shù)據(jù)整合數(shù)據(jù)訂閱

限

限

計

計管理

數(shù)據(jù)處管理

控

控''

用

用

制

制理層數(shù)據(jù)交

戶

戶

、換平臺'

管

防

防

管

流

理

病

病

數(shù)據(jù)準(zhǔn)理

式

毒

毒

,備層、

處

運

'運'

O昂DS數(shù)據(jù)立方體

理

維

防

防

I維

監(jiān)

入

入

數(shù)據(jù)存元數(shù)據(jù)管數(shù)據(jù)費源監(jiān)

控

侵

侵

儲層理目錄控

))

云數(shù)據(jù)中心管理平公

基礎(chǔ)設(shè)施二

(IAAS)計算資源池存儲資源池網(wǎng)絡(luò)資源池

5大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范設(shè)計

目前，大數(shù)據(jù)技術(shù)相關(guān)標(biāo)準(zhǔn)的研制還處于起步階段，國

家對ISO/IEC、ITU等國際標(biāo)準(zhǔn)化組織、NIST、國內(nèi)全國信

標(biāo)委已經(jīng)開展的標(biāo)準(zhǔn)化工作進(jìn)行梳理，依據(jù)大數(shù)據(jù)技術(shù)體系,

從基礎(chǔ)、技術(shù)、產(chǎn)品、應(yīng)用等不同角度進(jìn)行分析，形成了大

數(shù)據(jù)標(biāo)準(zhǔn)體系框架，對我國現(xiàn)有標(biāo)準(zhǔn)、在研標(biāo)準(zhǔn)和將提出的

標(biāo)準(zhǔn)計劃進(jìn)行分析，形成了大數(shù)據(jù)標(biāo)準(zhǔn)體系。對于目前急需

研制的標(biāo)準(zhǔn)進(jìn)行了較為詳細(xì)的分析，這部分將成為后續(xù)標(biāo)準(zhǔn)

化工作的重點。

在研究國家提出的大數(shù)據(jù)技術(shù)框架基礎(chǔ)上，結(jié)合數(shù)據(jù)全

周期管理，數(shù)據(jù)自身標(biāo)準(zhǔn)化特點，各行業(yè)大數(shù)據(jù)應(yīng)用的初步

實踐，以及未來大數(shù)據(jù)發(fā)展的趨勢，我們將在遵循國家已發(fā)

布或擬研制的大數(shù)據(jù)標(biāo)準(zhǔn)體系下，不斷補充完善大數(shù)據(jù)標(biāo)準(zhǔn)

體系建設(shè)。

大數(shù)據(jù)標(biāo)準(zhǔn)體系框架

大數(shù)據(jù)標(biāo)準(zhǔn)體系由六個類別的標(biāo)準(zhǔn)組成，分別為：基礎(chǔ)

標(biāo)準(zhǔn)，數(shù)據(jù)處理標(biāo)準(zhǔn)，數(shù)據(jù)安全標(biāo)準(zhǔn)，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，產(chǎn)品

和平臺標(biāo)準(zhǔn)及應(yīng)用和服務(wù)標(biāo)準(zhǔn)。

A基礎(chǔ)標(biāo)準(zhǔn)

為整個標(biāo)準(zhǔn)體系提供包括總則、術(shù)語和參考模型等基礎(chǔ)

性標(biāo)準(zhǔn)。

＞數(shù)據(jù)處理標(biāo)準(zhǔn)

數(shù)據(jù)處理類標(biāo)準(zhǔn)包含數(shù)據(jù)整理、數(shù)據(jù)分析和數(shù)據(jù)訪問三

種類型的標(biāo)準(zhǔn)。數(shù)據(jù)整理標(biāo)準(zhǔn)主要是針對數(shù)據(jù)在采集匯聚后

的初步處理方式、方法的標(biāo)準(zhǔn)，包括數(shù)據(jù)表示、數(shù)據(jù)注冊和

數(shù)據(jù)清理三類標(biāo)準(zhǔn)。數(shù)據(jù)分析標(biāo)準(zhǔn)主要針對大數(shù)據(jù)環(huán)境下數(shù)

據(jù)分析的性能、功能等要求進(jìn)行規(guī)范。數(shù)據(jù)訪問標(biāo)準(zhǔn)則是提

供標(biāo)準(zhǔn)化的接口和共享方式，使數(shù)據(jù)能夠被廣泛的應(yīng)用。

＞數(shù)據(jù)安全標(biāo)準(zhǔn)

數(shù)據(jù)安全作為數(shù)據(jù)標(biāo)準(zhǔn)的支撐體系，貫穿于數(shù)據(jù)整個生

命周期的各個階段。拋開傳統(tǒng)的網(wǎng)絡(luò)安全和系統(tǒng)安全，大數(shù)

據(jù)時代下的數(shù)據(jù)安全標(biāo)準(zhǔn)主要包括通用要求、隱私保護(hù)兩類

標(biāo)準(zhǔn)。

＞數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)

該類標(biāo)準(zhǔn)主要針對數(shù)據(jù)質(zhì)量提出具體的管理要求和相

應(yīng)的指標(biāo)要求，確保數(shù)據(jù)在產(chǎn)生、存儲、交換和使用等各個

環(huán)節(jié)中的質(zhì)量，為大數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。并對數(shù)據(jù)全

生命周期進(jìn)行規(guī)范化管理。主要包括元數(shù)據(jù)質(zhì)量、質(zhì)量評價

和數(shù)據(jù)溯源三類標(biāo)準(zhǔn)。

＞產(chǎn)品和平臺標(biāo)準(zhǔn)

該類標(biāo)準(zhǔn)主要針對大數(shù)據(jù)相關(guān)技術(shù)產(chǎn)品和應(yīng)用平臺進(jìn)

行規(guī)范。包括關(guān)系型數(shù)據(jù)庫產(chǎn)品、非結(jié)構(gòu)化數(shù)據(jù)管理產(chǎn)品、

商務(wù)智能工具、可視化工具、數(shù)據(jù)處理平臺和測試規(guī)范六類

標(biāo)準(zhǔn)。其中關(guān)系型數(shù)據(jù)庫產(chǎn)品標(biāo)準(zhǔn)針對存儲和處理大數(shù)據(jù)的

關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，從訪問接口、技術(shù)要求、測試要求

等方面進(jìn)行規(guī)范，為關(guān)系型數(shù)據(jù)庫管理系統(tǒng)進(jìn)行大數(shù)據(jù)的高

端事務(wù)處理和海量數(shù)據(jù)分析提供支持；

非結(jié)構(gòu)化數(shù)據(jù)管理產(chǎn)品標(biāo)準(zhǔn)針對存儲和處理大數(shù)據(jù)的

非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，從參考架構(gòu)、數(shù)據(jù)表示、訪問接口、

技術(shù)要求、測試要求等方面進(jìn)行規(guī)范；商務(wù)智能工具用來幫

助用戶對大數(shù)據(jù)進(jìn)行分析決策，包括ETL、OLAP、數(shù)據(jù)挖

掘等工具，商務(wù)智能工具標(biāo)準(zhǔn)對商務(wù)智能工具的技術(shù)及功能

進(jìn)行規(guī)范；

可視化工具是對大數(shù)據(jù)處理應(yīng)用過程中所需用到的可

視化展現(xiàn)工具的技術(shù)和功能要求進(jìn)行規(guī)范；數(shù)據(jù)處理平臺標(biāo)

準(zhǔn)是針對大數(shù)據(jù)處理平臺從技術(shù)架構(gòu)、建設(shè)方案、平臺接口

等方面進(jìn)行規(guī)范；測試規(guī)范針對處理大數(shù)據(jù)的產(chǎn)品和平臺給

出測試方法和要求。

A應(yīng)用和服務(wù)標(biāo)準(zhǔn)

應(yīng)用和服務(wù)類標(biāo)準(zhǔn)主要是針對大數(shù)據(jù)所能提供的應(yīng)用

和服務(wù)從技術(shù)、功能、開發(fā)、維護(hù)和管理等方面進(jìn)行規(guī)范。

主要包括開放數(shù)據(jù)集、數(shù)據(jù)服務(wù)平臺和領(lǐng)域應(yīng)用數(shù)據(jù)三類標(biāo)

準(zhǔn)。其中開放數(shù)據(jù)集標(biāo)準(zhǔn)主要對向第三方提供的開放數(shù)據(jù)包

中的內(nèi)容、格式等進(jìn)行規(guī)范；數(shù)據(jù)服務(wù)平臺標(biāo)準(zhǔn)是針對大數(shù)

據(jù)服務(wù)平臺所提出的功能性、維護(hù)性和管理性的標(biāo)準(zhǔn)；領(lǐng)域

應(yīng)用數(shù)據(jù)指的是各領(lǐng)域根據(jù)其領(lǐng)域特性產(chǎn)生的專用數(shù)據(jù)標(biāo)

準(zhǔn)。

6大數(shù)據(jù)處理平臺設(shè)計

6.1大數(shù)據(jù)采集平臺

大數(shù)據(jù)采集平臺是承接外部與內(nèi)部數(shù)據(jù)交換的一個基

礎(chǔ)數(shù)據(jù)平臺，主要由實時數(shù)據(jù)接入服務(wù)、離線批量數(shù)據(jù)接入

服務(wù)和數(shù)據(jù)總線服務(wù)組成，是整個通用數(shù)據(jù)攝取平臺，可以

從各種數(shù)據(jù)源中提取，轉(zhuǎn)換和加載海量數(shù)據(jù)。比如：數(shù)據(jù)庫、

FTP、RESTAPIs.Files.Stream等等。大數(shù)據(jù)接入平臺能夠

處理日常規(guī)劃任務(wù)需要所有數(shù)據(jù)攝取，包括作業(yè)/任務(wù)規(guī)劃，

任務(wù)分配，錯誤處理，狀態(tài)管理，數(shù)據(jù)質(zhì)量檢測，數(shù)據(jù)發(fā)布

等等。

?方便用散抿庫的二堆表結(jié)構(gòu)來遭相表達(dá)實現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰.

?無法用二維表結(jié)構(gòu)來例如：客戶信息.用電記錄等.是挖掘數(shù)據(jù)價值的主要對象.

遺例表達(dá)的無結(jié)構(gòu)性

的數(shù)據(jù)。例如文本、數(shù)據(jù)果任坂度

音頻數(shù)據(jù)等.

?適合Hadoop架構(gòu)

?支持分析型應(yīng)用，時效性蛟低

?支持前臺交易系統(tǒng)查

詢需求，艮有可靠性

數(shù)據(jù)橋型高、并發(fā)度大、采篋

叛率您的特點

?適合分布式內(nèi)存數(shù)據(jù)

面向貼源數(shù)據(jù)查詢和:?面向分析類應(yīng)用.

?處理技術(shù)

?數(shù)據(jù)區(qū)，適合X86MPI?對應(yīng)ADW,適合MPPtt據(jù)摩售群

數(shù)據(jù)源格式包括結(jié)構(gòu)化、半結(jié)構(gòu)化、或非結(jié)構(gòu)化。數(shù)據(jù)

的接入方式包括批量數(shù)據(jù)處理模塊到數(shù)據(jù)源主動拉取(pull)

數(shù)據(jù)和實時數(shù)據(jù)處理模塊被動的接受數(shù)據(jù)源推送(push)的

數(shù)據(jù)。在數(shù)據(jù)接入的時效性上有實時數(shù)據(jù)接入，也有離線數(shù)

據(jù)接入，收集各種數(shù)據(jù)源數(shù)據(jù)為大數(shù)據(jù)平臺所用。數(shù)據(jù)接入

到本系統(tǒng)后，將放入數(shù)據(jù)總線子系統(tǒng)緩沖起來。接下來，數(shù)

據(jù)將會進(jìn)行同步存儲到數(shù)據(jù)平臺的分布式文件存儲系統(tǒng)中，

作為后續(xù)系統(tǒng)的數(shù)據(jù)源；數(shù)據(jù)也可通過實時計算，存儲到數(shù)

據(jù)平臺的分布式實時存儲系統(tǒng)中。

大數(shù)據(jù)采集平臺通過同樣的執(zhí)行框架從不同數(shù)據(jù)源攝

取數(shù)據(jù)，在同一個地方管理所有不同數(shù)據(jù)源的元數(shù)據(jù)。同時

結(jié)合了其他特性，比如自動伸縮，容錯，數(shù)據(jù)質(zhì)量保證，可

擴展和處理數(shù)據(jù)模型改革等等。大數(shù)據(jù)采集平臺非常容易使

用，是個高效的數(shù)據(jù)攝取平臺。

6.2大數(shù)據(jù)清洗平臺

數(shù)據(jù)清洗(DataCleaning/DataScrubbing),是在數(shù)據(jù)倉

庫/數(shù)據(jù)庫中去除冗余、清除噪音、消除錯誤和不一致數(shù)據(jù)的

過程。數(shù)據(jù)清洗并不是簡單地選取優(yōu)質(zhì)數(shù)據(jù)，它同時還涉及

到對原有數(shù)據(jù)的刪除、添加、分解或重組等。數(shù)據(jù)清洗的任

務(wù)是對不滿足數(shù)據(jù)挖掘要求的數(shù)據(jù)進(jìn)行清洗，將清洗的結(jié)果

提交給數(shù)據(jù)挖掘的下一個環(huán)節(jié)。

數(shù)據(jù)數(shù)據(jù)模型I堿據(jù)I糊銀i量I安加tI系統(tǒng)齦

翻|雷里?取里I管里|?￡2

管理

數(shù)據(jù)

提供

1細(xì)節(jié)數(shù)魁成1集市數(shù)據(jù)"生成|

數(shù)據(jù)產(chǎn)清洗轉(zhuǎn)換合并

1數(shù)據(jù)異常處理1

處理濯共數(shù)據(jù)筋份ETL調(diào)度和監(jiān)控

數(shù)據(jù)文件完整性接口文件接口文件

提供檢的管理異常處理___1

根據(jù)數(shù)據(jù)來源不同，數(shù)據(jù)源分為：單數(shù)據(jù)源。單個數(shù)據(jù)

源的數(shù)據(jù)質(zhì)量，主要取決于它的模式設(shè)定，以及對數(shù)據(jù)源中

數(shù)據(jù)的完整性約束的控制程度。因為數(shù)據(jù)模式和完整性約束

需要控制數(shù)據(jù)的范圍，如果一個數(shù)據(jù)源沒有數(shù)據(jù)模式，那么

對于輸入或者存儲的數(shù)據(jù)缺乏相應(yīng)的限制，這樣出現(xiàn)錯誤數(shù)

據(jù)或者不一致數(shù)據(jù)的幾率就會大大提高。多數(shù)據(jù)源。由于各

業(yè)務(wù)系統(tǒng)在設(shè)計、實現(xiàn)時功能的需求、設(shè)計的重點不同，多

數(shù)據(jù)源中存在的主要問題是字段名稱沖突、屬性值和結(jié)構(gòu)的

沖突。例如：不同表中使用相同字段表示不同屬性，不同名

稱的字段表示相同屬性。

6.3大數(shù)據(jù)挖掘與分析平臺

針對海量的數(shù)據(jù)挖掘需求，平臺提供基于海量數(shù)據(jù)的模

型和機器學(xué)習(xí)分布式計算引擎，相對于傳統(tǒng)平臺提供的數(shù)據(jù)

挖掘工具，XX大數(shù)據(jù)所提供的分布式數(shù)據(jù)挖掘平臺更加適

合大數(shù)據(jù)分析場景，除了內(nèi)置主流的所有算法包以外，還提

供分布式計算引擎，可支撐超大規(guī)模數(shù)據(jù)量的離線模型計算

和實施模型計算。

平臺的總體架構(gòu)從下到上分為四層：數(shù)據(jù)整合、資源管

理、數(shù)據(jù)分析以及數(shù)據(jù)展示。每個層次之間相對獨立，模塊

之間以松耦合的形式連接起來，

在數(shù)據(jù)整合層中，可以對原始關(guān)系型數(shù)據(jù)庫，以及普通

日志文件數(shù)據(jù)進(jìn)行抽取，然后將數(shù)據(jù)存儲到大數(shù)據(jù)管理平臺

中。還有，對取得的數(shù)據(jù)按照任務(wù)的配置參數(shù)進(jìn)行相應(yīng)的預(yù)

處理等操作，以便后續(xù)挖掘分析做好基礎(chǔ)。

在資源管理層中，對各種需要用到的分布式開源框架進(jìn)

行整合和封裝，例如Hadoop、storm、spark等框架。這些框

架部署在若干個節(jié)點上，對這些框架進(jìn)行封裝以提供給上層

分布式存儲和分布式計算的能力。在資源管理層中，同時也

提供集群的監(jiān)控信息，以便用戶能觀察到集群中各節(jié)點的

CPU、內(nèi)存、網(wǎng)絡(luò)等利用情況，以及各個節(jié)點和任務(wù)的運行

健康狀況，便于集群的維護(hù)。

數(shù)

分析

關(guān)聯(lián)

分析

推薦

消費層

用

BI應(yīng)

據(jù)