黃曉琴區(qū)域衛(wèi)生大數(shù)據(jù)分析利用30

1、2014年7月28日星期一huawei enterprise ict solutions a better way區(qū)域衛(wèi)生大數(shù)據(jù)分析利用huawgi黃曉琴博士huawei technologies co., ltd.huawei enterprise ict solutions a better way目錄【工區(qū)域衛(wèi)生大數(shù)據(jù)分析概述21華為區(qū)域衛(wèi)生大數(shù)據(jù)分析解決方可131案例共享 huawei confidential - 1z畛 huawei區(qū)域衛(wèi)生信息平臺(tái)的特性 - huawei confidential - 2huawei enterprise ict solutions a bette

2、r wayz畛 huaweihuawei enterprise ict solutions a better way區(qū)域衛(wèi)生信息平臺(tái)核心數(shù)據(jù)臨床診療 信息患者基本 信息檢驗(yàn)檢查信息理人口信息庫 電子病歷庫 健康檔案庫信息預(yù)防保健 信息診療收費(fèi) 信息衛(wèi)生人力 信息居民體檢 信息 huawei confidential - 3z畛 huaw6ihuawei enterprise ict solutions a better way區(qū)域衛(wèi)生大數(shù)據(jù)分析洞察難題12異構(gòu)數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)標(biāo)準(zhǔn)化分級(jí)存儲(chǔ) 統(tǒng)一管理互為備份7-0a，"二一。"二n 數(shù)據(jù)質(zhì)量 數(shù)據(jù)建模優(yōu)化 模型評(píng)估->

3、huawei數(shù)據(jù)可信度到底有多高？是否能為衛(wèi)生管理者制定政策提供決策依據(jù)？為 生公工作enterpi者提供服務(wù)？為居后健康提供支撐？huawei enterprise ict solutions a better way區(qū)域衛(wèi)生大數(shù)據(jù)分析it挑戰(zhàn)一云計(jì)算架構(gòu) - huawei confidential - 5z畛 huawei區(qū)域衛(wèi)生大數(shù)據(jù)分析與價(jià)值衛(wèi)生決策分析指（臨床路徑連化疾病預(yù)方 控制（流行 病分析一區(qū)域衛(wèi)公眾健康服務(wù)（區(qū)域生大數(shù)據(jù)分析enterprise.huawelolvkjaweglilriai - 6科研分析（新藥研究）考學(xué)經(jīng)研究 （診療費(fèi)用析）huawei enterprise

4、 ict solutions a better way醫(yī)療大數(shù)據(jù)分析帶來的價(jià)值提高管理效率：綜合臨床和運(yùn)營(yíng)相 關(guān)的有價(jià)值的數(shù)據(jù)提高醫(yī)療服務(wù)質(zhì)量：使得臨床策 支持系統(tǒng)更為智能的為診療提供支持。 如藥品不良反應(yīng)、過度使用抗生素等 的提醒提高臨床科研效率：如采用大數(shù)據(jù) 進(jìn)行比較效益研究，評(píng)價(jià)不同質(zhì)量方 案對(duì)患者的療效差異降低醫(yī)療成本：利用患者疾病、診 斷、用藥、治療、療效和費(fèi)用數(shù)據(jù)， 基于成本-效益分析模型&畛 huaweihuawei enterprise ict solutions a better way目錄i 區(qū)域衛(wèi)生大數(shù)據(jù)分析概述21華為區(qū)域衛(wèi)生大數(shù)據(jù)分析解決居131案例共享 hu

5、awei confidential - 7z畛 huaweihuawei enterprise ict solutions a better way區(qū)域衛(wèi)生大數(shù)據(jù)分析的關(guān)鍵技術(shù)個(gè)dw/dmflume業(yè)務(wù) 系統(tǒng)數(shù)據(jù)導(dǎo)入 導(dǎo)出工具基礎(chǔ)數(shù)據(jù)層（只讀）結(jié)構(gòu)化學(xué)婿今診療、檢查非結(jié)構(gòu)化學(xué)婿今影像、日志客戶視圖標(biāo)簽（批更新）全量數(shù)據(jù)分析處理數(shù)據(jù)操作（主題）-數(shù)據(jù)服務(wù)洞察臨床操作付款/定價(jià)科研研發(fā)公眾健康新的商業(yè)模式（可讀寫）4數(shù)據(jù)獲取datacollect數(shù)據(jù)存查userprofile客戶洞察userinsight客戶 profileuserprofile業(yè)務(wù)分析應(yīng)用datafarm健康檔案、電子病歷為尸咧

6、回業(yè)務(wù)主題分析-多數(shù)據(jù)源-分布式收集-實(shí)時(shí)清洗 高可靠性 高擴(kuò)展性 數(shù)據(jù)安全 實(shí)時(shí)查詢 復(fù)雜關(guān)聯(lián) 存儲(chǔ)利用率特征管理、模型管理基礎(chǔ)特征 并行計(jì)算平臺(tái) 迭代計(jì)算平臺(tái) 文本挖掘 深度學(xué)習(xí)機(jī)器算法 自然語言網(wǎng)絡(luò)特征文本特征'多源數(shù)據(jù)可視知識(shí)圖譜展示-數(shù)據(jù)驅(qū)動(dòng)實(shí)時(shí)響應(yīng)-不同主題-插件框架-應(yīng)用解耦 huawei confidential - 8huawgihuawei enterprise ict solutions a better way區(qū)域衛(wèi)生大數(shù)據(jù)分析挖掘平臺(tái)系統(tǒng)架構(gòu)臨床輔助決策臨床路徑優(yōu)化，疾病預(yù)防控制1公眾健康服務(wù)個(gè)體醫(yī)療衛(wèi)生決策服務(wù),診療行為分析醫(yī)療保險(xiǎn)糖尿病分析醫(yī)療費(fèi)用分析醫(yī)療

7、大數(shù)據(jù)應(yīng)用（a業(yè)務(wù)數(shù)據(jù) 臨床診療、疾病管 理、區(qū)域協(xié)同.miner數(shù)據(jù)可視化控件特征工程（醫(yī)療行業(yè)特征庫）分析建模（醫(yī)療行業(yè)）數(shù)據(jù)倉庫特征管理特征選取規(guī)則管理建模分析部署與調(diào)度模型生命周期管理hive/phoenix機(jī)器學(xué)習(xí)算法庫（聚類、分類、回歸、文本分析、圖分析）zookperhbasemapreducesparkyarnooziehdfsfusioninsight hadooploader華為fusionlnsight hadoop軟件架構(gòu)第三方調(diào)度平臺(tái)一 -一一 -_#.一第三方開發(fā)平臺(tái)應(yīng)用系統(tǒng)歷史數(shù)據(jù)管理）第三方管理系統(tǒng)北向接口外部數(shù)據(jù)源例如數(shù)據(jù)爸庫）-d<16 山亞loade

8、r（數(shù)據(jù)抽 取、轉(zhuǎn)換和 加載工具h(yuǎn)dfs （存儲(chǔ)海量結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）集筵目理春fusionlnsight hadoop平臺(tái)區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施步huawei enterprise ict solutions a better way據(jù)采集與理數(shù)據(jù)采集導(dǎo)入數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理2/ huawgi模型構(gòu)建特征選取模型構(gòu)建模型評(píng)估模型評(píng)估、優(yōu)化huawei enterprise ict solution'區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(0)一搭建分析環(huán)境苔建分析環(huán)境軟件硬件及分析工具£c & wv?:/19z168.1au0:28443/web/index.html二

9、. fu$k>nln$iflht hadoop marugrd38m»03fdalarmssfsiemhue - metd2tore mane xsdfrtn * *ciuslertime fnjuhi 19:m3ocst2o144，alarms:多0 x 9 。函 d7：40c3t2014.9 oo 3o。am ser/ke 笊 dtxntoac clientmore actons refresh 斜 30 seconcsxi/ser/ice0operaotk status c： |heaiw status c| conftqu racon status ，role coun

10、toperationdanced search >bockkeep«r©siarted©g8d© syncrircnzed5 6cc*iese»ver> 0> xdssarucostarted©c8d0 &fnchrcnzod2d9s«reru0xftf"，3。suitedqg8dq s/ncnicfixed2 ftp-se('ecuil>xcpu usage15.00%8.00%hgaseqsidrtedqgoodesynewcmzhukh- amunss- 一一號(hào)r帳 u

11、> xhofsq startedqgooo©sggm比d2 me. 2 namenoae, 5 dakrigo* l_h一融_x12 hm36l. 3 ihriftserver. 5 regi(x»$erver j3.00%2.00%hmq darted8 g8d© 3/ncnicfid2 h任“mktt li il xhue©started©good。的60。的2huel>u0>xkits”例©g8dq &/n(n(oriz»d2 kerberosserver. 2 kectjeroaain

12、87; u 心 xlgpsew©started©g8d© s?n(rort：9d2 slap 雙srp0>xloaaerqsianea©g8g©sm(ng%zed2 loaaersemf，口 xlv3qstartedq good0 &/ncnrcfid1 seconoau/suanaoen： 1 concemno). 1pnmatlvsmsna.|;uivx2.00%13.00si 2,0w2.00%nens per pacenaorg的出9 startedq goodq5 nowmanager. 1 jghi或wysw1 pra

13、xys«rr 2 rmzc. .|>u0>xminer©started©good©s/n(ti(ortmd2mhe(server>uu>xzcckeper©siarted©good© syncnrcnzad，心 xcluslbtfsmhbl - huawei confidential - 13魅咳huaweihuawei enterprise ict solutions區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑（d業(yè)務(wù)理解臨床醫(yī)學(xué)方面衛(wèi)生管理循證決策方面1業(yè)務(wù)理解 明確業(yè)務(wù)分析需求糖尿病人群身體狀況分析（社區(qū)醫(yī) 生）

14、糖尿病用藥等診療手段與療效的 分析（醫(yī)院醫(yī)生）糖尿病就診費(fèi)用分析（衛(wèi)生局 用）糖尿病就診行為（醫(yī)院選擇） 分析（衛(wèi)生局用）從糖尿病開始分析，后續(xù)模型與方法可拓展到其他疾病（如常見疾病一 上呼吸道感染，消化系統(tǒng)疾病等，或重大疾病一腫瘤等。42500505900!g! 20131017.6581035)應(yīng)(化釣i蛹法)次9 10 mfphmxfylbstfsjmxxmbmmxxmmcmxxmdwmxxmdjmxxmslmxxmje yl4250976540。！!72566668!?!?!45490054072013-10-17 07:50:1651880312的萄兆劉定次515null鋤鐘（西力欣

15、力極支噌!33.s!6!425097654001 pi 71566669 !印1博,被的注時(shí)泡彳長(zhǎng)百）!支他口3145490054072013-10-17 16.38.3461880326血清!2膽固第到定（化字途死場(chǎng)走j次5-1-6null45490054072013-10-17 07 50 1551880326小舌均膽固陽q定（化學(xué)或加法）次515null4250976540。！ ! 71574324??！2!® 天!45490054072013-10-17 07:50:1551880328m哥日油三m賽定（化學(xué)法或由法】次10110null42509765400191715743

16、25 門 博!45490064072013 10-17 16.38.3461880328m清甘油三酬到定（化字途死場(chǎng)走）次10-1.10nullif®君天!5!1!5!10-07 00 00 00x00027750470010甲頭袍吼辛的甘（西方欣）支33 56201null42502656400!0!13101700018867010-07 00 00 00x00110650010010甲i甲硝叱系化泄注射邊（長(zhǎng)言）支1 8236null1007 00.00.00s12010000400010護(hù)理二姐天1

17、2112null10-07 00 00 00s12010001300010幼玲城曾芒護(hù)理（雷罡什）天515nullg95979122013-10-22力欣軒傳射用太弛味辛訥）點(diǎn)33 54-134v2124122013-10-22 13:19:0223661松梅樂（虎皈多甘注射芨）支43.96263.4區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑（2）t 據(jù)采集與理解w f j'-j x " hue - loaderc -5(uh:/01:8888/loader/#iobs* hue - metastore mane x

18、據(jù)采集與理數(shù)據(jù)采集導(dǎo)入l<4.2s90s06990!g!2fll31017_6s8101_s1880312_9£c82s!g!l!$!6s8161!$!£6ei3e76s!e!e!e!nun!4549des4!07!p!2013-10-17 i次!5伯1null1lnull他12314-03-29 93：16：12ll2013-ll-97 12:46:9719142509506909!?! 20131017_653iei_518s8326_9f6608! «!(?! 658iei!(?! £0813876511611 null ii4549w541

19、197112913-10-17u淀恪法或晌法)!次!p!5!j!t!©!-52014-03-29 63:16:12!(?!2013-11-67 12:46:67!。！425w5069w ;p!20131017_658101_51880326.b42c54! j! 1!6: 658161 ：6:ee6138765!6!6!e!null!©!45490e54!©!07!g! 2013-10-170匠化學(xué)法嵋法”1 次 1/51/11/51©lnuninusil2014-03-29 03:16:12!(«!2913-11-67 12:46:071g1

20、42509506909 !p!29131g17_6581gl_51880328_27de27!?!l!l 658101! e0013b765l§iei§l null ii4549w541107112013-18-17我底(化學(xué)法或國(guó)法 z!次！!null! 2614-03-29 63:16:12!(?! 2013-11-67 12:46:67!。！g7:sg:19!p! s188g312 !如臉! 15:38:341/ 51380326 ! ? i血酒忌膽藥507：50： 15 !g)!518w326!?:jt吉總旭3 397:59:1519151389328! ? i 血

21、不甘油三謝i冏為hdfs里的數(shù)m格式，下圈為hive 比表員的數(shù)據(jù). ps我因已征稼客戶 f.huawei enterprise ict solution'區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(3)t 據(jù)預(yù)處理3數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理過濾不真實(shí)數(shù)據(jù)刪除冗余屬性數(shù)據(jù)預(yù)特征管理(超預(yù)處 理)jionreplace missing replace specialvale sort兩張表的jion操作表中缺省值和控制的替換處理表中特殊值的替換處理表的排序sortparallel表的排序，支持并行全排序，只支持單 列filter根據(jù)條件對(duì)數(shù)據(jù)集進(jìn)行樣本過濾 huawei confidential - 15z

22、畛 huaweihuawei enterprise ict solutic區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(4)一特征提取特征管理模型構(gòu)建«l+，t 3 dn特征管理是指將原始 數(shù)據(jù)預(yù)處理后，在特征庫 中生成新特征及對(duì)特征進(jìn) 行維護(hù)的過程miner的特征工程包括：特征管理特征選取a*見則管理set rlole設(shè)置特征角色transform attributes將選取的屬性按照所給枚舉值生成屬性特征管理(新增特征)generate id生成一個(gè)id特征。normalize對(duì)一個(gè)特征或者多個(gè)特征進(jìn)行標(biāo)準(zhǔn)化。select attributes選取一個(gè)特征或者多個(gè)特征。sample by perc

23、ent按照比例抽取樣本。sample by absolutesize按照給定的行數(shù)進(jìn)行取一份樣本數(shù)據(jù)集。特征選取information gain ratio信息增益率算子，根據(jù)數(shù)據(jù)每個(gè)特征與目 標(biāo)特征的相關(guān)度來計(jì)算特征權(quán)重。information gain特征排序select weighted attributes基于特征權(quán)重，將需要的屬性選擇出來。規(guī)則管理generate attributes通過對(duì)特征進(jìn)行數(shù)據(jù)計(jì)算、邏輯運(yùn)算、字 符串轉(zhuǎn)換、日期轉(zhuǎn)換生成一個(gè)新特征。aggregate對(duì)一個(gè)特征或者多個(gè)特征進(jìn)行聚合，或者 在特征的分組上進(jìn)行聚合。江冬huaweient - hiial - 16區(qū)

24、域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑一模型樽逢enterprise ict solutic4模型構(gòu)建分析建模 r ft i if口 operators指選取合適的模型算法，通過特征化的訓(xùn)練集作為輸入進(jìn)行訓(xùn)練生成評(píng)估模型，并對(duì)準(zhǔn)確率和識(shí)別率進(jìn)行評(píng)價(jià)。miner的分析建模包括:a部署與調(diào)度模型生命周期管理 - huawei confidential - 173 import (2)s 口 export (2)a data transfer (27)modeling (16)白苜;clustering (1)心 kmeansa classification and regression (4)建 random

25、forest& logistic regression& model bagging& svm3 口 application (8) lj attribute weighting (3)el 應(yīng)text processing (5)'除 tokeni乙er良 generate term frequency& generate document frequency 逐 vector prune、遏 generate tfidfa/ei糖尿病用藥等診療手段與療效的分析(醫(yī)院醫(yī)生)1模型構(gòu)建 特征提取 模型構(gòu)建huawei enterprise區(qū)域衛(wèi)生大數(shù)據(jù)分

26、析實(shí)施路徑(4)一模型構(gòu)建案例enferprlse.liuawetcosn " -huav(i"on?iclentiar "輸入 輸出驗(yàn)證方式個(gè)體基本特征、患病病 情狀況、不同的治療手 段及其用藥、療效等特 征變量基于測(cè)試集數(shù)據(jù)由預(yù)測(cè) 模型給出當(dāng)前病人的治 療手段與用藥建議基于測(cè)試集數(shù)據(jù)由預(yù)測(cè) 模型給出當(dāng)前病人的治 療手段與用藥建議，和 有實(shí)際療效的糖尿病病 人的治療方式與用藥情 況進(jìn)行比對(duì)huawei enterprise ict solutic ( r區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(5)一模型評(píng)估5模型優(yōu)化模型評(píng)估 單型評(píng)估、優(yōu)化huawei否滿足實(shí)際業(yè)務(wù)需求的過

27、程。如果評(píng)估 結(jié)果不理想，需要重新進(jìn)行數(shù)據(jù)理解再構(gòu)建模型模型準(zhǔn)確率評(píng)估模型轉(zhuǎn)化率評(píng)估業(yè)務(wù)需求評(píng)估反饋 - huawei confidential - 19差，可通過對(duì)模型進(jìn)行優(yōu)化，重新構(gòu)建 模型進(jìn)行優(yōu)化，重新構(gòu)建模型后再應(yīng) 用的過程。通過調(diào)整參數(shù)更換算子區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(6)一模型龍帶enterprise ict solution(模型應(yīng)用 、挖掘分析結(jié)果展示,交互性 - huawei confidential'20多維性數(shù)據(jù)分析結(jié)果展示.i可視性z/ huaweihuawei enterprise ict solution區(qū)域衛(wèi)生大數(shù)據(jù)分析實(shí)施路徑(7)一應(yīng)用效果評(píng)估 -

28、huawei confidential - 21.huawei enterprise ict solutions a better way華為fusioninsight hadoop大數(shù)據(jù)產(chǎn)品介紹2013年apache hadoop開源社區(qū)最新貢獻(xiàn)量在社區(qū)貢獻(xiàn)的基礎(chǔ)上，華為公司于2011年推 出了企業(yè)級(jí)大數(shù)據(jù)解決方案fusioninsight。華為fusioninsight是企業(yè)級(jí)大數(shù)據(jù)存儲(chǔ)、查 詢、分析的統(tǒng)一平臺(tái)0/ huaweihdfs :分布式文件系統(tǒng) mapreduce :并行計(jì)算處理 hbase : nosql數(shù)據(jù)庫 hive : sql$專mr處理工具 spark :迭代并行處理

29、impala :基于hbase sql查詢引擎 oozie :工作流處理zookeeper:分布式系統(tǒng)協(xié)同om server:操作維護(hù)與管理 huawei confidential - 22huawei enterprise ict solutions a better wayfusioninsight:企業(yè)級(jí)大數(shù)據(jù)處理,分析挖掘平臺(tái)優(yōu)勢(shì)fusioninsight大數(shù)據(jù)基礎(chǔ) 設(shè)施海量存儲(chǔ) oceanstore 9000x86服務(wù)器融合一體機(jī) fusioncube云平臺(tái)fusionsphere - huawei confidential - 23智慧-全量建模，深刻洞察-存儲(chǔ)自動(dòng)分級(jí)實(shí)時(shí)-在線實(shí)

30、時(shí)處理-領(lǐng)先的存儲(chǔ)性能可信- 全組件ha ,異地容災(zāi)- 全分布式架構(gòu)，n + m數(shù)據(jù)保護(hù)易用- 數(shù)據(jù)全生命周期管理- 自定義dashborad、二次開發(fā)助手0/ huawei華為fusioninsight端到端競(jìng)爭(zhēng)力構(gòu)筑huawei enterpriseictsoluticjjyuserprofile采納社區(qū)精華做企業(yè)增強(qiáng)、諾亞/香農(nóng)userlnsiqht, sql on hbase實(shí)時(shí)交互查詢 /：搜索引擎ste直解做大數(shù)據(jù)生命周期的加速器fusioninsightceanstor900存儲(chǔ)和計(jì)算全融合架構(gòu) 本地化10提升性能 快照、異步遠(yuǎn)程復(fù)制 全文檢索匚二帶動(dòng)存儲(chǔ)、云計(jì)算數(shù)據(jù)中心電信應(yīng)用

31、等銷售.數(shù)據(jù)收也datacollect - huawei confidential - 24分百、實(shí)時(shí).多協(xié)議 文本授索分析挖掘的使能框架 特征管理，模型管理 spark、shark. mtlib 文本挖掘 交互式探索datafarm聯(lián)合客戶孵化數(shù)據(jù)服務(wù)平臺(tái)rtmq實(shí)時(shí)流storm 生命周期管理 服務(wù)治理 二次開發(fā)0畛 huaw6ihuawei enterprise ict solutions a better way華為大數(shù)據(jù)：數(shù)據(jù)分析和挖掘領(lǐng)域的頂尖人才，多項(xiàng)創(chuàng)新成果美國(guó).香港.深圳.西安z畛 huaweidr. hanq li 李航中央研究院noah ark lab首席科學(xué)家原微軟亞洲研

32、究院主任研究員多個(gè)國(guó)際會(huì)議領(lǐng)域主席個(gè)人擁有二十多項(xiàng)美國(guó)發(fā)明專利人物畫像傾向預(yù)測(cè) - huawei confidential - 25prof. qianq yanq 楊強(qiáng)中央研究院noah ark lab主任世界級(jí)數(shù)據(jù)挖掘和人工智能專家香港科技大學(xué)教授ieee fellow , iapr fellow主題提取關(guān)系估計(jì)wenvuan dai 戴文淵中央研究院noah ark lab主任研究員奐責(zé)大數(shù)據(jù)相關(guān)的計(jì)算金融、推薦引擎、計(jì)算視覺的研究特征管理分析自動(dòng)特征構(gòu)建oceanxfi whalehuawei enterprise ict solutions a better way云及大數(shù)據(jù)解決方案一華為全系列可擴(kuò)展和高可靠的it產(chǎn)品 - huawei confidential - 27z畛 huawei中小企業(yè)/ 分支機(jī)構(gòu)全球fusioninsight企業(yè)rh2485 v2s5800ts5600t模塊化數(shù)據(jù)中心，/s260