Apache Doris在區(qū)域醫(yī)療影像平臺(tái)中的應(yīng)用 202501

國(guó)家健康醫(yī)療大數(shù)據(jù)(東部)中心王建大數(shù)據(jù)研發(fā)經(jīng)理02架構(gòu)演變03場(chǎng)景應(yīng)用04未來(lái)展望背景介紹背景介紹2016.10獲批試點(diǎn)國(guó)家健康醫(yī)療大數(shù)據(jù)中心及產(chǎn)業(yè)園建設(shè)國(guó)家級(jí)試點(diǎn)2019.03專(zhuān)業(yè)團(tuán)隊(duì)運(yùn)管分離架構(gòu)設(shè)計(jì)，常州國(guó)資與中國(guó)電子合資負(fù)責(zé)規(guī)劃、建設(shè)、運(yùn)營(yíng)2019.12新型基建江蘇省衛(wèi)生健康云(常州區(qū)域)試運(yùn)行，數(shù)字化、國(guó)產(chǎn)化、數(shù)據(jù)服務(wù)同步推進(jìn)2020.01試點(diǎn)服務(wù)常州市“醫(yī)療廢物服務(wù)(監(jiān)管)系統(tǒng)建設(shè)試點(diǎn)、“基層醫(yī)療機(jī)構(gòu)信息化提檔升級(jí)省級(jí)試點(diǎn)”、“常州市醫(yī)學(xué)影像云”等多個(gè)項(xiàng)目依托“云大腦”開(kāi)發(fā)、服務(wù)、管理2020基地榮譽(yù)長(zhǎng)三角一體化聯(lián)盟智慧城市應(yīng)用示范基地；省、市網(wǎng)信辦聯(lián)合啟動(dòng)，建設(shè)大數(shù)據(jù)和云服務(wù)安全保障試點(diǎn)；列入省發(fā)改委重大產(chǎn)業(yè)服務(wù)平臺(tái)2021.01全省覆蓋影像平臺(tái)項(xiàng)目列入“大數(shù)據(jù)+產(chǎn)業(yè)鏈”三大省級(jí)大數(shù)據(jù)應(yīng)用示范重點(diǎn)項(xiàng)目，由省領(lǐng)導(dǎo)掛鉤聯(lián)系華東云計(jì)算基地占地82.1畝，總建筑面積9萬(wàn)平方米，包括4棟華東云計(jì)算基地占地82.1畝，總建筑面積9萬(wàn)平方米，包括4棟云計(jì)算數(shù)據(jù)中心樓、1棟綜合樓及1座22萬(wàn)伏變電站?；卮鎯?chǔ)基礎(chǔ)扎實(shí)，擁有兩個(gè)省級(jí)重點(diǎn)數(shù)據(jù)機(jī)房，可容納1.2萬(wàn)個(gè)機(jī)柜，提供16000PB的存儲(chǔ)能力。2021.09百日攻關(guān)影像平臺(tái)項(xiàng)目百日攻關(guān)，省屬三級(jí)醫(yī)療機(jī)構(gòu)、南京市三甲醫(yī)院、宿遷第一人民醫(yī)院以及常州全市公立醫(yī)療機(jī)構(gòu)全面接入衛(wèi)生健康云2022全省推進(jìn)影像平臺(tái)項(xiàng)目計(jì)劃年內(nèi)覆蓋全省70%公立醫(yī)療機(jī)構(gòu)2023全省實(shí)現(xiàn)實(shí)現(xiàn)全省100%公立醫(yī)院以及部分私立醫(yī)院接入影像平臺(tái)2024數(shù)據(jù)服務(wù)在常州市率先提供數(shù)據(jù)服務(wù)，實(shí)現(xiàn)全市‘無(wú)膠片化’及時(shí)性要求高及時(shí)性要求高●影像的結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)上傳后，在臨床需要進(jìn)行及時(shí)的應(yīng)用。但是因?yàn)橛跋駭?shù)據(jù)復(fù)雜度高，需要多源數(shù)據(jù)進(jìn)行關(guān)聯(lián)并對(duì)多質(zhì)量指標(biāo)進(jìn)行稽核，并進(jìn)行預(yù)警、處理，保證不對(duì)臨床的數(shù)據(jù)服務(wù)產(chǎn)生影響。DORIS二SUMMIT數(shù)據(jù)特殊性數(shù)據(jù)重復(fù)性高數(shù)據(jù)重復(fù)性高●影像數(shù)據(jù)存在大量的重傳、補(bǔ)傳的動(dòng)作，對(duì)多場(chǎng)景的數(shù)據(jù)操作進(jìn)行兼容，保證數(shù)據(jù)唯一性及可靠性。同時(shí)需要對(duì)上傳記錄進(jìn)行回?cái)?shù)據(jù)采集點(diǎn)多數(shù)據(jù)采集點(diǎn)多●影像平臺(tái)涉及醫(yī)療機(jī)構(gòu)2000余個(gè)，每個(gè)醫(yī)療機(jī)構(gòu)的狀態(tài)以及條件千差萬(wàn)別，需要對(duì)各醫(yī)療機(jī)構(gòu)的多種數(shù)據(jù)情況進(jìn)行兼容。關(guān)聯(lián)難度大間差不確定。同時(shí)，單一放射檢查的涉及的數(shù)據(jù)類(lèi)型較多，需要難度大。DORIS二SUMMIT行業(yè)特殊性指標(biāo)口徑多27個(gè)核心指標(biāo)，共140余個(gè)質(zhì)量指標(biāo)進(jìn)行監(jiān)控。數(shù)據(jù)服務(wù)場(chǎng)景多看板、數(shù)據(jù)質(zhì)量監(jiān)控、質(zhì)量代辦、BI大屏、報(bào)表以及數(shù)十個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)支撐?！窠M件多：因?yàn)镠adoop架構(gòu)的特殊性，導(dǎo)致實(shí)現(xiàn)從采集、治理、存儲(chǔ)到服務(wù)的全鏈路數(shù)據(jù)流程所需要的組件龐雜，在平臺(tái)中，擁有超過(guò)20個(gè)開(kāi)源的組件以及30余個(gè)自研的平臺(tái)管理服務(wù)；●部署成本高：一套完整的Hadoop集群，需要的管理資源較多。在集群規(guī)模不夠大的狀態(tài)下，計(jì)算節(jié)點(diǎn)的邊際成本較●較難對(duì)新場(chǎng)景進(jìn)行兼容：隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)實(shí)時(shí)性的要求愈加的高，Hadoop(Hive)的體系，無(wú)法滿足實(shí)時(shí)性的需●拓展性較差：體系內(nèi)的單一組件只面向單一的能力。面相新的業(yè)務(wù)需求，只能拓展新的組件進(jìn)入集群。帶來(lái)極高的維護(hù)成本。場(chǎng)景痛點(diǎn)分析業(yè)務(wù)痛點(diǎn)數(shù)據(jù)質(zhì)量反饋周期長(zhǎng)T+1的反饋周期，無(wú)法及時(shí)反映整改措施的有效性，極大拉長(zhǎng)了工作周期打造高效的大表交叉查詢?cè)趯?duì)院端數(shù)據(jù)進(jìn)行實(shí)時(shí)質(zhì)量計(jì)算的同時(shí)，提供能將指定時(shí)間段的檢查數(shù)據(jù)和存儲(chǔ)日志數(shù)據(jù)進(jìn)行交叉查詢的能力，解決最關(guān)鍵的影像完整性檢測(cè)問(wèn)題。缺乏實(shí)時(shí)監(jiān)控能力普通的流式計(jì)算難以參照歷史數(shù)據(jù)，無(wú)法實(shí)現(xiàn)對(duì)應(yīng)用數(shù)據(jù)監(jiān)測(cè)的多維度分析。構(gòu)建實(shí)時(shí)-歷史數(shù)據(jù)比對(duì)能力在不僅對(duì)應(yīng)用日志進(jìn)行實(shí)時(shí)存儲(chǔ)，也可以將實(shí)時(shí)日志按照日、周、月等較大時(shí)間維度進(jìn)行統(tǒng)計(jì)分析，有效支撐各種評(píng)估維度。指標(biāo)開(kāi)發(fā)過(guò)程長(zhǎng)需要針對(duì)大量指標(biāo)進(jìn)行定制化開(kāi)發(fā)，牽涉人員多、流程長(zhǎng)、工作量大。提升指標(biāo)實(shí)時(shí)計(jì)算性能基于明細(xì)數(shù)據(jù)對(duì)指標(biāo)進(jìn)行實(shí)時(shí)計(jì)算，無(wú)需開(kāi)發(fā)多層數(shù)據(jù)源，保證數(shù)據(jù)出口固定，支持指標(biāo)統(tǒng)計(jì)維度的自由設(shè)計(jì)。難以支撐分析業(yè)務(wù)數(shù)據(jù)即席分析與數(shù)據(jù)開(kāi)發(fā)共用平臺(tái)，操作難度大、數(shù)據(jù)復(fù)雜，且容易對(duì)開(kāi)發(fā)業(yè)務(wù)進(jìn)行干擾。提供數(shù)據(jù)分析查詢專(zhuān)用入口將明細(xì)數(shù)據(jù)提供給數(shù)據(jù)分析業(yè)務(wù)使用，通過(guò)運(yùn)維手段保證資源占用情況，提升數(shù)據(jù)分析師的工作效率和工作體驗(yàn)。期望的數(shù)據(jù)底座簡(jiǎn)單架構(gòu)輕量化開(kāi)發(fā)便捷維護(hù)簡(jiǎn)單全面覆蓋采、存、治、用的數(shù)據(jù)生命周期SUMMIT強(qiáng)大具備強(qiáng)大的計(jì)算引擎，實(shí)現(xiàn)快速寫(xiě)入、快速查詢，特別是在當(dāng)前即席及實(shí)時(shí)的場(chǎng)景，能給與更多的支撐穩(wěn)定穩(wěn)定運(yùn)行、故障修復(fù)、資源管理新老架構(gòu)圖數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)治理數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)治理舊架構(gòu)Datax結(jié)構(gòu)化數(shù)據(jù)ODSDWD原始數(shù)據(jù)層明細(xì)數(shù)據(jù)層結(jié)構(gòu)化數(shù)據(jù)ODSDWD原始數(shù)據(jù)層明細(xì)數(shù)據(jù)層DWSADS服務(wù)數(shù)據(jù)層應(yīng)用數(shù)據(jù)層業(yè)務(wù)系統(tǒng)數(shù)據(jù)Hive離線數(shù)倉(cāng)DIM維度數(shù)據(jù)層DIM維度數(shù)據(jù)層JDBCMysql算法結(jié)果緩存庫(kù)8rAFKa8rAFKaDWDFlinkSQL實(shí)時(shí)數(shù)倉(cāng)FlinkSQL實(shí)時(shí)數(shù)倉(cāng)容器日志埋點(diǎn)日志容器日志elasticsearch埋點(diǎn)日志新架構(gòu)新架構(gòu)半結(jié)構(gòu)化數(shù)據(jù)網(wǎng)關(guān)日志半結(jié)構(gòu)化數(shù)據(jù)ODS原始數(shù)據(jù)層DWSODS原始數(shù)據(jù)層DWS服務(wù)數(shù)據(jù)層應(yīng)用數(shù)據(jù)層DIMFlinkFlink實(shí)時(shí)數(shù)倉(cāng)云邊采集日志實(shí)時(shí)數(shù)倉(cāng)異步物化視圖倒排索引中英文分詞同步物化視圖異步物化視圖倒排索引底座日志主鍵模型聚合模型明細(xì)模型主鍵模型聚合模型DORISB案例背景在省級(jí)影像平臺(tái)中，需要對(duì)從數(shù)千家醫(yī)療機(jī)構(gòu)采集的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估及預(yù)警，以保證良好的數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)影像數(shù)據(jù)服務(wù)環(huán)節(jié)的穩(wěn)定性以及提升用戶的體驗(yàn)。數(shù)據(jù)維度多、數(shù)據(jù)量大、對(duì)實(shí)時(shí)性要求高等問(wèn)題成為質(zhì)量改善的阻礙。在2023年初，團(tuán)隊(duì)在數(shù)據(jù)質(zhì)量管理的場(chǎng)景探索質(zhì)量改善的技術(shù)方案。數(shù)據(jù)質(zhì)量管理-數(shù)據(jù)流向圖采集采集數(shù)倉(cāng)服務(wù)場(chǎng)景質(zhì)量推送服務(wù)數(shù)據(jù)醫(yī)療機(jī)構(gòu)信息質(zhì)量推送服務(wù)數(shù)據(jù)維度事實(shí)數(shù)據(jù)異常代辦JDBC人員信息異常代辦JDBC明細(xì)數(shù)據(jù)自動(dòng)補(bǔ)償云邊采集自動(dòng)補(bǔ)償原始數(shù)據(jù)質(zhì)量看板代碼示例fromfrom(WITHxxx_schemaAS(……ON...WHERE.…CREATETABLE`dws_x`v_2`int(11)NULL`v_3`int(11)NULL)ENGINE=OLAPUNIQUEKEY(`k_1`,`k_2`,`k_3`,`k_4`)COMMENT'質(zhì)DISTRIBUTEDBYHASH(`k_1`)BUCKETS"function_column.sequence_col"="time_1"TE_SIGN)k_1,k_2,k_3,k_4,time_1,trank()over(partitionby…tHERE…WHEREt.rank>1運(yùn)行效率：1H+提升至30s依賴組件：6個(gè)降低至3個(gè)數(shù)據(jù)模型數(shù)：15個(gè)降低至2個(gè)，另外增加6個(gè)視圖質(zhì)量反饋周期：由原來(lái)的T+1,提升至準(zhǔn)實(shí)時(shí)(分鐘級(jí))在數(shù)據(jù)去重，多表JOIN,即席查詢等場(chǎng)景，展現(xiàn)了強(qiáng)大的能力應(yīng)用示例異常明細(xì)2024-11-2808:25:06--2024-11-2808:25:06---2024-11-2808:25:06--2024-11-2808:25:032024-11-2810:14:092024-11-2808:25:032024-11-2810:13:552024-11-2808:25:032024-11-2810:13:462024-11-2808:25:032024-11-2810:13:402024-11-2808:25:03--2024-11-2808:25:03--口醫(yī)院2024-11-2808:25:062024-1-2810:1406已完成查看詳情機(jī)構(gòu)名稱(chēng)2024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-27未跟進(jìn)未跟進(jìn)操作PACS11-質(zhì)量推送質(zhì)量推送):204705):33223.099三.見(jiàn)氟思宅：96.97%機(jī)構(gòu)編碼機(jī)構(gòu)名稱(chēng)市區(qū)操作2024-1-28009698.1962.0110.09%100.009245%88.689%9245%查看詳情□2024-1-28100.00%9934%100.00%100.00%99.34%100.00%查看詳情2024-1-28100.00%628.08100.00%97.50%97.50%9750%9750%97.50%202411-28112400查看詳情^2024-1-28100.0%100.00%60536957%100.0%86.96%86.96%7826%86.96%2024-1-28112400查看詳情2024-1-2810.09%98.02%6765791.75%91.75%9043%91.7%202411-28112400查看詳情2024-1-2810000%9726%98639%10000%90419%9041%89.04%90419%2024-1-28112400查看詳情2024-1-2810000%3842100.00%10000%8475%83.90%2024-1-281:2400查看詳情2024-1-28100.00%9931%95.14%99.31%9792%697.92%95.839%97.929%2024-1-281:2400查看詳情2024-1-280.009%10.00%0.03100.00%100.00%556%55%5.56%5.569%2024-1-281:2400查看詳情-T2024-1-2810009%0.00%210000%50.00%0.00%查看詳情二2024-1-2810.096100.0%63989410000%100.00%86.99%8699%8537%86.99%查看詳情完2024-1-2810.009%10.0096100.00%100.00%10000%100.00%100.0%98.57%查看詳情^N?EAnrnen?02024-1-28009698.10%10000%10000%74.29%74.29%65.719%674.29%查看詳情2024-1-28100.00%100.00%910.09%100.00%95.59%95.659%94.57%95.659%2024-1-281:2400查看詳情腳99.059%20.9599.76%100.00%84.63%84.63%84.63%查看詳情H人w山心2024-1-2810000%10.00%64254100.00%10000%10000%100.0%查看詳情2024-1-28100.00%100.00%392744.19%10.009%100.0%查看詳情2024-1-28100.00%100.00%2082100.00%4452%44.529%40.99%4452%62024-1-28112400查看詳情了100.00%50.0410009%100.00%10009%10009%1009%6查看詳情2024-1-2810.009630.0310000%6100.00%86.05%86.05%8