基于多種染色病理圖像的非炎性主動脈中膜變性計算機輔助診斷方法

基于多種染色病理圖像的非炎性主動脈中膜變性計算機輔助診斷方法胸主動脈瘤及夾層（TAA/TAD）是最復雜、最危重的心血管疾病之一[1]，此類疾病的臨床表現(xiàn)特異性差，常被誤診為心肌梗死而錯失搶救時間，明確病因、及時診斷以及手術干預是提高TAA/TAD患者生存率的關鍵。結合臨床特點及術后標本病理學表現(xiàn)，有利于分析此類疾病的發(fā)生機制及影響因素。因此，準確的病理診斷結果對TAA/TAD的病因學研究具有重要意義。中膜變性（MD）是TAA/TAD的主要病理改變。心血管病理學會及歐洲心血管病理協(xié)會制訂的共識（2016版）[2]對于非炎性主動脈病變提出了統(tǒng)一診斷方案，并根據(jù)MD分類及病變程度明確了分級標準。在上述診斷標準中，MD包括層內(nèi)型黏液樣細胞外基質聚集（MEMA-I）、穿透型黏液樣細胞外基質聚集（MEMA-T）、彈力纖維斷裂和/或缺失（EFFL）、平滑肌細胞核缺失（SMCNL）、層狀中膜崩解（LMC）5個量化指標。常規(guī)診斷方法需病理醫(yī)師于顯微鏡下觀察HE染色切片，并結合特殊染色及免疫組化染色的病灶性質進行輔助評估（圖1），將5個量化指標進行病變程度判定并將所有病變區(qū)域綜合分析，才可得出最終診斷結果。圖1

同一病變部位5種不同染色的中膜變性病理圖像（×20）A.常規(guī)HE染色；B.彈力纖維/VanGieson（彈力/VG）染色示彈力纖維呈黑色，斷裂、排列紊亂（箭頭）；C.阿辛藍/過碘酸雪夫（AB/PAS）染色示黏液聚集呈藍色（箭頭）；D.Masson染色示膠原纖維呈藍色（黑色箭頭），肌纖維呈紅色（紅色箭頭）；E.平滑肌肌動蛋白（SMA）染色示平滑肌纖維呈棕黃色（箭頭）該診斷方法不僅工作量大、耗時費力，且受主觀因素影響，診斷準確率低且結果一致性差。計算機輔助診斷(CAD)可為MD的評估提供新的診斷途徑。由于LMC繼發(fā)于SMCNL，MD的診斷可進行簡化，僅針對非炎性主動脈組織中的MEMA-I、MEMA-T、EFFL及SMCNL進行分類量化。本團隊在既往研究中，基于CAD技術已實現(xiàn)了非炎性主動脈MDHE染色病理圖像4分類[3]，經(jīng)反復模型調(diào)試與測試，模型整體分類準確率可達98.78%[4]。但該診斷方法在應用時仍存在諸多挑戰(zhàn)，如僅依靠單一染色圖像對病變范圍及病變間的相互關系不易把握，進而造成綜合診斷時輔助分級難度大，不利于最終分級軟件的運行與研究等。本研究對既往模型進行優(yōu)化與改進，以解決前期研究中存在的問題。1材料與方法1.1一般材料與分組1.1.1材料回顧性收集2018年7—12月首都醫(yī)科大學附屬北京安貞醫(yī)院TAA/TAD患者的非炎性主動脈手術標本病理切片。納入標準：（1）按照國際共識中的標準[2]，患者均診斷為TAA/TAD非炎性主動脈病變且均行手術治療；（2）每組切片均包括HE染色、特殊染色(彈力纖維/VanGieson、Masson、阿辛藍/過碘酸雪夫)及平滑肌肌動蛋白染色5種染色的病理圖像。排除標準：切片質量不合格。1.1.2分組采用3DHistechPannoramicScan數(shù)字玻片掃描系統(tǒng)以400倍率將病理切片掃描為全視野數(shù)字圖像（WSI）[5]。由2名病理科醫(yī)師依據(jù)共識[2]，采用CaseViewer軟件對WSI中的病變進行標注（標注不一致時需經(jīng)另1名高級職稱醫(yī)師進行復核）。將標注后的WSI圖像按6:1的比例隨機分為訓練集和測試集，分別用于模型訓練與評價。為避免分類偏差，隨機分組時應保證訓練集和測試集包含相同的病變類型分布，且2個數(shù)據(jù)集不可同時包含來自同一患者的圖像。本研究已通過首都醫(yī)科大學附屬北京安貞醫(yī)院倫理審查委員會審批（審批號：2018088X），并豁免患者知情同意。1.2方法1.2.1數(shù)據(jù)增強在臨床數(shù)據(jù)較為有限的情況下，所標注的圖像數(shù)據(jù)類別常出現(xiàn)不平衡現(xiàn)象。此時，可通過數(shù)據(jù)增強[4]的方式擴大樣本數(shù)據(jù)。本研究通過圖像旋轉的方法進行數(shù)據(jù)增強，即將標注后的WSI隨機裁剪后分別旋轉60°、90°、180°和270°，可產(chǎn)生5倍的圖像樣本，避免因數(shù)據(jù)過少導致模型過擬合現(xiàn)象。1.2.2圖像預處理1.2.2.1顏色歸一化病理切片在取材、制片、圖像掃描等過程中，由于個體組織樣本的差異性、醫(yī)師經(jīng)驗和掃描儀參數(shù)設定的不同，會造成WSI圖像顯色存在差異。采用基于染色分離的歸一化法[6]可減少圖像的顏色差異，并保留圖像中的關鍵信息，盡可能保存細胞內(nèi)的結構信息，提升模型的分類性能(圖2)。圖2

顏色歸一化處理前后的病理圖像比較A.處理前；B.處理后1.2.2.2圖像分級配準由于制片的差異及人工標注的局限性，前期處理所獲取的同一組織相同部位病變的相鄰切面病理圖像不可能完全相同，通過簡單疊加的方式并不能得到所需圖像，因此需通過可變形配準方法將多張不同染色的圖像進行配準。此外，染色病理圖像的尺寸約為9萬×18萬像素（最高分辨率水平），以現(xiàn)有計算機的性能，使用現(xiàn)有的配準算法幾乎無法直接完成圖像配準任務。因此，本研究提出一種分級配準方法，對低、高分辨率的病理圖像依次進行配準。在低分辨率水平下，采用基于圖像特征的粗輪廓配準算法，提取基于尺度不變特征變換（SIFT）的圖像特征[7]進行圖像輪廓配準，可保證圖像內(nèi)部細節(jié)不會有較大失真?；赟IFT的算法完成輪廓配準后得到的病灶切面圖像可能存在錯位現(xiàn)象，無法滿足病理圖像信息融合的要求?；诨叶葟姸鹊呐錅仕惴ň哂休^好的魯棒性，在處理多模態(tài)醫(yī)學圖像的配準中應用廣泛。在得到高分辨率水平下的病灶切面圖像后，使用基于灰度強度的配準算法，可實現(xiàn)病灶切面圖像內(nèi)部位置配準。配準過程中，選取的變換模型為仿射變換，配準評價指標為互信息，迭代器為Adam。1.2.3模型設計本研究基于SE-EmbraceNet網(wǎng)絡結構，首次構建MD多分類模型。該模型可分為3個部分：輸入層、融合層和分類層。輸入層用于提取不同染色病理圖像的特征。融合層中，使用SENet[8]進行特征重標定，并獲取不同染色病理圖像間的融合權重，實現(xiàn)特征融合。分類層中，引入Dropout機制[9]避免模型對某種染色圖像的過度學習，提高模型的泛化能力，并將最終分類結果通過Softmax模型輸出。1.2.3.1輸入層設計SE-EmbraceNet為一個包含5個輸入通道的輕量級分類模型，每個通道結構相同，均由卷積層、池化層及全連接層組成。每個通道分別輸入一種染色的主動脈病理圖像。本研究以x(k)表示第k個輸入通道的輸入向量，其中k∈{1,2,3,4,5}。第k個輸入通道i層的輸出向量可表示為公式（1）：其中wi(k)和bi(k)分別為權重向量和偏置。yi(k)經(jīng)過激活函數(shù)fa（線性修正單元ReLU或Sigmoid），可得到k個輸入通道的輸出向量，見公式（2）：其中zk=［z1(k)，z2(k),…,z512(k)］T，所有輸出向量(z1，z2，z3，z4，z5)均為512維的向量。1.2.3.2融合層設計融合層特征圖像的輸入尺寸為5×1×512。通過SENet模塊可進行圖像特征融合，具體算法設計參照合作單位前期研究成果[10]。在模型訓練過程中，SENet模型引入了注意力機制，可自動對染色通道進行判定，提升有診斷價值染色通道的權重，并降低對病理診斷意義不大的染色通道的權重，即“特征重標定”策略。具體過程包括三個步驟。步驟一，為獲取某種染色病理圖像的全局特征，采用全局平均池化層進行特征圖處理，計算方法見公式（3）：其中，h

和w

分別為輸入通道池化層中特征圖z

的長和寬，u

為池化層的輸出特征圖。步驟二，基于通道注意力機制，獲取特征通道間的依賴關系，方法見公式（4）：其中s

為融合權重，σ

表示激活函數(shù)Sigmoid，w1、w2分別為連接層的參數(shù)，fb表示激活函數(shù)ReLU。共包含2個全連接層的結構，第1個全連接層起到降維的作用，第2個全連接層用于將特征圖恢復至原始維度。步驟三，將步驟二獲取的病理圖像融合權重通過加權至特征圖，實現(xiàn)對各染色通道原始特征的重新標定，從而利用各類染色圖像的特征進行更高效訓練。計算過程見公式（5）：其中，fscale表示基于通道的乘法操作，t

為完成特征重組的特征圖，最終所輸出的特征圖尺寸為5×1×512。1.2.3.3分類層設計為避免模型過擬合，通過Dropout機制調(diào)控分類層輸入，以有效避免訓練階段對特定染色圖像的過度學習。全連接層緊跟Dropout層，神經(jīng)元總數(shù)為1×1×512。最后通過Softmax激活函數(shù)獲取4種MD病變類型（SMCNL、EFFL、MEMA-I以及MEMA-T）分類結果。其中SMCNL為主動脈中膜多個層狀單位內(nèi)的平滑肌細胞核不能清晰識別；EFFL為主動脈中膜廣泛的穿層狀彈力纖維斷裂和/或缺失以及層狀彈力纖維間隔增大；MEMA-I是指主動脈中膜黏液樣細胞外基質增加，但層狀結構無顯著改變；MEMA-T是指主動脈中膜黏液樣細胞外基質增加且層狀結構存在不同程度改變。1.3模型運算環(huán)境采用基于PyTorch的深度學習框架進行模型搭建，采用高性能計算平臺（華為G5500系列服務器）和NVIDIAV100GPU卡進行模型訓練，采用MatlabR2018b平臺和Python3.7對圖像進行預處理。1.4評價指標雖然MD包括4種病變，但本研究在分類結果評價時采用二分類評價方法，即在識別某一種病變類型時，其余3種病變均被歸為非同組類別。采用準確率、靈敏度、精確率、F1值（靈敏度和精確率的調(diào)和均值）對分類結果的性能進行量化，計算公式為：其中，TP（truepositive）為真陽性，F(xiàn)P（falsepositive）為假陽性，TN（truenegative）為真陰性，F(xiàn)N（falsenegative）為假陰性，PRE（precision）為精確率，SEN（sensitivity）為靈敏度。1.5統(tǒng)計學處理采用SPSS23.0軟件進行統(tǒng)計學分析，采用MicrosoftExcel2016軟件繪制圖像分類結果的柱狀圖。準確率、靈敏度、精確率、F1值為計數(shù)資料，以百分數(shù)表示。2結果2.1數(shù)據(jù)集共入選符合納入和排除標準的TAA/TAD患者非炎性病變主動脈手術標本病理切片530張(手術標本106份)?？偺崛?265組圖像（每組包含同一病變部位5種染色病理圖像），其中SMCNL1153組、EFFL2348組、MEMA-I1559組、MEMA-T205組。訓練集包括4513組圖像，其中SMCNL987組、EFFL2013組、MEMA-I1337組、MEMA-T176組；測試集包括752組圖像，其中SMCNL166組、EFFL335組、MEMA-I222組、MEMA-T29組。2.2模型分類結果模型對測試集4種病變圖像的識別、分類能力良好，絕大部分圖像可被正確分類，僅個別圖像分類錯誤（圖3）。圖3

模型對測試集主動脈中膜變性病理圖像的四分類結果SMCNL:平滑肌細胞核缺失；EFFL:彈力纖維斷裂和/或缺失；MEMA-I:層內(nèi)型黏液細胞樣細胞外基質聚集；MEMA-T:穿透型黏液樣細胞外基質聚集其中2組SMCNL圖像被錯分為EFFL，2組被錯分為MEMA-I；4組EFFL圖像被錯分為MEMA-I，1組被錯分為MEMA-T，提示當存在MEMA-I病變時，其圖像特征會對模型識別EFFL病變有一定干擾。此外，分別有3、3、5組MEMA-I圖像被錯分為SMCNL、EFFL、MEMA-T；6組MEMA-T圖像被錯分為MEMA-I，提示相較于MEMA-I，模型對MEMA-T病變的識別具有較高特異性，被錯分為SMCNL及EFFL的概率均為0。2.3模型評價除對MEMA-T分類的靈敏度、精確率和F1值均為79.31%外（由于測試數(shù)據(jù)集中包含的MEMA-T樣本較少，數(shù)據(jù)分類不平衡），SE-EmbraceNet模型識別MD4種病變類型的準確率、靈敏度、精確率、F1值均高于90%，整體準確率為96.54%（726/752），提示模型的整體分類效果良好。其中對EFFL的識別能力最強，準確率、靈敏度、精確率和F1值均≥98.51%，其次為SMCNL，各指標均≥97.59%，亦具有較好的分類能力。相較SMCNL和EFFL，模型對MEMA-I、MEMA-T的識別能力略差（表1）。表1

模型在測試集中的評價結果（%）3討論MD病變類型的識別與評估可為TAA/TAD的診斷和早期干預提供重要參考依據(jù)。鑒于目前通過人工顯微鏡下閱片完成MD病變分類及TAA/TAD診斷的方式存在主觀性強、工作量大等局限性，本研究團隊在既往研究成果的基礎上，提出了基于SE-EmbraceNet網(wǎng)絡結構的MD病變多分類模型，結果顯示該模型對4種病變類型的分類能力良好（多數(shù)評價指標高于90%），其中對EFFL的識別能力最強（各評價指標均≥98.51%），其次為SMCNL（各評價指標均≥97.59%）。WSI圖像蘊含豐富的表型信息，是監(jiān)測疾病進展、判斷病灶嚴重程度、研究疾病潛在機制的重要手段。人工智能已成為解析病理圖像的先進技術，廣泛應用于乳腺癌、肺癌、肝癌、宮頸癌等惡性腫瘤的分類識別與鑒別診斷[11-14]。目前，CAD在病理領域中的研究成果多集中于腫瘤區(qū)域，在非腫瘤性病變中的應用較少。關于TAA/TAD，有限的相關研究主要基于影像圖像分割或分類，聚焦于根據(jù)幾何形態(tài)對主動脈腫瘤進行分類，以評估其危險程度，并對主動脈夾層進行分類與診斷[15]。探索主動脈非炎性病理改變的CAD模型有助于評估其在間質性病變分析中的可行性，為間質性病變相關研究提供思路。本研究團隊在前期研究中已證實，人工智能算法在保持高準確率的前提下，對主動脈MD病變的識別具有人工閱片無法比擬的速度優(yōu)勢，可節(jié)約病理科醫(yī)生人工初判的時間。目前，本團隊已在單一染色非炎性主動脈MD病理圖像病變識別相關研究中得到了較為可觀的分類結果，課題組先后應用ResNet模型及GoolgeNet模型對單一染色病理圖像判讀，整體準確率分別為96.32%和98.78%[3-4]。尤其GoolgeNet單一染色模型的各項指標均較理想，但單一染色模型在軟件轉化及數(shù)據(jù)整合時的適用性不高。因此，若通過軟件獨立完成最終的主動脈MD診斷分級，多種染色病理圖像分類模型的研究勢在必行。圖像信息融合是進行多種染色病理圖像分類面臨的最大挑戰(zhàn)?；谏鲜鲅芯砍晒n題組首次提出了SE-EmbraceNet模型，其為輕量級神經(jīng)網(wǎng)絡模型，通過搭載SENet模塊，實現(xiàn)了多種染色病理圖像信息融合。SENet自注意力機制可對融合層各染