硅藻檢驗(yàn)技術(shù)規(guī)范 基于人工智能技術(shù)的自動(dòng)化方法

1硅藻檢驗(yàn)技術(shù)規(guī)范基于人工智能技術(shù)的自動(dòng)化方法本文件規(guī)定了基于人工智能技術(shù)的法醫(yī)學(xué)硅藻檢驗(yàn)自動(dòng)化方法，包括方法原理、儀器設(shè)備和檢驗(yàn)步本文件適用于由人工智能模型完成的法醫(yī)學(xué)尸體器官組織、體液及水樣硅藻的定性、定量及分類檢2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GA/T813人體組織器官中硅藻硝酸破機(jī)法檢驗(yàn)GA/T1662法庭科學(xué)硅藻檢驗(yàn)技術(shù)規(guī)范微波消解-真空抽濾-顯微鏡法3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。具有硅質(zhì)細(xì)胞壁的水生單細(xì)胞藻類。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。CPU:中央處理器(CentralProcessingUnit)CUDA:計(jì)算統(tǒng)一設(shè)備架構(gòu)(CoaputeUnifiedDeviceArchitecture)DPI:每英寸點(diǎn)數(shù)(DotsPerInch)HOG:方向梯度直方圖(HistogranofOrientedGradient)JPG:聯(lián)合圖片組(JointPictureGroup)LBP:局部二值模式(LocalBinaryPattern)PNG:便攜式網(wǎng)絡(luò)圖像(PortableNetworkGraphics)TIF:標(biāo)簽圖像文件格式(TagInageFileFormat)5方法原理通過(guò)數(shù)字化病理學(xué)技術(shù)將實(shí)體樣本底物轉(zhuǎn)換成高分辨率圖像數(shù)據(jù)：應(yīng)用人工智能算法對(duì)數(shù)字化圖像中的硅藻區(qū)域進(jìn)行自動(dòng)化識(shí)別和科屬分類：根據(jù)人工智能算法統(tǒng)計(jì)的硅藻數(shù)量及科屬分類結(jié)果并結(jié)合人工確認(rèn)，完成法醫(yī)學(xué)硅藻的定性、定量及分類檢驗(yàn)工作。6儀器設(shè)備3d)獲取的圖像樣本可進(jìn)行像素大小調(diào)整，使圖像大小符合人工智能模型的輸入規(guī)格，可選擇對(duì)圖像樣本像素進(jìn)行預(yù)處理(如均一化和灰度化等),用于降低同一數(shù)據(jù)源中各圖像樣本之間的像素差異性，提高模型的泛化能力。數(shù)據(jù)庫(kù)圖像樣本.1在數(shù)據(jù)庫(kù)單張圖像樣本中，目標(biāo)硅藻區(qū)域與實(shí)際完整硅藻面積比例應(yīng)不低于30%。.2數(shù)據(jù)庫(kù)圖像樣本可根據(jù)背景及不同科屬硅藻分成多組數(shù)據(jù)集，每組數(shù)據(jù)集包含原始圖像應(yīng)不少于5000張，且每張圖像樣本擁有相應(yīng)分組標(biāo)簽信息。.3各組數(shù)據(jù)集圖像數(shù)量應(yīng)將組間數(shù)量差距保持在20%以內(nèi)。7.1.2人工智能模型訓(xùn)練訓(xùn)練目的人工智能模型的訓(xùn)練目的在于針對(duì)特定(如識(shí)別和分類)任務(wù)利用數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)樣本對(duì)智能化模型進(jìn)行模式特征學(xué)習(xí)。經(jīng)學(xué)習(xí)后的模型可用于訓(xùn)練數(shù)據(jù)以外的同類型、同分布數(shù)據(jù)的準(zhǔn)確、客觀預(yù)測(cè)。人工智能模型的特定任務(wù)取決于數(shù)據(jù)庫(kù)的性質(zhì)。其中，識(shí)別數(shù)據(jù)集主要用于訓(xùn)練將硅藻與背景雜質(zhì)相區(qū)分的模型架構(gòu)，而分類數(shù)據(jù)集則用于訓(xùn)練區(qū)分不同科屬硅藻的模型架構(gòu)。訓(xùn)練方法.1在基于端到端的模型訓(xùn)練中，所采用的模型架構(gòu)(如深度學(xué)習(xí)模型)直接從圖像樣本中提取相關(guān)特征信息用于模型內(nèi)部參數(shù)的擬合和校正。.2基于分治法的模型訓(xùn)練應(yīng)借助額外方法先提取圖像中的特征信息，形成向量數(shù)據(jù)后才可用于模型(如一般機(jī)器學(xué)習(xí)模型)內(nèi)部參數(shù)的擬合和校正。.3基于端到端的模型訓(xùn)練基于端到端的模型訓(xùn)練應(yīng)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上完成，具體如下。a)采用的人工智能模型算法應(yīng)涉及卷積人工神經(jīng)網(wǎng)絡(luò)、目標(biāo)識(shí)別算法以及其他可用于圖像特征自動(dòng)化提取的模型架構(gòu)。b)應(yīng)將數(shù)據(jù)庫(kù)圖像樣本按適當(dāng)比例設(shè)置訓(xùn)練、驗(yàn)證和測(cè)試樣本集。其中：1)訓(xùn)練樣本集、驗(yàn)證樣本集和測(cè)試樣本集中的數(shù)據(jù)分布應(yīng)保持一致；2)訓(xùn)練樣本集和驗(yàn)證樣本集分別用于模型的訓(xùn)練和訓(xùn)練過(guò)程中的模型效能監(jiān)測(cè)和評(píng)估，測(cè)試樣本集則用于模型訓(xùn)練完畢后的性能泛化指標(biāo)評(píng)價(jià)；3)圖像樣本來(lái)自于不同個(gè)體或?qū)嶓w底物樣本，為防止數(shù)據(jù)泄漏，來(lái)自于同一個(gè)體或?qū)嶓w底物樣本中的圖像樣本應(yīng)被分配到相同樣本集中。c)可對(duì)訓(xùn)練樣本集中的圖像樣本進(jìn)行擴(kuò)增，包括圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、隨機(jī)調(diào)整圖像對(duì)比度及亮度等。d)將擴(kuò)增后的.3c)圖像樣本用于模型的迭代訓(xùn)練，每次迭代獲得的模型對(duì)驗(yàn)證樣本集中的圖像樣本進(jìn)行預(yù)測(cè)。e)根據(jù)模型驗(yàn)證樣本預(yù)測(cè)結(jié)果及其對(duì)應(yīng)的真實(shí)分組標(biāo)簽，計(jì)算目標(biāo)損失函數(shù)值用于評(píng)估每次迭代的模型預(yù)測(cè)效能。f)當(dāng)目標(biāo)損失函數(shù)值隨著迭代次數(shù)增加而趨于穩(wěn)定時(shí)，為防止模型過(guò)擬合的出現(xiàn)，可在目標(biāo)損失函數(shù)值趨于穩(wěn)定的迭代臨界點(diǎn)后10次~50次獲取相應(yīng)最優(yōu)模型。.4基于分治法的模型訓(xùn)練基于分治法的模型訓(xùn)練應(yīng)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上完成，具體如下。a)采用的人工智能模型算法應(yīng)涉及一般機(jī)器學(xué)習(xí)模型(如偏最小二乘法、支持向量機(jī)、隨機(jī)森林和感知器人工神經(jīng)網(wǎng)絡(luò)等)以及其他不能直接處理圖像矩陣數(shù)據(jù)的模型架構(gòu)。b)應(yīng)將數(shù)據(jù)庫(kù)圖像樣本按適當(dāng)比例設(shè)置訓(xùn)練、驗(yàn)證和測(cè)試樣本集。其中：1)訓(xùn)練樣本集、驗(yàn)證樣本集和測(cè)試樣本集中的數(shù)據(jù)分布應(yīng)保持一致；42)訓(xùn)練樣本集和驗(yàn)證樣本集用于模型的訓(xùn)練和訓(xùn)練過(guò)程中的模型效能監(jiān)測(cè)和評(píng)估，測(cè)試樣本集則用于模型訓(xùn)練完畢后的性能泛化指標(biāo)評(píng)價(jià)：3)圖像樣本來(lái)自于不同個(gè)體或?qū)嶓w底物樣本，為防止數(shù)據(jù)泄漏，來(lái)自于同一個(gè)體或?qū)嶓w底物樣本中的圖像樣本應(yīng)被分配到相同數(shù)據(jù)集中。c)可對(duì)訓(xùn)練樣本集中的圖像樣本進(jìn)行擴(kuò)增，包括圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、隨機(jī)調(diào)整圖像對(duì)比度及亮d)通過(guò)特征提取方法(如深度學(xué)習(xí)特征提取模型、HOG特征提取算法和LBP特征提取算法等)獲取圖像樣本中的特征數(shù)據(jù)并將這些特征數(shù)據(jù)整合成向量數(shù)據(jù)。每個(gè)圖像樣本的向量數(shù)據(jù)維度及特征排列次序應(yīng)保持相同。e)如特征提取方法涉及深度學(xué)習(xí)模型，其內(nèi)部參數(shù)可通過(guò)訓(xùn)練和驗(yàn)證圖像樣本并結(jié)合特定損失函數(shù)予以事先擬合和校正。f)訓(xùn)練樣本的向量數(shù)據(jù)應(yīng)用于人工智能模型架構(gòu)的參數(shù)擬合，同時(shí)結(jié)合網(wǎng)格搜索方法確認(rèn)模型最佳超參數(shù)組合并獲得候選模型。8)應(yīng)用候選模型預(yù)測(cè)驗(yàn)證樣集中圖像樣本的向量數(shù)據(jù)并計(jì)算分類準(zhǔn)確率，準(zhǔn)確率高于0.9時(shí)可將其確認(rèn)為最優(yōu)模型。對(duì)于給定的數(shù)據(jù)集，正確預(yù)測(cè)的正例樣本與被預(yù)測(cè)為正例的樣本比率，見(jiàn)公式(1)。TPFP——實(shí)際是負(fù)例但被預(yù)測(cè)為正例的樣本對(duì)于給定的數(shù)據(jù)集，正確預(yù)測(cè)的正例樣本與實(shí)際為正例樣本的比率，見(jiàn)公式(2)。FN實(shí)際是正例但被預(yù)測(cè)recall——查全率。對(duì)于給定的數(shù)據(jù)集，正確分類的樣本數(shù)占總樣本數(shù)的比率，見(jiàn)公式(3)。TP——實(shí)際是正例且被預(yù)測(cè)為正例的樣本數(shù)量；TN——實(shí)際是負(fù)例且被預(yù)ALL—所有樣本的數(shù)量；accuracy——準(zhǔn)確率。模型查準(zhǔn)率和查全率的一種加權(quán)平均，也是一種綜合評(píng)價(jià)指標(biāo)，見(jiàn)公式(4)。5式中：recall——查全率；precision——查準(zhǔn)率；表示預(yù)測(cè)正例排在負(fù)例前面的概率，用于評(píng)估模型的分類效能。模型的內(nèi)部評(píng)價(jià)模型的內(nèi)部評(píng)價(jià)應(yīng)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上完成，具體如下：a)應(yīng)用最優(yōu)模型對(duì)測(cè)試樣本集進(jìn)行預(yù)測(cè)。如采用基于分治法的模型架構(gòu)，測(cè)試樣本集應(yīng)進(jìn)行特征提取形成向量數(shù)據(jù)后才可輸入至人工智能模型。特征提取方法應(yīng)與模型訓(xùn)練時(shí)采用的特征提取方法相一致：b)應(yīng)根據(jù)測(cè)試樣本集預(yù)測(cè)結(jié)果及其對(duì)應(yīng)的真實(shí)分組標(biāo)簽，計(jì)算準(zhǔn)確率、查全率、查準(zhǔn)率、F1分c)最優(yōu)模型在測(cè)試樣本集預(yù)測(cè)中，其準(zhǔn)確率、查全率、查準(zhǔn)率、F1分?jǐn)?shù)及AUC值均應(yīng)大于0.9。模型的外部評(píng)價(jià)模型的外部評(píng)價(jià)應(yīng)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上完成，具體如下：a)在本地實(shí)驗(yàn)室儀器設(shè)備針對(duì)不同器官、體液及水樣分別制作10份底物樣本(如組織樣本涂片),每份底物樣本中的實(shí)際硅藻數(shù)量不低于100個(gè)，科屬類別不低于5種。底物樣本中的實(shí)際硅藻數(shù)量和科屬分類由本實(shí)驗(yàn)室2名及以上，日常從事硅藻檢驗(yàn)工作，且具有一定分類經(jīng)驗(yàn)的技術(shù)人員予以確認(rèn)：b)按照7.2.2的規(guī)定在本地實(shí)驗(yàn)平臺(tái)將底物樣本進(jìn)行數(shù)字化轉(zhuǎn)化；c)按照7.2.3和7.2.4的規(guī)定應(yīng)用最優(yōu)模型對(duì)數(shù)字化底物樣本進(jìn)行硅藻定性、定量及科屬分類；d)人工智能模型識(shí)別正確的硅藻數(shù)量應(yīng)占底物樣本實(shí)際硅藻數(shù)量的80%以上；e)人工智能模型的硅藻科屬分類平均準(zhǔn)確率應(yīng)在90%以上。7.2自動(dòng)化硅藻分析的具體實(shí)施7.2.1硅藻檢驗(yàn)樣本制備按照GA/T813、GA/T1662以及其他可用于肺、肝、腎、骨髓、體液及水樣等樣本的硅藻檢驗(yàn)方法，所獲得的硅藻檢驗(yàn)樣本可用于7.2.2的步驟。7.2.2硅藻檢驗(yàn)樣本數(shù)字化轉(zhuǎn)換硅藻檢驗(yàn)樣本數(shù)字化轉(zhuǎn)換應(yīng)在符合6.1規(guī)定的顯微掃描或拍照系統(tǒng)上完成，具體步驟如下。a)將獲取的檢測(cè)底物樣本(如組織樣本涂片)放入顯微掃描或拍照系統(tǒng)的載物臺(tái)上。b)確定掃描區(qū)域，可設(shè)置自動(dòng)聚焦選項(xiàng)。c)在400倍及其以上倍率的視場(chǎng)下獲取檢測(cè)底物樣本上掃描區(qū)域的數(shù)據(jù)圖像，數(shù)據(jù)圖像符合：1)數(shù)據(jù)圖像應(yīng)大于或等于人工智能模型輸入大小規(guī)格：2數(shù)據(jù)圖像表示分辨率應(yīng)不低于72DPI;3)色彩深度為本地實(shí)驗(yàn)室儀器設(shè)備實(shí)際參數(shù)。7.2.3應(yīng)用人工智能識(shí)別模型對(duì)數(shù)據(jù)圖像中硅藻區(qū)域定位在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上應(yīng)用人工智能識(shí)別模型對(duì)數(shù)據(jù)圖像中硅藻區(qū)域定位，具體步驟如下：a)將7.2.2步驟中獲取的數(shù)據(jù)圖像進(jìn)行圖像處理，采用自動(dòng)切割方法形成多張子圖像。所生成的子圖像大小應(yīng)與人工智能模型輸入的規(guī)格相符：b)可選擇對(duì)7.2.3a)中的子圖像進(jìn)行預(yù)處理(如均一化和灰度化等),預(yù)處理方法應(yīng)與c)或d)圖像樣本所使用的預(yù)處理方法相同：c)如采用基于分治法的模型架構(gòu)，子圖像樣本應(yīng)進(jìn)行特征提取形成向量數(shù)據(jù)后才可輸入至人工智能識(shí)別模型。特征提取方法應(yīng)與d)圖像樣本所使用的特征提取方法相同：d)經(jīng)人工智能識(shí)別模型預(yù)測(cè)，可確認(rèn)所檢測(cè)的子圖像中是否含有硅藻(完整或部分硅藻)并記錄該張子圖像在數(shù)據(jù)圖像上的坐標(biāo)信息。7.2.4應(yīng)用人工智能分類模型對(duì)數(shù)據(jù)圖像中硅藻分類在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上應(yīng)用人工智能分類模型對(duì)數(shù)據(jù)圖像中硅藻分類，具體步驟如下：a)若子圖像含有因切割操作造成的不完整硅藻，可根據(jù)7.2.3d)中獲取的坐標(biāo)信息在數(shù)據(jù)圖像上截取相同大小的子圖像，該子圖像應(yīng)包含有完整硅藻：b)樣本在消化、離心和震蕩等過(guò)程中造成硅藻破壞時(shí)，如對(duì)應(yīng)子圖像中包含的硅藻碎片可通過(guò)形狀或紋理予以確認(rèn)，則按7.2.4a)進(jìn)行處理；c)可選擇對(duì)7.2.4a)中的子圖像進(jìn)行預(yù)處理(如均一化、灰度化等),預(yù)處理方法應(yīng)與c)或d)圖像樣本所使用的預(yù)處理方法相同；d)如采用基于分治法的模型架構(gòu)，截取的子圖像樣本應(yīng)進(jìn)行特征提取形成向量數(shù)據(jù)后才可輸入至人工智能分類模型。特征提取方法應(yīng)與模型訓(xùn)練時(shí)采用的方法相一致；e)經(jīng)人工智能分類模型預(yù)測(cè)，確認(rèn)截取子圖像中硅藻的形態(tài)學(xué)科屬并記錄該子圖像在數(shù)據(jù)圖像上的坐標(biāo)信息。7.2.5人工確認(rèn)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上，檢驗(yàn)人員對(duì)人工智能識(shí)別模型和分類模型篩選的含有硅藻的子圖像進(jìn)行人工校對(duì)并獲取對(duì)應(yīng)子圖像在數(shù)據(jù)圖像中的坐標(biāo)信息。7.2.6結(jié)果呈現(xiàn)在符合6.2規(guī)定的數(shù)字計(jì)算機(jī)上結(jié)果呈現(xiàn)如下：a)根據(jù)人工智能模型和人工確認(rèn)結(jié)果，對(duì)樣本中的硅藻進(jìn)行定性分析和定量分析，并統(tǒng)計(jì)不同科屬硅藻的數(shù)量；b)根據(jù)含有硅藻的子圖像坐標(biāo)信息，在數(shù)據(jù)圖像中截取相應(yīng)大小代表性的圖像用于檢驗(yàn)報(bào)告附7[1]GB/T5271.1-2000信息技術(shù)詞匯第1部分：基本術(shù)語(yǔ)[2]AIOSS-01—2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范[3]JZhang,DNVieira,QChengetal.DiatomNetv1.0:anovelatestingfordrowningdiagnosisinforensicallybionedicalapplication[J].Comput[4]JZhang,YYZhou,DNoVieira,etal.Anefficientnethodforbuildingadpopulationsfordroningsiteinferenceusingadeeplearningalgorlthm[J].Int[5]YYZhou,JZhang.JHuang,etal.Digitalwbole-slideimageanalysistestinforensiecasesofdrowningusingaconvolutionalneuralnetworkalgInt,2019,302:109922.[6]BGloria,DOscar,PAnibal,etal.AutomatedDiatomClassificatioFeatureApproaches[J].ApplSci,2017.7:753[7]P.Anibal,B.Gloria,D.Osc