圖像處理中的細胞核檢測、分割、分類方法綜述

1、本PPT基于Methods for Nuclei Detection, Segmentation and Classification in Digital Histopathology: A Review. Current Status and Future Potential制作，歷時2周，補充了大量的圖像處理方面的基礎。主要關(guān)注點為細胞檢測、分割、分類。對圖像處理有所需要這自行下載。能力所限，多有不足。 by 臨風游吟1/140Methods for Nuclei Detection, Segmentation and Classification in Digital Histopat

2、hology: A Review. Current Status and Future PotentialHumayun Irshad, Student Member, IEEE, Antoine Veillard, Ludovic Roux, Daniel Racoceanu, Member, IEEE,2/140outline 簡介和動機 細胞分割和分類的挑戰(zhàn) 圖像處理方法簡介 檢測、分割和分類的方法 討論3 This present review is intended as a comprehensive state-of-the-art survey on the particula

3、r issues of nuclei detection, segmentation and classification methods restricted to two widely available types of image modalities:H&E and IHC. We conclude with a discussion, pointing to future research directions and open problems related to nuclei detection, segmentation and classification.4染色 蘇木精

4、 伊紅染色法 ( hematoxylin-eosin staining ) ，簡稱HE染色法 。細胞核深藍色，其他（細胞質(zhì)，基質(zhì)等）粉紅色。 免疫組織化學（Immunohistochemistry，IHC）又稱免疫細胞化學，是指帶顯色劑標記的特異性抗體在組織細胞原位通過抗原抗體反應和組織化學的呈色反應，對相應抗原進行定性、定位、定量測定的一項新技術(shù)。56 照明 統(tǒng)一的光照是必須的。 顯微鏡，樣本厚度，染色等會導致照度不均。照相技術(shù)對不同波長的光的敏感度不一致（短波-藍長波-紅）。 使用標準套件糾正光譜和空間光照變化。7重點 淋巴細胞：形狀規(guī)則，比上皮細胞小 上皮細胞：染色質(zhì)均勻，邊界平滑（健康

5、）；變大，染色質(zhì)分布不均，邊界不規(guī)則（癌變）8挑戰(zhàn) 病理圖像中待檢測、分割、分類的細胞通常有很多的計算機視覺問題，這些視覺問題由很多因素導致，包括切片處理和圖像采集等。 細胞核通常是聚集在一起且存在重疊，并有多樣化的外觀。 一個成功的圖像處理方法應該是能夠用魯棒的方式克服這些問題以便在各種情況下都有高質(zhì)量和準確率。9圖像處理方法 閾值（thresholding） 形態(tài)學（morphology） 區(qū)域生長（region growing） 分水嶺（watershed） 主動輪廓模型和水平集（active contour model and level sets） K-均值聚類（K-means cl

6、ustering） 概率模型（probabilistic models） 圖切割（graph cuts）10Thresholding目標和背景內(nèi)部的相鄰像素間的灰度值是高度相關(guān)的，但在目標和背景交界處兩邊的像素在灰度上有很大的差別。 全局二值化11 全局閾值：僅根據(jù)圖像像素本身性質(zhì) 1、極小點閾值 2、最優(yōu)閾值 3、最大凸殘差閾值； 局部閾值：像素本身性質(zhì)和局部區(qū)域性質(zhì) 1、直方圖變換 2、灰度-梯度散射圖 動態(tài)閾值：像素本身性質(zhì)、局部區(qū)域性質(zhì)以及像素位置坐標1213Morphology 形態(tài)學是一門建立在集論基礎上的學科，將圖像視為元素的集合，將圖像作為幾何形狀進行處理。 形態(tài)學圖像處理是在

7、圖像中移動一個結(jié)構(gòu)元素，然后將結(jié)構(gòu)元素與下面的二值圖像進行交、并等集合運算。常用的結(jié)構(gòu)元素有十字，矩形和圓形等。14 在形態(tài)學中，結(jié)構(gòu)元素是最重要最基本的概念。結(jié)構(gòu)元素在形態(tài)變換中的作用相當于信號處理中的“濾波窗口”。 基本的形態(tài)運算是腐蝕和膨脹。 腐蝕和膨脹公式：1516 先腐蝕后膨脹的過程稱為開運算。它具有消除細小物體，在纖細處分離物體和平滑較大物體邊界的作用。 先膨脹后腐蝕的過程稱為閉運算。它具有填充物體內(nèi)細小空洞，連接鄰近物體和平滑邊界的作用。 均會除去比結(jié)構(gòu)元素小的圖像細節(jié)。1718 White and black top-hat transforms： 可以提取元素和細節(jié)。 Whi

8、te top-hat transforms Black top-hat transforms1920 形態(tài)學梯度：用于邊緣檢測21Region growing 種子區(qū)域生長法是從一組代表不同生長區(qū)域的種子像素開始，接下來將種子像素鄰域里符合條件的像素合并到種子像素所代表的生長區(qū)域中，并將新添加的像素作為新的種子像素繼續(xù)合并過程，直到找不到符合條件的新像素為止。2223 選擇或確定一組能正確代表所需區(qū)域的種子像素 確定在生長過程中能將相鄰像素包括進來的準則 制定讓生長停止的條件或規(guī)則24Watershed 分水嶺法是一種基于拓撲理論的數(shù)學形態(tài)學的分割方法，其基本思想是把圖像看作是測地學上的拓撲地

9、貌，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。25 該算法的實現(xiàn)可以模擬成洪水淹沒的過程，圖像的最低點首先被淹沒，然后水逐漸淹沒整個山谷。當水位到達一定高度的時候?qū)绯觯@時在水溢出的地方修建堤壩，重復這個過程直到整個圖像上的點全部被淹沒，這時所建立的一系列堤壩就成為分開各個盆地的分水嶺。分水嶺算法對微弱的邊緣有著良好的響應，但圖像中的噪聲會使分水嶺算法產(chǎn)生過分割的現(xiàn)象。2627 ACM能量函數(shù)： 以規(guī)范化曲線形狀為目的的項，稱為內(nèi)能量,最小化內(nèi)能量使得曲線不斷向內(nèi)部緊縮且保持平滑 以靠近目標物體邊緣為目的的項，稱為外能量

10、,外能量則是保證曲線緊縮到目標物體邊緣時停止。 是自定義或目標物體先驗的知識，來控制邊界。Active contour model and level sets28 參數(shù)活動輪廓模型是基于Lagrange框架，直接以曲線的參數(shù)化形式來表達曲線，最具代表性的是Snake模型。該類模型在早期的生物圖像分割領(lǐng)域得到了成功的應用，但其存在著分割結(jié)果受初始輪廓的設置影響較大以及難以處理曲線拓撲結(jié)構(gòu)變化等缺點.29 基本思想是 1）在圖像中初始化一個閉合曲線輪廓。形狀任意，只要保證將目標物體完全包含在曲線內(nèi)部即可； 2）然后構(gòu)建能量方程。能量方程由兩部分組成。 3）根據(jù)能量方程，計算出表示曲線受力的歐拉方

11、程（Euler equation）。按照曲線各點的受力來對曲線進行變形，直至受力為0。此時能量方程達到最小值，曲線收斂到目標物體邊緣。30 幾何活動輪廓模型的曲線運動過程是基于曲線的幾何度量參數(shù)而非曲線的表達參數(shù)，因此可以較好地處理拓撲結(jié)構(gòu)的變化，并可以解決參數(shù)活動輪廓模型難以解決的問題。而水平集（LevelSet）方法的引入，則極大地推動了幾何活動輪廓模型的發(fā)展，因此幾何活動輪廓模型一般也可被稱為水平集方法。31 基本思想是將圖像按照曲線量化為level set函數(shù)（最常用的是signed distance function）。level-set類似于等勢線，一幅圖像上所有l(wèi)evel-set

12、值等于某個常量的點構(gòu)成一個閉合曲線。因此，t時刻的曲線可以表示為： C(t) = (x,y): u(t,x,y) = 0 這樣的曲線表示方法不依賴于參數(shù)化，因此是曲線的本征表示。這樣就將曲線的運動轉(zhuǎn)化為zero level-set函數(shù)的運動。32Level sets 水平集(levelset)的基本思想是將界面看成高一維空間中某一函數(shù)（稱為水平集函數(shù)）的零水平集，同時界面的演化也擴充到高一維的空間中。我們將水平集函數(shù)按照它所滿足的發(fā)展方程進行演化或迭代，由于水平集函數(shù)不斷進行演化，所以對應的零水平集也在不斷變化，當水平集演化趨于平穩(wěn)時，演化停止，得到界面形狀。33 簡單來說就是把低維空間上的函

13、數(shù)通過水平集的方法來轉(zhuǎn)化為高維空間(如果低維是n，則這里的高維指n+1) 假設用C(p,t)表示一個沿其法向方向的閉合曲線，它可以是二維中的一條閉合曲線(curve)，也可以是三維中的一個閉合曲面(Surface)。34 如果把水平集函數(shù) 中的z變量變?yōu)閠，則二維空間的閉合曲線就是通過截取不同時刻三維空間連續(xù)函數(shù)曲面的水平層。 當函數(shù)中的t取不同的值時，水平集函數(shù)對應不同的水平集，三維中的函數(shù)就是這樣映射到二維的平面中的。也就是將二維中曲線的演化轉(zhuǎn)化為了三維中的曲面的演化，低維變化到了高維，低維中的問題變化到了高維進行求解。3536Maximum Likelihood 極大似然原理的直觀想法是

14、：一個隨機試驗如有若干個可能的結(jié)果A，B，C，。若在一次試驗中，結(jié)果A出現(xiàn)，則一般認為試驗條件對A出現(xiàn)有利，也即A出現(xiàn)的概率很大。37 假設數(shù)據(jù)是服從同一個概率分布p(x|)的分布參數(shù)，那么抽到A的概率是p(xA|)，抽到B的概率是p(xB|)，那因為他們是獨立的，同時抽到A和B的概率是p(xA|)* p(xB|)，那么從分布是p(x|)的總體樣本中抽取到n個樣本的概率，也就是樣本集X中各個樣本的聯(lián)合概率，用下式表示： 最大似然估計會尋找關(guān)于的最可能的值38 求最大似然函數(shù)估計值的一般步驟： （1）寫出似然函數(shù)； （2）對似然函數(shù)取對數(shù)，并整理； （3）求導數(shù)，令導數(shù)為0，得到似然方程； （4

15、）解似然方程，得到的參數(shù)即為所求；39Expectation Maximization 期望最大化（Expectation-maximuzation）算法在統(tǒng)計中被用于尋找，依賴于不可觀察的隱性變量的概率模型中，參數(shù)的最大似然估計。EM是一個在已知部分相關(guān)變量的情況下，估計未知變量的迭代技術(shù)。40 EM的算法流程如下： 1：初始化分布參數(shù)： 2：重復直到收斂。 E步驟：估計未知參數(shù)的期望值，給出當前的參數(shù)估計。 M步驟：重新估計分布參數(shù)，以使得數(shù)據(jù)的似然性最大，給出未知變量的期望估計。41K-means clustering K-means算法是很典型的基于距離的聚類算法，采用距離作為相似性的

16、評價指標，即認為兩個對象的距離越近，其相似度就越大。該算法認為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。42（1） 從 n個數(shù)據(jù)對象任意選擇 k 個對象作為初始聚類中心；（2） 根據(jù)每個聚類對象的均值（中心對象），計算每個對象與這些中心對象的距離；并根據(jù)最小距離重新對相應對象進行劃分；（3） 重新計算每個（有變化）聚類的均值（中心對象）（4） 循環(huán)（2）到（3）直到每個聚類不再發(fā)生變化為止43Fuzzy c-means clustering 模糊c-均值聚類算法 fuzzy c-means algorithm (FCMA)或稱（ FCM）。在眾多模糊聚類算法中，模糊C-

17、均值（ FCM） 算法應用最廣泛且較成功，它通過優(yōu)化目標函數(shù)得到每個樣本點對所有類中心的隸屬度，從而決定樣本點的類屬以達到自動對樣本數(shù)據(jù)進行分類的目的。 1973年，Bezdek提出44 FCM用模糊劃分，使得每個給定數(shù)據(jù)點用值在0，1間的隸屬度來確定其屬于各個組的程度。樣本點的隸屬度函數(shù)取值為區(qū)間0, 1，同時每個樣本點對各類的隸屬度之和為1，即認為樣本點對每個聚類均有一個隸屬度關(guān)系，允許樣本點以不同的模糊隸屬度函數(shù)同時歸屬于所有聚類。模糊聚類方法的軟性劃分，真實地反映了圖像的模糊性和不確定性。45 步驟1：用值在0，1間的隨機數(shù)初始化隸屬矩陣U，使其滿足式（6.9）中的約束條件 步驟2：用

18、式（6.12）計算c個聚類中心ci，i=1,c。 步驟3：根據(jù)式（6.10）計算價值函數(shù)。如果它小于某個確定的閥值，或它相對上次價值函數(shù)值的改變量小于某個閥值，則算法停止。 步驟4：用（6.13）計算新的U矩陣。返回步驟2。46Probabilistic models 統(tǒng)計學習的模型有兩種，一種是概率模型，一種是非概率模型。所謂概率模型，就是指要學習的模型的形式是P(Y|X)，這樣在分類的過程中，通過未知數(shù)據(jù)X可以獲得Y取值的一個概率分布，也就是訓練后模型得到的輸出不是一個具體的值，而是一系列值的概率（對應于分類問題來說，就是對應于各個不同的類的概率），然后可以選取概率最大的那個類作為判決對象

19、（算軟分類soft assignment）。47 對于高斯混合模型（GMM），學習的過程就是訓練出幾個概率分布，所謂混合高斯模型就是指對樣本的概率密度分布進行估計，而估計的模型是幾個高斯模型加權(quán)之和（具體是幾個要在模型訓練前建立好）。每個高斯模型就代表了一個類（一個Cluster）。對樣本中的數(shù)據(jù)分別在幾個高斯模型上投影，就會分別得到在各個類上的概率。然后我們可以選取概率最大的類所為判決結(jié)果。48Graph cuts 此類方法把圖像分割問題與圖的最小割（min cut）問題相關(guān)聯(lián)。首先將圖像映射為帶權(quán)無向圖G=，圖中每個節(jié)點NV對應于圖像中的每個像素，每條邊E連接著一對相鄰的像素，邊的權(quán)值表示

20、了相鄰像素之間在灰度、顏色或紋理方面的非負相似度。49 而對圖像的一個分割s就是對圖的一個剪切，被分割的每個區(qū)域CS對應著圖中的一個子圖。而分割的最優(yōu)原則就是使劃分后的子圖在內(nèi)部保持相似度最大，而子圖之間的相似度保持最小?；趫D論的分割方法的本質(zhì)就是移除特定的邊，將圖劃分為若干子圖從而實現(xiàn)分割。50 Graph Cuts圖是在普通圖的基礎上多了2個頂點，這2個頂點分別用符號”S”和”T”表示，統(tǒng)稱為終端頂點。其它所有的頂點都必須和這2個頂點相連形成邊集合中的一部分。所以Graph Cuts中有兩種頂點，也有兩種邊。5152Hough Transform 霍夫變換是圖像處理中的一個檢測直線、圓等

21、簡單幾何形狀的方法。它最初是用于在二值化的圖像中進行直線檢測的。5353黑白圖像上畫一條直線，直線的方程可以用y=k*x+b 來表示，過某一點(x0,y0)的所有直線的參數(shù)都會滿足方程y0=kx0+b。即點(x0,y0)確定了一組直線。方程y0=kx0+b在參數(shù)k-b平面上是一條直線。這樣，圖像x-y平面上的一個前景像素點就對應到參數(shù)k-b平面上的一條直線。5454 同樣，圖像x-y平面上的一條直線y=k0*x+b0就對應到參數(shù)平面上的一個像素點（K0，b0）。 不過，由于直線的斜率可能為無窮大，或者無窮小，那么，在k-b參數(shù)空間就不便于對直線進行刻畫和描述。所以，采用極坐標參數(shù)空間進行直線檢

22、測。5555 直線Y=X*K+b上點對應于KB空間上的不同直線，這一組直線的交點為（K，b）。則通過對圖像進行遍歷，均映射到空間AB上，統(tǒng)計交點上相交直線的個數(shù)，則個數(shù)最大的點及對應圖像中占據(jù)像素點最多的線段。5656 優(yōu)點：抗干擾能力強，對應曲線為實線，虛線，還是殘缺了一部分均可以檢測；對應曲線的均勻無要求。缺點：計算量大，不能檢測圖像的線段，檢測出包括該線段的直線，對于像素點較少的線段無法檢測，參數(shù)空間難求取最優(yōu)參數(shù)。5757Markov random field 馬爾可夫一般是馬爾可夫性質(zhì)的簡稱。它指的是一個隨機變量序列按時間先后關(guān)系依次排開的時候，第N+1時刻的分布特性，與N時刻以前的

23、隨機變量的取值無關(guān)。拿天氣來打個比方。如果假定天氣是馬爾可夫的，其意思就是假設今天的天氣僅僅與昨天的天氣存在概率上的關(guān)聯(lián)，而與前天及前天以前的天氣沒有關(guān)系。其它如傳染病和謠言的傳播規(guī)律，就是馬爾可夫的。5858 隨機場包含兩個要素：位置（site），相空間（phase space）。當給每一個位置中按照某種分布隨機賦予相空間的一個值之后，其全體就叫做隨機場。不妨拿種地來打個比方?！拔恢谩焙帽仁且划€畝農(nóng)田；“相空間”好比是種的各種莊稼。可以給不同的地種上不同的莊稼，種的莊家類型只和相鄰地里的莊家有關(guān)。這就好比給隨機場的每個“位置”，賦予相空間里不同的值。所以，俗氣點說，隨機場就是在哪塊地里種什么

24、莊稼的事情。5959 馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學中的建模，最近的應用是在地理統(tǒng)計學（geostatistics）中。其中，馬爾可夫鏈用在基于觀察數(shù)據(jù)的二到三維離散變量的隨機模擬。6060laplacian of Gaussian Laplace算子對通過圖像進行操作實現(xiàn)邊緣檢測的時，對離散點和噪聲比較敏感。于是，首先對圖像進行高斯卷積濾波進行降噪處理，再采用Laplace算子進行邊緣檢測，就可以提高算子對噪聲和離散點的Robust, 這一個過程中Laplacian of Gaussian(LOG)算子就誕生了。6161Difference of Gaussian DoG (Diff

25、erence of Gaussian)是灰度圖像增強和角點檢測的方法，其做法較簡單，它是可以通過將圖像與高斯函數(shù)進行卷積得到一幅圖像的低通濾波結(jié)果，即去噪過程，同時，它對高斯拉普拉斯LoG的近似，在某一尺度上的特征檢測可以通過對兩個相鄰高斯尺度空間的圖像相減，得到DoG的響應值圖像。6262 黑色為極小值，白色為極大值6363H-maxima transform I2 = imhmax(I,h) suppresses all maxima in the intensity image I whose height is less than h, where h is a scalar. Reg

26、ional maxima are connected components of pixels with a constant intensity value, and whose external boundary pixels all have a lower value.6464Preprocessing 光照歸一化（Illumination Normalization） 色彩歸一化（Color Normalization） 降噪和圖像平滑（Noise Reduction and Image Smoothing） 興趣區(qū)檢測（ROI Detection）65Illumination No

27、rmalization white shading correction 其他方法還有基于在高斯平滑中表現(xiàn)出的圖像內(nèi)稟特性的方法，66Color Normalization 直方圖的方法， quantile normalization 對于stains colocalization，color deconvolution is effective in separation of stains。 color deconvolution requires prior knowledge of color vectors (RGB) of each specific stain.67 絕大部分的檢

28、測和分割方法都是使用的RGB顏色模型，盡管RGB模型不是一個perceptually uniform的顏色模型。 部分使用HSV，Lab和Luv模型。68Noise Reduction and Image Smoothing 濾波和背景糾正之后進行閾值化可以減少隨機噪聲和人為影響。 使用灰度直方圖確定的在閾值之外的那些像素是噪聲。 對像素團使用閾值函數(shù)可以消去一個噪聲區(qū)域。69 形態(tài)學的方法同樣可以應用于降噪。例如開運算和閉運算。形態(tài)學灰度重構(gòu)方法可以減少噪聲同時保持細胞的形狀。 閾值和濾波是基于像素強度減少噪聲，形態(tài)學的方法是根據(jù)輸入圖像的形狀特征。 形態(tài)學方法無法無法去除細胞核類似形狀的噪

29、聲區(qū)域。70 自適應濾波， Gamma correction和直方圖均衡化可以增加前景和背景之間的對比。 Anisotropic diffusion可以平滑細胞核信息而不退化細胞核邊界。 高斯濾波同樣可以平滑細胞核邊界。伽瑪校正就是對圖像的伽瑪曲線進行編輯，以對圖像進行非線性色調(diào)編輯的方法，檢出圖像信號中的深色部分和淺色部分，并使兩者比例增大，從而提高圖像對比度效果。71ROI Detection 在部分框架中，降噪和ROI檢測是同時進行的。例如： 對于組織級別的特征計算，通過排除內(nèi)容少的區(qū)域和噪聲區(qū)域來選擇興趣區(qū)域。 對于細胞級別的特征計算，通過ROI檢測可能的細胞區(qū)域來減少噪聲。72 閾值

30、在ROI檢測中很常見。 sertel等人介紹了將細胞核和細胞成分作為ROI的濾泡性淋巴瘤（FL）分級。紅細胞（RBC）和背景區(qū)域相比于濾泡性淋巴瘤組織核呈現(xiàn)均勻的模式；因此閾值可以在RGB顏色模型中消除紅細胞和背景。同樣，Dalle et al通過使用Otsu閾值隨著形態(tài)學運算在乳腺癌圖像中選擇腫瘤核多形性ROI。73 聚類也是ROI檢測常用方法。 Dundar et al.提出了一種用于乳腺導管增生性病變良惡性分類框架。乳腺導管增生性病變包含四個部分。HE染色圖像數(shù)據(jù)使用GMM分為四個部分。GMM模型參數(shù)使用EM估計。那些被歸類為細胞成分進一步用動態(tài)閾值聚集來消除相亮度較暗藍紫色的像素。剩余

31、的像素點被認為是細胞區(qū)，用于病變分級。74Nuclei Detection 初始標記點和種子點對絕大部分的分割方法是首要的。 分割的準確性直接和種子點的可靠性有關(guān)。 在該領(lǐng)域開始的工作主要依賴the peaks of the Euclidean distance map。75 H-maxima transform檢測局部極大值點作為種子點，但對紋理比較敏感導致過量播種。 Hough transform檢測圓形種子點，但計算量大。 Centroid transform只能在二值圖像中檢測種子點，無法使用額外的信息。76 歐式距離映射常用于種子檢測。 Laplacian of Gaussian (

32、LoG)是一個通用的blob檢測方法。 使用多尺度LoG過濾器和歐式距離映射可以獲得更高的計算效率和利用形狀尺度信息的能力。77 Al-kofahi et al提出了一種距離約束的多尺度LoG濾波的方法來確定細胞核，該方法利用二值圖像歐式距離映射中可獲得的形狀和尺度信息。78 主要步驟： 首先計算尺寸歸一化LOG濾波器在多分辨率下的響應。 在結(jié)合LOG濾波結(jié)果和尺寸來計算單個響應表面時RN(i) ，使用Euclidean distance map來限制最大尺寸值。 確定響應便面的局部最大值，利用最小區(qū)域尺寸濾除不相關(guān)的最小值。79 該方法提高了種子點位置的準確率 但缺點是對距離映射中的小的峰值

33、過于敏感導致過分割，并誤檢測小的區(qū)域為細胞核。80 Radial symmetry transform (RST)也用于種子檢測。 Loy and Zelinsky提出基于快速梯度的興趣算子來檢測具有高徑向?qū)ΨQ的種子點。 雖然這種方法的靈感是來自于廣義對稱變換的結(jié)果，它決定每個周圍像素對稱的貢獻，而不是考慮局部鄰域?qū)χ行南袼氐呢暙I。81 Qi et al.提出了一個新型快速種子點檢測方法，該方法利用shifted Gaussian kernel單通道VOTE。 shifted Gaussian kernel被特別的設計來放大目標物體中心的VOTE，來降低重疊區(qū)域錯誤種子的出現(xiàn)。82 計數(shù)各類型

34、細胞核對于分級是十分重要的。 然而人工計數(shù)是乏味且受到主觀影響的。 Fuchs and Buhmann指出對于正常和非典型細胞核的分類方面，5個病理學家之間存在42%的爭議。同時指出病理學家存在21.2%的錯誤率。 這表明自動計數(shù)工具具有很大的潛力。83 MN數(shù)量可以為腫瘤的擴散攻擊性評估提供依據(jù)。 Anari et al提出使用模糊C-均值聚類和ultra erosion operation方法在Lab顏色模型中檢測MN。結(jié)果表明準確率接近人工標記。84 Roullier et al提出一個基于圖的多分辨率框架來檢測乳腺癌中的MN。該方法現(xiàn)在低分辨率進行非監(jiān)督的聚類然后在高分辨率進行微調(diào)。8

35、5 Khan et al提出了在GMM中使用EM來在乳腺癌圖像中檢測MN。在該框架中有絲分裂像素強度和非有絲分裂區(qū)域由Gamma-Gaussian mixture model表示。86 Ciresan et al.使用深度max-pooling卷積神經(jīng)網(wǎng)絡來檢測MN，并獲得了最高的F-score (78%) during ICPR 2012 contest。一個由以有絲分裂地面真值為中心的圖像塊組成的訓練數(shù)據(jù)庫作為訓練樣本。訓練好的CNN計算在整個圖像中估計有絲分裂核的概率地圖。他們的方法被證明十分高效，且誤檢率低。87 通過檢測 IHC HER2+ breast cancer histopa

36、thology 中的LN數(shù)量，Basavanhally et al提出了對lymphocytic infiltration 分級的方法。在該框架中區(qū)域生長方法使用對比措施找出最優(yōu)邊界來自動檢測LN。88 該框架具有高檢測敏感度，導致有大量的誤檢。為了減少誤報，基于形狀和亮度信息的maximum a posteriori (MAP) estimation應用來臨時標記候選對象為LN或CN。然后Markov random field (MRF) theory with spatial proximity來最后確定標簽。89Nuclei Segmentation 細胞核特征：尺寸，紋理，形狀以及其他

37、形態(tài)學表觀對于癌癥的診斷和分級是重要的指示器。因此癌癥的分類和分級高度依賴細胞分割的質(zhì)量。細胞分割方法的選擇和特征計算方法有關(guān)。90 部分特征計算方法需要細胞核精確的邊界點來計算細胞形態(tài)。在這種情況下，需要高放大倍率的圖像來獲得細胞細節(jié)。其他的特征計算方法需要細胞位置來計算拓撲特征，大量的細胞核分割方法使用基于閾值，形態(tài)學，區(qū)域生長，分水嶺，ACMs，聚類，圖割的方法或組合。91 檢測和分割最簡單的方法是閾值和形態(tài)學的方法。該方法在統(tǒng)一背景下效果良好。主要需要調(diào)節(jié)的參數(shù)為閾值和結(jié)構(gòu)元素的形狀和尺寸。 目標和背景之間的擴散彌漫會加大找到一個能可靠分割邊界閾值的難度。92 閾值加形態(tài)學的方法一般用

38、于灰度圖像，但也可以應用于彩色圖像。 受限于方法的簡單，只是用了少量的目標信息，對尺寸、形狀和紋理的變化缺少魯棒性。 不能分割聚成團的細胞和重疊的細胞。93 部分人使用分水嶺變換來做細胞分割。分水嶺的主要優(yōu)點是在使用之前不需要進行調(diào)整。然而，需要種子點的先驗知識。Edge map 和distance transform可以用于種子點檢測。對于有均勻區(qū)域的環(huán)形細胞有良好的檢測結(jié)果。 分水嶺變換沒有使用先驗知識來提高魯棒性。94 ACMs能夠聯(lián)合形狀特征（平緩，形狀模型）和圖像特征（圖像梯度，強度分布），然而分割的結(jié)果依賴初始種子點的選擇。95 Cosatto et al描述了一個能準確且魯棒測量

39、腫瘤細胞核大小并提供多形性分級用的目標依據(jù)的方法。首先使用一個Difference of Gaussian (DoG)過濾器來檢測細胞核。然后Hough transform選擇出帶有徑向?qū)ΨQ的形狀。最后帶有形狀紋理和fitness參數(shù)的ACM來提取細胞邊界。96 Huang and Lai提出基于分水嶺和ACM的框架用于肝癌活檢的細胞核分割。開始，一個雙形態(tài)學灰度重構(gòu)方法來去除噪聲并增強細胞核的形狀。然后一個標記控制的分水嶺變換來找出細胞核的邊界。最后，ACM生成平滑精確的輪廓。該方法在低對比多，噪聲背景和損壞/核不規(guī)則的情況下表現(xiàn)不好。97 Dalle et al提出了gradient in

40、 polar space (GiPS)，一個新的細胞分割方法。使用閾值和形態(tài)學檢測細胞。然后將每一塊轉(zhuǎn)換到極坐標系統(tǒng)，每一塊的細胞團的中心作為原點。最后一個雙二次濾波來產(chǎn)生一個梯度圖像上的邊界。98 Ta et al.提出基于圖的正則化方法。這框架的特之處在于在不同層級（像素或區(qū)域）和不同組件關(guān)系（柵格圖形，鄰近圖）使用圖作為一個離散圖像模型。99 Kofahi et al.提出了另一個基于圖割的方法來分割乳腺CN。前景區(qū)域使用基于圖割的二值化來提取，像素標簽I(i)由最小化下面的能量函數(shù)來獲得100 在二值化之后，一個由基于自適應尺寸選擇的distance map約束的多尺度LOG濾波檢測出

41、細胞核種子點。 檢測出的種子點被用來進行初始分割，然后使用結(jié)合了alpha expansion and graph coloring的基于圖的方法來微調(diào)。 alpha expansion and graph coloring to reduce computational complexity.101 The authors reported 86% accuracy on 25 histopathological images containing 7,400 nuclei. 在面對染色質(zhì)紋理顯著和細胞核形狀瘦長的情況，該框架常導致過分割。 In case of highly cluster

42、ed nuclei with weak borders between nuclei, under-segmentation may occur.102 Vink et al.介紹了一個決定性的方法：使用機器學習技術(shù)來分割I(lǐng)HC乳腺癌圖像中EN、LN和成纖維細胞核。一個檢測器不能覆蓋整個細胞核外觀范圍。他們使用了兩個檢測器（基于像素和基于行），使用改進的AdaBoost方法。第一個檢測器專注于細胞核的內(nèi)部結(jié)構(gòu)，第二個專注于細胞核的邊界結(jié)構(gòu)，輸出結(jié)果使用ACM進行合并。103 這些細胞核分割框架對于形狀規(guī)則，染色質(zhì)分布均勻，邊界光滑，獨立存在的LN，MC和EN具有很好的精度。 然后這些框架對于C

43、N尤其是聚集和重疊的CN分割效果不好，這些框架對染色質(zhì)變化不具魯棒性，但這在CN中很常見。104Nuclei Separation 第二代分割框架使用機器學習和經(jīng)典分割方法的結(jié)合解決了異質(zhì)性，重疊和聚集的問題。此外，統(tǒng)計和形狀模型用來分離重疊和聚集的核。與細胞核分割方法相比，這些方法對于形狀的變換，部分遮擋和不同的染色更具有寬容性。105 分水嶺變換用來解決細胞重疊問題，通過在圖像區(qū)域中定義一組盆地，在盆地之間的脊分離細胞核。Wahlby et al.解決了聚集細胞的問題通過聯(lián)合灰度梯度信息和形狀參數(shù)來改進分割。106 形態(tài)學濾波來找出細胞核種子，然后基于種子的分水嶺分割被應用在梯度等高線圖像

44、中生成區(qū)域邊界。最后，初始分割的結(jié)果使用邊界梯度等高線進行修正。最后，距離變換和基于形狀的聚類分類方法保留分離線。107 Cloppet and Boucher提出了在免疫熒光圖像中為分水嶺算法提供特殊的標記點。他們定義標記點為重疊結(jié)構(gòu)之間的裂縫。 獲得了77.59% accuracy in case of overlapping nuclei and 95.83% overall accuracy.108 另一種方法：首先全局和局部閾值選擇出前景區(qū)域，然后形態(tài)學濾波來檢測種子點。對種子點進行區(qū)域生長來初始分割細胞核。最后聚集的細胞核由分水嶺和ellipse approximation進行分割

45、。109 ACM的主要問題是對初始化過于敏感，為了解決這個問題，F(xiàn)atakdawala et al.提出了EM driven Geodesic ACM with overlap resolution (EMaGACOR)來分割乳腺癌圖像中的LN。110 基于EM的ACM初始化允許模型關(guān)注相關(guān)興趣目標。magneto-static active contour模型如同F(xiàn)指導輪廓到邊界。基于輪廓閉合多個物體，在輪廓上的高凹點被檢測出來并在邊緣塊圖的構(gòu)建中使用。然后一個基于凹點和尺寸啟發(fā)式的流程來解決重疊的細胞核。111 Yang et al.介紹了一個使用concave vertex graph

46、and Ncut algorithm的細胞核分離方法。 開始外部的輪廓通過魯棒估計和顏色活動模型確定，通過自動檢測在邊界和內(nèi)部邊緣的concave points來構(gòu)建一個concave vertex graph。通過最小化一個基于形態(tài)學的代價函數(shù)計算出分離細胞核的圖最優(yōu)路徑。112 Mouelhi et al.提出了一個用于乳腺癌聚集細胞自動分離的方法。首先，一個帶有Chan-Vese energy model的改進GAC來檢測出細胞核區(qū)域。之后檢測出靠近細胞核區(qū)域的high concavity points。然后在混合距離變換（結(jié)合幾何距離和顏色梯度信息）圖像上運用分水嶺提取內(nèi)部邊緣。使用h

47、igh concavity points和內(nèi)部邊緣的Concave vertex graph被構(gòu)建出來，最后計算在圖中的最短路徑選擇出最優(yōu)分離曲線。113 為了識別聚集細胞中的單個細胞核，Kong et al.提出了由一個新穎的監(jiān)督細胞核分割和聚集細胞核分離的方法構(gòu)成的框架。 使用顏色辨別模型中最常用的顏色-紋理將每個像素分為細胞核和背景區(qū)域。計算徑向?qū)ΨQ中心和連通分量的幾何中心的距離得到聚集細胞核和單個細胞核的差別。114 為了分離聚集的細胞核，聚集塊的邊界由Fourier shape descriptor進行平滑，然后進行凹點檢測。 The authors evaluated this f

48、ramework on FL images and achieved average 77% TPR and 5.55% splitting ER.115 Ali et al.提出了另一個結(jié)合形狀，邊界，區(qū)域同質(zhì)性和mutual occlusion terms的多水平集架構(gòu)的自適應AC scheme。 The segmentation of K overlapping nuclei with respect to shape prior is solved by minimizing the following level set function:116 為了克服ACMs對初始化敏感，Kul

49、ikova et al.提出了一個基于marked point processes (MPP)的方法，一個高階的ACM能夠分割重疊的細胞核，如同分割單獨的物體。沒有必要初試化種子點：給出需要分割細胞核的位置。一個形狀先驗項被用來解決重疊的細胞核。117 Veillard et al.提出了一種基于新圖像形態(tài)的方法。在該圖像中每個像素的強度代表該像素屬于細胞核的概率。這個概率地圖由紋理，尺寸信息和單個像素顏色強度估計出。這種圖像形態(tài)目標和背景之間對比強烈，能平滑細胞和背景之間的邊界。最后使用帶有細胞核形狀先驗的ACM來解決重疊細胞核的問題118 總的來說，基于模版的方法使用先驗信息來分割細胞核。

50、該先驗對于帶有某些特征細胞的分割帶有偏見。為了解決這個問題Wienert et al.提出了一個新的基于輪廓的使用最少先驗信息的最小化模型。119 這個基于最小化模型的分割框架： 不管形狀和尺寸，計算所有可能的閉合輪廓，所有初始生成的輪廓由合適的梯度歸類；不重疊的分割在二維圖中帶有排名標記進行。使用輪廓優(yōu)化改進分割。聚集的核使用凹點檢測進行分離。最后使用染色相關(guān)信息對分割區(qū)域進行分類。120 Schmitt and Hasse使用RST分離聚集的細胞核，基于細胞核的重心是一個基礎的知覺事件能夠支持分割聚集的細胞核這樣一個想法。他們在梯度方向上初始化迭代投票，每次迭代，投票方向和核的形狀都進行調(diào)

51、整，投票區(qū)域能夠由核形狀演變的步長選擇來規(guī)定。小步長導致重心過于破碎，大步長增加計算量。通過處理邊界迭代解決區(qū)域中的洞和子洞。121 RST的一個限制就是尺寸的先驗知識無法推廣。為了克服這限制，RST的多尺寸擴展似乎是可行的。使用了一個簡單的方法來分解聚集的細胞核區(qū)域。他們通過聚類和水平集的方法來獲得聚集的區(qū)域。122122 Veta et al在H&E stained breast cancer biopsy images中使用fast RST來為分水嶺選擇標記點。 Sertel et al.提出用于FL centroblasts的自適應基于似然估計的細胞核分割方法。開始，細胞核成分使用GM

52、M with EM聚類，使用快速RST在梯度方向上計算spatial voting matrix。最后和局部極大值相關(guān)的單個細胞核被檢測出來。123123 基于EM和GMM的非監(jiān)督貝葉斯分類方案被用于IHC圖像中的重疊細胞核的分割。重疊細胞核的分離被看為聚類分析問題。該方法主要包括運用距離變換生成地形表面，看作是高斯的混合。然后一個參數(shù)化的EM算法來學習地形地貌的分布。在提取區(qū)域最大的基礎上，聚類驗證來估計細胞核的最優(yōu)數(shù)量。124124 這些方法的新穎之處在與使用了機器學習和統(tǒng)計學的方法來消除畸形的細胞核邊界因而能夠魯棒的細胞核分割。這些方法主要依賴與專家的標注的可靠性。進一步說，這些方法可能不泛化或應用受限，由于人工訓練過程，對初始化敏感，不能很好分割多層重疊目標。125125Nuclei Features and Classification 從分割的細胞核計算特征通常是細