ClusterTreeView中文翻譯版

1、Cluster and TreeView中文翻譯版 Linda Harbin medical university 2010-10-3介紹：Cluster和TreeView是分析并可視化DNA芯片數(shù)據(jù)或是其它基因組數(shù)據(jù)集的軟件程序，Cluster（很快就有一個(gè)新的名字）用多種不同的方式組織分析數(shù)據(jù)，TreeView則將這些組織好的數(shù)據(jù)可視化，這個(gè)軟件的下一個(gè)版本會(huì)將這兩個(gè)軟件合成為一個(gè)應(yīng)用程序。這個(gè)說明書是使用這個(gè)軟件的一個(gè)參考，而不是對(duì)軟件中所用方法的全面分析。很多方法都是從標(biāo)準(zhǔn)的統(tǒng)計(jì)聚類中得到的，對(duì)于聚類分析的那些非常好的教科書，我們會(huì)在最后的參考書目中給列出，參考書目中還包括最新的生物科

2、學(xué)的論文，尤其是那些所用的方法與我們的非常相似的論文。Cluster導(dǎo)入數(shù)據(jù)：用Cluster的第一步就是導(dǎo)入數(shù)據(jù)，當(dāng)前版本的Cluster只接受以tab鍵為分隔符的數(shù)據(jù)格式，比如Excel，通過點(diǎn)File Format Help可以得到輸入格式的說明。依照慣例，在輸入表格中，行代表基因，列代表樣本或是不同的觀察，下面的例子就是一個(gè)時(shí)間過程的輸入文件：第一列中的每一行（基因）一般都代表標(biāo)識(shí)符（綠色的字符），第一行中每一列代表樣本的標(biāo)簽（藍(lán)色的字符），此時(shí)的標(biāo)簽表示時(shí)間進(jìn)程，紅色字符代表的是每一行基因的種類是什么，本文件的YORF代表酵母開放閱讀框，這個(gè)地方可以是任意的字母或數(shù)字的值，在Tree

3、View中，應(yīng)用它可以將每一行的基因連接到外部的網(wǎng)站中。剩下的數(shù)據(jù)就是每個(gè)基因在不同樣本中的表達(dá)值，2行4列的“5.8”表示基因YAL001C在2小時(shí)觀察到的數(shù)據(jù)為5.8?？諗?shù)據(jù)是允許的，就用空值表示（里面什么都沒有），如，YAL005C在2小時(shí)的數(shù)據(jù)就是空的。我們很可能要對(duì)輸入數(shù)據(jù)額外的添加一些信息，最大的Cluster的輸入文件如下所示：黃色的區(qū)域是可有可無的，默認(rèn)情況下，TreeView用第一列的ID號(hào)作為每個(gè)基因的標(biāo)簽，NAME那一列是對(duì)每個(gè)基因的進(jìn)一步描述性標(biāo)簽，從而與第一列的標(biāo)簽相區(qū)別，關(guān)于GWEIGHT和GORDER這兩列和EWEIGHT和EORDER這兩行的內(nèi)容會(huì)晚一些再解釋。

4、示例數(shù)據(jù)：可在/software/demo.txt.這個(gè)網(wǎng)站中得到，這個(gè)數(shù)據(jù)時(shí)酵母基因表達(dá)譜數(shù)據(jù)，下載后并導(dǎo)入到Cluster中。Cluster會(huì)呈現(xiàn)如下的導(dǎo)入信息：調(diào)整過濾數(shù)據(jù)：可以通過Filter Data和Adjust Data 這兩項(xiàng)對(duì)數(shù)據(jù)進(jìn)行調(diào)整和過濾。調(diào)整數(shù)據(jù)：Log Transform Data：將每個(gè)數(shù)值取對(duì)數(shù)代替原來的數(shù)值，即x=log2（x）。Normalize Genes and/or Arrays:將每一行每一列的所有數(shù)值都乘以一個(gè)標(biāo)度因子S，使每一行每一列的數(shù)值的平方和為1.0（每行/列的S是不同的）Mean Center

5、 Genes and/or Arrays:將每一行或列的所有值減去這一行或列的平均值，使這一行或列的平均值為0。Median Center Gene and/or Arrays: 將每一行或列的所有值減去這一行或列的中位數(shù)，使這一行或列的中位數(shù)為0。以上的每項(xiàng)調(diào)整不是連在一起的，每項(xiàng)的先后順序是很重要的，在進(jìn)行之前要仔細(xì)的考慮好。操作的順序?yàn)椋篖og transform all valuesMean center rowsMedian center rowsNormalize rows在什么情況下，我們需要對(duì)數(shù)據(jù)進(jìn)行調(diào)整呢？Log transformation：許多DNA微陣列實(shí)驗(yàn)的結(jié)果是熒光

6、比值，基本上都需要進(jìn)行對(duì)數(shù)化處理。比如一個(gè)不同時(shí)間點(diǎn)的基因表達(dá)值，并將結(jié)果與時(shí)間點(diǎn)0的值相比較，假設(shè)在時(shí)間點(diǎn)1，這個(gè)基因表達(dá)沒有改變，在時(shí)間點(diǎn)2，它表達(dá)上調(diào)兩倍，在時(shí)間點(diǎn)3，它表達(dá)下調(diào)兩倍（與時(shí)間點(diǎn)0相比）。則在這三個(gè)時(shí)間點(diǎn)上，最初的比值為：1,2,0.5。但在多數(shù)情況下，我們認(rèn)為2倍上調(diào)和2倍下調(diào)的變化幅度應(yīng)該是一樣的，只不過是方向不同，一個(gè)上調(diào)，一個(gè)下調(diào)，但在我們的數(shù)據(jù)中，時(shí)間點(diǎn)1和2的變化為1（2-1），時(shí)間點(diǎn)1和3的變化為-0.5（0.5-1）。這樣的話，上調(diào)兩倍的變化幅度就是下調(diào)兩倍變化幅度的2倍，通常情況下，我們并不想要這樣的結(jié)果，如果我們將所得到的最初數(shù)據(jù)都取對(duì)數(shù)，則每個(gè)時(shí)間點(diǎn)的

7、表達(dá)值變?yōu)?,1，-1，這樣的話，上調(diào)2倍和下調(diào)兩倍對(duì)于時(shí)間點(diǎn)0的變化幅度就一樣了，都是1。在大多數(shù)的應(yīng)用中，都推薦將數(shù)據(jù)對(duì)數(shù)化。Mean/Median Centering：假設(shè)這樣的一個(gè)實(shí)驗(yàn)：你觀察一下大量的腫瘤樣本與同一個(gè)參考樣本相比較的情況，這個(gè)同一個(gè)參考樣本來自于細(xì)胞系的集合。對(duì)于每個(gè)基因，你會(huì)得到一系列的比值，這個(gè)比值與這個(gè)基因在參考樣本中的表達(dá)水平相關(guān)，由于參考樣本與你的實(shí)驗(yàn)室毫無關(guān)聯(lián)的，你希望你的分析與參考樣本中的基因總數(shù)是相互獨(dú)立的。這個(gè)要求可以通過調(diào)整能夠代表每個(gè)基因的變化的特性值而得到，比如平均值或是中位數(shù)，這也就是Mean/median centering的功能。Cent

8、ering能夠降低參考樣本在實(shí)驗(yàn)中的作用，比如在許多的時(shí)間進(jìn)程的實(shí)驗(yàn)。中心化數(shù)據(jù)還可以消除某種程度的偏差。多數(shù)的雙色熒光雜交實(shí)驗(yàn)的結(jié)果都沒有對(duì)系統(tǒng)誤差進(jìn)行校正，這個(gè)誤差來源于RNA總量的差異，標(biāo)記為效率和圖像采集參數(shù)。這個(gè)偏差帶來的影響是將所有基因的比值都乘以標(biāo)量，通過將對(duì)數(shù)化數(shù)據(jù)進(jìn)行Mean或median centering處理可以校正這個(gè)偏差，最后基因的平均數(shù)期望得到1。大體上，比起Mean centering，我推薦median centering。標(biāo)準(zhǔn)化：標(biāo)準(zhǔn)化設(shè)置一行或一列的幅度（值的平方和）向量為1。Cluster中使用的度量距離的大多數(shù)方法都用標(biāo)準(zhǔn)化數(shù)據(jù)向量，但數(shù)據(jù)的輸出格式則還

9、是最初的輸入的格式，如果你想輸出這種標(biāo)準(zhǔn)化向量格式，你需要選中這個(gè)選項(xiàng)。一個(gè)原始的數(shù)據(jù)樣本可以做如下的調(diào)整：1 對(duì)數(shù)據(jù)進(jìn)行對(duì)數(shù)化2Median center 基因和陣列重復(fù)第二步5-10次3標(biāo)準(zhǔn)化基因和陣列重復(fù)第三步5-10次。這樣做后的結(jié)果是，數(shù)據(jù)將會(huì)被對(duì)數(shù)化，優(yōu)化了中位數(shù)（也就是所有行或列的中位數(shù)的值接近0），標(biāo)準(zhǔn)化了數(shù)據(jù)集（也就是所有的行和列的幅度接近于1）。做完以上的調(diào)整后，你要保存一下數(shù)據(jù)集。過濾數(shù)據(jù)：過濾數(shù)據(jù)的作用就是移除那些不滿足某些特性的數(shù)據(jù)?，F(xiàn)有的可供篩選的特性有如下幾個(gè)：%Present>=X.它的作用是，如果某列的缺失值大于百分之（100-x），則把這列移除，如上圖

10、中，x=80，則如果某列的缺失值大于20%，則剔除這一列。SD（Gene Vector）>=X.移除那些標(biāo)準(zhǔn)誤小于X的所有基因。At least X Observations abs（Val）>=Y.它的作用是，對(duì)于某個(gè)確定值Y，如果某個(gè)基因沒有至少X個(gè)絕對(duì)值大于Y的觀察值，則這個(gè)基因?qū)⒈灰瞥?。如圖中，某個(gè)基因不會(huì)被移除，那么它的觀察值中至少有一個(gè)絕對(duì)值大于2。MaxVal-MinVal>=X.移除那些最大值與最小值之差小于X的所有基因。當(dāng)數(shù)據(jù)通過過濾器時(shí)，并不會(huì)立即應(yīng)用，軟件會(huì)先提示你過濾器的結(jié)果，如果你愿意接受這個(gè)結(jié)果，則點(diǎn)擊Accept，否則將不會(huì)有改變的。等級(jí)聚類等級(jí)

11、聚類即是可以對(duì)你的數(shù)據(jù)進(jìn)行等級(jí)聚類。這是一個(gè)非常強(qiáng)大，有用的方法，可以分析各種類型的大基因組數(shù)據(jù)集。我們?cè)谧詈蟮奈墨I(xiàn)引用中列出了關(guān)于應(yīng)用等級(jí)聚類分析的論文。我們通過聚類分析得到的是二元的，凝聚的，有等級(jí)的聚類。基本的思想就是將一系列的條目（基因或陣列）組成一個(gè)樹，如果兩個(gè)條目非常相似，則它們會(huì)由一個(gè)短樹枝相連，當(dāng)相似性不斷下降時(shí)，樹枝的長(zhǎng)度也會(huì)相應(yīng)變長(zhǎng)。相似性/距離：我們首先應(yīng)該解決的問題是“相似性”是如何定義的，計(jì)算兩串?dāng)?shù)字的相似性的方法有很多，Cluster提供了少量的選項(xiàng)。對(duì)于兩串?dāng)?shù)字（兩個(gè)向量）X=X1,X2,Xn和Y=Y1,Y2,Yn的皮爾森相關(guān)系數(shù)定義為其中是X的平均值，為標(biāo)準(zhǔn)差。

12、對(duì)于相關(guān)系數(shù)概念的理解有很多種，如果你以X，Y為橫縱軸做一個(gè)散點(diǎn)圖，（即是讓X1,Y1為一個(gè)點(diǎn)，X2,Y2為一個(gè)點(diǎn)，以此類推）那么相關(guān)系數(shù)r就代表用一條直線來適應(yīng)這些值的可行性有多大。如果你把X，Y看成N維空間內(nèi)通過原點(diǎn)的兩個(gè)向量，那么相關(guān)系數(shù)r就表示X，Y向量的角度有多大。最簡(jiǎn)單的理解相關(guān)性系數(shù)的方法就是把X，Y畫成曲線，r就代表這兩個(gè)曲線形狀的相似程度。皮爾森相關(guān)系數(shù)的范圍是-1到1之間，1表示兩個(gè)向量完全相同，0表示二者完全相互獨(dú)立，-1表示二者數(shù)值相同，但方向相反，如果兩個(gè)向量的標(biāo)量值發(fā)生改變（比如將Y中的所有值都乘以2），X，Y的相關(guān)系數(shù)是不變的，因?yàn)椴还荛L(zhǎng)度如何變化，兩個(gè)曲線的形狀

13、還是相同的，相關(guān)系數(shù)還是1，只不過幅度不同。以上對(duì)皮爾森相關(guān)系數(shù)的表述是教科書中所講的，如果你想用這種方法的話，直接在Similarity Metric目錄下選擇Correlation（centered）即可，但實(shí)際上，除了這種方法，Cluster還用用另外三種形式的皮爾森相關(guān)系數(shù)。Correlation（uncentered）用的是下面經(jīng)過修改的后的等式。它與之前的皮爾森相關(guān)系數(shù)是一樣的，只不過它設(shè)想平均值是0，盡管沒有。二者的區(qū)別在于，如果兩個(gè)向量X，Y是相同形狀，但他們通過一個(gè)固定的值代償性相關(guān)，則在centered correlation中，他們的相關(guān)系數(shù)是1，但在uncensored

14、 correlation中不是1,。Cluster提供了兩種相似性度量，即是這兩個(gè)相關(guān)性函數(shù)的絕對(duì)值，對(duì)于兩個(gè)具有相反表達(dá)模式的相關(guān)性條目，相反基因的標(biāo)準(zhǔn)的相關(guān)性系數(shù)是很遠(yuǎn)的。另外兩種度量方法是皮爾森相關(guān)系數(shù)的非參數(shù)形式，如要了解，請(qǐng)參考以下的網(wǎng)頁(yè)：/webRoot/Books/Numerical_Recipes/bookcpdf/c14-6.pdf當(dāng)X或Y有缺失值時(shí)，相似性的計(jì)算只取決于那些X，Y都不缺失的條目。Cluster選好以上任意一種相關(guān)性的度量方法，就可以進(jìn)行聚類了，第一步是計(jì)算要聚類的（比如當(dāng)前數(shù)據(jù)集中的基因集）所有條目配對(duì)的距離（距離=1-相

15、似性）。這是非常耗時(shí)的，計(jì)算所有的程序需要我們的機(jī)器有較大的內(nèi)存。當(dāng)我們計(jì)算好距離矩陣時(shí)，就可以開始聚類了，聚類過程是成團(tuán)的等級(jí)聚類過程，即是反復(fù)的進(jìn)行這樣的循環(huán)：用樹中的一個(gè)點(diǎn)或是支連接兩個(gè)最近的條目（就是最短距離的兩個(gè)），支的長(zhǎng)度由兩個(gè)條目的距離所決定。當(dāng)一個(gè)新的支代替了原來兩個(gè)聚類的點(diǎn)時(shí)，這兩個(gè)點(diǎn)就被移除了，新產(chǎn)出的支再與其它的點(diǎn)進(jìn)行聚類，直到最后聚成一類為止。當(dāng)聚類開始時(shí)，我們要處理的有兩種類型的條目，一種是真實(shí)的條目（比如單個(gè)基因），一種是包含許多真實(shí)條目的假條目，我們有很多方法來處理假的條目，Cluster提供了三種選擇。如果你點(diǎn)擊Average Linkage Clusterin

16、g，我們將用向量來定義每一個(gè)假條目，這個(gè)向量就是它所包含的所有真實(shí)的條目（比如基因）的平均向量。并計(jì)算這個(gè)向量與剩下所有條目的距離，計(jì)算的方法也之前用的相似性度量的方法一樣。這樣，如果我們將一個(gè)包含5個(gè)條目的支與一個(gè)條目聚成一類形成一個(gè)新的支，則這個(gè)新的向量是它所包含的六個(gè)向量的平均值，而不是聚類的兩個(gè)向量的平均值（注意，在計(jì)算平均值時(shí)是不用缺失值的，一個(gè)假的條目時(shí)可以有缺失值的，如果它所包含的所有條目在某一個(gè)行/列上都有缺失值）。對(duì)于熟悉聚類算法的讀者可知，這與真正的平均聚類是有差別的，兩個(gè)條目X和Y的距離是X和Y所包含的所有條目的配對(duì)距離的平均值。在Single Linkage Clust

17、ering中，兩個(gè)條目X和Y的距離是X和Y中所包含的所有條目的配對(duì)距離的最小值。在Complete Linkage Clustering中，兩個(gè)條目X和Y的距離是X和Y中所包含的所有條目的配對(duì)距離的最小值。(與Single Linkage Clustering的說明一樣？)加權(quán)默認(rèn)情況下，所有的條目都是平等的計(jì)算的，但有些情況下，你希望給一些值多一些權(quán)重，例如，在陣列中，有一個(gè)基因有兩個(gè)副本，當(dāng)計(jì)算距離時(shí)，你希望每一個(gè)副本的權(quán)重都變的小一些，你可以通過在輸入文件中使用GWEIGHT(基因加權(quán))和EWEIGHT(實(shí)驗(yàn)加權(quán))來設(shè)置權(quán)重，默認(rèn)情況下，所有的權(quán)重為1，這樣，對(duì)于X=X1,X2,Xn和Y

18、=Y1,Y2,Yn，帶權(quán)重W1,W2,Wn的皮爾森相關(guān)系數(shù)r為：注意，當(dāng)你要聚類行（基因）時(shí)，你要用列（陣列）的權(quán)重。基于一個(gè)不能被完全理解的函數(shù)來計(jì)算權(quán)重是可能的。如果你要計(jì)算聚類基因的權(quán)重，你要選中在Hierarchical Clustering中的Genes內(nèi)的Calculate Weights。你會(huì)發(fā)現(xiàn)在Array面板中有一個(gè)Weight Options的對(duì)話框（我知道這可能會(huì)讓人很困惑，但你看了下面的內(nèi)容就會(huì)明白）。Calculate Weights的思想就是根據(jù)臨近的行向量局部密度來權(quán)衡每一行（列也是同樣的）。如果臨近的行向量密度高，則會(huì)有低的權(quán)重，如果臨近的行向量密度低，會(huì)有高的

19、權(quán)重，我們用以下的公式來計(jì)算每一行的局部密度分值L（i）：其中，k（閾值），n（迭代次數(shù)）是用戶自己設(shè)置的參數(shù)（即是Weights Options中的參數(shù)設(shè)置）。每一行的權(quán)重為。注意到L(i)的最小值是1，因?yàn)閐(i,i)=0.當(dāng)L(i)增大時(shí)，權(quán)重就降低（因?yàn)闄?quán)重是L的倒數(shù)）。大于1的n值表示，隨著d(i,j)的增加，L(i)的貢獻(xiàn)呈指數(shù)級(jí)下降。輸出文件的排序聚類的結(jié)果是一個(gè)樹或是成對(duì)的樹（一個(gè)是基因的結(jié)果，一個(gè)是陣列的結(jié)果）。但是，如果我們想要在TreeView中以圖形化的方式查看結(jié)果，我們需要用這棵樹來對(duì)最初的數(shù)據(jù)集的行或列進(jìn)行重新排序。如果你簡(jiǎn)單的以下面的方式畫出樹中的所有節(jié)點(diǎn)時(shí)，出現(xiàn)

20、的是自然排序的結(jié)果：這樣，每個(gè)樹都可以生產(chǎn)一個(gè)排序，但是，對(duì)于每個(gè)樹，它的排序都不是唯一的，如果某個(gè)樹有N個(gè)節(jié)點(diǎn)的話，將會(huì)有2的N-1次方個(gè)排序 （如果有6個(gè)基因的話，每?jī)蓚€(gè)基因聚一類，就會(huì)聚成5類，每一類都有兩種排序，所以共有2的5次方種ordering）。你可以翻轉(zhuǎn)樹中的任何一個(gè)點(diǎn)（改變底部和頂部的樹枝），這樣你就會(huì)得到一個(gè)新的排序。默認(rèn)情況下，當(dāng)Cluster聚類兩個(gè)點(diǎn)時(shí) ，它會(huì)隨機(jī)的將它們放在樹枝的底部和頂部。如果我們想要對(duì)某個(gè)給定的樹，做最好的排序，就需要用到輸入文件中的GORDER（基因排序）和EORDER（實(shí)驗(yàn)排序）這兩個(gè)參數(shù)了，或者是在排序之前做自組織映射（下面會(huì)講到）。默認(rèn)情況下，Cluster設(shè)置每一行或列的排序參數(shù)為1，當(dāng)產(chǎn)生一個(gè)新的點(diǎn)時(shí)，Cluster比較這兩個(gè)聚類的點(diǎn)的排序參數(shù)，并把值小的那個(gè)點(diǎn)放在樹的頂端，一個(gè)點(diǎn)的排序參數(shù)是這個(gè)點(diǎn)所包含的成員的排序參數(shù)的平均值。這樣，如果你想要Cluster聚類后的基因排序結(jié)果與你的輸入文件的排序盡可能的接近，你就要設(shè)置GORDER這一列，使這列中的每一行的值是遞增的。注意排序參數(shù)并不需要一定是唯一的。輸出文件：Cluster每次聚類后會(huì)得到三個(gè)輸出文件，這三個(gè)文件的根目錄名字都是你在Job Name這個(gè)對(duì)話框中所填的內(nèi)容，當(dāng)你導(dǎo)入一個(gè)文件時(shí)，Job Name就