了解這些信息你會知道在ESXi5.0 的虛擬化系統(tǒng)下文件出現(xiàn)故障時我們能做些什么

了解這些信息，你會知道在ESXi5.0的虛擬化系統(tǒng)下文件出現(xiàn)故障時，我們能做些什么？【ESXi5虛擬化系統(tǒng)情景概述】用戶使用的存儲模式是通過iSCSI方式來實現(xiàn)FCSAN的功能。同時利用DELL服務(wù)器做的物理存儲架構(gòu)，利用FreeNAS來實現(xiàn)iSCSI。并另外通過兩臺DELL服務(wù)器做ESXi5.0的虛擬化系統(tǒng)。FreeNAS層為UFS2文件系統(tǒng)，整個存儲建一個稀疏模式的文件，掛載在ESXi5.0系統(tǒng)上。ESXi系統(tǒng)內(nèi)運(yùn)行6臺虛擬機(jī)，其中有三臺最為重要。第一臺windows2003系統(tǒng)虛擬機(jī)是此公司在當(dāng)?shù)氐拈T戶網(wǎng)站。混合構(gòu)架類型：ASP.net和PHP數(shù)據(jù)庫類型：SqlServer2005和Mysql5.1。第二臺FreeBSD系統(tǒng)，運(yùn)行Mysql數(shù)據(jù)庫，供其它多臺虛擬機(jī)使用。第三臺windows2003服務(wù)器，存儲新開發(fā)的程序代碼?！綞SXi5虛擬化系統(tǒng)故障描述】工作人員在檢查時發(fā)現(xiàn)ESXi系統(tǒng)無法連接存儲，通過后續(xù)的排查在FreeNAS中發(fā)現(xiàn)UFS2文件系統(tǒng)出現(xiàn)故障，之后用fsck對文件系統(tǒng)進(jìn)行修復(fù)。修復(fù)后ESXi系統(tǒng)可以連上存儲，但ESXi系統(tǒng)未能識別到原來的數(shù)據(jù)存儲和VMFS文件系統(tǒng)，工作人員格式化VMFS后發(fā)現(xiàn)沒有任何數(shù)據(jù)?！綞SXi5虛擬化系統(tǒng)數(shù)據(jù)恢復(fù)步驟】1、FreeNAS文件系統(tǒng)---應(yīng)用構(gòu)架層次：FreeNAS(UFS2文件系統(tǒng)–>一個大的稀疏模式的文件)–>ESXi5.0(VMFS文件系統(tǒng)層)->單臺虛擬機(jī)的虛擬磁盤(windows-NTFS文件系統(tǒng)/FreeBSD-UFS2文件系統(tǒng))。2、FreeNAS文件系統(tǒng)--分析存儲：鏡像FreeNAS層，分析存儲，我們可以發(fā)現(xiàn)一個900多GB的大文件，文件名：iscsidata1。通過UFS2文件系統(tǒng)的二進(jìn)制結(jié)構(gòu)，定位到iscsidata1文件的Inode數(shù)據(jù)，發(fā)現(xiàn)此文件有被重建的跡象，inode指針指向的數(shù)據(jù)量很少。FreeNAS層無法解決，就無法進(jìn)入到的VMFS層分析階段。收集UFS2文件系統(tǒng)的重要結(jié)構(gòu)：塊大?。?6KBSegment大?。?KB柱面組大小：188176KBUFS2一個數(shù)據(jù)指針占8字節(jié)，一個塊可存儲2048個數(shù)據(jù)指針。那么一個二級指針塊則可存儲：2048*2048*16KB=64GB數(shù)據(jù)。一個三級指針塊則可存儲64GB*2048=128TB數(shù)據(jù)。如果能找到iscsidata1文件的三級指針塊就能解決FreeNAS層問題。但iscsidata1文件重建過，過程和大小都和原始的一樣，估計有部分指針塊已被覆蓋。原始iscsidata1文件的inode和新建的iscsidata1文件的inode就在一個位置，嘗試進(jìn)行搜索，無其它有用的inode出現(xiàn)。只得現(xiàn)場寫程序收集有用的指針塊：由于iscsidata1文件是使用稀疏模式，收集條件只能放寬，收集到了大量三級指針塊和二級指針塊。對收集到的所有三級指針塊進(jìn)行分析，都是無效的，無iscsidata1文件使用的三級指針塊，估計在新建iscsidata1文件時被新的覆蓋（新的iscsidata1文件在掛載到ESXi5.0后有個VMFS格式化過程，而ESXi5.0使用GPT分區(qū)，GPT分區(qū)會在磁盤最后寫入冗余的GPT頭和分區(qū)表信息數(shù)據(jù)，這樣會使用iscsidata1文件的三級指針塊）?，F(xiàn)只能分析收集到的二級指針塊，對有大量的二級指針塊的指向數(shù)據(jù)進(jìn)行DUMP，然后再從磁盤中的數(shù)據(jù)定位到二級指針。這樣得到大量DUMP的數(shù)據(jù)。3、FreeNAS文件系統(tǒng)--開始分析VMFS層：重格式化過VMFS，和原始UFS2的指針已丟失，造成VMFS元文件已基本上不可用，無重要的參考信息，所幸虛擬機(jī)都無快照，仍可恢復(fù)。通過單臺虛擬機(jī)層(windows(NTFS)和FreeBSD(UFS2)系統(tǒng)的文件系統(tǒng)結(jié)構(gòu))，向上定位到VMFS層，在通過VMFS層定位到DUMP出的單個64GB文件，通過多次組合，最終這三臺重要的虛