服務(wù)器故障處理方法

服務(wù)器故障處理方法服務(wù)器故障處理方法探討作者：深圳市環(huán)球數(shù)碼科技有限公司

陳武亭從2002年上海國內(nèi)第一套數(shù)字放映設(shè)備投入商業(yè)使用以來，國內(nèi)已經(jīng)有超過35000套數(shù)字放映設(shè)備在影院使用。十幾年來業(yè)內(nèi)同仁寫了很多數(shù)字放映設(shè)備使用維護(hù)方面的文章，卻很少有討論服務(wù)器故障處理方法的，本文將以GDC服務(wù)器為例，拋磚引玉，與廣大業(yè)內(nèi)同仁共同探討數(shù)字電影服務(wù)器故障處理方法。聲畫不流暢、放映中途停止是影片放映中出現(xiàn)比較多的故障現(xiàn)象，放映機(jī)及還音系統(tǒng)因素導(dǎo)致的故障不在本文討論之列，本文僅探討服務(wù)器因素導(dǎo)致的此類故障及其檢查方法，下面我們先了解一下數(shù)字電影服務(wù)器的工作原理和流程。數(shù)字電影服務(wù)器的放映管理系統(tǒng)（SMS）在安全管理器的監(jiān)管下將存儲在存儲系統(tǒng)中的加密內(nèi)容（DCP）提取到媒體處理系統(tǒng)，進(jìn)行解密、解碼等處理，產(chǎn)生無壓縮的重建圖像、聲音和字幕，并輸出至數(shù)字放映機(jī)和聲頻處理器而實(shí)現(xiàn)電影的放映。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第1頁。影片放映時(shí)，數(shù)字電影服務(wù)器是在數(shù)據(jù)的提供、傳輸和處理的整個(gè)過程中依次讀取、傳送和處理一幀幀圖像和音頻數(shù)據(jù)的。在此過程中，服務(wù)器的硬盤和陣列的性能、數(shù)據(jù)傳輸?shù)耐ǖ馈⒚襟w模塊和CPU的溫度以及所存儲的內(nèi)容數(shù)據(jù)的完整性，都有可能導(dǎo)致放映不流暢或中途停止。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第1頁。就以處理數(shù)據(jù)量最大的視頻來說，服務(wù)器是依次從存儲系統(tǒng)中讀取圖像數(shù)據(jù)，并將數(shù)據(jù)傳送給媒體模塊進(jìn)行處理。在這個(gè)過程中如果某一幀圖像數(shù)據(jù)出現(xiàn)錯(cuò)誤，服務(wù)器會花費(fèi)更多的時(shí)間嘗試糾錯(cuò)，當(dāng)超過一定時(shí)間時(shí)，服務(wù)器將放棄此幀數(shù)據(jù)，進(jìn)行后續(xù)幀的數(shù)據(jù)讀取和處理。一部普通2D影片有十幾萬幀的圖像數(shù)據(jù)，只要不是連續(xù)的多幀數(shù)據(jù)出現(xiàn)問題，我們從影片放映的效果上是感覺不到問題的，只有連續(xù)的幀在數(shù)據(jù)處理時(shí)出現(xiàn)問題時(shí)，才會看到放映不流暢的現(xiàn)象；如果問題嚴(yán)重時(shí)，則會出現(xiàn)放映中途停止或死機(jī)。首先我們從節(jié)目源開始討論，DCP打包前出現(xiàn)的問題不在本文討論范圍內(nèi)，因此通常需要注意的是服務(wù)器內(nèi)所存儲內(nèi)容數(shù)據(jù)的完整性。此類問題一般為DCP載入服務(wù)器過程中產(chǎn)生，現(xiàn)象為服務(wù)器只在放映某部影片時(shí)出現(xiàn)異常，放映其他影片正常，且出現(xiàn)問題時(shí)均在同一時(shí)間點(diǎn)，那極大可能是存儲系統(tǒng)中的DCP數(shù)據(jù)有問題，此時(shí)只需對DCP進(jìn)行完整性驗(yàn)證即可確認(rèn)。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第2頁。如果可以排除內(nèi)容數(shù)據(jù)完整性問題，且故障出現(xiàn)隨機(jī)，則應(yīng)考慮是否因?yàn)榉?wù)器的RAID降級或硬盤性能不佳所導(dǎo)致的故障。造成RAID降級的因素有很多，數(shù)字電影服務(wù)器均采用RAID5技術(shù)保證存儲系統(tǒng)的容錯(cuò)性與可靠性，具有數(shù)據(jù)安全、讀寫速度快、空間利用率高等優(yōu)點(diǎn)；但不足之處是如果1個(gè)磁盤出現(xiàn)故障以后，整個(gè)系統(tǒng)的性能將大大降低，在修復(fù)完成前出現(xiàn)放映不流暢或中途停止的幾率大大增加。因此當(dāng)數(shù)字電影服務(wù)器的RAID存儲系統(tǒng)出現(xiàn)故障時(shí)應(yīng)盡快恢復(fù)，避免因存儲系統(tǒng)的性能降低而出現(xiàn)放映故障。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第2頁。服務(wù)器出現(xiàn)RAID降級等問題時(shí)，開機(jī)都會有信息警示，只是現(xiàn)實(shí)中有相當(dāng)一部分放映員對此視若無睹，直到放映出現(xiàn)異常了，才去查看處理。及早地處理，不僅可以避免放映事故，還可降低硬盤硬件損壞更換的幾率。圖一為GDC服務(wù)器開機(jī)時(shí)報(bào)告的RAID警示信息，見到此警示需要及時(shí)進(jìn)行查看和修復(fù)服務(wù)器陣列。我們也可以通過菜單查看服務(wù)器的RAID狀態(tài)，比如GDC服務(wù)器可以直接在控制面板中查看，例如圖二中顯示的RAID狀態(tài)為降級（Degrade）。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第3頁。

圖一服務(wù)器故障處理方法全文共12頁，當(dāng)前為第3頁。

圖二接下來我們再討論硬盤性能不佳或損壞的問題。硬盤在環(huán)境溫度為5℃-60℃的設(shè)計(jì)使用壽命為5年，實(shí)際上其使用壽命一般低于5年。而且隨著開機(jī)時(shí)間的增加（與每天使用硬盤的時(shí)間有關(guān)）、硬盤內(nèi)部溫度的升高（與硬盤外部的熱負(fù)荷以及硬盤自身產(chǎn)生的熱量有關(guān)），硬盤的年故障率會有所提高。有研究表明當(dāng)硬盤外殼的溫度由30oC（接近室溫）上升至70oC時(shí)，年故障率上升至約3.4倍（由0.21%上升至0.71%）。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第4頁。除此之外，異常地中斷磁盤的讀寫、物理撞擊和劇烈振動等因素，也都可能導(dǎo)致硬盤性能降低或損壞，嚴(yán)重的硬盤錯(cuò)誤甚至可能導(dǎo)致服務(wù)器無法開啟。因此，嚴(yán)格地遵循數(shù)字放映設(shè)備操作使用規(guī)范操作使用設(shè)備是確保設(shè)備正常運(yùn)行的重要條件。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第4頁。數(shù)字電影服務(wù)器都會提供硬盤讀寫性能檢測的功能，例如GDC服務(wù)器，可以進(jìn)入控制面板（Adminpanel）——存儲系統(tǒng)管理（StorageSystemManagement）——存儲效率（Storageperformance）（見圖三和圖四）進(jìn)行硬盤和陣列的讀寫性能測試，從而判斷其性能是否可以滿足影片放映的需求。

圖三服務(wù)器故障處理方法全文共12頁，當(dāng)前為第5頁。

圖四服務(wù)器故障處理方法全文共12頁，當(dāng)前為第5頁。在打開的存儲效率（Storageperformance）界面中選擇需要檢查的項(xiàng)目進(jìn)行讀寫性能檢測。圖五為GDCSX2000系列服務(wù)器的截圖，截圖中選項(xiàng)/dev/md0為整個(gè)RAID的讀寫性能測試功能菜單，選項(xiàng)/dev/sda(b/c/d)為單個(gè)硬盤的讀寫性能測試功能菜單，其中sda為服務(wù)器系統(tǒng)硬盤，sdb、sdc和sdd為數(shù)據(jù)磁盤。

圖五服務(wù)器故障處理方法全文共12頁，當(dāng)前為第6頁。圖六為GDCSX3000服務(wù)器的截圖，此型號服務(wù)器將外置存儲模塊加載為一個(gè)磁盤的形式進(jìn)行使用，只能對整個(gè)外置存儲模塊進(jìn)行檢測，選項(xiàng)/dev/sdb為存儲模塊讀寫性能測試的功能菜單。單個(gè)數(shù)據(jù)硬盤的檢測由外置存儲模塊自行進(jìn)行，通過硬盤指示燈狀態(tài)進(jìn)行辨別（見表一）。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第6頁。

圖六

表一服務(wù)器故障處理方法全文共12頁，當(dāng)前為第7頁。單個(gè)磁盤的讀取速度與服務(wù)器所使用的硬盤品牌、系列有關(guān)，數(shù)值不一而足，但三個(gè)數(shù)據(jù)盤必須使用同品牌同型號的硬盤，例如圖五中數(shù)據(jù)盤使用的是Hitachi的型號為HUA7230的硬盤，而系統(tǒng)盤使用的是WDC的型號為WD5000AAKX的硬盤。就數(shù)字電影服務(wù)器上常用的日立企業(yè)級硬盤來說，其讀取速度一般在80MB/秒以上（見圖七中的標(biāo)注線）。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第7頁。

圖七在服務(wù)器投入使用時(shí)，進(jìn)行讀寫性能檢測并記錄結(jié)果，可以為今后的故障判斷提供參考。在進(jìn)行讀寫性能檢測時(shí)，需要注意三個(gè)數(shù)據(jù)硬盤間的讀取速度不能相差太大，我一般建議讀取速度最低的硬盤其數(shù)值與另兩塊硬盤讀取速度數(shù)值相差超過20MB/秒時(shí)即考慮更換。正常情況下RAID的讀取速度為單個(gè)磁盤讀取速度的兩倍左右。如陣列有降級或重建，RAID的讀取速度會降低，此時(shí)放映影片極易出現(xiàn)聲畫不流暢之類的異常，因此放映時(shí)應(yīng)避免內(nèi)容載入、刪除等操作，降低出現(xiàn)放映異常的風(fēng)險(xiǎn)。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第8頁。數(shù)字電影服務(wù)器出現(xiàn)陣列降級時(shí)一般會進(jìn)行陣列的自動修復(fù)，服務(wù)器是否正在陣列修復(fù)可以通過查看數(shù)據(jù)磁盤狀態(tài)指示燈狀態(tài)（紅燈不停閃爍）或通過菜單查看相關(guān)信息進(jìn)行判斷。圖八中的陣列狀態(tài)信息顯示即為服務(wù)器正在進(jìn)行陣列的重建，在修復(fù)完成前不要關(guān)閉服務(wù)器。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第8頁。

圖八假如服務(wù)器無法進(jìn)行陣列的自動修復(fù)，則可以進(jìn)入控制面板（Adminpanel）——存儲系統(tǒng)管理（StorageSystemManagement）——將硬盤加入冗余存儲陣列（AdddisktoRAIDarray）進(jìn)行手動修復(fù)。在手動修復(fù)前最好進(jìn)行磁盤讀寫性能的檢測，對檢測出性能異常的硬盤應(yīng)將其移出陣列，進(jìn)行更換。外置存儲模塊無需此類操作，通過硬盤狀態(tài)指示燈判斷后直接更換硬盤即可。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第9頁。前面我們介紹了內(nèi)容提供環(huán)節(jié)中的內(nèi)容數(shù)據(jù)完整性的驗(yàn)證、硬盤和陣列的性能檢測，這也是數(shù)字電影服務(wù)器出現(xiàn)故障最多的環(huán)節(jié)。例如服務(wù)器播放影片時(shí)放映中斷并報(bào)告錯(cuò)誤提示"Errordetectedduringplayback"，根據(jù)我們統(tǒng)計(jì)的數(shù)據(jù)看該故障80%是由于硬盤故障導(dǎo)致，10%由于重建陣列（Rebuildraid）導(dǎo)致，其他原因只占10%。接下來我們討論在數(shù)據(jù)傳輸和數(shù)據(jù)處理異常所導(dǎo)致的放映不流暢或中途停止，這些異常主要體現(xiàn)在數(shù)據(jù)傳輸通道不暢、媒體模塊和CPU工作異常方面。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第9頁。目前我們所遇到的CPU工作異常都是因?yàn)闇囟冗^高，運(yùn)行不穩(wěn)定造成的數(shù)據(jù)處理延滯，其形成原因無非是散熱不良造成，由主板性能不穩(wěn)定導(dǎo)致的故障非常少見。而數(shù)字電影服務(wù)器一般都未提供CPU溫度的直接查詢，只能通過SNMP獲取溫度警報(bào)的方式進(jìn)行監(jiān)控，發(fā)現(xiàn)CPU溫度偏高及時(shí)解決散熱問題即可。CPU工作異常和數(shù)據(jù)傳輸通道不暢造成的數(shù)據(jù)傳輸異常，影院的放映員是無法直接獲取信息進(jìn)行判斷的，雖然服務(wù)器的日志對此會有較為詳細(xì)的記錄，但只有廠商的技術(shù)人員才能從中獲取有用信息，對于影院的放映員來說，實(shí)際工作中可行的通常做法是根據(jù)經(jīng)驗(yàn)判斷后進(jìn)行交換測試來確定故障具體所在。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第10頁。GDCSX2000系列服務(wù)器為用戶提供了一個(gè)簡單辨別硬盤與主板之間數(shù)據(jù)傳輸異常的方法，進(jìn)入控制面板（Adminpanel）——存儲系統(tǒng)管理（StorageSystemManagement）——硬盤信息（HardDiskinformation），選擇硬盤檢查其S.M.A.R.T.屬性值。服務(wù)器會生成檢測報(bào)告，如果報(bào)告中199項(xiàng)的奇偶校驗(yàn)錯(cuò)誤率值為非零，且此數(shù)值持續(xù)增加，表明硬盤與主板之間的數(shù)據(jù)傳輸異常。這可能是硬盤與硬盤機(jī)架接觸不良或硬盤機(jī)架和主板之間的SATA線連接不良造成的，可嘗試重新安裝硬盤，連接或更換SATA線，確保數(shù)據(jù)通道連接良好來解決。如圖九中，被檢查的硬盤其199項(xiàng)S.M.A.R.T.屬性值為1，只要此值不再繼續(xù)增加，則說明已解決了硬盤與主板之間數(shù)據(jù)傳輸異常的問題。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第10頁。

圖九媒體處理系統(tǒng)是服務(wù)器的核心所在，也是數(shù)字電影服務(wù)器數(shù)據(jù)處理量最大的環(huán)節(jié)。如果工作異常會出現(xiàn)各種各樣的現(xiàn)象，比如掉幀、偏色、畫面昏暗、音畫不同步等等。在實(shí)際應(yīng)用中，更多的是因?yàn)槊襟w模塊溫度過高造成的掉幀和偏色，媒體處理系統(tǒng)的軟件或硬件問題導(dǎo)致的異常幾率很小。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第11頁。導(dǎo)致媒體模塊溫度過高的因素一般為環(huán)境溫度過高或散熱不良，GDC服務(wù)器媒體模塊的溫度可以在控制面板中查詢，如圖十中媒體模塊的溫度為59℃。服務(wù)器故障處理方法全文共12頁，當(dāng)前為第11頁。

圖十對于媒體模塊未嵌入放映機(jī)的數(shù)字電影服務(wù)器（GDCSX2001/SA2100）來說，降低設(shè)備運(yùn)行環(huán)境溫度，確保設(shè)備通風(fēng)良好以及DCI卡上散熱風(fēng)扇運(yùn)行正