大洋播出控制項(xiàng)目應(yīng)急預(yù)案

大洋播控系統(tǒng)應(yīng)急手冊(cè)編寫日期： 2011年10月大洋播出系統(tǒng)應(yīng)急手冊(cè)Copyright?2008DayangAllrightsreserved.中科大洋中國(guó)區(qū)PagePAGE16ofNUMPAGES16目錄第一章 常見故障應(yīng)急處理 31.1播控消息服務(wù)工作異常 31.2切換器故障 31.3 2x1倒換器故障 41.4鍵控器故障 41.5視頻服務(wù)器故障 41.6播控工作站故障 51.7時(shí)鐘跳變故障 61.8同步丟失故障 71.9整體系統(tǒng)應(yīng)急預(yù)案 71.10日常準(zhǔn)備 71.11應(yīng)急切換 8第二章 常見異?，F(xiàn)象案例分析 92.1系統(tǒng)異?，F(xiàn)象分析方法 92.2系統(tǒng)異常現(xiàn)象案例分析 11附錄 16附件.一 《大洋系統(tǒng)日常巡檢記錄表》 16附件.二 《大洋系統(tǒng)常見故障應(yīng)急處理索引表》 17附件.三 《北京中科大洋科技發(fā)展股份有限公司技術(shù)支持中心售后服務(wù)部門聯(lián)系方式表》 18常見故障應(yīng)急處理播控系統(tǒng)常見故障的應(yīng)急處理系統(tǒng)中的受控設(shè)備主要包括：視頻服務(wù)器，應(yīng)急錄像機(jī)，鍵控器，切換器。如果這些設(shè)備出現(xiàn)異常情況，無法受控，則軟件上則顯示的設(shè)備狀態(tài)為“未連接”或者“錯(cuò)誤”，此時(shí)先做好相應(yīng)的應(yīng)急措施，然后重啟各相應(yīng)設(shè)備，如果還是不行，則排查控制線，如果還是不行，可判斷為設(shè)備自身有問題，此時(shí)應(yīng)立即聯(lián)系大洋公司售后技術(shù)人員，在其指導(dǎo)下進(jìn)行下一步操作處理。1.1切換器故障1.1.1切換器故障現(xiàn)象一通過監(jiān)視器發(fā)現(xiàn)，播出通道最終輸出的信號(hào)為黑屏，但是播出信號(hào)監(jiān)視全部正常。處理方法：采用手動(dòng)控制的方式，將2X1倒換器切換至備播出通道，保證系統(tǒng)正常播出。然后，排查主切換器的具體故障原因，待設(shè)備故障排除后恢復(fù)至主播出通道。1.1.2切換器故障現(xiàn)象二通過監(jiān)視器發(fā)現(xiàn)，播出通道最終輸出的信號(hào)為黑屏，但是播出信號(hào)監(jiān)視全部正常。手動(dòng)切換2X1倒換器至備播出通道仍無法恢復(fù)正常。處理方法：立即采用跳線繩從切換器輸入端信號(hào)源直接跳接至2X1倒換器的輸入端，盡量保證信號(hào)不中斷或減少信號(hào)中斷的時(shí)間。然后，排查主、備切換器的具體故障原因，待設(shè)備故障排除后，恢復(fù)正常播出。1.2播控消息服務(wù)工作異常消息服務(wù)異常，表現(xiàn)為打開素材播控軟件素材管理器時(shí)，顯示“打開消息隊(duì)列錯(cuò)誤”，或者提交一條素材同步，遷移或回遷任務(wù)時(shí)，任務(wù)查看窗口中顯示“未處理”。處理措施：重新啟動(dòng)遷移備服務(wù)器（KVM-4）上的消息服務(wù)（manageserver）；如無法重新啟動(dòng)，請(qǐng)?jiān)赟ysConfig中修改消息服務(wù)器的IP指向?yàn)槔鋫湎⒎?wù)器（遷移主服務(wù)器KVM-3）。1.32x1倒換器故障現(xiàn)象：通過監(jiān)視器發(fā)現(xiàn)，2X1倒換器以后（從鍵混開始）的輸出信號(hào)為黑屏。處理方法：立即關(guān)閉2X1倒換器的電源，利用倒換器自身的斷電旁通功能使輸出信號(hào)直接通過。如果2X1倒換器不具備斷電旁通功能，則必須使用跳線繩從倒換器的輸入端直接跳接至倒換器的輸出端，盡量減少信號(hào)中斷時(shí)間。然后，再排查3X1倒換器的具體故障原因，待設(shè)備故障排除后，恢復(fù)正常播出。1.4鍵控器故障現(xiàn)象：通過監(jiān)視器發(fā)現(xiàn)，鍵控器的最終輸出信號(hào)為黑屏。處理方法：立即關(guān)閉鍵控器的電源，利用鍵控器自身的斷電旁通功能使輸出信號(hào)直接通過。如果鍵控器不具備斷電旁通功能，則必須使用2X1切換到備路鍵混器或者使用跳線繩從鍵控器的輸入端直接跳接至鍵控器的輸出端，盡量減少信號(hào)中斷時(shí)間。然后，再排查鍵控器的具體故障原因，待設(shè)備故障排除后，恢復(fù)正常播出。1.5視頻服務(wù)器故障1.5.1視頻服務(wù)器故障現(xiàn)象一通過監(jiān)視器發(fā)現(xiàn)，主播出服務(wù)器輸出信號(hào)為黑屏或靜幀，備播出服務(wù)器輸出信號(hào)正常。處理方法：采用手動(dòng)控制的方式，將矩陣或切換臺(tái)切換至備播出服務(wù)器的輸出通道，保證系統(tǒng)正常播出。然后，再排查主播出服務(wù)器的具體故障原因，待服務(wù)器恢復(fù)正常后，再次切換至主播出服務(wù)器的輸出通道。1.5.2視頻服務(wù)器故障現(xiàn)象二通過監(jiān)視器發(fā)現(xiàn)，主、備播出服務(wù)器的輸出信號(hào)均為黑屏或靜幀處理方法：通過監(jiān)視器檢查，墊片服務(wù)器輸出信號(hào)是否正常。如果墊片信號(hào)正常，采用手動(dòng)控制的方式，將矩陣或切換臺(tái)切換至墊片服務(wù)器的輸出通道；如果墊片信號(hào)錯(cuò)誤，立即手動(dòng)切換到測(cè)試圖或其他備份源。然后，迅速啟用播出錄像機(jī)，使用錄像帶進(jìn)行應(yīng)急播出。啟用錄像機(jī)應(yīng)急播出后，按照下面的順序進(jìn)行系統(tǒng)排查，盡快恢復(fù)播出系統(tǒng)：主、備播出服務(wù)器與磁盤陣列是否出現(xiàn)異常；主、備播出數(shù)據(jù)庫服務(wù)器是否出現(xiàn)異常；主、備播出控制工作站是否出現(xiàn)異常；1.6播控工作站故障1.6.1播控工作站故障現(xiàn)象一通過播出軟件界面發(fā)現(xiàn)，主播控工作站對(duì)服務(wù)器、錄像機(jī)、切換器、擴(kuò)展鍵等設(shè)備的控制失效；或者出現(xiàn)主播控工作站死機(jī)的情況。處理方法：如果備播控工作站沒有自動(dòng)進(jìn)行播出設(shè)備的接管控制，那么必須采用手動(dòng)控制的方式在備播控工作站執(zhí)行接管操作，保證系統(tǒng)正常播出。然后，排查主播控工作站的具體故障原因，待設(shè)備恢復(fù)正常后，再次改由主播控工作站接管。1.6.2播控工作站故障現(xiàn)象二通過播出軟件界面發(fā)現(xiàn)，主、備播控工作站對(duì)服務(wù)器、錄像機(jī)、切換器、擴(kuò)展鍵等設(shè)備的控制同時(shí)失效；或者出現(xiàn)主、備播控工作站死機(jī)的情況。處理方法：采用手動(dòng)方式，控制切換器、錄像機(jī)和備份源（墊片信號(hào)或線路信號(hào)）應(yīng)急播出，并按照下面的順序進(jìn)行系統(tǒng)排查：如果出現(xiàn)同時(shí)無法控制設(shè)備的情況，檢查422倒換器是否出現(xiàn)異常。檢查電源是否松動(dòng)、倒換卡是否損壞、控制線連接是否斷開。如果出現(xiàn)主播控工作站或備播控工作站無法控制設(shè)備的情況，檢查Moxa卡及Moxa盒的狀態(tài)是否異常。待設(shè)備控制線路故障排除后，使用PCommlite軟件進(jìn)行串口通訊測(cè)試。測(cè)試成功后，恢復(fù)主、備播控工作站的自動(dòng)播出控制。1.7時(shí)鐘跳變故障現(xiàn)象：播控工作站系統(tǒng)時(shí)鐘經(jīng)常跳變或者不準(zhǔn)確。這種情況可能是GPS衛(wèi)星校時(shí)系統(tǒng)出現(xiàn)故障，時(shí)鐘接收機(jī)上的時(shí)間會(huì)發(fā)生跳變，此時(shí)校時(shí)服務(wù)器端的時(shí)間也會(huì)隨校時(shí)鐘發(fā)生跳變，但是各工作站上安裝的校時(shí)服務(wù)器端有防跳變功能，最小防跳變時(shí)間為1秒，所以工作站上的時(shí)間是不會(huì)變的，這樣不會(huì)影響到正常播出，此時(shí)工作站上的校時(shí)客戶端軟件會(huì)有報(bào)警信息出現(xiàn)。處理方法：請(qǐng)首先檢查播控工作站校時(shí)客戶端（TimeClient）是否正常啟動(dòng)，防跳變參數(shù)設(shè)置是否正確請(qǐng)檢查GPS接收機(jī)的時(shí)鐘信號(hào)是否正常，如果確實(shí)時(shí)間有跳變，請(qǐng)重啟時(shí)鐘接收機(jī)；如果GPS接收機(jī)的時(shí)鐘信號(hào)正常，則請(qǐng)檢查校時(shí)服務(wù)器（TimeServer）是否正常啟動(dòng)，如不正常，請(qǐng)重新啟動(dòng)校時(shí)服務(wù)器端軟件。1.8同步丟失故障1.8.1同步丟失故障現(xiàn)象一不同信號(hào)源之間進(jìn)行切換的時(shí)候輸出信號(hào)閃爍。處理方法：檢查同步機(jī)是否出現(xiàn)異常，如果設(shè)備工作正常，接下來排查切換器、故障信號(hào)源的同步信號(hào)線纜是否松動(dòng)，準(zhǔn)確定位后更換即可。1.8.2同步丟失故障現(xiàn)象二疊加臺(tái)標(biāo)、字幕后發(fā)生漂移。處理方法：檢查同步機(jī)是否出現(xiàn)異常，如果設(shè)備工作正常，接下來排查鍵控器、字幕機(jī)、臺(tái)標(biāo)機(jī)的同步信號(hào)線纜是否松動(dòng)，準(zhǔn)確定位后更換即可。常見異?，F(xiàn)象案例分析2.1系統(tǒng)異?，F(xiàn)象分析方法首先講，系統(tǒng)維護(hù)與產(chǎn)品維護(hù)有很大的區(qū)別。系統(tǒng)維護(hù)常常是復(fù)雜而重要的，這是由于系統(tǒng)集成的本質(zhì)決定的。通過下表我們可以看出系統(tǒng)維護(hù)與產(chǎn)品維護(hù)的異同。類比項(xiàng)產(chǎn)品系統(tǒng)用途一般產(chǎn)品是用于滿足單一的應(yīng)用需求，如：DA只負(fù)責(zé)轉(zhuǎn)信號(hào)一個(gè)系統(tǒng)常常是需要滿足錯(cuò)綜復(fù)雜的應(yīng)用需求，如：播控系統(tǒng)要編單，控制，資源共享功能單一，簡(jiǎn)單綜合，復(fù)雜構(gòu)成由眾多小器件小產(chǎn)品組裝而成，也可以看成一個(gè)小系統(tǒng)由眾多眾廠家的軟硬件產(chǎn)品集成范圍有明確的范圍，一個(gè)產(chǎn)品常常封裝為一個(gè)機(jī)箱、板卡或軟件包范圍廣泛，系統(tǒng)由基礎(chǔ)工程、機(jī)柜、線路、硬件、軟件等集成使用者一般一個(gè)產(chǎn)品的使用者是單一的一個(gè)系統(tǒng)常常是由整個(gè)業(yè)務(wù)生產(chǎn)部門在使用維護(hù)維護(hù)簡(jiǎn)單，用戶不需要掌握特定的知識(shí)技能，只需進(jìn)行簡(jiǎn)單操作即可，如斷電重啟維護(hù)復(fù)雜，需要有掌握特定知識(shí)技能的維護(hù)者，日常檢查和故障排查的工作量大，維護(hù)難度高故障產(chǎn)品發(fā)生故障不能使用時(shí)，一般是返回廠家處理或淘汰系統(tǒng)發(fā)生故障時(shí)，由于涉及因素和關(guān)聯(lián)產(chǎn)品過多，一般都是由維護(hù)者進(jìn)行第一手處理，當(dāng)把故障定位到具體產(chǎn)品時(shí)，再返回相關(guān)廠家處理在任何系統(tǒng)中，出現(xiàn)某種異?，F(xiàn)象時(shí)，故障原因一般很難立刻判定，常常有這種情況，同樣異常現(xiàn)象發(fā)生了兩次，很可能導(dǎo)致該異常的故障原因卻完全不同。故此，當(dāng)一個(gè)系統(tǒng)發(fā)生異常時(shí)，是否能夠準(zhǔn)確快速的定位故障原因，是一名優(yōu)秀系統(tǒng)維護(hù)人員技術(shù)水平的重要判定因素。那么，如何才能成為一名優(yōu)秀的系統(tǒng)維護(hù)人員呢？我們認(rèn)為有三點(diǎn)：要具備扎實(shí)的理論基礎(chǔ)―――扎實(shí)的理論基礎(chǔ)是技術(shù)實(shí)踐的堅(jiān)實(shí)后盾。對(duì)此，大洋公司為電視臺(tái)提供了全面詳盡的網(wǎng)管培訓(xùn)，詳細(xì)講解了系統(tǒng)的全部流程與功能。系統(tǒng)維護(hù)人員在學(xué)習(xí)過程中，應(yīng)先著重透徹理解系統(tǒng)原理，其次再掌握維護(hù)操作方法，同時(shí)，系統(tǒng)維護(hù)人員日常也應(yīng)主動(dòng)增強(qiáng)對(duì)系統(tǒng)周邊知識(shí)的積累與補(bǔ)充。這樣，在今后的維護(hù)工作中，才可做到有堅(jiān)實(shí)的理論基礎(chǔ)作后盾。要具備豐富的實(shí)踐經(jīng)驗(yàn)―――系統(tǒng)維護(hù)的主要工作就是實(shí)踐，也就是說經(jīng)驗(yàn)就來源于日常的工作中。一方面，系統(tǒng)維護(hù)人員在系統(tǒng)維護(hù)工作中應(yīng)注意經(jīng)驗(yàn)積累，對(duì)日常檢查工作進(jìn)行詳細(xì)書面記錄，故障處理后要進(jìn)行歸納總結(jié)，并將總結(jié)的經(jīng)驗(yàn)積累到本維護(hù)文檔。另一方面，大洋公司在為電視臺(tái)提供網(wǎng)管培訓(xùn)的過程中，也含有大量實(shí)踐操作課程，其中包括應(yīng)急處理和故障排查等。系統(tǒng)維護(hù)人員應(yīng)認(rèn)真練習(xí)實(shí)際掌握。這樣，才可順利承擔(dān)系統(tǒng)日常的維護(hù)工作。要具備條理清晰的邏輯分析能力―――如前所述，系統(tǒng)維護(hù)工作中的難點(diǎn)是定位故障原因。系統(tǒng)維護(hù)人員在具備了前兩項(xiàng)理論基礎(chǔ)和豐富經(jīng)驗(yàn)的前提下，遇到異?，F(xiàn)象時(shí)，應(yīng)該基于科學(xué)的邏輯分析方法對(duì)故障進(jìn)行定位排查。當(dāng)發(fā)現(xiàn)某一異?，F(xiàn)象時(shí)，應(yīng)先找出系統(tǒng)中關(guān)聯(lián)該異常的所有環(huán)節(jié)和設(shè)備（線路、器件、站點(diǎn)、設(shè)置等）；再根據(jù)各節(jié)點(diǎn)可能故障的概率性進(jìn)行排序，然后逐項(xiàng)進(jìn)行歸納法測(cè)試，從而最終定位故障。例如：S2ATier信息中有一個(gè)磁盤通道的硬盤全部掉線，那么關(guān)聯(lián)這個(gè)異常的所有設(shè)備應(yīng)包括：控制器、磁盤通道線纜、盤陣IO模塊。那么根據(jù)概率，線纜斷的可能性最低，而帶電設(shè)備的老化可能性較高，故應(yīng)先測(cè)試控制器與盤陣IO模塊。再從測(cè)試方法來看，測(cè)試盤陣IO模塊的操作要比控制器簡(jiǎn)單快速，故對(duì)這個(gè)異常的處理則應(yīng)該先測(cè)試是否盤陣IO模塊損壞，然后測(cè)試控制器，最后再更換磁盤通道線纜測(cè)試?？梢哉f，根據(jù)以上思路，盡管系統(tǒng)異常現(xiàn)象千奇百怪，但天網(wǎng)恢恢、疏而不漏，一名優(yōu)秀的維護(hù)人員絕對(duì)可以準(zhǔn)確迅速的定位所有異常故障。以上是為系統(tǒng)維護(hù)中最困難的故障定位工作，提供了一些理論指導(dǎo)和原則。本章節(jié)的下半部分，我們則列舉一些常見的系統(tǒng)異常現(xiàn)象，并對(duì)其可能造成的故障原因進(jìn)行分析，以供系統(tǒng)維護(hù)人員日常參考。2.2系統(tǒng)異常現(xiàn)象案例分析系統(tǒng)異常案例分析序號(hào)類別子類異?，F(xiàn)象描述故障分析以太交換機(jī)某端口狀態(tài)燈顯示為橙色報(bào)警首先應(yīng)判斷在此端口是否連接MDC或數(shù)據(jù)庫等重要服務(wù)器，如有應(yīng)進(jìn)行應(yīng)急處理。其次，對(duì)連接在該端口的站點(diǎn)進(jìn)行PING測(cè)試，查看是否可通，以判斷是否為千兆設(shè)備在百兆狀態(tài)下。再次，應(yīng)檢查該端口連接站點(diǎn)的以太網(wǎng)卡；然后，檢查端口該使用的網(wǎng)絡(luò)跳線。最后如上述測(cè)試檢查均正常，可確認(rèn)是該端口損壞。交換機(jī)所有狀態(tài)燈亮黃燈或者紅燈報(bào)警，不能正常使用首先應(yīng)判斷在此端口是否連接MDC或數(shù)據(jù)庫等重要服務(wù)器，如有應(yīng)進(jìn)行應(yīng)急處理。其次，在條件允許的情況下進(jìn)行重啟，查看是否正常。如啟動(dòng)后故障依舊，請(qǐng)抓取日志及FIREWARE版本，向大洋公司售后部門反饋。SQLServer服務(wù)器在主SQLserver服務(wù)器上無法打開企業(yè)管理器，但客戶端站點(diǎn)工作正常該故障是由于存儲(chǔ)在SQLserver服務(wù)器C盤中的系統(tǒng)文件損壞導(dǎo)致；同時(shí)，由于SQLserver的數(shù)據(jù)文件存儲(chǔ)在另外的數(shù)據(jù)盤，故該故障危險(xiǎn)度不高。可于停機(jī)時(shí)，將該主數(shù)據(jù)庫服務(wù)器的SQLserver刪除后重裝，再將備份的數(shù)據(jù)文件恢復(fù)導(dǎo)入，即可解決。注意：刪除SQLserver軟件前，務(wù)必完全備份數(shù)據(jù)庫文件。數(shù)據(jù)庫沒有自動(dòng)備份首先，請(qǐng)檢查SqlAgent服務(wù)是否正常啟動(dòng)；其次，請(qǐng)查看自動(dòng)備份的計(jì)劃是否正常；再次，請(qǐng)檢查備份路徑是否仍有足夠的存儲(chǔ)空間。最后，可嘗試手動(dòng)執(zhí)行一次備份任務(wù)，如不正常，可嘗試重裝SqlServer的企業(yè)管理軟件。數(shù)據(jù)庫出現(xiàn)質(zhì)疑該故障是由于數(shù)據(jù)信息出現(xiàn)了錯(cuò)誤數(shù)據(jù)導(dǎo)致；應(yīng)先備份所有數(shù)據(jù)文件，重裝數(shù)據(jù)庫后將原數(shù)據(jù)用附加數(shù)據(jù)庫的方式還原。應(yīng)用系統(tǒng)遷移服務(wù)器遷移軟件鎖死重新啟動(dòng)遷移軟件，但需要在進(jìn)程中結(jié)束遷移進(jìn)程文件導(dǎo)入工作站無法導(dǎo)入素材檢查網(wǎng)絡(luò)導(dǎo)入盤連接正常，測(cè)試FTP連接視頻服務(wù)器是否正常，如連接出現(xiàn)狀況先重新連接網(wǎng)絡(luò)盤，或者檢查VIPS上FTP服務(wù)是否正常。編單工作站無法完成節(jié)目單編輯的整個(gè)流程檢查數(shù)據(jù)庫連接是否正常，如果正常，則軟件有問題，或工作站自身系統(tǒng)有問題播控工作站無法正常控制所與受控設(shè)備，不能正常調(diào)單播出如果數(shù)據(jù)庫連接正常，并且控制線與各受控設(shè)備也沒有問題，則工作站自身硬件有問題，需更換編目工作站無法完成媒資編目任務(wù)檢查數(shù)據(jù)庫連接是否正常，如果正常，則軟件有問題，或工作站自身系統(tǒng)有問題播控設(shè)備16x2切換器播出通道最終輸出的信號(hào)為黑屏，但是播出信號(hào)監(jiān)視全部正常手動(dòng)將2X1倒換器切換至備播出通道，保證系統(tǒng)正常播出。2x1倒換器通過監(jiān)視器發(fā)現(xiàn)，播出通道最終輸出的信號(hào)為黑屏，但是播出信號(hào)監(jiān)視全部正常。手動(dòng)切換2X1倒換器至備播出通道仍無法恢復(fù)正常立即關(guān)閉2X1倒換器的電源，利用倒換器自身的斷電旁通功能使輸出信號(hào)直接通過。如果2X1倒換器不具備斷電旁通功能，則必須使用跳線繩從倒換器的輸入端直接跳接至倒換器的輸出端，盡量減少信號(hào)中斷時(shí)間。鍵控器通過監(jiān)視器發(fā)現(xiàn)，播出通道最終輸出的信號(hào)為黑屏，但是鍵控器輸入信號(hào)監(jiān)視全部正常。立即鍵控器的電源，利用鍵控器自身的斷電旁通功能使輸出信號(hào)直接通過。如果鍵控器不具備斷電旁通功能，則必須使用跳線繩從鍵控器的輸入端直接跳接至監(jiān)控的輸出端，盡量減少信號(hào)中斷時(shí)間。主視頻服務(wù)器通過監(jiān)視器發(fā)現(xiàn)，主播出服務(wù)器